DISEO Y EVALUACIN DEL PROGRAMA

La Evaluacin de Programas es un proceso para generar formas tiles de compren- sin sobre
una innovacin (o una intervencin). Este sentido de utilidad hay que entenderlo como la posibilidad
de utilizar la intervencin como un recurso crtico para mejorar los procesos de accin educativa,
razn por la que, a nivel metodolgico, puede entenderse como un proceso de investigacin
evaluativa (Tejedor y otros, 1994; Prez Juste, 1995; Amezcua y Jimnez, 1996; Martnez Mediano,
1997).
La investigacin evaluativa ha ido perfilndose con una metodologa concreta en los ltimos quince
aos. Esta metodologa queda delimitada por: una terminologa propia, un conjunto de herramientas
conceptuales y analticas especficas, y unos pro- cesos y fases tambin especficos. El conjunto
define un campo floreciente en el que realmente lo especfico es la mezcla y no las partes
constitutivas. Para Alvira (1991), algunas circunstancias que han contribuido a conformar este campo
de actuacin seran:
a) Mayor interrelacin entre las actividades de evaluacin y programacin. Si en una perspectiva
clsica la evaluacin se realiza despus de las actividades de planificacin, programacin y
desarrollo de la intervencin, en la actualidad ambas actividades caminan de forma paralela.
b) La investigacin evaluativa es investigacin (con todos los considerandos epis- temolgicos,
metodolgicos y tcnicos que ello entraa), pero es ms que inves- tigacin, ya que se entiende
como un proceso cuya finalidad es aplicar procedimientos cientficos para acumular evidencia vlida
y fiable sobre la manera y grado en que un conjunto de actividades producen resultados o efec tos
concretos. Intenta determinar el valor de la accin educativa, buscar solucio- nes a problemas
concretos o mejorar las estrategias de actuacin.
c) Se produce una mayor implicacin de las partes interesadas (observacin parti- cipante,
investigacin accin,).
d) Pueden integrarse estrategias de investigacin muy diversas, tanto cuantitati- vas como
cualitativas. Es un campo de trabajo que posibilita la utilizacin simultnea y sucesiva de diferentes
metodologas para el tratamiento de los temas objeto de estudio e intervencin. Ser la naturaleza
especfica del progra- ma y la pericia del evaluador quienes a la postre determinarn la utilizacin de
una o varias opciones.
La investigacin evaluativa es un modo de investigacin que implica un proceso riguroso, controlado
y sistemtico de recogida y anlisis de informacin fiable y vlida para tomar decisiones sobre un
programa educativo. Vemos que aparecen importantes puntos de contacto respecto a lo que
entendemos por investigacin: proceso siste- mtico, riguroso, controlado; utilizacin de tcnicas
de medicin y anlisis de datos. La evaluacin se distingue de la investigacin por los objetivos y no
por los mtodos Algunos autores, sin embargo, creen que conviene diferenciar ambas tareas,
sea- lndose como caractersticas peculiares de la investigacin evaluativa las siguientes
(De la Orden, 1985):
a) Los juicios de valor acompaan al desarrollo de todo el programa: desde la seleccin del
problema a estudio hasta en la aplicacin de metodologas con- cretas.
b) Resulta difcil (a veces inadecuado) formular hiptesis precisas.
c) La replicacin es prcticamente imposible dadas las caractersticas casi irrepetibles de la ejecucin de un programa de intervencin.
d) La recogida de datos est condicionada por la viabilidad del proceso.
e) Multitud de variables relevantes slo son susceptibles de un control superficial
limitndose por tanto la utilizacin de diseos de carcter mas experimental.
f) Las decisiones importantes en relacin con la paralizacin, sustitucin o repeti-

cin del programa no son competencia del evaluador.

g) El informe debe adaptarse a las exigencias de quien lo financia.
Una caracterstica bsica de la investigacin evaluativa es que se lleva a cabo en un proceso de
intervencin, en la misma accin, que es lo realmente importante. La inves- tigacin, sealaba Weis
(1982), es una prioridad secundaria, lo que debe llevarnos a pensar que la evaluacin/investigacin
tiene que adaptarse al contexto del programa y perturbar lo menos posible su desarrollo.
El proceso de evaluacin de programas debe concebirse como una autntica estrategia de
investigacin sobre los procesos educativos, en cuyos resultados debe- ran basarse las pautas
sugeridas para orientar los procesos de intervencin. Investi- gacin e intervencin se apoyan
mutuamente. La intervencin sacar partido de la investigacin en la medida en que sta se extienda
a la solucin de problemas prcti cos. La investigacin activa se asimila, enriquecindola, a la nocin
de investigacin aplicada.
Toda situacin educativa es susceptible de este doble tratamiento. Por una parte, existe la necesidad
de conocerla y de explicarla. Por otra, es preciso comprender- la y mejorarla. Se requiere
que la investigacin alcance un nivel de integracin sufi- ciente, en este caso, entre el pensamiento y
la decisin: la preocupacin por el saber se une de alguna manera a la preocupacin por el actuar.
Este campo de estudio, que algunos denominan investigacin orientada, est a la base de toda
investigacin evaluativa.
La investigacin orientada/evaluativa nace como respuesta a necesidades sociales y se elabora en
funcin de tales necesidades; se realiza con objeto de llegar a la solu- cin de los problemas que
exige una accin informada cientficamente. Habr de tener necesariamente un carcter
interdisciplinar y viene determinada por los objetivos, los resultados y las motivaciones.
Al referirnos al tema del diseo en la Evaluacin de Programas nos vamos a encon- trar, como
ocurre en el ms amplio campo de la investigacin, con una doble acepcin de dicho trmino:
a) Diseo como planificacin general del proceso de intervencin (el
diseo o diseo de
evaluacin)
b) Diseo como planificacin puntual del anlisis de los efectos de la intervencin realizada (los
diseos o diseos de investigacin).
Esta diferenciacin es la que se ha tenido en cuenta a la hora de titular esta aporta- cin y que
pasamos a comentar con detenimiento.
Un diseo es un plan que fija qu medidas y cundo sern tomadas en el curso de un proceso de
evaluacin. Plantearse la especificacin de un diseo supone haber rea- lizado reflexiones previas
en torno a cuestiones relacionadas con el concepto general de evaluacin y con las finalidades de
las diferentes opciones metodolgicas; poste- riormente delimitaremos, como parte de la
planificacin prevista, los fundamentos de la misma, los objetivos, los elementos personales
implicados en el programa, los mbi- tos de intervencin, los instrumentos de recogida de datos, las
tcnicas de anlisis y los momentos de la evaluacin; todo ello, de acuerdo al modelo que se haya
elegido para realizar la actividad evaluativa y teniendo en cuenta que en todos estos elemen- tos
existen diferencias segn la perspectiva o enfoque (paradigma o modelo) por se siga.
El diseo de Evaluacin de Programas es tanto un proceso como un conjunto de escritos o planes
que incluyen unos elementos que presentan los propios contenidos y que generan numerosas
preguntas. No hay un nico camino para realizar la evalua- cin de un programa por lo que habr
necesariamente que prestar atencin a numero- sos elementos a la hora de concretar un diseo o
plan de anlisis: condiciones
organizacionales, necesidades, intereses y valores de los implicados en el proceso, objetivos del
programa, recursos necesarios y disponibles,...
3.3.3 caractersticas bsicas

En cualquier caso, independientemente del modelo que se haya elegido, cualquier mnima
planificacin tiene que atender las siguientes tareas:
establecer las actividades que se van a evaluar
fijar los criterios de evaluacin
elegir las estrategias para la obtencin de informacin
analizar la informacin
tomar decisiones a partir de la informacin analizada
Donde podemos identificar los dos elementos bsicos del diseo de una evalua- cin, que
expresados en trminos sintticos seran:
La determinacin de los datos que se requieren para valorar la eficacia del pro- grama
La determinacin del plan para obtener la informacin necesaria que nos permi- ta establecer
relaciones entre el programa y los resultados obtenidos
En el cuadro 1 presentamos una reformulacin simplificada de la propuesta de Prez Carbonell
(1998, pp. 188-192) respecto a los aspectos a considerar en la delimita- cin del diseo en el marco
de la Evaluacin de Programas.
Algunas cuestiones importantes a tener en cuenta seran (Carballo, 1990, pgs. 166):
Se van a establecer las pautas que se seguirn en el proceso evaluativo? (dise- os prefijados
vs emergentes)
Los resultados de la evaluacin, se van a utilizar para mejorar el programa, para emitir un
informe sobre su funcionamiento o para ambas cosas a la vez? (diseos para una evaluacin
formativa vs normativa?
Se van a incluir en el estudio procesos de intervencin o slo se va a describir el funcionamiento
del programa? Si se incluye un proceso especfico de inter- vencin ser necesario analizar sus
efectos, lo que requerir la explicitacin de un diseo de investigacin
a) Diseos prefijados vs emergentes
Los diseos prefijados siguen la pauta del modelo positivista, requirindose que los objetivos de la
evaluacin estn claramente definidos y fijados con anterioridad a la ejecucin del programa, lo que
supone que todos los componentes del modelo (obje- tivos variables, tratamientos, fuentes de
informacin, datos a recoger, anlisis de datos,...) estn determinados a partir de presupuestos
tericos o de experiencias en evaluacin de otros programas similares.
Estos diseos tratan de informarnos sobre la consecucin de objetivos en la ejecu- cin del
programa, intentando el evaluador esclarecer los factores (variables y relacio nes entre ellas) que
han mediado en dicha consecucin. En sntesis, estos diseos
fijos se caracterizan porque:
son planeados con anterioridad
estn estructurados, aunque admite reajustes
se especifican problemas y objetivos, fuentes de informacin, instrumentos,
temporalizacin,...
se fijan los destinatarios de los informes
los datos suelen ser de carcter cuantitativo y se valora todo aquello que se
aproxima al paradigma racionalista
La prctica evaluativa ha ido poniendo de manifiesto que la evaluacin de la con- secucin de los
objetivos, planteada en estos trminos, resultaba muy difcil de realizar

Elementos

Contenidos

Dificultades

Consecuencias

Desarrollo del
programa

Entorno
Objeto de la evaluacin
Destinatarios
Criterios de evaluacin
Actividades

No se considera a los
implicados

No se implican los
interesados y se
tiende a descalificar
la evaluacin

Recogida de datos

Variables de inters
Fuentes de informacin
Instrumentos
Tcnicas de recogida

Pleitos
Procedimientos que violan
derechos
Procedimientos que utilizan Falta de cooperacin
tiempo valioso de usuarios Datos no reales
Procedimientos que implican
cambios de hbitos

Anlisis de datos

Tipo de datos recogidos

Criterios estadsticos
Anlisis adecuados
Interpretacin correcta

Datos con incidencia

individual
Anlisis demasiado tcnicos

Informacin
criticada y no
valorada

Realizacin de
informes

Destinatarios
Nmero de informes
Difusin

Los implicados no participan

en el informe
La audiencia no tiene
oportunidad de reaccionar
El informe afecta a puestos
de trabajo
Se pone en aprieto a
personas o instituciones

La informacin no
se utiliza por los
grupos afectados

Manejo de la
informacin

Decisiones a tomar
Personas afectadas
Presupuesto de las
decisiones a adoptar

No se especifican bien
responsabilidades
Presupuestos deficientes
Informacin desaprovechada

Agravio colectivo

ya que las cosas no suelen desarrollarse en los trminos inicialmente previstos, lo que llev a los
evaluadores a flexibilizar sus planteamientos evaluativos iniciales, abrin- dose a nuevas
perspectivas valorativas, no slo de los resultados sino tambin del pro- pio proceso seguido
(evaluacin del proceso) intentando relacionar la valoracin de los resultados con las condiciones y
circunstancias en las que se desarroll el progra- ma, lo que nos conduce a criterios de eficiencia y
no slo de eficacia.
En seguida, este tipo de alternativa tuvo seguidores fervorosos (Stake, Owens, Par- lett y Hamilton,
Guba) y, especialmente, Scriven que incorpora como novedad la idea de valorar los efectos no
previstos, dejndose llevar por el desarrollo del progra- ma y cuestionndose incluso la utilidad de la
formulacin inicial de objetivos (Scriven,
1973).
Estos diseos emergentes pueden, globalmente, caracterizarse en los siguientes
trminos:
se adaptan mejor a las necesidades e intereses de los participantes
estn abiertos a posibles modificaciones que durante el desarrollo puedan
incorporarse
los problemas y objetivos no tienen por qu ser especificados inicialmente; se
produce una reformulacin constante de los objetivos del programa
no se especifican elementos tales como instrumentos de recogida de datos,
momentos de obtencin de la misma,..
se exige que el evaluador siga el desarrollo del programa estando en contacto
permanente con los participantes; este distinto grado de implicacin del evalua-

dor va a condicionar las tcnicas e instrumentos de obtencin de datos

los datos suelen ser de carcter cualitativo y se valora todo aquello que se aproxima a los paradigmas interpretativo y crtico
debe cuidarse la adecuada seleccin de informacin (demasiado abundante e
irrelevante en muchos casos) y una implicacin excesiva del evaluador en la
valoracin de logros
Quizs puede pensarse que esta diferenciacin dicotmica establecida en los dise- os
(fijo/emergente) es ms terica que prctica. En realidad parece posible pensar que no exista tal
dicotoma; pensamos que el diseo, en el marco de la Evaluacin de Programas, debe ser
establecido a priori, respondiendo a la concepcin terica que sobre la evaluacin tienen los
responsables del programa y el propio evaluador, debiendo incluir referencias a los objetivos del
programa, sus componentes, los recur- sos necesarios, las estrategias de recogida y anlisis de
datos, las posibles decisiones que de su desarrollo puedan derivarse y la presentacin y difusin de
los resultados.
Pero abogar por la previsin no es estar a favor de la inmutabilidad. Nuestra postu- ra en modo
alguno excluye la posibilidad de ir incorporando durante el desarrollo de la ejecucin del programa
todos aquellos elementos que se consideren ms favorables a la optimizacin del proceso
planificado: desde la reformulacin de objetivos a la difusin de resultados pasando por la
incorporacin de nuevos recursos o la modifica- cin de las estrategias de recogida y anlisis de
datos.
El diseo y los diseos en la Evaluacin de Programas
b) Diseos de evaluaciones formativas vs sumativas
325
Puede afirmarse que fue Cronbach quin, a partir de 1980, extendi la aplicacin de los trminos
formativa y sumativa, inicialmente propuestos por Scriven para su aplicacin a contextos
instructivos, al mbito de la evaluacin de programas. En este contexto, la evaluacin formativa es
una parte importante del proceso que sigue el desarrollo del programa, proporcionndole
retroalimentacin de su funcionamiento para favorecer el mismo e incorporar los cambios que
puedan contribuir a mejorar su realizacin, lo que implica la vinculacin del evaluador con el discurrir
del programa: evaluacin de carcter interno con efectos potenciales, sobre todo en la mejora del
desarrollo del programa. Sin duda, responde al papel ms noble que puede desempe- ar la
evaluacin: su incardinacin en el desarrollo del propio programa, de la propia intervencin, del
propio proceso educativo.
La evaluacin formativa permite establecer una interaccin continua entre la eva- luacin y la accin
educativa, destacando su repercusin en la mejora del proceso y en la orientacin del programa y,
por consecuencia, en la optimizacin de los productos (logros) que se obtengan tras la aplicacin de
dicho programa, sobre todo si la evalua- cin formativa se plantea la bsqueda de las causas que
estn explicando los datos que nos vamos encontrando.
En sntesis, el diseo formativo puede caracterizarse por los siguientes consideran- dos:
la evaluacin se plantea desde una perspectiva interna
su objetivo es intentar la mejora del programa
los datos son utilizados por el propio equipo tcnico del programa o por los
implicados (el evaluador debe ser parte integrante del equipo)
se persigue sobre todo la utilidad para los usuarios
el diseo puede ser tanto fijo como emergente (si es fijo debern aceptarse cambios)

A la hora de valorar un diseo de corte formativo deber considerarse (Bartolom,

1990):
la coherencia lgica del diseo
su capacidad para responder a las necesidades del grupo y/o a su proyecto
social y educativo
su flexibilidad de adaptacin y mejora
su posibilidad de realizacin, a travs de un acercamiento progresivo y de las
percibidas por el grupo y de un acercamiento de las actividades previstas y realizadas
su eficacia progresiva, valorando su incidencia real en la mejora educativa
La evaluacin sumativa, por su parte, se relaciona con la terminacin del proceso de intervencin,
intentando globalizar la evaluacin formativa que se haya podido ir
326
Francisco Javier Tejedor
haciendo a lo largo del proceso. La evaluacin sumativa nos informa sobre los resulta- dos obtenidos
y, por tanto, sobre las necesidades que han podido satisfacerse con la aplicacin del programa.
Parece importante destacar el hecho de relacionar la consecu- cin de logros con la satisfaccin de
necesidades en mayor medida que con la consecu- cin de objetivos, lo que puede ayudarnos a
reconocer la especificidad de los procesos de intervencin en contextos de carcter no estrictamente
instructivo.
El diseo sumativo respondera a las pautas siguientes:
la evaluacin puede plantearse desde una perspectiva externa
su objetivo es intentar ofrecer un juicio sobre la satisfaccin de necesidades y/o
sobre la consecucin de los objetivos
interesa en gran medida la credibilidad externa
el evaluador debe ser ajeno al equipo tcnico del programa para favorecer la
objetividad en la valoracin de los resultados
el diseo suele ser mas bien de tipo fijo que emergente
c) Distintos tipos de evaluaciones
Desde una perspectiva metodolgica, la puesta en marcha de un programa supone una actuacin
que debe atender ordenadamente a las distintas fases del proceso. La supervisin del desarrollo de
cada una de esas fases en trminos evaluativos nos lleva al establecimiento de diferentes tipos de
evaluacin que pueden llegar a tener inters en si mismo, incluso con su metodologa propia
(necesidades, objetivos, proceso, resultados,...); pero no podemos olvidar que todos ellos forman
parte de un esquema nico de investigacin que nos informar sobre la puesta en marcha del
programa y la calidad de sus logros. Este esquema global del proceso evaluativo de un programa de
intervencin sera similar al que presentamos a continuacin.
1) Evaluacin de necesidades
Debe ser la primera actividad a llevar a cabo en la puesta en marcha de un progra- ma de
intervencin (Tejedor, 1990). Aunque algunos autores plantean la evaluacin de necesidades con el
mismo nfasis que la evaluacin de programas, considero que es mas pertinente concebirla como
una fase de dicho proceso, limitando entonces sus objetivos, lo que no implica desvirtuar su
esquema operativo que entiendo est sufi- cientemente conformado. Podemos pensar que la

evaluacin de necesidades, siendo una fase del proceso de investigacin para la puesta en marcha
de un programa de intervencin, tiene entidad propia y es susceptible de ser analizada con un
esquema completo de investigacin evaluativa (Witkin, 1984).
2) Evaluacin del diseo (evaluacin de entrada)
Supone la preocupacin por la secuencia de los pasos a seguir, por la claridad de formulacin de los
objetivos planteados, por la calidad de los instrumentos o tcniEl diseo y los diseos en la Evaluacin de Programas
327
cas de obtencin de informacin, por la suficiencia de la muestra fijada, por la ade- cuada
localizacin de las unidades muestrales, por la procedencia de las actividades sugeridas, por la
adecuacin de las tcnicas de anlisis, (Mayer, 1985; Bartolom,
1990). Se pretende valorar el plan de accin (diseo) y los recursos del programa, a fin de
seleccionar las estrategias que permitan satisfacer ms adecuadamente las necesidades detectadas
y que mejor se adapten al grupo de personas al que el pro- grama va dirigido.
Incluye igualmente la evaluacin de las posibilidades de evaluacin del propio diseo (evaluacin de
la evaluabilidad). La experiencia determina que pocos de los programas llevados a la prctica son
evaluables al tener problemas de especificacin de objetivos, de implementacin, de adecuacin de
las actividades a la consecucin de objetivos, de carencia de medios para su desarrollo,...Por ello
estamos de acuerdo con quienes sugieren la conveniencia de llevar a cabo una revisin previa de las
posibilida- des evaluativas del programa (Anguera, 1990).
3) Evaluacin de la implementacin
Este tipo de evaluacin pretende analizar el funcionamiento del programa y deter- minar si existen
diferencias entre el funcionamiento real y el previsto inicialmente. Si hubiera diferencias notorias
entre ambos esquemas de funcionamiento trataramos de hallar las causas y, si fuera posible,
subsanar las deficiencias (Finnegan y otros, 1988). Puede pensarse que incluye:
Evaluacin de la cobertura: Trataremos de analizar si el programa cubre todos los objetivos
previstos y si llega a todos los sujetos para los que se haba pensa- do, determinando, si procede,
los sesgos de cobertura existentes y las causas que los han motivado.
Evaluacin del proceso (seguimiento): En algunos casos, sobre todo si el progra- ma es de larga
duracin, conviene realizar un anlisis de su funcionamiento a fin de verificar si su desarrollo sigue
las pautas previstas. Implica la revisin de todos los elementos constitutivos del programa
(personales, funcionales y mate- riales), en su dimensin interactiva: calidad de las actividades,
distribucin del tiempo y del trabajo, utilizacin de recursos,
La evaluacin adecuada del proceso supone la consideracin de todos sus elemen- tos por lo que se
sugiere un esfuerzo previo de reconsideracin respecto a las fases anteriores de ejecucin del
programa (necesidades, objetivos, diseo,). Los elemen- tos a considerar sern:
utilizacin adecuada de recursos
temporalizacin de actividades
implicacin de los destinatarios en las actividades
obtencin de informacin
328

Francisco Javier Tejedor

4) Evaluacin de resultados
Hasta hace poco tiempo era el nico tipo de evaluacin que se llevaba a cabo tras la finalizacin de
las actividades que implicaba la ejecucin del programa. En trmi- nos generales, se trata de analizar
el grado en que el programa consigue los resulta- dos previstos (tambin pueden evaluarse, siempre
que se hayan previamente identificado, resultados no previstos inicialmente). Se intenta determinar
hasta que punto pueden vincularse los logros obtenidos con los efectos del programa, lo que tiene
especial inters en los diseos de intervencin dada la dificultad para estable- cer nexos de
causalidad y covariacin entre las variables consideradas en el pro- grama.
La evaluacin de resultados admite la modalidad de evaluacin de verificacin, que pretende
efectuar comprobaciones a base de patrones claramente identificados, tanto en base a datos
cuantitativos como cualitativos, y la modalidad de evaluacin comprensiva, que pretende ampliar o
profundizar la comprensin de situaciones y que utiliza bsicamente datos cualitativos.
La temtica de la evaluacin de resultados es amplia y compleja, apareciendo trata- da en la
bibliografa con diferentes terminologas: evaluacin de productos, de la efec- tividad, de la eficacia,
de la eficiencia,... (De la Orden, 1985, 1990). Los elementos a considerar en la evaluacin de
productos sern:
calidad de la informacin obtenida
posibilidad de valorar la consecucin de objetivos a partir de la informacin
disponible
calidad de los anlisis y adecuacin a los datos disponibles
propuestas para la toma de decisiones
pertinencia de las decisiones tomadas
5) Metaevaluacin
Los elementos a considerar sern las pautas de cambio estratgico en la interven- cin y en la
planificacin evaluativa
3. LOS DISEOS DE INVESTIGACIN EN LA EVALUACIN DE PROGRAMAS
La evaluacin de efectos supone la eleccin de un diseo adecuado de investiga- cin que permita
obtener, analizar e interpretar la informacin relevante para formular un juicio de valor y toma de
decisiones apropiadas. El diseo determina la posibilidad de detectar y comprender los procesos y el
impacto de un programa educativo, dada la multiplicidad de factores que influencian su operacin y
resultados (De la Orden,
1990).
Los diseos de evaluacin de programas pueden variar desde el ms riguroso
experimento de campo a la descripcin naturalista, pasando por la diversidad de diseos cuasiexperimentales o correlacionales. Existen muchas propuestas de clasificacin
El diseo y los diseos en la Evaluacin de Programas
329
de diseos de investigacin utilizables en el mbito especfico de la Evaluacin de Pro- gramas (Fitz
Gibbon y Morris, 1987; Cols y Rebollo, 1993). Nuestra propuesta es la siguiente:
A) Diseos para la investigacin cuantitativa

1) Diseos descriptivos-comparativos (estudios tipo survey)

2) Diseos longitudinales
secuenciales (diacrnicos)
transversales (sincrnicos)
3) Diseos Correlacionales:
correlacin y regresin
tcnicas de clasificacin
4) Diseos causales
5) Diseos experimentales:
preexperimentales
cuasiexperimentales
experimentales de campo (intergrupo e intragrupo)
B) Diseos para la investigacin cualitativa
1) Observacin naturalista:
Estudios de casos
Estudios del grupo
Estudios de comunidades (etnogrficos)
Estudios de situaciones o contextos
2) Diseos participativo-crticos
Investigacin-accin
A) El entorno cuantitativo
El diseo experimental
Presenta las caractersticas propias del mtodo cientfico (repetibilidad, estabili- dad y
comunicabilidad), siendo sus rasgos distintivos la manipulacin de variables por parte del
investigador y el control de variables intervinientes en el fenmeno estudiado.
Pretende llegar a establecer relaciones causales entre una o ms variables indepen- dientes y una o
ms variables dependientes, lo que nicamente ser posible a partir de un riguroso control de las
circunstancias en que podemos llegar a establecer con clari- dad dicha relacin causal.
Se estudian las modificaciones que sufren las variables dependientes a partir de cambios
intencionados (manipulacin o intervencin) en las variables independientes.
330
Francisco Javier Tejedor
La exactitud de la relacin establecida entre ambas depender de la calidad del control ejercido
sobre otras variables intervinientes, bien a partir de medios fsicos (similitud de situaciones), bien a
partir de tcnicas aleatorias.
Los diseos que se enmarcan en el mtodo experimental se caracterizan por tener una gran validez
interna, que no es ms que la capacidad para atribuir ciertamente la variacin observada en la
variable dependiente a la modificacin intencional llevada a cabo sobre la variable independiente en
base al control ejercido sobre el resto de las variables (Tejedor, 1994).
El grado de seguridad de los resultados de una investigacin no debe juzgarse exclusivamente en
trminos de validez interna. Conviene reconsiderar tambin sobre otros tipos de validez: externa,
estadstica, de constructo y ecolgica.
Los presupuestos exigidos a toda investigacin en trminos de valor de verdad, aplicabilidad,
consistencia y replicabilidad, se reinterpretan en el mtodo experimen- tal en trminos de validez

interna, validez externa, fiabilidad y objetividad (en las estrategias de investigacin activa y
participativa se reinterpretarn en trminos de credibilidad, transferibilidad, dependencia y
conformabilidad).
Un aspecto importante a tener en cuenta por el evaluador que decida seguir algu- nas de las
variantes del mtodo experimental es el problema que representa la experi- mentacin con sujetos
humanos. Desde los distintos efectos perturbadores que pueden modificar las conclusiones
obtenidas hasta las interacciones que pueden pro- ducirse en las caractersticas personales de los
sujetos. Pese a todo, las crticas ms fuertes al mtodo experimental le llegan por sus caractersticas
de artificialidad, de reduccionismo de la realidad que pretende explicar y por la operacionalidad
implcita de las variables que se incluyen. Por ello no consideramos adecuada la aplicacin de los
diseos experimentales, en sentido estricto, en el marco de la Evaluacin de Pro- gramas.
Experimentos de campo
Sin embargo, s creemos posible, aunque con muchas limitaciones, pensar en la modalidad de
experimentos de campo, que presentando los mismos presupuestos formales, su viabilidad de
aplicacin reside en el hecho de llevarse a cabo en marcos naturales, lo que supone una evidente
reduccin de su validez interna. Kerlinger (1977) caracterizaba los experimentos de campo en los
siguientes trminos:
se realizan en condiciones naturales, interviniendo todas las variables que influ- yen en el
fenmeno
los efectos producidos por las variables son generalmente ms fuertes que en el laboratorio
existe mayor validez externa, por su referencia a situaciones ms reales
existe la posibilidad de estudiar fenmenos complejos en situaciones similares a
la vida misma; son aplicables a gran variedad de problemas
son apropiados para la demostracin de teoras, comprobacin de hiptesis y la
resolucin de problemas prcticos.
El diseo y los diseos en la Evaluacin de Programas
331
Entre las dificultades que puede encontrarse el investigador social en la aplicacin de estos diseos
cabra citar los aspectos relacionados con el control de variables, con la aleatorizacin de las
muestras y con la disponibilidad de experimentadores bien entrenados.
Aunque son muchos los diseos que pueden aplicarse en los experimentos de campo, en todos ellos
deben seguirse en su planificacin los siguientes pasos:
determinacin de las muestras a utilizar;
especificacin de los tratamientos de cada una de las variables independientes;
asignacin de las condiciones experimentales (tratamientos) a los diferentes
grupos;
seleccin de las tcnicas adecuadas de control de variables;
constitucin de los grupos de control, si procede.
Cuasi-experimentos
Cundo no es posible establecer un control efectivo sobre las variables intervinien- tes, el
investigador social puede recurrir a diseos de control parcial o cuasi-experi- mentos. Deber
prestarse en su aplicacin especial inters a las variables que no se han podido controlar y
considerar la posibilidad de que los resultados que obtenga (rela- ciones entre las variables

independientes y dependientes) puedan deberse ms a la influencia de las variables no controladas

que a los efectos de las variables indepen- dientes.
La carencia de control se produce bsicamente por la imposibilidad de manipular la variable
independiente y por las dificultades de asignar aleatoriamente los sujetos a las condiciones
experimentales. Las principales caractersticas de un diseo cuasi- experimental seran:
el empleo de escenarios naturales, generalmente de tipo social;
la carencia de un control experimental completo;
el uso de procedimientos (produccin de observaciones mltiples) como sustitutos del control experimental intentando minimizar y, en algunos casos eliminar, los efectos de tantas fuentes de invalidez interna como sea posible;
su disponibilidad, ya que pueden realizarse cuando no es posible la aplicacin
de un diseo experimental (de laboratorio o de campo).
Pueden considerarse aportaciones ingeniosas de los diseos experimentales a investigaciones
naturales, que utilizan para la evaluacin del cambio producido por las condiciones estudiadas
grupos de control no equivalentes.
Los numerosos diseos cuasi-experimentales se pueden encuadrar en una de las dos modalidades
siguientes:
1. Diseos simples de series temporales. Realizan medidas de la variable dependiente antes y
despus de la aplicacin de la variable independiente; el posible efecto
332
Francisco Javier Tejedor
de sta puede ser estimado en funcin de la discontinuidad que presentan las medidas tomadas
despus, que se puede manifestar bien por un cambio de nivel, bien por un cambio de tendencia
o inclinacin. El anlisis de la serie temporal puede conducirnos a evaluar el efecto como continuo o
permanente, pasajero o momentneo, instantneo o retardado.
2. Diseos de grupo de control no equivalente. Donde el investigador trabaja con gru- pos ya
formados de una manera natural resultando muy difcil asegurar la equi- valencia de los grupos de
control y experimental. Se incluyen medidas pre-tratamiento y post-tratamiento, la que nos indica
la influencia de la variable independiente; el hecho de que los grupos no sean equivalentes introduce
una posible fuente de error en la interpretacin. Aunque estos diseos pierden vali- dez interna
respecto a los experimentos de campo, su aplicabilidad con grupos naturales les convierte en los
diseos ms utilizados en la investigacin educati- va y social.
El mtodo psicomtrico
Cuando el objetivo del estudio no es el establecimiento de relaciones de causalidad entre las
variables analizadas sino el anlisis de la covariacin o concomitancia entre las mismas, el
investigador puede recurrir a los mtodos psicomtricos o correlaciona- les. Su aplicacin es
procedente cuando no se tiene informacin sobre los antecedentes del hecho que se estudia y no
procede la asignacin aleatoria de los sujetos a grupos diferenciados.
El estudio de las relaciones entre variables va a llevarse a cabo en un nico momen- to temporal. El
inters del investigador reside ms en la bsqueda de regularidades o irregularidades en el conjunto
de datos analizados que en el contraste de hiptesis especficas. Su principal contribucin consiste
en determinar la importancia relativa de las variables para la descripcin y explicacin de un hecho o
fenmeno.
La finalidad, en la mayor parte de los casos, es descriptiva. Se estudia un conjunto de variables (una
seleccin rigurosa de las mismas contribuye a clarificar la interpreta- cin de los resultados) en una

muestra con el fin de obtener informacin sobre el entramado de variables e individuos analizados.
Los pasos a seguir en la aplicacin de estos mtodos seran:
especificacin de la poblacin de inters;
fijacin de la forma de obtencin de los datos;
delimitacin de las variables a estudio;
seleccin o construccin de los instrumentos para la medida de las variables;
forma o recogida de los datos (a travs de encuestas y cuestionarios);
establecimiento de las categoras de clasificacin de los datos;
tipo de anlisis a realizar, en funcin del objetivo del estudio.
Este mtodo puede concretarse en diseos muy variados, todos ellos encuadrados en una de estas
dos categoras: diseos descriptivos o diseos correlacionales.
El diseo y los diseos en la Evaluacin de Programas
333
1) Diseos descriptivos. Su objetivo fundamental es posibilitar la comparacin de comportamientos
de grupos en diferentes variables, que no estn bajo control del investigador sino que han ocurrido
de forma natural y sin intervencin experimental. Su finalidad, por tanto, es bsicamente descriptiva.
Sus limitaciones ms importantes son: la falta de control sobre la variable criterio, la imposibilidad de
establecimiento de relaciones causales y la distinta familiaridad que los grupos puedan tener
respecto a los instrumentos de medida utilizados.
Como modalidad bsica de este tipo de diseos destacamos los estudios de encues- ta (tipo survey),
con un esquema tipo de investigacin que incluye las siguientes fases:
Definicin del problema,
Establecimiento de hiptesis, considerandos,
Seleccin de variables
Seleccin/elaboracin de instrumentos
Medida de variables
Anlisis de datos, conclusiones y toma de decisiones
2) Diseos correlacionales. Nos permiten comprender la complejidad del fenmeno o hecho social
estudiado, determinando las variables relacionadas con el mismo o las dimensiones bsicas en las
que se puede descomponer. El esquema tipo de trabajo es similar al presentado para los diseos
descriptivos. Pueden distinguirse a su vez tres modalidades:
a) En la modalidad de diseos de covariacin su finalidad es descriptiva resul- tan especialmente
adecuados para los casos siguientes: realizar anlisis explora- torios en campos poco estudiados o
con estructuras complejas; establecer tipologas y/o dimensiones bsicas en un conjunto de
variables; conocer rela- ciones entre variables, que posteriormente pueden estudiarse con
metodologas experimentales.
b) La modalidad de diseos correlacionales predictivos se aplican cuando se tiene un mayor
conocimiento de la relacin entre las variables, de forma que pueden categorizarse como variables
criterio o como variables predictoras (este status puede cambiar de una investigacin a otra). Su
objetivo fundamental es predecir, pronosticar, el comportamiento de un grupo de sujetos en una
variable criterio determinada, a partir del conocimiento de su relacin con un conjunto de variables
predictoras.
c)
Una tercera modalidad de diseos correlacionales son los denominados dise- os
correlacionales causales. Se sitan en un punto intermedio entre la meto- dologa correlacional y la

experimental. Sobrepasan el nivel descriptivo y exploratorio aproximndose al explicativo, aunque

para conseguir ste sea necesario que el modelo explicitado resulte de la deduccin hipottica de
una teora. No permiten estos diseos generar nuevas teoras, sino contrastar emp- ricamente las
deducciones obtenidas en un marco conceptual. Las relaciones causales se estudiarn a partir de
las correlaciones empricas entre las variables.
334
Francisco Javier Tejedor
El argumento que lo posibilita es el hecho de considerar que la correlacin no implica causalidad,
mientras que la causalidad implica correlacin Batista y Coenders, 2000).
Todos los diseos correlacionales presentados habra que encuadrarlos en la cate- gora de
estticos, en la medida en que se analizan las relaciones entre variables o los cambios ocurridos
en momentos determinados de tiempo. La inclusin del
tiempo como variable explicativa nos conduce a la consideracin de diseos dinmicos o
evolutivos, de relativa complejidad y con un nmero importante de modalidades de aplicacin:
diseos evolutivos descriptivos, estrategias secuencia- les, transversales y longitudinales, estrategias
secuencial transversa, secuencial de cohorte, secuencial de tiempo..., todas ellas resultantes de la
consideracin aislada o conjunta de los componentes edad, momento de la medida, cohorte o
generacin a la que se pertenece.
B) La observacin (cientfica y naturalista)
Esta estrategia metodolgica bsica de investigacin en la Evaluacin de Progra- mas debe girar en
torno a la observacin realizada cientficamente; es decir, utilizando tcnicas que permitan lograr el
mximo control y objetividad de la realidad o hecho educativo, siendo recomendada la utilizacin de
diferentes modalidades metodolgi- cas de observacin: sistemtica, participativa, externa,...
La observacin desempea un importante papel en la investigacin al proporcio- nar a la ciencia los
hechos, uno de sus elementos fundamentales. Mediante la observa- cin, rigurosa y cuidada, el
investigador va descubriendo pautas que le capacitan para ir dando forma a sus teoras. La
observacin cientfica supone la seleccin deliberada de algn aspecto significativo de los
fenmenos, en cierta situacin y en un momento determinado, un detenido examen que puede
requerir el uso de procedimientos e ins- trumentos de precisin y la presentacin de resultados.
La observacin constituye pues uno de los aspectos ms importantes del mtodo cientfico (de
hecho todas las ciencias comienzan por la observacin), dependiendo, en gran parte, la consecucin
de los objetivos cientficos del rigor y la precisin con que dicha observacin se haya realizado. La
observacin requiere, para ser cientfica y en virtud de las condiciones que informan el quehacer
cientfico, ser controlada, o sea, ser objetiva y comprobable; debe emplear una serie de
procedimientos y tcni- cas que eliminen al mximo las posibles fuentes de distorsin y error y
establecer adecuadamente las condiciones bajo las cuales se ha observado un determinado
fenmeno.
La observacin tiene como finalidad obtener informacin sobre algo, por lo que hay que empezar por
delimitar el fenmeno a analizar, situndolo en el marco de una teora, de la que parte y a la que
pretende conformar. La observacin debe ser realiza- da en condiciones especficamente
establecidas, las cuales actan a modo de reglas que establecen la naturaleza de la situacin en que
se realizarn las observaciones y los procedimientos o instrumentos que debern ser utilizados.
El diseo y los diseos en la Evaluacin de Programas
335

En el contexto de la Evaluacin de Programas, la observacin cientfica se concre- ta como mtodo

que podemos denominar observacin naturalista. Este mtodo se caracteriza porque el anlisis de
la realidad se basa en la observacin de los compor- tamientos naturales del grupo social de
referencia: clase, barrio, comunidad, distri- to... Su objetivo fundamental es el estudio intensivo de los
fenmenos complejos que conforman la vida de un grupo de personas, con finalidad comprensiva
que debe conducirnos a propuestas para subsanar las carencias educativas y culturales perci- bidas.
Existen numerosas tcnicas de observacin, que se generan en funcin del ambien- te en que se
realiza (ambiente natural y ambiente artificial), en funcin de la utiliza- cin o no de registros
observacionales (observacin estructurada o no estructurada), y en funcin de la actitud que adopte
el investigador respecto al proceso social observa- do (investigacin participativa o no participativa).
El diseo determina la posibilidad de detectar y comprender los procesos y el impacto de un
programa educativo, dada la multiplicidad de factores que influencian su operacin y resultados (De
la Orden, 1990). Podemos considerar las siguientes pau- tas como esquema general de trabajo en la
aplicacin del mtodo observacional (Mar- tnez Arias, 1981; Garaigordobil, 1999):
definir las metas del estudio
establecer las muestras que sern observadas
decidir si la observacin ser participante o no
modo de entrar en contacto con los sujetos
muestrear los ambientes y situaciones en que se desarrollar
muestrear las unidades temporales
establecer el procedimiento de recogida de datos
fijar las categoras de clasificacin de las conductas a observar
considerar las posibles tcnicas de organizacin y anlisis de datos
Las ventajas fundamentales residen en la posibilidad de estudiar conductas no ver- bales y estudiar
comportamientos en toda su complejidad. Sus principales inconve- nientes para una aplicacin
optimizada seran la carencia de informacin sobre variables antecedentes que puedan ayudar a
describir los hechos observados; los ries- gos de carga subjetiva que pueden asociarse a las
conclusiones obtenidas por el obser- vador; los riesgos de reactividad de la presencia del observador
(pueden evitarse con una presencia larga o encubierta); la dificultad de establecer categoras claras
que orienten los registros; la utilizacin de muestras reducidas; el entrenamiento de los distintos
observadores; y las dificultades del investigador para introducirse en el ambiente que se desea
observar (Rodrguez, Gil y Garca Jimnez, 1996; Goetz y LeCompte, 19888; LeCompte, 1995).
La observacin como tcnica bsica en la investigacin cualitativa puede tener aplicaciones en
diferentes formas y contextos, lo que determina las diferentes estrate- gias de investigacin
cualitativa, con notas peculiares y diversidad de concreciones:
336
Francisco Javier Tejedor
estudio de casos, de grupos, estudios etnogrficos (Rodrguez, Gil y Garca Jimnez,
1999).
C) El entorno interpretativo-crtico
La elaboracin de un diseo desde la perspectiva crtica implica aceptar las siguientes premisas
bsicas (Cols y Rebollo, 1993, p. 112):
El diseo est estrechamente vinculado, conceptual y prcticamente, con la accin-intervencin

 Los receptores del programa se convierten en agentes de la evaluacin

Los procesos evaluativos los realizan y sirven a los implicados
La secuencia evaluativa es cclica: comienza con el diagnstico y termina en la
valoracin global del contexto social y personal. No se pueden aislar aspectos o
dimensiones del programa para su evaluacin.
El anlisis e interpretacin de los datos de hace de forma colectiva a la luz de un
contexto social y poltico ms amplio. En el anlisis se utiliza informacin sobre
cmo, quin, cuando y dnde se obtienen los datos
La investigacin en la accin deben ser entendida como la sntesis de dos dimen- siones
indisociables de un mismo proyecto; slo as se puede comprender la prctica; la finalidad de la
investigacin es a la vez explicativa y normativa: se investiga para perfeccionar nuestro
conocimiento, fundamentar racionalmente la prctica y transfor- mar la realidad. La actividad
desarrollada es a la vez un acto de investigacin y un acto sustantivo.
La investigacin-accin podra definirse como el estudio de una situacin social (escolar) con el fin
de mejorar la calidad de accin dentro de la misma. En la investiga- cin-accin las teoras no se
hacen vlidas de formas aislada, para ser aplicadas des- pus a la prctica. Se hacen vlidas por
medio de la prctica (Rodrguez Rojo, 1991).
La investigacin-accin propuesta por Kurt Lewin (1951) posee las siguientes caractersticas:
Es una actividad desarrollada por grupos o comunidades con el propsito de cambiar las
circunstancias de acuerdo con una idea compartida.
Es una prctica social reflexiva, donde no cabe hacer ninguna distincin entre la prctica que se
investiga y el proceso de investigacin de esa prctica. Las prcticas (sociales, escolares,) son
consideradas como actos de investiga- cin, como teoras en accin o explicaciones
hipotticas que han de ser examinadas y valoradas en trminos de su potencialidad para realizar
cam- bios valiosos. Si una prctica social como la enseanza es considerada como una actividad
reflexiva ya no existe la divisin del trabajo entre los que la ejercen y los que la investigan (Elliot y
otros, 1986, p. 12; Elliot, 1990; Elliot,
1993).
El diseo y los diseos en la Evaluacin de Programas
337
Lewin estableca un proceso disciplinado de investigacin en la accin, con un claro paralelismo con
el mtodo cientfico, y articulado en una espiral de actividades realizadas en el siguiente orden:
clarificar y diagnosticar una situacin problemtica para la prctica
formular estrategias de accin para resolver el problema
poner en prctica y evaluar las estrategias de accin
nueva aclaracin y diagnosis de la situacin
Los puntos esenciales que definen y caracterizan la investigacin-accin y el papel a desempear
por esta estrategia metodolgica de investigacin en los procesos de innovacin son analizados con
detalle por Prez Serrano (1990, pp. 53-54).
La investigacin participativa representa una propuesta metodolgica para el cam- bio social. Es una
perspectiva cientfica o ideolgica para estimular, apoyar y facilitar los procesos de transformacin.
Sus principios epistemolgicos significan una manera de acercamiento a la realidad social: se trata
de conocer transformando (Gabarrn y Hernndez, 1994, p. 23).