STUFFLEBEAM, Daniel y SHINKFIELD, Anthony. Evaluación Sistemática.

.."....~-...-.,.....,.,...."'""l'-...-. ~...."""":.""...~-..c;:".-:,7...
'
_~-:7".....-:''''7J
>
~~
...
b",
'&.
"
J/- -
': ,""~;;~:i,
.~
..
i:.
;'
".
-,.'
~~:
lo ~
;;:.,
f
. ,'~ ...
, J
::."
.... ,....
,,~
...,'.
"
~ w- '"" ~
'';';;
t~
.'.,'
~
l'
."
"
'
...
,',
!I."~-
,i
,'.
\:
\~
..
".
.a..
'j., ""
1,
o
~'('
,,'
. t
.~
I~~
I -
\~
;.~
... .~
".
'
'.
'
..
~:.
...~.
'.
'-~,;,
; ~ '""1.
; : ~~.~
..~:.'.':~~.
~;.~-t;~~,~:.
,.,.
"
",.1
,~".i
~.
'il:-5-',
'o
(:
-c.
c.
'0
c'
e
.c'
o
"c!
o
e
e
e
c.
'c-
'oe
e
o
e
o
e
e)
o
c'
e,
c~
e
e
c.
'0
~C
f":0
Daniel L. Stufflebeam
Anthony J. Shinkfield
Evaluacin sistemtica
Ttulos publicados:
Gua terica y prctica
l. J. Campian, El nio en su contexto

2. P. Waods, La escuela por dentro
3. C. Saloman, Entomos del aprendizaje con ordenadores
4. D.L. Stufflebeam y A.J. Shinkfield, Evaluacin sistemtica
5. RS. Nickerson, D.N: Perkins y E.E. Smith, Ensear a pensar
6. M'w. Apple, Educacin y poder
.
7. J. Caok-Gumperz, La construccin social de la aliabetizacin
8. T. Husn, Nuevo anlisis de la sociedad del aprendizaje
9. D. Edwards y N. Mercer, El conocimiento oompartido
!O. N. Entwistle, La comprensin del aprendizaje en el aula
11. I. Selmes, La mejora de las habilidades para el estudio
12. S.J. BaH,
La micropoltica de la escuela
13. P. Langford, El desarrollo del pensamiento conceptual en la
escuela primaria
G. Kirk, El currculum bsico
M. Warnock, Unapoltica comn de educacin
P. Freire y D. Macedo, Alfabetizacin
M'w.Apple, Maestros y textos.
H.A..Giroux, Los profesores como intelectuales
P. Freire, La naturaleza poltica de la educacin
P. Langford, El desarrollo del pensamiento conceptual en la
escuela secundaria
21. A. Garton y C. Pratt, Aprendizaje y proceso de alfabetizacin
22. L.B. Resnick y W.W. Ford, La enseanza de las matemticas
.y sus fundamentos psicolgicos
23. C.a. Cazden, El discurso en el aula
24. C. Watkins y P. Wagner, La disciplina escolar
25. V. Lewis, Desarrollo y dficit
26. O.C.D.E., Escuelas y calidad de enseanza
27. S.S. Stodolsky, La importancia del contenido de la enseanza
28. D.A. Schiin, La formacin de profesionales reflexivos
29. C. Rogers y P, Kutnick, Psicologa social de la escuela primaria
30. J.D. Wilsan, Cmo valorar la calidad de la enseanza
14.
15.
16.
17.
18.
19.
20.
',:1'.
".o',;
:.
Ediciones Paids
Barcelona.
I
_.~.'-_
..
Buenos Aires - Mxico
_'
"
'.
t,':
: :';.~.;:~.-:.:
'J:'~1,:\L
~
Ministerio
de Educacin
Y Ciencia
t)
.')
,j
Ttulo original:
Publicado
Systematic eva1uation
en ingls por Kluwer-Nijhoff Publishing,
SUMARIO
DordrechtlBoston
')
Traduccin de Carlos Losilla

Supervisin de Nuria Prez de Lara
Cubierta
')
')
:J
de Ferran Cartes
')
,')
:)
e)
)
J
,:)
13
I:J
Introduccin a la evaluacin
17
Objetivos .
Qu es la evaluacin?
Mtodos
Normas
La historia
18
()
Gua del lector .

1.
2: reimpresin, 1993
Quedan rigurosamente prohibidas, sin la autorizacin escrita de los titulares del
'Copyright", bajo las sanciones establecidas en las leyes. la reproduccin total o parcial de esta obra po~cualquier medio o procedimiento, comprendidos la reprografa y
. el tratamiento informtico. y la distribucin de ejemplares de ella mediante alquiler o
. prstamo pblicos.
@ 19B5 by Kluwer-Nijhoff Publishing

@ de la presente
edicin: Centro de Publicaciones

del Ministerio de Educacin y Ciencia
. Ciudad Universitaria, s/n, Madrid y
Ediciones Paids Ibrica, S.A.,
Mariano Cub, 92 - 08021 Barcelona
Coeditan: Centro de Publicaciones del M.E.e.
y EdiCiones Paids Ibrica, S.A.
ISBN 84-7509-445-7
Depsito legal B-9.532/l993
N.I.P.O. 176-87-169-7 .
Impreso en Nova-Grafik, S.A.,
Puigcerda, 127 - 08019 Barcelona
I
Impreso
en Espaa - Printed in Spain
JL~..",~. .- ..~--,:-f._"""""
19
25
26
32
':)
:)
,,)
El perodo pre-tyleriano, 33
La poca tyleriana, 34
.
La poca de la inocencia, 35
La poca del realismo, 36
La poca' del profesionalismo, 40
2.
,:)
~)
~.
Reparto de papeles en el trabajo e~aluativo

Test de conocimientos sobre la UnIdad 1
Ejercicio prctico.
Preguntas sin respuestas
Referencias bibliogrficas
43
53
Un anlisis de mtodos alternativos de evaluacin
65
Objetivos.
..
.
Conceptualizaciones' alternatIvas de la evaiuacin
Pseudoevaluaciones
66
66
67
::)
Investigaciones encubiertas, ~8 . , .
Estudios basados en las relacIOnespublIcas, 69
59
60
61
O
,.)
:J
O
~
(1
\('
C.
e-
("
ee
....
"Las verdaderas
Estudios
Estudios
Estudios
Estudios
e
(
e
e
(
3.
'.c
(
:
c'
e
eval~aciones
il
La evaluacin orientada hacia los objetivos: la tradicin tyleriana
91
Objetivos "
La intencin del m.todo tyleriano
92
93
(.
(;
La evaluacin y la administracin
'c
(,
5,
96
:~
,~
98
t: "
~-,
4.
Test de conocimientos sobre la unidad 3

Ejercicios prcticos
Preguntas sin respuesta
102
106
109
109
Edward A. Suchman y el mtodo cientfico de evaluacin
111
Objetivos .
.
.
.
Aspectos conceptuales de la evaluacin
112
113
(".
,,(,>,----,.,---,~"-------'~~-~,~~~~~~-~-"~~"-"<~,.~--------~~
119
del programa
124
La evaluacin y la ciencia administrativa, 125

Administracin de los estudios evaluativos: algunas reas problemticas, 126
'
Acuerdos para solucionar los problemas administrativos, 127
El pro;ed!miento evaluativo de las ocho etapas, 99

El apendlce de las valoraciones basadas en mltiples criterios, 100
(.
Evaluacin contra investigacin no evaluativa, 119

Aproximaciones metodolgicas a la evaluacin, 120
Variaciones en el plan de investigacin evaluativa, 121
Principios de planificacin de la investigacin evaluativa, 122
La valoracin de los efectos, 122
J
76
78
84
88
88
. Metfessel y Michael: una ampliacin del mtodo tyleriano
Los aspectos metodolgicos de la evaluacin
La evaluacin como proceso terminal 96

Limitaciones tcnicas 97
'
El rendimiento como' ltimo criterio, 97
Tendenciosidad y falta de alcance de sus componentes evaluativos, 98
".
72
Conclusin
.
Ejercicios prcticos
.
Preguntas 'sin respuesta
Propsitos y principios de la evaluacin, 114

Los valores y el proceso evaluativo, 115
Las presuposiciones en los estudios evaluativos, 116
Tipos de evaluacin, 118
Categoras de la evaluacin, 118 .
70
de orientacin de la decisin 72
centrados en el cliente 74 '
polticos, 74 .
,
basados en el consumidor, 75
Agunas limitaciones del mtodo tyleriano
G.'
t;;
Sumario
Procedimiento de diseo evaluativo, 93

Ventajas del mtodo tyleriano, 94
Utilizacions del modelo tyleriano, 95
.C
("
sistemtica
Estudios basados en objetivos, 70

Estudios basados en la experimentacin, 71
'f!
Evaluacin
Cuasievaluaciones
'c
1
I
Test de conocimientos sobre la unidad 4..

128
La planificacin evaluativa segn Cronbach: una sinopsis
137
Objetivos .
Introduccin a los problemas ms importantes
138
139
135
136
Una planificacin previsora y flexible, 139

La evaluacin til, 140
Enfoques evaluativos enfrentados, 142
El consenso en los elementos de la planificacin, 143
E} equilibrio en la planificacin evaluati~a: resumen, 144
Los conceptos de Cronbach' acerca de los elementos
planificacin evaluativa: Uto
de una
145
Unidades, tratamientos y operaciones de observacin, 145

UTOS: El dominio de la investigacin, 146
Definiciones de los elementos de uto y UTO, 147
*UTOS: El.dominio de aplicacin, 149
La identificacin de las cuestiones a investigar, 151
La fase divergente, 152
La fase convergente, 154
Planificacin de la comunicacin
La utilidad de los resultados, 156
La comunicacin directa, 157
La extrapolacin de los resultados, 158
156
:) \
()
10
Sumarlo
El propsito
de la evaluacin
159
Flexibilidad del diseo, 159

Las evaluaciones y la poltica: limitaciones, 159
Otras consideraciones, 160
T:st ~~ conocimientos sobre la unidad 5
EJercIcIos prcticos
.
6.
t
\
Stuf~ebeam: la evaluacin orientada hacia el perfeccio~am~ent~

Objetivos.
.
Un poco de histori; per~onaj
El desarrollo del modelo CIPP .
La elaboracin de la evaluacin CIPP por
del C "
de Estudios PDK
parte
omIte
El modelo CIPP
. de.
.'.
'.'
,
,
,
,
"compara
o con otras reCIentes propuestas eva1uatlvas
El,'
e,.IPp
como: estt~tegia pa'ra' el' per f eCClOnamIento
'
"
d'e los sis''
temas ,
Panorama de Ids ca~ego;as del CIPP
Evaluacin
Evaluacin
Evaluacin
, Evaluacin
168
171
172
8.
175
176
176
177
Stake: el mtodo evaluativo centrado en el cliente

Objetivos ,
La condicin de la fig~ra de la evaluacin
La descripcin, 241
El juicio, 242
Esquema para la recopilacin .de .datos
Evaluacin respondente'
,"',"
'
Evaluacin preordenada cont.
1'., ,
','
,
la eva uaClOnresponden te 253
Estructura sustancial de la evaluacin responden te, 260
11
181
T. R, Owens y R. L. Wolf: un mtodo contrapuesto de evaluacin
293
\)
Objetivos
Intencin del modelo de contraposicin
294
295
\)
193
235
240
241
9,
299
'~)
;)
1)
()
301
r)
1,)
Test de conocimientos sobre lallnidad8

Ejercicios prcticos
304
()
308
\)
La evaluacin iluminativa: el mtodo holstico
313
- Objetivos .
La evaluacin tradicional:
semillas de duda
311
311
315
316
La importancia del proceso de aprendizaje de la valoracin, 316

El paradigma agrcola-botnico, 317
Mac Donald y el mtodo holstico, 318
El concepto de Stake de la evaluacin como representacin
La evaluacin iluminativa: un paradigma socio-antropolgieo
243
251
()
/)
El argumento a favor, 301

El argumento en contra, 302
204
208
209
210
222
231
232
,,)
e')
el modelo judicial
-Los pros y los contras de la evaluacin contrapuesta
'")
1)
La base lgica, 299

Las cuatro etapas del modelo judicial, 300
190
()
()
265
270
285
290
290
Una forma del mtodo de la contraposicin:

de Wolf
186
'J
Observaciones generales
Ejercicios prcticos
ReferenCias bibliogrficas
Los procedimientos de contraposicin en su contexto legal, 296

La aplicabilidad en la evaluacin educacional, 296
Realizaciones prcticas, 297
Dimensiones de los procedimientos de contraposicin, 298
del contexto, 196

de entrada, 197
del proceso, 199
del producto, 201
l disei.o' de ev~luaciones . '

Metaevaluacin y normas .
Conclusin
T~st de conoci~ienos s~bre 'la u~idad 6
Ejercicios prcticos
.
'
Preguntas sin re'spuesta
7.
162
y mtodos de la evaluacin iluminativa
Caractersticas principales de la evaluacin iluminativa, 323
~)
e)
e)
,)
319
320
El contexto de los programas educativos, 320

Organizacin
,)
,)
323
,)
:)
,')
~:>
(.J
O
()
()
t
(
12
El informe y la toma de decisiones

Quin recibe un informe?, 325
La co~unica.cin del espritu del programa,
Las dIferenCIas entre los informes, 326
Problemas relacionados con la evaluacin iluminativa
326
327
Las reservas de Stenhouse, 327

La tendenciosidad experimental 328
Estudios a gran escala, 328
'
(
(
.M'N':~-'f "::
?~
T~st
conocimientos sobre la unidad 9
EJerCICIos prcticos
.
.
(
(
(
GUIA DEL LECTOR
325
la.
(
(
(
(
(
(
(
(
(
(
(
(
(
(
t
(.
(
329
339
Objetivos.
.
.
.
La definicin de evaluacin .
Critica de otras tendencias
Evaluacin formativa y sum~tiv~
:
.
.
Evaluac~~n ~ma:eul' contra evaluacin profesi;nal
EvaluaclOn mtnnseca y evaluacin final
La evaluacin sin metas
Valoracin de las necesidad~s
.
La lista de control de indicadores de la evaluacin
La metaevaluacin
Ideologas evaluati~as'
.
.
ideologa
!deologa
Ideologa
ideologa
341
Unas palabras para el lector
343
343
344
Este libro est concebido para el uso de un amplio grupo de personas

interesadas en la valoracin, ratificacin o perfeccionamiento de la calidad
de los programas. Es decir, para aficionados, especialistas en investigacin,
administradores, profesores, evaluadores y estudiantes. Todos estos grupos
pueden utilizar el libro para conocer un amplio panorama de mtodos susceptibles de ser utilizados en programas de evaluacin. No slo obtendrn una
orientacin general, sino que tambin podrn usarlo para desarrollar un nivel
bsico de habilidad a 1a hora de aplicar uno o ms de esos mtodos. El libro
puede estudiarse en el contexto de un grupo de trabajo o leerse independientemente. Puede seguirse de principio a fin, o utilizar selectivamente cada una
de sus unidades como manuales en forma de captulos. La informacin resultante es vlida para programas de evaluacin, para proyectos y para materiales
sobre educacin, salud y bienestar.
El libro contiene diez unidades. La primera y la segunda exponen, respectivamente, un panorama de la evaluacin y un anlisis de tres amplios campos
que tratan de explicarla. Las restantes unidades proporcionan exhaustivos estudios sobre ocho modelos escogidos de trabajo evaluativo.
Nosotros le sugerimos que, al principio, estudie las dos primeras unidades.
Este estudio le familiarizar con el tema de la evaluacin, cada da ms importante, en su perspectiva histrica. Tambin le ayudar a apreciar la complejidad y los problemas propios de este campo. Le informar sobre los mtodos
alternativos que se han usado y recomendado. Y, con toda probabilidad, le
ayudar a descubrir si su concepcin presente de lo que se necesita para averiguar el valor de algo es totalmente limitada, anticuada, ilgica en algunos
aspectos, no tan til como otro posible mtodo, o, por lo menos, si es opuesta
a otros puntos de vista.
345
346
346
347
347
348
352
352
separatista 353
positivista: 354
administrativa 354
relativista, 356
La profesionalizacin de la evaluacin
Test de conocimientos sobre la unidad
Ejercicios prcticos
.
:.
334
338
El mtodo evaluativo de Scriven orientado hacia el consumidor
La
La
La
La
UNIV~~:,,~~-,i:_,:
'jf j\ e lit r 1,;;)
356
la
357
370
372
373
Indice de autores
Indice analtico
375
377
t.
\
"\ ==-~~"~~~
..-
.-
~.~-----
------------
--
----
1II
')
')
14
Gula del lector
15
ficar los logros realizados en cada objetivo en una escala que vaya de ~inguno
a algunos, muchos o muchsimos. Pue~e c~talogar l~s preg~ntas qu~ ~un necesitan respuesta y las tcnicas y expenenc1as que aun preCIsa a~qulrlr. Puede
hacer otra lista de los efectos inesperados que haya cr~ldo expen~entar en sus
conocimientos, tcnicas y actitudes, como consecuenCIa del ~studlO del ma:e:
ial los cuales quiz sean positivos, al tratarse de nuevas 1deas, pero qUlza
~a~bin negativos, puesto que pueden haber contribu~do. a. aumenta; la. confusin. Le sugerimos que intente elaborar algunos eJerC1C10Spor. Sl m1smo,
con el fin de valorar los logros que, potencialmente, le haya podIdo prop~rcionar el estudio de las unidades. Si lo hace, por favor, mndenos. una copla,
que, sin duda, puede sernas de utilidad en el futuro, cuando reVIsemos este
libro. Finalmente, le recomendemos que haga planes. ;oncretos con el fin de
poner a prueba sus nuevas ideas acerca de la evaluaclOn, ya sea cr~ando evaluaciones, evaluando evaluaciones o dirigiendo un grupo que reahce evaluaciones.
Escoger sus propios objetivos

Cuando haya terminado las dos primeras unidades, le recomendamos que
se fije sus propios objetivos para el mejor uso y aprovechamiento del resto
del texto. Primero, debera usted decidir qu es 10 que pretende conseguir del
resto del estudio. Quiz desee alcanzar un conocimiento ms profundo ::cerca
de un mtodo concreto que ya est empleando en la evaluacin de un programa determinado, ya sea para valorarlo ms minuciosamente o para disponer
de una ayuda adicional; o si usted o el grupo en el que est incluido an no se
han comprometido con ningn mtodo en particular, quiz desee estudiar
varias alternativas para luego escoger o adaptar la que mejor se ajuste a su
situacin. Para llegar a una buena eleccin, le sugerimos que revise cuidadosamente el material que le proporciona la unidad 2, ya que se trata de un
anlisis comparativo de mtodos alternativos.
Cuando haya decidido si su objetivo inicial se centrar en muchas unidades o slo en una, le sugerimos que examine las pginas iniciales de cada una
de las unidades que, provisionalmente, haya decidido estudiar. En particular,
debera usted fijarse bien en la lista de los objetivos que persigue cada unidad.
Despus, ayudndose de su propio anlisis y de los objetivos reseados en la
unidad pertinente, le recomendamos que, para estudiar cada unidad, haga una
lista de sus propios objetivos en otra hoja de papel. Conservando esta hoja
a mano mientras examina cada unidad en concreto, le ser ms fcil conducir
su estudio en la direccin que considere ms conveniente, de acuerdo, a la
vez, con los objetivos fijados por cada unidad.
La evaluacin de su propio trabajo
Puede usted mismo comprobar que cada unidad contiene material destinado a ayudarle en la evaluacin de su propio trabajo. Este material est
estrechamente relacionado con los objetivos de la unidad e incluye preguntas
con respuestas alternativas cuya solucin puede comprobar usted mismo, ejercicios prcticos con las respuestas correspondientes y preguntas destinadas a
la discusin. Le animamos a trabajar con todo este material. Este esfuerzo
no slo le proporcionar informacin adicional acerca del alcance de su dominio del material ledo, sino que tambin le ayudar a reforzar su comprensin de los contenidos de la unidad y su capacidad de aplicar el mtodo
correspondiente.
Adems de trabajar con los ejercicios de evaluacin que le proporcionamos, le sugerimos que tambin realice una cierta autovaloracin comprobando
la consecucin de los objetivos que previamente se haba fijado. Puede hacer
una lista de los avances que crea haber hecho en cada objetivo. Puede clasi-
')
}
')
)
)
')
)
)
)
)
)
)
)
)
~,~:?t~~.
"""..
:v""'~~~';l~s
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
------
-_
_------~---
..
,J
('
.j
r
r:
.,.l~
,r
.i~
e
(!
e
e
:;,~ ;
INTRODUCCION
A LA EVALUACION
.~
';';.
I
jl
'j.
e
e
e
(
.
La evaluacin es una de las actividades fundamentales de los serviCiOS
profesionales ms solventes. Los clientes de estos profesionales merecen una
asistencia que satisfaga sus necesidades, que sea de una alta calidad, moderna
y eficiente. Para que los profesionales se responsabilicen de satisfacer estos
niveles, la sociedad debe someter regularmente a evaluacin a los propios
servicios profesionales. Una parte del trabajo evaluativo, la que consiste en
la regulacin y proteccin del inters pblico, debe, obviamente, ser dirigida
por organismos independientes, como agencias gubernamentales y juntas acreditadas. Pero, fundamentalmente, las evaluaciones rns importantes de los servicios profesionales estn realizadas (o encargadas) por los propios profe-
.,,(
(
(
(
(
(
sionales.
, Para mantener sus servicios al da y asegurarse de que, efectivamente,
satisfacen las necesidades de sus clientes, los profesionales deben recabar continuamente informacin oportuna sobre el trabajo evaluativo. Este proceso
incluye estudiar las necesidades de sus clientes, evaluar los mtodos que proponen o utilizan otros, seguir muy de cerca el desarrollo del servicio, valorar
los' resultados a corto y largo plazo y buscar modos de que los servicios sean
cada vez ms eficientes y efectivos. La primera pregunta que todo grupo evaluativo exterior debe plantear es si el profesional realiza peridicamente un
programa de autoeva1uacin que responde oportunamente, con las correspondientes pruebas y evidencias, a estas cuestiones.
Desafortunadamente,
el alcance de las evaluaciones que realizan los servicios profesionales -por
medio de los propios profesionales y sus agentes
acreditadosha sido, tradicionalmente, y en el mejor de los casos, desigual,
y, en general, pobre. Algunos distritos escolares grandes y agencias gubernamentales mantienen sistemas de evaluacin competentes y realizados por un
personal adecuado, y los evaluadores de agencia han, sabido ayudar a las orga-
(
(
(.
(.
,
(,
t
~
"
~/
\...
~.
~
,__~'~-~~~,.~-ccr-=~~_~
__
__,
")
J
18
Introduccin
nizaciones centrales a ser responsables con todos los implicados y a obtener

la capacidad de planificar y administrar sus servicios. Pero incluso el ms
competente de estos sistemas evaluativos no puede asumir las responsabilidades evaluativas de todos los profesionales de la agencia. No debe olvidarse el
hecho de que la evaluacin es una responsabilidad tanto personal como institucional. Las oficinas de evaluacin pueden cubrir las principales responsabilidades de una agencia y proporcionar preparacin para el servicio y ayuda tcnica al personal. Pero, a la larga, de todas maneras, cada profesional debe ser
responsable de evaluar su propio trabajo.
Este libro' ha sido escrito para ayudar a los educadores profesionales y a
aquellos que desempeen otros servicios profesionales, como servicios sociales
o mdicos, a consolidar sus conocimientos prcticos sobre la evaluacin. Su
intencin primordial es la de un manual. Se puede consultar cada unidad, que
es independiente de las dems, para obtener informacin sobre un tema en
concreto. En ger,eral, los temas incluidos han sido escogidos para proporcionar
informacin acerca de la naturaleza general de la evaluacin, para facilitar un
amplio anlisis comparativo de ciertos mtodos de evaluacin alternativos y
para exponer un profundo estudio de ocho modelos o planes alternativos para
realizar evaluaciones. Cada unidad ha sido escrita como una gua autosuficiente
que incluye objetivos de aprendizaje, informacin expositiva, preguntas y ejercicios que puede calificar usted mismo y unas pocas preguntas destinadas a
la discusin.
1.
2.
3.
5.
a la evaluacin
")
19
d e identificar
.,
um'd
Definir la eva 1uaClOn,
ta 1 como se presenta en esta
d mi
ina ,
1 base lgica que se ha proporcionado para esta. e c .
I~entificar varios mtodos de evaluacin alternatlvo:~a
roaramar evaluaIdentificar los dos princip~les. grlupos de n~~~:: ~orm~s del Joint Comciones y caracterizar los pnnclpa es rasgos
J
)
')
mittee.
b' 1
.
perodos principales expuestos en esta
Identificar y descri lr os cmco
1
"
evalua1
l'
, d e la teora y a practlca
unidad para caracterizar a evo UClon
')
~~~~~ar y definir doce funciones principales del trabajo evaluativo.
)
Como en todas las unidades, al final de sta encontrar ~~as~;r~~sdp~e~;:~
. ..
L
. o que los haga y que campa
guntas y eJerclclos. e sugenm s
.
d'
ta con sus colegas
.
ndientes
Luego examme ) lSCU
con las so 1UClOnescorrespo
.
d
1
d s los objetivos estu.
t Aunque pue a a canzar te o
las preguntas sm respues a.
.
nidad le recomendamos
diando slo el material que se proporClOna en esta u t diados consultando la
que ample sus conocimientos sobre los conc~ptos es u
bibliografa que se facilita al final de cada umdad.
)
)
)
)
Qu es la evaluacin?
Esta primera unidad, concebida como un panorama de la evaluacin, proporciona una amplia definicin de este concepto y pasa revista al desarrollo
de la evaluacin, especialmente desde 1930. Muestra cmo ha evolucionado
el trmino evaluacin, en lo que se refiere a la profundidad y amplitud de los
significados que se le han atribuido. Las muchas definiciones y funciones que
se le han aplicado a la evaluacin, dependiendo de los cambios en el contexto
poltico y social, tambin son descritas aqu. A la vez, se descubren ciertas
novedades metodolgicas clave y ciertas funciones que se han asociado con
el trabajo evaluativo. Finalmente, se discuten los esfuerzos que se han realizado recientemente para profesionalizar el trabajo evaluativo, especialmente
a travs del desarrollo de criterios profesionales. En general, la intencin de
esta unidad es familiarizar al lector con la evaluacin entendida como un
campo de estudio y una prctica que puede diferenciarse de otros afines, tales
como la investigacin, la planificacin y la administracin.
. u es la evaluacin?
S han dado muchas respuestas a la pregunta. . (q
.
e
,
'1 en aspectos menores, otras mantlenen
Mientras algunas ~e ellas var:an so o 1
d finiciones identifican esencialdiferencias sustanClales. Por ejemplo, a gunas el'
. l'o'n o las encues.,
t
como a mvestlgac
mente la evaluaclOn con otros concep os
. 'n de otras materias. Una
tas, mientras otros distinguen cla~ame~te ~a ~va~a~~ce mucho tiempo, afirma
definicin importante, y que se Vlene .an. o es e
ientras ue otras
que la evaluacin sup~ne ~?mpa~ar ob]e.tlvos Yl::~~lt:d~~, :tudio c~binado
exigen u~a con~ePt~al;~ac~~o::s
~~~:~
)
)
)
)
)
~~elas distintas definiciones formu-
)
)
ta~ad:rda~a~~3e_~1:0n
slAe~de~~s
dSi{:r~~~~:'d
m20~r~; .~~iO~:al~~c~:li~;se~ce:~apda~:t~: l~~
um a es.,
'l' .
todo lo que
estos modelos y definiciones. Esencialmente, ese ana lSlS exa~ldnad
d fi .. ,
damos en esta um a .
se ha argumentado contra Ia e mClon lque
d'
omnmente el diccionario
ue;ce cd l Joint Committee on
Esta definicin es consecuente con o
de una manera ms especfica, es la que a a opta o e "
l
l~~andards for Educational Evaluation. La definicin es ,l~ slgdUlente:b.ateva ua
.
,.
d l
o el mento e un o le o.
cin es el enjuiciamiento slstematlco e a va la
. r
l evaluacin
Esta definicin se centra en el trmino valor e lmp lca .~ue a
'd
. ..
D d 1
to en que la evaluaclOn, en un sentl o
siempre supone JU1C10. es e e m?~en
inforfnacin'segura
ptimo, emplea procedimientos ob]et1:?s para obtener una.,.
1 deni:re imparcial, ya est ligada a la valoraclOn. En efecto, su meta ese~cla
Objetivos
Esta unidad se propone cinco objetivos de aprendizaje. Cuando haya estudiado a fondo el captulo, usted debera ser capaz de realizar los siguientes
objetivos:
1,
)
)-
. ~-
"
o",.
L;~'
~__ ":"===::-===========~~~
es
o,,
_o_~~ __ .~
'\.
. J
.. , __
;.,)
s.:;.: )
l_"
.t
(
(
(
(
(
(
f
(
(
{
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
'{-
20
minar el valor de algo que est siendo enjuiciado. De acuerdo con esta definicin, si un estudio no informa de cun buena o mala es una cosa, no se trata
de una evaluacin.
Algunos autores se han mostrado contrarios a esta posicin. Creen que
esta orientacin valorativa conduce a interpretaciones radicales y subjetivas
que conceden un poder inmerecido a los evaluadores e impiden el progreso.
Afirman, por as decirlo, que la belleza reside en los ojos del observadot>~
y que las valoraciones de un grupo no deben tener precedencia sobre las de
otro a la hora de determinar si algo es bueno o malo. Tambin afirman que
la evaluacin es, demasiado a menudo, una fuerza negativa y, en general, mala
psicologa. Pero sus argumentos slo nos convencen de que la mayora de las
evaluaciones no son determinantes y de que es difcil hacerlas bien; quizs
existen muchas evaluaciones distintas, y posiblemente contradictorias en apariencia, de un obreto dado, dependiendo de la posicin valorativa que se adopta. Pero, inevitablemente, la valoracin debe desempear un papel. Y si sirve
al progreso y se utiliza para identificar los. puntos dbiles y los fuertes, y para
tender hacia una mejora, puede ser una fuerza positiva. Como puede verse,
la evaluacin es una empresa compleja.
Creemos que este aspecto de la complejidad no debe ser interpretado en
el sentido de que estas evaluaciones slo deben ser consideradas como procesos
mentales que se producen de un modo natural, conducindonos as hacia una
gran variedad de interpretaciones sobre el valor de algo. Al contrario: significa que hay que poner mucho cuidado no slo cuando se recopile la informacin, que debe ser de calidad, sino tambin cuando se clarifique y proporcione una base lgica que justifique las perspectivas de valoracin utilizadas
para interpretar los resultados.
Como se puede ver, en la afirmacin anterior incluimos la posibilidad

de emplear muchas perspectivas de valoracin. Consideramos que esta posibilidad es fundamental para los evaluadores y profesionales en general. A menudo, existen distintos pblicos, que exigen o necesitan cosas distintas de un
servicio profesional. Por ejemplo, a las familias acaudaladas quiz les importe
ms el hecho de que las escuelas pblicas preparen a los estudiantes para entrar en colegios de lite y en universidades, mientras que los nuevos inmigrantes, que son pobres y hablan muy poco ingls, quiz rechacen las escuelas
que no ofrecen una educacin bilinge, no atienden a los nios atrasados y no
promueven la integracin social. A la hora de evaluar un distrito escolar
en concreto, un evaluador competente debe tener en cuenta, segn nuestra
definicin, entre otras cosas, estas dos perspectivas de valoracin. De hecho,
podramos afirmar que las necesidades que unen o separan a los clientes de
un determinado servicio son las que deben considerarse como base para decidir qu tipo de informacin se debe recopilar y a qu criterios recurrir para
determinar la vala o el mrito de un servicio.
Los trminos vala y mrito tambin deben ser definidos para enriquecer
I
I
Introdccln
a la evaluacin
21
.,
S CRlVEN (1981) ya ha indicado dlas trascend evaluaclOn
_
nuestro concepto e
. 11
1 importante papel que esempenan
dentales diferencias q~e hay ent~e e d~s ~ ~. Por ejemplo, un programa pa.ra
a la hora de determmar. el ~a or dr groducir profesores que enseen Hlsformar a profesores de Hlstona, pod
p
e se pueda confiar en ellos?
,
toria a otros de un mo d o e f ec t"IVo y e manera qu
debe hacer? Si lo hace, sera
h 'b'
1
ue se supone que
d
En general, ara len o q
'l'd
Por eJ'emplo si la socieda ya no
.
d que no sea va I o.
,
d
meritono, pero pue e d H'
i porque ya tiene ms de los que pu~ e
necesita ms profesores
e Istor a
y bueno _y quiz sea mejor
. , d e1 proemplear, entonces aunque e.1 programa l'sea mu nivel de expanSlOn
'd
ontmuar con e mismo
A
que otros parecI OS-, c .
d
tar sus escasos recursos.
unque
.
,
1
mejor
manera
e
gas
grama qUlza no sea a
'l'd
d
bemos
indicar
que
un
progra.,
ede no ser va I o, e
f
un programa mentono
pu puede ser va'l'd
..
I o. P u ede que no sea bueno armar
ma que no sea mentor~o n~
exista una gran escasez de ellos.
.
malos profesores de ~lstor.l~ aun~ue u bases de valoracin deben ser temdas
Hasta aqu, esta dlscuslon so re q
.
do tres importantes fuentes
en c~enta a la hora de evaluar algo, ha proporClOna
de criterios:
1.
2.
3.
Las distintas expectativas de los clientes.

.,
icio en cuesuon.
.
1 . d 1
El mrito o exce enclas e serv
. ( d ir su validez potencial).
Hasta qu punto el servicio es necesarzo es ec ,
ten an en cuenta los tres aspectos cuanEn general, recomend~~os que s~eem~s necesario considerar dos aspect~s
do se realice una evaluaclOn. Pero c
.. pueda ser de mucha call. d 1
'd d Aunque un serVICIO
ms: la viabiltda .Y a equl a...
de distintos grupos de clientes y se cendad atienda los dderentes obJeuvos.
. , f lle en lo que se refiere a los
qUlza a
tre 'en u n rea que de verdad lo 'dnecesite,
d
valores de la viabilidad y la eqUl a.,
de los que necesita o pue.
d
nsuma mas recursos
1
Por ejemplo, pue e que ca
l' .
En cualquiera de los dos casos, e
de causar infinidad de problemas po Idu.cfios'den esas reas para hacerlo ms
. ..
debe ser mo I ca o
programa, en prmClplO,
l"
d 1 ervicio debera mencionar esto
viable. Obviamente, una buena eva u~:lOn re qSueel servicio sea ms sencillo,
.
r una so lUCl0n pa a
.
y, en su caso, proporClOna
d
d ms apropiado y sea polucamente
'1'
l'
los recursos e un mo o
..
l' bl
uUlce
uempo
y
d es , en princlplO, ap lca e a
viable. eEste
argumento
en favor dI'e a vla bTd
11 a
todas las sociedades.
encionar aqu la equidad, est
La ltima base valorativa que vamos ~ dmd democrticas. Se exigen las
l.
d con las SOClea es
predominantemente re aClOna a
1
d
reclama la libertad para tomismas oportunidades para todo e ~un.? Y/:de resultar incompleta si no
dos. En los Estados Unidos, .u~a e~al~~cl~~be Uestar pensado y ser asequible
tiene en cuenta que un S~Vl~lO p~bd d Es importante indicar que nuestro
para todos los miembros e la. so~e a.
ficiente decir que los servicios pconcepto de equidad es comp eJo. o es su
~
22
Evaluaci.1] sistemtica
blicos educativos deben poder ser requeridos y usados por todo el mundo.
Como ha dicho KELLAGHAN (1982), para que exista verdaderamente la igualdad deben existir siete indicios de equidad:
l.
Los servicios pblicos educativos de una sociedad deben estar pensados

para toda la poblacin.
2. Todos los sectores de la sociedad deben tener el mismo tipo de acceso a
los servicios.
3. Todos los grupos deben disfrutar de una participacin equitativa en la
utilizacin de los servicios.
4. Los niveles de logro, por ejemplo, los aos en el sistema educativo, no
sern significativamente distintos para los diferentes grupos.
5. Los conocimientos exigidos para alcanzar los objetivos del servicio no deben ser sustancialmente diferentes para los distintos grupos.
6, Las aspiraciones vitales que se persiguen deben ser similares en todos los
grupos sociales.
7. El sistema del servicio deber producir resultados similares en lo que se
refiere a la mejora en el bienestar de todos los grupos sociales.
De la discusin anterior, se puede colegir que la definicin de evaluacin
que hemos propuesto es engaosa en su aparente simplicidad. Cuando examinemos seriamente el trmino base valor, debemos inevitablemente tomar en
consideracin tanto las perspectivas de valoracin como la informacin, la
combinacin de ambas con el fin de conseguir averiguar el valor de algo y,
por ltimo, la transformacin de los resultados en conocimientos operativos
que se utilizarn para suministrar o no suministrar (o para comprar o no
comprar) ciertos servicios y para mejorar los que ya se estn ofreciendo.
Antes de terminar con este tema de la definicin de evaluacin, debemos
considerar otros tres aspectos de la evaluacin. El primero se refiere a si la
evaluacin necesita ser comparativa; el segundo, a las principales utilizaciones
de la evaluacin; y el tercero se pregunta hasta qu punto los evaluadores
necesitan cualificaciones especiales.
Algunos autores (Stake, Scriven, Cronbach) han indicado que la evaluacin puede centrarse en un solo producto o servicio, o compararlo con otras
alternativas vlidas. Por otra parte, han debatido los mritos de estas dos
posturas, para acabar quedndose con una de ellas. Nosotros creemos que,
dependiendo de las circunstancias, una evaluacin puede ser, legtimamente,
tanto comparativa como no comparativa.
Algo que se debe tener muy en consideracin es la naturaleza de la aud::ncia y qu es lo que necesita saber acerca del objeto de la evaluacin. Si la
audiencia est compuesta por consumidores que desean escoger un producto
o servicio, la evaluacin debe ser comparativa y ayudar a los consumidores a
saber qu alternativas son convenientes y cmo compararlas crticamente. Si,
Introduccin
a la evaluacin
23
')
)
or el contrario, la audiencia incluye promotores o consumidores que. ya estn
p
'd os con el"
1 desarrollo o el uso de un programa determInado,
es
comprometl
d 1
.
la evaluacin se centre intensamente en la evo UClon e programa
~m~
. 1
.
ara intentar mejorarlo. A veces sucede, sin embargo, mc u.so SI un grupo .es
~otalmente devoto de cierto servicio o producto, que, al conSIderar ot~as OPC,IOnes, obtiene mejores resultados de su proveedor o encuentra una a ternatlva
.
d
E~ general, creemos que la evaluacin debe se~ ~omparatIva ant.es e que
empif'ce el proceso o antes de suscribirse a un serVICIO,no compara~lVa duran
t el 'proceso (para que permita concentrarse en 10 que resulte mejor para e
d:sarrollo del servicio), y peridicamente comparativa d.espus del pr~~~so y/o
la utilizacin continuada, para que el camino quede abIerto ante POSI es mam~m
yores avances.
.,
.
o no de'1'
Hablando en general que una evaluacIOn deba S, comparatIva
, consegUIr
. de esa eva 1uaclOD,
. , en c.ua~to a su utI 1de de 10 que se quiera
pe~ ,
r fiere Nosotros consideramos tres utilizaciones pnnCIpales: perfeczaClOn se e
.
T
.,
fi re
cionamiento, recapitulacin y ejemplificacin. La primera. utI IzaCIon se r.e. e
a la informacin que se proporciona para asegurar la calIdad de un terVlCIo ~
para mejorarla. Hay que prestar mucha atencin a la naturaleza y as neceSId des de los consumidores y a la relacin existente entre el proceso y los
a
'
resultados.
En este punto, , los evalua d ores d eb enan
estar mu y end contacto
d ..
con el personal del programa y servir com~ guas para ~as tomas e eCISIOnes. El plan de evaluacin necesita ser f1exl~le y receptlv~. Cuando .ra meta
principal es mejorar algo, la evaluaci~n debena parecerse mas al estudIO de un
caso que a un experimento comparativo.
.,
.
La segunda' funcin ms importante de la evaluacIOn :s hacer recapItulaciones o informes sumarios. Se trata de anlisis retrospectIvos acerca d~ ~royectos ya terminados, programas ya hechos o productos ya aca~ados. La In ormacin no va dirigida al personal encargado de su des.a;rollo, smo a l~s patrocinadmes y consumidores. Debe incluir una valora.cIOn de la efica~la. de l~
invertido siendo tambin importantes las comparaCIOnes con los mas lmpo tantes c;mpetidores. La informacin que :: deriva de estos profun~os .estudios y de las encuestas comparativas es ml.</ interesante para la audIenCIa en
este tipo de situaciones.
,,
1
La tercera utilizacin es la ejemplificacin. Bsicame~te, la eva~uacIOn y a
investigacin son actividades distintas. La primera se dedIca a consl~erar todos
los criterios que se utilizan en la determinaci~n de un. valor, mIe~tras que
la segunda se limita ms bien al estudio de CIertas vanabl.es. que tienen ~n
inters terico. Las evaluaciones suelen utilizar mtodos subJetIvo~ y no, est~n
tan estrechamente controladas ni sujetas a manipulacin como las mvest,IgacIOnes. No obstante, los resultados obtenidos, ~n un cierto per~do .~e tlemp~~
evaluando servicios pueden facilitar informaCIn que luego sera utIhza~a pa
crear y ensayar una teora. Y, sin duda, los resultados de las evaluaCIOnes a
')
'>
')
')
')
')
")
')
)
')
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
')
)
)
)
t
f
24
Introduccin
:r
(
(
(
(
menudo deberan conducir

d
d h h
::cretas
e ~nteresantes en
~~~e~~ede 1: in:~s~igaaCi~~~sp~~~~Uts:~~:sc:~~
en ~~~~aes Importante (u~ los evaluadores, al planificar sus estudios, ;engan
inve t'
,5'ue sus conc USlOnespueden ser utilizadas en el contexto de una
s IgaC,lOnque se proponga una comprensin ms amplia de los fenme
d en, la evaluacin, Con una planificacin ms minuci
nos examIna os
.~adosa, las evaluaclOnes pueden servir no slo com
' d
osa y CUItlvos
d
o gUla e programas operatigacio~e~o:~:::~~~n
cu:sSt~~n~~n~:~r~~~~~es;
sino tambin para ilustrar inves-
ASI pues, parece claro que 1

l'
,
plicado. A la hora d
1 'fi a eVd~~~clOn es un concepto altamente come p aDl car o 1t1glr una
1 .,
d b
cuenta una serie de cuestiones:
eva uaClOn, e en tenerse en
(
(
(
(
(
(
(
(
(
(
(
(
,
(
(
(
(
(
(
~QQu~va,lorc:s ddebbenser mencionados al juzgar los resultados?

e ue cntenos e en ser adoptad
'1 d b
.La
1 " d b
os y cua es e en tener preferencia?
e
eva uaClOn e e ser comparativa?
La evaluacin debe estar e p . d
'
bilizar a los profesionales or~ aclta a par~ gUIar el desarrollo, responsal
ciones acerca de los fenm'
e~ar l~s dOPclOneso promover nuevas in tuienos Imp lca os?
Si se tienen en cuenta estas cuestiones c

1n d
'
en los resultados y los utilice lId
on de n e que la audIencia confe
, os eva ua ores eben m t
'
'.
o normas en su trabajOoC,
an ener CIertos crltenos
' omo consecuenCla creemo
1 d' , , ,
eva 1uaciones profesionales
l'
. f'
s que a IstInCIOn entre
go, todo el mundo recurre Ya~va uaClo~es In ormales es importante, Desde lueaceptar o comprar Cosas Peroasosegundas cu~nddo se trata de emplear, opinar,
.
.
curre emaSla o a menudo
1uaClOnes resultan poco o n d'
, ,
que nuestras eva.
. . ,
a a slstematlcas Y en mod
1
.
Dl slqUlera para nosotros mis m
E
h
o a guno convIncentes,
os, n muc os casos pr f "
tras conclusiones tuvieran m'
1
'.
,e
ennamos que nues.
,
as re evanCla ngor Y ob' t' 'd d E
sitos, SIn embargo, requeriran a menudo'"
Je ,IVI a,
stos requilos que nosotros tenemos
mas tIempo, dInero Y habilidad de
As, en muchas ocasi~nes' las buenas
1 .
por un personal especializado 'Aun ue
eva uaCl~~:s deben ser realizadas
cin es sistemtica, muchas 've q. nudesdtradenDlClOn anrma que la evaluaces, SIn u a no lo es L
.
proponer en este libro es un a
'd'
,o
que Intentamos
clase de evaluacin que tenem espeCIe e evaluacin que sea justificable, La
os en mente requier
f
'
por parte de una o ms p
e un es uerzo sIstemtico
, ,
ersonas que posean en
' "
mIDlmo en lo que se renere
1
"
,prInCIplO,
un cierto nivel
a as tecDlcas evaluativa
'
casos, P ensamos que el concl'
d
d'
. s que se eXIgen en estos
d
1
enzu o estu 10 que P
l'b
ayu ar a estudiante a alcanzar 1 ' 1 b' ,
ropone este l ro puede
para llevar a buen trmino n
te Dlve aSlCOde habilidad que se necesita
ues ro concepto de evalu . ,
,
, .
eva 1uar 1as evaluaciones reall' d
aczon Ststematzca Y para
za as por otros,
'-
:i
__
..
_.-
__
__
Y.,.
a la evaluacin
25
Mtodos
Un aspecto que diferencia la evaluacin sistemtica de la evaluacin informal es, sin lugar a dudas, el rea metodolgica, Cuando pasamos de las eva.
luaciones realizadas con juicios rpidos e intuitivos a las que suponen una
rigurosa recopilacin de resultados que deben ser considerados de un modo
efectivo, debemos necesariamente enfrentarnos a las complejas reas de la
epistemologa, las reglas empricas, las ciencias informativas, los proyectos de
investigacin, las valoraciones, las estadsticas, la comunicacin, etc. Muchos
principios, instrumentos y estrategias de estas reas son importantes para
la evaluacin sistemtica, El evaluador bien preparado debe dominar convenientemente todas las tcnicas de estas reas y mantenerse informado acerca
de los avances tecnolgicos que puedan resuItarle tiles, Estos evaluadores,
que pueden convertirse en pioneros y contribuir al desarrollo de su profesin,
suelen aumentar las crticas de los mtodos ya existentes y la aparicin de otros
nuevos.
A lo largo de los aos, muchos evaluadores han escogido, e incluso defendido, la utilizacin exclusiva de unas pocas tcnicas, Algunos han equiparado
la evaluacin a sus mtodos favoritos, como el diseo experimental, las pruebas estandarizadas o las visitas personales, Otros han atacado duramente la
estrechez de miras respecto de la adecuacin de los mtodos y, en algunos
casos, han abogado por sustituir su tcnica favorita, como por ejemplo el estudio de un caso. Nosotros creemos que ambas posiciones son inencaces, inadecuadas y, a veces, parciales,
A cambio, recomendamos un mtodo eclctico. As, creemos que los evaluadores deberan conocer un amplio espectro de tcnicas adecuadas y saber
cmo aplicarlas en los distintos c~ntextos evaluativos, De este modo, podran
valorar, en cada situacin, qu tcnicas son potencialmente aplicables y cules
pueden servir de un modo ms encaz a los propsitos particulares de la evaluacin en cuestin,
Entre las reas tcnicas que, segn creemos, deben conocer a fondo los
evaluadores profesionales se encuentran las siguientes: las entrevistas, los
informes preliminares, el anlisis de contenidos, la observacin, el anlisis poltico, el anlisis econmico, el examen investigativo, los informes tcnicos,
el estudio del caso, la evaluacin sin metas, la escucha de opiniones contrapuestas, las asociaciones de defensa, las listas de control, la elaboracin de
pruebas, el anlisis estadstico, el diseo de la investigacin, el anlisis sistemtico, la teorizacin y la administracin del proyecto. Es recomendable consultar las fuentes de informacin general que, acerca de estas reas tcnicas,
pueden encontrarse en SCRIVEN(1974); ANDERsoN,BALL y MURPHY (1974);
BRINKERHOFFy otros (1983) y SMITH (1981a y 1981b),
J
26
Normas
Una de las caractersticas de las prcticas profesionales es que sus miembros deben cumplir exigentes normas referentes al trabajo y al servicio que
realizan. Por 10 general, estas normas ya vienen formuladas por los miembros
de la profesin, y, en algunos casos, por el gobierno. Ejemplos tpicos de
ello son las normas existentes en las reas de la ley, la medicina y la contabilidad, con el fin de asesorar y valorar la prctica en cuestin, y, en algunos
casos, llegar a conclusiones acerca de ciertos procedimientos ilegales. Hasta
muy recientemente, los evaluadores de programas no disponan de normas
explcitas para la evaluacin, pero esta situacin est cambiando.
Recientemente, se han publicado dos conjuntos de normas para las evaluaciones. Uno consiste en un grupo de treinta normas formuladas por el Joint
Committee on Standards for Educational Evaluation. El otro es una serie de
cincuenta y cinco normas formuladas por la Evaluation Research Society (ERS).
Aqu vamos a centrarnos en el primero por unas razones determinadas.
Cuidadosas comparaciones realizadas por investigadores independientes han
demostrado que casi todo lo que aparece en las normas de la ERS es examinado con mayor profundidad en las Normas del Joint Committee. Es ms, la
primera serie ha sido elaborada por un comit cuyos diecisiete miembros han
sido nombrados por doce organizaciones profesionales que abarcan un total
de alrededor de dos millones de miembros, mientras que las normas de la ERS
han sido elaboradas por un grupo de alrededor de dos mil miembros. Otra
diferencia clave es que las Normas del Joint Committee incluyen tanto al
cliente como al que realiza los servicios evaluativos.
El texto Standards for Evaluations of Educational Programs, Projects, and
Material (Joint Committee, 1981) fue elaborado en un perodo de cinco aos.
Este comit est formado por alrededor de doscientas personas relacionadas
con la prctica profesional de la evaluacin, que realizan la labor de crear,
valorar y clarificar principios ampliamente compartidos con el fin de que sirvan
como base para evaluaciones sobre programas educativos. El resultado son las
treinta normas resumidas en la tabla 1-1. Es particularmente notable el continuo proceso que llevan a cabo reexaminando y revisando las normas. En esencia, el Joint Committee concluye afirmando que las treinta normas son necesarias y suficientes para asegurar que las evaluaciones sean tiles, factibles,
precisas y vlidas. Se aconseja al lector que estudie en profundidad ese libro
de Normas.
En general, las Normas del Joint Committee aconsejan que los evalu dores
y los clientes cooperen entre s para que las evaluaciones puedan cumplir
estas cuatro condiciones principales:
1I
J
Introduccin
1.
2.
3.
4.
a la evaluacin
27
Una evaluacin debe ser til. Debe estar dirigida a aquellas personas y
grupos que estn relacionados con la tarea de realizar aquello que se est
evaluando o que sean sus ms directos responsables. ~ebe ayudarles a
identificar y examinar lo bueno y lo malo de este objeto. ;oebe pon.er
muchsimo nfasis en plantearles las cuestiones de mayor lmportanCla.
Debe proporcionarles informes claros de una manera o~rtuna. Y, en general, debe facilitar no slo informaciones acerca de vlrtudes y defectos,
sino tambin soluciones para mejorarlo todo.
.
Debe ser factible. Debe emplear procedimientos evaluatlvos ~ue p~~dan
ser utilizados sin demasiados problemas. Debe tomar en conslderaclOn y
aplicar controles razonables sobre aquellas .f~erzas polticas q~e. ~uedan,
de alguna manera, inmiscuirse en la evoluclOn. Y deben ser dmgldas de
un modo eficiente.
Debe ser tica. Debe estar basada en comprar: :sos explcitos que ase~ure?
la necesaria cooperacin, la proteccin de los c:erechos de las par~es lmplicadas y la honradez de los resultados. Adems, debe proporcl~nar un
informe equitativo que revele todas las virtudes y d.efectos del obJet~.,
Debe ser exacta. Debe describir con claridad el objeto en su evoluclOn y
en su contexto. Debe revelar las virtudes y defectos del plan .de eval~acin, de los procedimientos y de las conclu~iones. ?ebe estar l~bre de lilfluencias. Y debe proporcionar unas concluslOnes vahdas y fidedlgnas.
J
')
J
')
')
')
")
"')
")
)
)
)
)
)
)
)
TABLA
1-1.
Resumen del texto Standards for Evaluations

Programs, Projects, and Materials
of Educational
)
)
Al
Normas de utilidad
Descripcin de la audiencia
La audiencia relacionada con la evaluacin o afectada por ella debe ser descrita con el fin de que todas sus necesidades puedan ser satisfechas.
A2
Las normas de utilidad estn concebidas para asegurar que una evaluacin
proporcione las informaciones prcticas que necesita una audiencia determinada. Estas normas son:
)
)
Credibilidad del evaluador
Las personas que dirigen la evaluacin deben ser honradas y a la vez competentes para poder llevarla a cabo, con el fin de que sus concluslOnes
alcancen el mximo de credibilidad y aceptacin.
.)
(
)
)
('
e
c.
e
e
28
A3
e
e
A4
e
A5
(\
A6
Claridad del informe
Difusin
Al
La evaluacin debe ser planificada y dirigida conociendo las distintas posturas de los diferentes grupos de inters, con el fin de obtener su coopercin, y para qu~ cualquier posible intento, por parte de alguno de estos
grupos, de abrevia!' las operaciones evaluativas o de influir en los resultados o utilizarlos, pueda ser prevenido o contrarrestado.
B3
,,
,.
(..
t.,
~
~
1-0
informacin
'con el valor suficiente
como para
Normas de honradez
Las normas de honradez estn concebidas para asegurar que una evaluacin
sea realizada legal y ticamente, y, a la vez, con el debido respeto por el
bienest'ar de todos los que intervienen en ella, as como de aquellos que
estn interesados en las conclusiones.
Cl
Obligacin. formal
Las obligaciones de las partes formales de
hacer, cmo hacerlo, quin debe hacerlo y
en un compromiso escrito, con el fin de que
cumplir todas las condiciones del compromiso
deben ser dados a conocer a los clientes

o adecuadas, para que puedan valorar y
una evaluacin (qu hay que

cundo) deben ser plasmadas
estas partes estn obligadas a
o a renegociarlo formalmente.
del informe
C2
El conflicto de intereses
El conflicto de intereses, frecuentemente
inevitable,
debe ser afrontado
abierta y honestamente,
con el fin de que no interfiera en el proceso eva-
(.
(.
(.
Eficacia de los costes

La evaluacin debe producir
justificar lo que ha costado.
del informe
Oportunidad
29
valorativa
Los resultados de la evaluacin

y a otras audiencias interesadas
utilizar las conclusiones.
(
(
(
Interpretacin
B2
El informe de la evaluacin debe describir el objeto que se est evaluando

y su cont~~to, a la vez que los propsitos, procedimientos
y resultados de
la evaluaclOn, c~n el fin de que las audiencias comprendan en seguida qu
se ha hecho, como se ha hecho, qu tipo de informacin se ha obtenido
qu conclusiones se han sacado y qu recomendaciones se hacen.
'
(
(
Alcance y seleccin de la informacin
Las perspectivas, procedim~entos y bases lgicas utilizadas para interpretar

los resultados deben ser cUidadosamente descri_tas, con el fin de que queden
cIaras las bases para el juicio valorativo.
:,C
(
a la evaluacin
La ~nformacin recopilada debe tener el suficiente alcance y haber sido se17cclOnada de tal man7ra como para incluir en s misma las cuestiones per~Inentes acerca ~el objeto de la evaluacin y responder a las necesidades e
Intereses de audiencias concretas.
luativo y sus resultados.

Las evaluaciones deben ser planificadas y dirigidas de manera
a la audiencia a continuar investigando por s misma.
B
que animen
Procedimientos
prcticos
Los pr~c~dimientos evaluativos deben ser prcticos, para que los problemas
sean mInlmos y pueda obtenerse la informacin necesaria.
Informes
completos
y claros
Los informes orales o escritos de una evaluacin deben ser francos, directos
y honestos en la revelacin de las conclusiones pertinentes, incluyendo las
Normas de viabilidad
Las nor~as de viabilidad estn concebidas para asegurar que una evaluacin
sea realIsta, prudente, diplomtica y moderada. Son stas:'
,
Bl
C3
limitaciones
C4
de la evaluacin.
El derecho del pblico
a saber
Las partes formales de una evaluacin deben respetar y asegurar el derecho del pblico a saber, dentro de los lmites de unos principios y estatutos
determinados,
como por ejemplo la seguridad del pblico y el derecho a
la in timidad.
30
Evaluacin
C5
Los derechos humanos
sistemtIca
Introduccin
D4
Relaciones humanas
D5
Informacin equilibrada
D6
Responsabilidad fiscal
D?
La cuota del evaluador y los gastos efectuados deben reflejar los procedimientos econ6micos del trabajo y, por otra parte, ser prudentes y ticamente responsables.
Normas de precisi6n
D8
D9
D2
Dl0
Descripcin de intenciones y procedimientos

Las intenciones
dos y descritos
y valorados.
y los procedimientos de la eva1uaci6n deben ser concebi.

con todo detalle, de manera que puedan ser identificados
Anlisis de la informaci6n cualitativa
Conclusiones justificadas
Las conclusiones a las que se llegue en una evaluacin deben ser explcitamente justificadas, para que las audiencias puedan valorarlas.,
D3
Anlisis de la informacin cuantitativa
La informacin cualitativa de una evaluacin debe ser adecuada y sistemticamente analizada con el fin de asegurar que las interpretaciones sean
fidedignas.
AnliSis del contexto

El contexto en el que est incluido el programa, proyecto o material debe
ser examinado en su ms mnimo detalle, con el fin de identificar sus posibles influencias' sobre el objeto.
Control sistemtico de los datos
La informaci6n cuantitativa de una evaluaci6n debe ser adecuada y sistemticamente analizada con el fin de asegurar que las interpretaciones sean
fidedignas.
Identificaci6n del objeto

.E1 objeto de la evaluacin (programa, proyecto o material) debe ser exa.
minado en profundidad, de manera que su(s) estructura(s) pueda(n) ser
claramente identificada(s).
Determinar la exactitud
Los datos recopilados, sistematizados y finalmente presentados. en una evaluaci6n deben ser revisados y corregidos, con el fin de que los resultados
de la evaluacin no sean inexactos.
Las normas de precisin estn concebidas para asegurar que una eva1uaci6n
revele y transmita una informaci6n tcnicamente exacta acerca de las caractersticas del objeto que est siendo estudiado, para poder determinar
. su. valor. o su mrito. Estas normas son:
D1
Determinar la validez
Los instrumentos y procedimientos para la recopilacin de informaci6n deben ser escogidos o creados y luego utilizados de manera que aseguren que
la informaci6n obtenida es lo suficientemente exacta para ser utilizada de, bidamente.
La evaluacin debe ser completa y honrada en la presentaci6n de las virtudes y defectos del objeto de la investigaci6n, para que las virtudes puedan
ser mejoradas y los problemas solucionados.
C8
Fuentes de informaci6n fiables
Los instrumentos y procedimientos para la recopilacin de informacin

deben ser escogidos o creados y luego utilizados de manera que aseguren
que la interpretacin final es vlida para su uso.
Los evaluadores deben respetar la dignidad y la integridad humanas en su

trato con otras personas relacionadas con la eva1uaci6n.
C7
31
Las fuentes de informaci)1 deben ser descritas con todo detalle, para que
.pueda valorarse si la informaci6n es suficiente.
Las evaluaciones deben ser preparadas y dirigidas de tal manera que sean
respetados y protegidos los derechos y el bienestar de los seres humanos.
C6
a la evaluacin
Dll
Objetividad del informe

Los procedimientos de las evaluaciones deben proporcionar 1a~ garantas
suficientes para proteger los resultados y los informes de la evaluacin con.
tra la distorsin de los sentimientos e inclinaciones personales de cualquiera
de las partes formales.
FUENTE: The ]oint Comittee on Standards for Educational Evaluation, McGraw-Hill, 1981.
c)
,)
O
!:J
o
O
~)
(
(
{
32
Las Normas del Joint Committee pueden aplicarse en cualquier etapa del
proceso evaluativo: deben ser tenidas en cuenta, por ejemplo, a la hora de
decidir si hay que realizar la evaluacin o no, a la hora de planear la evaluacin y llevarla a cabo, al presentar los resultados y al aplicar las conclusiones.
Por lo tanto, la utilizacin de las Normas no slo sirve para controlar la
calidad de un informe ya terminado, sino tambin como asesoramiento durante la realizacin de la evaluacin. Un segundo punto que hay que tener en
cuenta es que las distintas normas son ms o menos importantes en cada
etapa de la evaluacin. As, quienes utilicen las normas deben estudiarlas y
analizarlas comparativamente con el fin de poder aplicarlas juiciosamente en
cada una de las etapas de la evaluacin. El resumen de las treinta normas
presentado en la tabla 1-1 es un punto de partida, pero recomendamos al
lector que consiga y estudie el texto completo.
El trabajo erel Joint Committee se ha basado en dos premisas bsicas: que
la evaluacin es una actividad humana tan esencial como inevitable, y que la
evaluacin solvente debe proporcionar una comprensin ms amplia y una
mejora de la educacin. Adems, el comit se gui por la creencia de que una
serie de normas concienzudamente elaboradas puede desempear un papel vital
a la hora de mejorar la prctica de la evaluacin educativa. En otras palabras:
un papel metaevaluativo.
Otro punto trascendental con respecto a las Normas del Joint Committee
es que se trata de un documento vivo. Un comit permanente, formado por
doce organizaciones y respaldado por el Centro de Evaluacin de la Universidad de Western Michigan, controla la utilizacin de las normas y carga con la
responsabilidad de ponerlas al da y perfeccionarlas peridicamente. El comit
anima a los usuarios para que les proporcionen informacin basada en crticas
y, especialmente, en los usos ms actuales de las normas.
(
(
(
(
(
(
(
(
(
{
(
(
(
(
(
(
(
(
(
La historia
(
(
(
(
(
(
Ninguna introduccin a la evaluacin entendida como una prctica profesional estar completa si no se presta la debida atencin a 'la evolucin histrica del tema. Cualquier profesin, para poder satisfacer las necesidades de
sus clientes, debe evolucionar de acuerdo con los cambios de las necesidades
sociales y teniendo en cuenta todos los avances tericos y tcnicos. A menos
que los miembros de una profesin elaboren y sostengan una perspectiva
histrica sobre su trabajo, probablemente seguirn teniendo siempre una concepcin limitada de su funcin social, sin poder estimular la innovacin ni
(
(
(
,-4
1. Este apartado
sobre la historia de la evaluacin
est basado en un anlisis de
George Madaus y Daniel Srufflebeam, que aparece resumido en George MADAUS, Michael
SCRIVEN y Daniel STUFFLEBEAM, Evaluation Models, Boston: Kluwer-Nijhoff,
1983,
Introduccin
a la evaluacin
33
contribuir a ella. Se dice a menudo que los que no conocen su propia historia
estn condenados a repetirla. Nosotros facilitaremos nicamente un breve esbozo histrico con el fin de informar al lector sobre los acontecimientos ms
significativos ocurridos en el campo de la evaluacin.
Nuestro anlisis histrico se basa en un trabajo clave de Ralph \'/. Tyler
(vase unidad 3), que a menudo es considerado el padre de la evaluacin educativa. Utilizando sus contribuciones iniciales como principal punto de referencia, hemos establecido cinco perodos bsicos: 1) el perodo pre-Tyler, que
abarca hasta 1930; 2) la poca tyleriana, que va desde 1930 hasta 1945; 3) la
poca de la inocencia, desde 1946 hasta 1957; 4) la poca del realismo,
que cubre el perodo 1958-1972; y 5) la poca del profesionalismo, que incluye la evolucin experimentada desde 1973 hasta el presente.
El perodo pre-tyleriano
La evaluacin sistemtica no era desconocida antes de 1930, pero tampoco
era un movimiento reconocible. El hecho de evaluar individuos y programas
apareci, como mnimo, en el ao 2000 a.c., cuando algunos oficiales chinos
dirigieron unas investigaciones de los servicios civiles, y en el siglo v a.c.,
cuando Scrates y otros maestros griegos utilizaron cuestionarios evaluativos
como parte de su metodologa didctica. En el siglo XIX, en Inglaterra, se
utilizaron comisiones reales para evaluar los servicios pblicos. En 1845, en
los Estados Unidos, Horace Mann dirigi una evaluacin, basada en tests de
rendimiento, para saber si las escuelas de Bastan educaban bien a sus estudiantes. Entre 1887 y 1898, Joseph Rice estudi los conocimientos en ortografa de 33 000 estudiantes de un amplio sector escolar y sac la conclusin
de que la gran insistencia en la enseanza de la ortografa, que entonces estaba
en boga, no haba producido avances sustanciales en el aprendizaje. Este estudio est generalmente reconocido como la primera evaluacin formal sobre
un programa educativo realizado en Amrica. Tambin en los ltimos aos
del siglo pasado, empez a crearse el movimiento para la acreditacin de instituciones educativas y programas en los Estados Unidos; desde entonces, el
proceso de acreditacin se ha convertido en uno de los principales medios
para evaluar los servicios educativos. Una aproximacin an mayor a la evaluacin se produjo, en los primeros aos de este siglo, con la aparicin de
los tests estandarizados. Este acontecimiento formaba parte de un gran esfuerzo que pretenda que la educacin fuera ms eficiente para que un mayor
nmero de estudiantes pudiera utilizar los recursos entonces disponibles en
las escuelas.
. El breve resumen anterior viene a confirmar que la evaluacin sistemtica
tIene una larga historia. Mientras que slo muy recientemente se ha llegado
a considerar la evaluacin como una prctica profesional, buena parte del tra-
')
!"""'
l'
')
')
34
La poca tyleriana
I
I
En los primeros aos de la dcada de los treinta, Ralph Tyler acu el

trmino evaluacin educacional y public una amplia y renovadora visin del
currculo * y la evaluacin. En un perodo de alrededor de quince aos, desarroll sus intuiciones hasta que conformaron un mtodo que supona una clara
alternativa a otras perspectivas.
La principal caracterstica de su mtodo era que se centraba en unos objetivos claramente fijados. De hecho, defina la evaluacin como algo que determina si han sido alcanzados ciertos objetivos. Como consecuencia de esta definicin, los evaluadores deban ayudar a quienes elaboraban currculos a clarificar el rendimiento de los estudiantes, que haba sido precisamente determinado a travs de la realizacin de un currculo. Los objetivos resultantes, referidos al rendimiento, proporcionaban entonces la base para elaborar
un currculo y un test de desarrollo. La elaboracin del currculo quedaba as influida tanto por los contenidos que deban aprenderse como por la
evolucin del rendimiento de los estudiantes. La tecnologa de los tests de
desarrollo iba a servir de base para la elaboracin de tests relacionados con los
objetivos, y tambin a los relacionados con las diferencias individuales y con
las normas nacionales o del estado.
Durante la dcada de los treinta, los Estados Unidos, como el resto del
mundo, cay en las profundidades de la Gran Depresin. Las escuelas, como
otras instituciones pblicas, se estancaron en una ausencia total de recursos y
optimismo. Justo cuando Roosevelt intentaba con su New Deal sacar de este
abismo a la economa americana, John Dewey y algunos otros intentaron contribuir a que la educacin se convirtiera en un sistema dinmico e innovador,
que a la vez se fuera renovando a s mismo. Con el nombre de Educacin
Progresiva, este movimiento reflej la filosofa del pragmatismo y emple los
instrumentos de la psicologa conductista.
Tyler se vio metido de lleno en este movimiento cuando le encargaron dirigir la parte de investigacin del hoy famoso Eight-Year Study (SMITH y
TYLER, 1942). Este estudio fue pensado para examinar la efectividad de ciertos currculos renovadores y estrategias didcticas q :e se estaban empleando
en treinta escuelas a lo largo de toda Amrica. El eS[Jdio resulta notable por-
* Dado el significado amplio que tiene la palabra curriculum en ingls, utilizada en

general para designar todo aquello que gira en torno a la actividad docente y no slo al
plan de estudios, hemos preferido conservarla, una vez castellanizada, a 10 largo de toda
la obra. [T.]
a la evaluacin
35
')
que ayud a Tyler a difundir, ensayar y demostrar su concepcin de la evaluacin educacional de una manera inmediata.
A travs de este programa de mbito nacional, Tyler pudo publicar lo que
l vea como un mtodo que tena claras ventajas sobre los dems. Desde el
momento en que la evaluacin tyleriana inclua comparaciones internas entre
los resultados y los objetivos, ya no necesitaba recurrir a costosas y problemticas comparaciones entre grupos de control y grupos experimentales. El mtodo se centra en determinar el grado de xito, por lo que se opone a mtodos
indirectos que determinan factores como la calidad de la enseanza, el nmero
de libros que hay en la biblioteca, los materiales y la participacin de la comunidad. y adems, las evaluaciones tvlerianas no se ven demasiado afectadas
por la fiabilidad de las diferencias e~tre las puntuaciones individuales de los
alumnos ya que generalmente cubren una franja ms amplia de variables
exgenas que las cubiertas por los test: tipificados. Todos estos argumentos
fueron bien recibidos por el sector de la educacin americana, y a mediados
de los aos 40 Ralph Tyler ya haba conseguido la categora suficiente como
para ejercer una gran influencia sobre el panorama educacional en los prximos
veinticinco aos.
.,
bajo evaluativo moderno contina basndose en ideas y tcnicas que ya se

aplicaban hace mucho tiempo, como por ejemplo las encuestas, las comisiones, la acreditacin y las comparaciones experimentales de varios programas.
I~
Introduccin
'l
')
')
)
)
')
)
')
)
)
)
La poca de la inocencia
)
)
Para la sociedad americana, los ltimos aos 40 y la dcada de los 50

fue un tiempo para olvidar la guerra, dejar atrs la Depresin, crear y desarrollar aptitudes, adquirir recursos, y lograr disfrutar de la buena vida.
Podramos haber calificado esta poca como el perodo de expansin, pero hay
que tener en cuenta que tambin exista una amplia complacencia a la hora
de enjuiciar los graves problemas de aquella sociedad. Como consecuencia,
creemos que es mejor referirnos a esta poca como al Perodo de inocencia
o incluso de la irresponsabilidad social.
Adems de ser una poca de plenitud, este perodo fue un tiempo de pobreza y desesperacin en las c:udades del interior y en las reas rurales, pero
al parecer casi nadie, excepto los afectados, se dio cuenta. Fue un perodo de
profundos prejuicios raciales y de segregacin, pero gran parte de la poblacin
blanca pareca inconsciente de esta enfermedad. Fue un perodo de exorbitado consumo y de gran despilfarro de los recursos naturales, sin tener en
cuenta que un da estos recursos iban a agotarse. Fue un perodo de un abrumador desarrollo de la industria y la capacidad militar, pero se tomaron muy
pocas precau~iones contra los l?erjuicios que iban a sufrir el paisaje y las futuras generaCIOnes.
Ms que de la evaluacin educacional, se trat de una expansin de las
of.~~t~seducacionales, del personal y de las facilidades. Se construyeron nuevos
edlhcIOS. Aparecieron nuevos tipos de instituciones educativas, como los co-
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
.)
\
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
{
(
(
(
36
legios comunitarios. Los pequeos distritos escolares se unieron a otros con el

fin de proporcionar un ms amplio abanico de servicios educativos, como ya 10
hacan los sistemas escolares ms grandes, incluyendo servicios para la salud
mental y fsica, consejos escolares, comedores, enseanzas musicales, amplios
programas deportivos, educacin comercial y tcnica y educacin social. S~
incrementaron desmesuradamente las inscripciones en los programas educatlvos para maestros y, en general, las inscripciones en los colegios aumentaron
espectacu1armen te.
Este panorama general de la sociedad y la .educacin se reflej tambin en
la evaluacin educacional. Mientras se produca esta gran expansin de la educacin, la sociedad no pareca tener un gran inters en formar profesores competentes, en localizar y solucionar las necesidades de. los menos privilegiados
o en identificar y solucionar los problemas del sistema educativo. Los educadores escriban sobre la evaluacin y sobre la recopilacin de los datos ms
importantes, pero, al parecer, no traducan estos esfuerzos en intentos de mejorar los servicios 'educativos. Esta falta de objetivos provoc tambin el retraso de los aspectos tcnicos de la evaluacin. Hubo un considerable desarrollo
de los instrumentos y estrategias aplicables a los distintos mtodos evaluativos,
como los tests, la experimentacin comparativa y la coincidencia entre resultados y objetivos. Como consecuencia, los educadores dispusieron de nuevos servicios de tests y de nuevas maneras de calificarlos, de algoritmos para
designar objetivos de comportamiento, de taxonomas de objetivos, de nuevos
modelos experimentales y de nuevos procedimientos estadsticos para analizar
los datos educativos. Pero estas contribuciones no se derivaban de un anlisis
de la informacin necesaria para valorar y perfeccionar la educacin, ni representaban un desarrollo de la experiencia escolar.
Durante este perodo, las evaluaciones educacionales dependan, como ya 10
haban hecho antes~ sobre todo, de los lmites de los distritos escolares locales.
Las escuelas, pues, dependan del inters y la habilidad locales para poder
hacer o no una evaluacin. Las agencias federales y estatales an no estaban
demasiado introducidas en el campo de la evaluacin de programas. Los fondos
destinados a las evaluaciones provenan de las arcas locales, de fundaciones
o de organizaciones profesionales. Esta ausencia de ayudas exteriores y de
apoyos para la realizacin de evaluaciones en todos los niveles de la educacin
iba a concluir con la llegada del prximo perodo de la historia de la evaluacin.
(
(
La poca del realismo
La poca de la inocencia en la evaluacin tuvo un brusco final con el auge,

a finales de los aos 50 y principios de los 60, de las evaluaciones de proyectos
de currculos a gran escala, financiadas por estamentos federales. Los educadores se encontraron, durante este perodo, con que ya no podan hacer o no
(
{
(
.{
Introduccin
a la evaluacin
37
hacer las evaluaciones a su antojo, y que los futuros progresos de las metodologas evaluativas deberan estar relacionados con conceptos como utilidad y
relevancia. Su violento despertar, en este perodo, marc el final de una era
de complacencia y ayud a emprender profundos cambios, guiados por el inters pblico y dependiendo del dinero de los contribuyentes para su financiacin, 10 cual condujo a que la evaluacin se convirtiera en una industria y en
una profesin.
Como consecuencia del lanzamiento, por parte de la Unin Sovitica, del
Sputnik 1 en 1957, el gobierno federal respondi promulgando la National
Defense Education Act de 1958. Entre otras cosas, esta acta proporcion nuevos programas educativos en matemticas, ciencias e idiomas, y cre servicios
asesores y programas de encuestas en los distritos escolares. Aparecieron, as,
un cierto nmero de nuevos proyectos nacionales para el desarrollo de currculos, especialmente en las reas de ciencias y matemticas. Finalmente, se asignaron fondos para evaluar estos programas.
Los cuatro mtodos evaluativos expuestos hasta aqu estaban ya representados en las evaluaciones que se realizaron en este perodo. Primero, el mtodo Tyler fue usado para definir los objetivos de los nuevos currculos y
para valorar el grado en que estos objetivos quedaban, ms tarde, alcanzados.
Segundo, los nuevos tests estandarizados a nivel nacional sirvieron para reflejar mejor los objetivos y los contenidos de los nuevos currculos. Tercero, el
mtodo del criterio profesional fue usado 'para valorar las propuestas y verificar peridicamente los resultados. Finalmente, muchos evaluadores se comprometieron a evaluar los resultados del desarrollo del currculo a travs de pruebas concretas.
A principios de los aos 60, algunos de los ms importantes evaluadores
educacionales se dieron cuenta de que su trabajo y sus conclusiones no ayudaban demasiado a los que elaboraban currculos, y no respondan a las preguntas sobre los programas que planteaban aquellos que necesitaban comprobar
su grado de efectividad. La flor y nata de la comunidad evaluativa educacional particip en estos esfuerzos para evaluar los nuevos currculos; estaban
adecuadamente financiados y aplicaban cuidadosamente la tecnologa que haba
ido desarrollndose durante la pasada dcada o incluso antes. A pesar de todo
esto, empezaron a darse cuenta de que sus esfuerzos no tenan xito.
Esta valoracin negativa qued perfectamente reflejada en un histrico artculo de CRONBACH (1963: vase unidad 5). Examinando los esfuerzos evaluativos del pasado reciente, critic duramente los conceptos en los que se
haban basado las evaluaciones por su falta de relevancia y utilidad, y acon~
sej a los evaluadores que abandonaran sus inclinaciones de entonces y se
dedicaran a hacer evaluaciones basadas en comparaciones de los resultados
obtenidos en tests tipificados, realizados por grupos experimentales y de control. Cronbach recomend a los evaluadores que reconceptualizaran la evaluacin no como si se tratara de una carrera de caballos entre programas compe-

")
38
Introduccin
Evaluacin
a la evaluacin
39
sistemtica
tidores, sino como un proceso consistente en recoger y formalizar informacin

que pueda ayudar a quienes elaboran los currculos. Cronbach arga que el
anlisis y la relacin de los resultados de un test podran ser, probablemente,
de ms utilidad para los profesores que informarles sobre el promedio del
total de las calificaciones. Cuando fue publicado por primera vez, el consejo
de Cronbach y sus recomendaciones pasaron inadvertidos durante mucho
tiempo, exceptuando un pequeo crculo de especialistas en evaluaciones. De
cualquier manera, el artculo era bsico y contena hiptesis sobre la conceptualizacin y la direccin de evaluaciones que iban a considerarse totalmente
vlidas al cabo de muy pocos aos.
En 1965, conducida por la clarividencia del senador Hubert Humphrey, el
carismtico liderazgo del presidente John Kennedy y la gran habilidad poltica
del presidente Lyndon Johnson, se desencaden la Guerra contra la Pobreza.
Estos programas invirtieron billones de dlares en reformas que pretendan
igualar y aumentar las oportunidades para todos los ciudadanos de los Estados
Unidos a travs de una amplia serie de servicios sanitarios, sociales y educativos. La expansin de la economa permiti que el gobierno federal financiara estos programas, y se consigui un gran apoyo de toda la nacin para
desarrollar 10 que el presidente J ohnson llam la Gran Sociedad.
Junto a este esfuerzo masivo para ayudar a los necesitados, se produjo, en
ciertas regiones, una cierta preocupacin por el posible despilfarro de las
inversiones si no se exigan algunos requisitos en la contabilidad. En respuesta
a estas preocupaciones, el senador Robert Kennedy y algunos de sus colegas
del congreso promulgaron el Acta de la Educacin Elemental y Secundaria de
1965 que inclua requisitos especficos para la evaluacin. Como resultado,
el primer artculo de esa acta (que aspiraba a proporcionar una educacin compensatoria a los nios menos favorecidos) exiga especficamente que cada distrito escolar recibiera fondos, basndose en ese artculo, para que evaluara
anualmente hasta qu punto los proyectos que haba realizado al amparo del
artculo 1 haban alcanzado sus objetivos, todo ello utilizando los datos de
tests debidamente estandarizados. Este requisito, con su referencia especfica
a las encuestas y a la valoracin de la congruencia entre resultados y objetivos,
refleja cmo se encontraba la evaluacin educacional en aquella poca. Y, 10
que es ms importante, el requisito oblig a los educadores a que trasladaran
sus preocupaciones, en 10 que se refiere a la evaluacin educacional, desde
el campo de la teora y las suposiciones al de la prctica y el perfeccionamiento.
Cuando los distritos escolares empezaron a responder a los requisitos evaluativos del artculo 1, comprobaron rpidamente qu: los instrumentos y estrategias que empleaban entonces los evaluadores, resultaban totalmente inapropiados para aquel trabajo. Los tests estandarizados que se haban elaborado
con el fin de determinar el promedio del grado de conocimientos de los estudiantes no sirvieron para casi nada cuando hubo que diagnosticar las necesi-
dades y valorar los avances de los mnos menos favorecidos, cuyo desarrollo
educativo se encontraba muy por detrs del de sus compaeros de clase media.
Adems, dichos tests eran relativamente inadecuados para discernir las diferencias entre escuelas y/o programas, principalmente a causa de sus propiedades psicomtricas y el alcance de sus contenidos. En lugar de determinar los
resultados directamente relacionados con una escuela o un programa en concreto, estos tests determinaban, en el mejor de los casos, el grado de aprendizaje, centrndose casi en los mismos rasgos que los tests de aptitudes (KELLAGHAN,MADAUSY AIRASIAN,1980).
La utilizacin de tests estandarizados plante otro problema: un mtodo
de evaluacin como ste se opona a los preceptos del mtodo tyleriano. Desde
el momento en que Tyler reconoca y enfatizaba las diferencias entre los objetivos de un lugar u otro, a este modelo le resultara difcil adaptar a todo
el mbito nacional sus programas de tc:sts estandarizados. Para ser comercialmente viables, estos programas regularizados deban olvidar ciertos objetivos
bastante extendidos e importantes para ciertos lugares, en favor de otros
que eran importantes para la mayora de los distritos. Es ms, haba una
escasez de informacin acerca de las necesidades y niveles de xito de los
nios menos afortunados, 10 cual limitaba a los profesores a la hora de fijar
objetivos de comportamiento que fueran significativos para este grupo de
alumnos.
Los intentos de aislar los efectos del artculo 1 a travs de la utilizacin
de planes establecidos por grupos de controlo experimentales fallaron, debido,
principalmente, a la incapacidad de cumplir los requisitos de estos planes.
y las inspecciones in situ realizadas por expertos '-aunque fueron muy utilizadas por responsables gubernamentalesno resultaron aceptables como primera estrategia evaluativa porque se consider que este mtodo estaba falto de
la objetividad y el rigor estip~lados en la legislacin de la ESEA. Cuando
se informaba de que no se haba llegado a ninguna conclusin, 10 cual ocurra
frecuentemente, se daba muy poca informacin acerca de los procedimientos
empleados y, a menudo, no se proporcionaban datos sobre cmo se haban
llevado a cabo. Frecuenteme:te, el nfasis puesto en las puntuaciones de los
tests desviaba la atencin de~ examen de los procedimientos o de su ejecucin.
Como resultado de la creciente inquietud producida por los esfuerzos realizados en las evaluaciones con resultados siempre negativos, el Phi Delta
Kappa cre el National Study Committee on Evaluation (STUFFLEBEAM
y otros,
1971). Tras examinar el panorama, este comit concluy que la evaluacin educacional era vctima de una grave enfermedad y recomend el desarrollo de
nuevas teoras y mtodos de evaluacin, as como nuevos programas para preparar a los propios evaluadores. Al mismo tiempo, empezaron a aparecer nuevas conceptualizaciones sobre la evaluacin. PROVUS(1971), HAMMOND
(1967),
ErsNER (1967) y METFESSEL Y MrcHAEL (1967) propusieron una reforma
del modelo Tyler. GLASER(1963), TYLER (1967) y POPHAM(1971) recomen-
)
')
)
)
)
')
')
')
')
)
')
)
)
)
)
)
)
)
)
,)
)
)
)
)
)
t )
)
f
)
)
)
j
1
,
(
(
f
(
(
(
(
(
(
{
(
40
daron los tests basados en criterios como una alternativa a los tests basados en
normas. COOK(1966) pidi la utilizacin del mtodo de anlisis sistemtico
para la evaluacin de programas. SCRIVEN(1967), STUFFLEBEAM(1967, 1971)
Y STAKE(1967) crearon nuevos modelos de evaluacin que se alejaban radicalmente de los mtodos anteriores. Estas conceptualizaciones reconocan la
necesidad de evaluar las metas, examinar las inversiones, y analizar el perfeccionamiento y la prestacin de los servicios, as como determinar los resultados
que se desean (o no se desean) obtener del programa. Tambin insistieron en
la necesidad de enjuiciar el mrito o el valor del objeto de la evaluacin. Los
ltimos aos de la dcada de los 60 y los primeros de la de los 70 vibraron
con las descripciones, discusiones y debates acerca de cmo deba ser concebida la evaluacin. Las unidades que siguen tratan en profundidad los mtodos
alternativos ql.!e empezaron a tomar forma en este perodo.
.La poca del profesionalismo
(
(
(
(
(
(
(
(
(
(
{
(
(
l
(
(
(
,(
l
.j
Aproximadamente en 1973, el campo de la evaluacin empez a cristalizar

y a emerger como una profesin diferenciada de las dems, relacionada con
(pero tambin distinta de) sus antecedentes de investigacin y control. El
campo de la evaluacin ha avanzado considerablemente como profesin, aunque es instructivo considerar su desarrollo en el contexto del perodo anterior.
En aquellos momentos, como ya hemos explicado, los evaluadores se enfrentaban a una crisis de identidad. No saban muy bien cul era su papel,
si deban ser investigadores, administradores de tests, profesores, organizadores o filsofos. Cualquier calificacin especial que se les pudiera dar no resultara clara. No existan organizaciones profesionales dedicadas a la evaluacin
entendida como especialidad, ni tampoco publicaciones especializadas a travs
de las cuales los evaluadores pudieran intercambiar informacin acerca de su
trabajo. Esencialmente, no exista literatura acerca de la evaluacin educacion~l, excepto u:~os inditos que circulaban nic-amente entre crculos de especialistas. Haba muy pocas oportunidades de prepararse para ejercer un
servicio evaluativo. Las normas claras para una buena prctica se vean confinadas a las encuestas educacionales y psicolgicas. El campo de la evaluacin
era amorfo y fragmentado. Muchas evaluaciones estaban dirigidas por personal
sin preparacin, otras por investigadores metodolgicos que intentaban sin
xito adaptar sus mtodos a las evaluaciones educativas (GUBA, 1966). Los
estudios evaluativos estaban cargados de confusin, ansiedad y hostilidad. La
evaluacin educacional como especialidad tena poca talla y ninguna dimensin
poltica.
Con este teln de fondo, el progreso realizado por los evaluadores educacionales para profesionalizar su especialidad durante los aos 70 es totalmente destacable. Algunas publicaciones, como Educational Evaluation and Policy
Introduccin
a la evaluacin
41
Analysis, Studies in Evaluation, CEDR Quarterly, Evaluation Review, New

Directions for Program Evaluation, Evaluation and Program Planning y Evaluation News, aparecieron en aquella poca, y luego han demostrado ser excelentes vehculos para recoger y.difundir informacin acerca de las diversas
facetas de la evaluacin educacional. A diferencia de 10 que ocurra quince aos
atrs, numerosos libros y monografas tratan ahora exclusivamente de la evaluacin. De hecho, el problema actual no es encontrar literatura sobre la evaluacin, sino seguir el ritmo de lo que se publica. El grupo May 12, la Division
H de AERA, la Evaluation Network y la Eva1uation Research Society han proporcionado excelentes oportunidades para que pueda establecerse un intercambio profesional entre personas relacionadas con la evaluacin y otros programas.
Muchas universidades han empezado a ofrecer por lo menos un curso
de metodologa evaluativa (distinguindola de la metodologa investigativa).
Unas pocas -como la Universidad de I1linois, la Universidad de Stanford, el
Boston College, la UCLA, la Universidad de Minnesota y la Universidad de
Western Michiganhan elaborado programas para graduarse en evaluacin.
Durante siete aos, la Oficina de Educacin de los Estados Unidos patrocin
un programa nacional de preparacin para el servicio evaluativo destinado a
educadores especiales (BRINKERHOFFy otros, 1983), y otras organizaciones
profesionales han ofrecido talleres e institutos que tratan distintos temas relacionados con la evaluacin. Se han fundado centros para la investigacin y el
desarrollo de la evaluacin, entre los que se encuentran la unidad de evaluacin
del Northwest Regional Educational Laboratory, el Center for the Study
of Evaluation de la UCLA, el Stanford Evaluation Consortium, el Center for Instructional Research and Curriculum Evaluation de la Universidad
de I1linois, el Evaluation Center de la Universidad de Western Michigan y
el Center for the Study of Testing, Evaluation, and Educational Policy del
Bastan College. El estado de Louisiana ha establecido un sistema y un programa para la titulacin de evaluadores, Massachusetts est trabajando actualmente en un programa evaluativo similar y Dick JOHNSON(1980) ha elaborado un primer borrador de una gua telefnica de evaluadores y agencias de
evaluacin.
De un modo creciente, la especialidad est considerando la metaevaluacin
(SCRIVEN,1975; STUFFLEBEAM,1978) como un medio para asegurar y comprobar la calidad de las evaluaciones. Como ya se ha indicado, un comit (Joint
Committee, 1981), formado por doce organizaciones profesionales, ha publicado una clarificadora serie de normas para juzgar las evaluaciones de los programas educativos, proyectos y materiales, y ha establecido un mecanismo
(Joint Committee, 1981) para repasar y revisar las Normas y facilitar su uso.
Adems, se han publicado muchos otros grupos de normas importantes para
la evaluacin educacional (Evaluation News, mayo de 1981). Y han aparecido.
muchas tcnicas nuevas, tal y como se describe a lo largo de este libro.
')
42
Evaluacin
sistemtica
Introduccin
a la evaluacin
')
43
")
Este considerable desarrollo profesional de la evaluacin educacional ha

producido diversos resultados. Primero, al producirse un indudable aumento
y mejora de la comunicacin en la especialidad, ha aparecido tambin una
enorme cantidad de chchara (CRONBACH, 1980). Segundo, aunque la preparacin y titulacin de evaluadores ha mejorado con el fin de que las instituciones puedan disponer de servicios realizados por personas cualificadas, algunos lamentan que este desarrollo pueda reducirse a una especie de club
cerrado y exclusivista (STAKE, 1981). Tercero, la cooperacin entre organizaciones profesionales relacionadas con la evaluacin educacional, promovida
por el Joint Committee on Standards for Educational Evaluation, es un prometedor pero frgil compromiso para fomentar la ejecucin y utilizacin de
trabajos evaluativos de alta calidad. Cuarto, mientras la creacin de nuevas
organizaciones profesionales ha incrementado la comunicacin y reducido la
fragmentacin de la especialidad evaluativa, an persiste una profunda divisin entre la Division H de AERA, la Evaluation Network y la Evaluation
Research Society ..Finalmente, aunque se ha incrementado la comunicacin entre
los partidarios de los mtodos positivistas/cuantitativos
y los que proponen
mtodos fenomenolgicos/cualitativos,
existe, actualmente, el peligro de que
se produzca una polarizacin entre estos dos campos.
A pesar de la creciente bsqueda de mtodos adecuados, del incremento
de la comunicacin y el entendimiento entre los principales tericos, y del desarrollo de nuevas tcnicas, la prctica actual de la evaluacin ha cambiado muy
poco en la mayora de los casos. Est claro que es necesario renovar los esfuerzos para educar a los evaluadores en las nuevas tcnicas, para poner a
prueba e informar de los resultados conseguidos mediante estas nuevas tcnicas y para desarrollar tcnicas adicionales. En todos estos esfuerzos, debe
ponerse el nfasis en conseguir que la metodologa responda a las necesidades
de los profesionales y de aquellos a quienes sirven.
Hemos presentado la evaluacin educacional como una profesin dinmica y an en desarrollo. Aunque se trata de una profesin an inmadura, no
hay duda de que poco a poco se va convirtiendo en una parte identificable del
amplio aparato profesional y gubernamental de educacin, salud y bienestar.
La prediccin que se sola hacer en los aos 60, en el sentido de que la evaluacin de programas formalizada era slo una moda que pronto desaparecera,
ha demostrado ser falsa, y hay fuertes indicios de que esta especialidad continuar creciendo en importancia, complejidad y valor. Los logros alcanzados
desde el final de la dcada de los sesenta son importantes, pero an existen
muchas deficiencias obvias y son necesarias una investigacin y evolucin
constantes.
Reparto de papeles en el trabajo evaluativo

Hasta aqu hemos presentado y discutido una definicin bsica. de la
evaluacin, descrito algunos de los mtodos relacionados con el trabajO evaluativo, sealado las normas de esta profesin y proporcionado un panorama
histrico. Hecho esto, concluiremos echando un vistazo a los papeles que se
desempean en una evaluacin.
.
Tanto si una evaluacin es dirigida por una persona como sIlo es por
muchas deben desempearse unos cuantos papeles, y cuando se considera el
trabajo 'relacionado con apoyar y promover la evaluacin como profesin, este
abanico de papeles se convierte en mucho ms amplio. Todos los que estn
relacionados con la evaluacin, ya sea en generala como especialistas, deben
tener una amplia visin de todos estos papeles con el fin de que su participacin y su colaboracin se integren en la labor de equipo. Quiz nada sea tan
destructivo con respecto a la potencial contribucin en una evaluacin como
el hecho de pensar que esa evaluacin es una investigacin independiente realizada por un solo investigador. Por el contrario, la evaluacin alcanza su mejor
momento cuando se desarrolla como un trabajo de equipo.
Con la intencin de proporcionar un amplio panorama del trabajo relacionado con las evaluaciones individuales y con la profesin evaluativa en general, hemos descrito doce papeles bsicos. Aunque otros autores describan
un panorama distinto y le asignen funciones diferentes, nosotros creemos q.u.e
nuestra clasificacin de papeles abarca muchas, si no todas, de las responsablhdades laborales que los evaluadores pueden llevar a cabo. Es ms, en nuestra
experiencia, esos doce papeles se han asociado con la actual distribucin del
trabajo. Desde luego, no siempre. existe una correspondencia unvoca entre
papel y trabajo, pero creemos que esos doce papeles pueden resultar tiles
para el lector, no slo para que reflexione sobre la amplia serie de actividades
evaluativas existentes, sino tambin para que tenga en cuenta los posibles
estudios que se pueden realizar en torno a la evaluacin. Lo que sigue, pues,
son unas breves definici( :les de los doce papeles bsicos que pueden desempearse en una evaluacin.
,
")
')
')
~ ')
)
)
')
~)
)
)
)
)
)
)
)
f )
)
)
El cliente de la evaluacIn
Cualquier evaluacin de utilidad implica la plena participacin de un
cliente. Esto es cierto tanto si el estudio est dirigido por una persona para
servir a sus propios propsitos como si 10 est por muchas. El cliente es la
persona o grupo que utilizar los resultados para algn propsito, como la
seleccin o el perfeccionamiento de un programa. El grupo de los clientes
incluye tanto a quien haya encargado la evaluacin, en primer lugar, como a
.)
/)
)
1)
)
)
.' )
1
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
44
todos aquellos que esperan los resultados para hacer uso de ellos. De una
forma u otra, el tiempo y los recursos requeridos para una evaluacin son proporcionados por el cliente o por una o ms personas pertenecientes a un grupo
de clientes. Los clientes son, tambin, el origen crucial de las cuestiones planteadas y de los criterios empleados para interpretar los resultados; tambin
tienen la responsabilidad primordial de aplicar las conclusiones; y, a menudo,
una evaluacin no puede realizarse si el cliente no lo dispone todo con mucho
cuidado y trata de asegurar de que existir una plena cooperacin entre todos
los que intervienen en el trabajo.
Puede encontrarse una gran variedad de clientes en las organizaciones educativas, sociales y de la salud. Esto incluye, por ejemplo, inspectores de distritos escolares, administradores hospitalarios y directores de agencias; directores de colegios, presidentes de departamento y administradores de becas; y
maestros, psiclogos y mdicos. Si la evaluacin consiste en contribuir al mximo a la hora de proporcionar servicios meritorios y vlidos a la gente;debern
intervenir y aprovecharse toda esta serie de clientes. Adems, creemos que
deben estar activamente comprometidos en el encargo y la planificacin de las
evaluaciones, con el fin de obtener la informacin que necesitan para hacer
bien sus trabajos. Por lo tanto, para satisfacer estas expectativas, deben estar
adecuadamente preparados, tanto como todas aquellas personas que van a
realizar los otros once papeles. Queremos subrayar que, quiz, la misin ms
importante de los programas de preparacin para una evaluacin -tanto
para
antes del servicio como para su realizacines ensear a los clientes de la
evaluacin a cumplir con sus responsabilidades. Si no tienen un concepto sl~do de la eval~aci?: probablemente no intervendrn en ella, se mostrarn paSIVOS,no sabran uultzarla para conseguir sus propsitos y/o considerarn que
los resultados tienen poco inters. En cambio, los clientes entendidos pueden
ayuda~ a asegur~r que la evaluacin sea un instrumento til y poderoso para
garantIzar la cahdad de los servicios profesionales.
El diseador de la evaluacin
(
(
(
(
(
{
t
-.4
Introduccin
Uno de los aspectos ms fascinantes del trabajo evaluativo es que se trata

de una empresa creativa. Disear una evaluacin para satisfacer la demanda
de informacin de un cliente es algo ms que un proceso mecnicamente rutinario. Entre otras responsabilidades, debe conceptualizar las cuestiones que
sern abordadas, examinar el panorama poltico, trazar una recopilacin de
datos y un plan de anlisis, idear los informes y el proceso informativo, encargarse del aspecto financiero y del personal y determinar cmo deben ser
empleadas las normas profesionales de la evaluacin. Para solucionar todo
este complejo entramado de decisiones de planificacin, no bastan modelos
a la evaluacin
45
de otras evaluaciones o planes ya publicados. Por el contrario, el diseo tpico

de una evaluacin consiste en un continuo proceso conceptual.
.
Para disear una buena evaluacin, se debe ser un obser,:,ador sensIble
de los ambientes sociales, saber entrevistar y escuchar, y ~studlar con voluncapacidad lo esencial del programa que va a ser exammado. El evaluador
ta d y
.
d'
.
.,
d b ser tambin experto en un ampho campo e teCnlcas comunlcaUvas y
d:. ;ncuestas, y capaz de reunir las distintas piezas de las premisas. y la informacin en planes de trabajo que sean prcticos, coherentes y que sIrvan como
guas racionales.
.,
,
Debemos considerar el papel del diseador de la evaluaclOn como el mas
importante del trabajo evaluativo, junto con el del cliente: Aquellos ~ue se
convierten en expertos en diseo evaluativo, a menudo trabajan todo el uempo
como evaluadores y estn muy solicitados como asesores 'para ayud~r a los
lientes de una evaluacin a planificar y encargar los estudlOs evaluatIvos.
c Las conceptualizaciones generales sobre la evaluacin presenta~as en las
unidades 3 a 10 proporcionan un importantsimo material de e:tudlO a todos
aquellos que deseen adquirir mayor facilidad para con~eptuahzar planes de
evaluacin. Adems de estudiar las contribuciones creatIvas de otros, su~rayamos que el desarrollo de la .c~pacidad para di~ear. ;valuaciones reqUIere
prctica: se necesita haber partlclpado en la ?lanlfi~acl0n d~ ~1UC~~Sevaluaciones. Creemos que esta prctica debe inclUlr algun trabajo mdlvldual con
un cliente. Adems, se puede aprender mucho colaborando con grupos encargados del diseo de evaluaciones. Igualmente, el estudi~ de un gran nmero
de diseos evaluativos preparados por otros proporclOna muchos buenos
ejemplos e intuiciones acerca de esta compleja rea de tra~ajo .. Cr~em~~ que
estos programas de preparacin para evaluaciones deben mclulr e)erCIClOSy
otras formas de guas prcticas para la planificacin de evaluaciones.
El coordinador
(
(
de la evaluacin
Muchas evaluaciones requieren los esfuerzos de varios participantes, y la

utilizacin de considerables recursos y servicios para mltiples clientes. Por
lo tanto, se hace necesario coordinar de un modo eficaz todo este trabajo. Esta
necesidad se ampla cuando una determinada agencia tiene en preparacin
varios proyectos de evaluacin distintos. No es sorprendente, por lo tanto,
que la profesin incluya muchos trabajos evaluativos con nombres como ayudante del supervisor de la evaluacin, coordinador de proyectos evaluativos,
director del departamento de evaluacin o director de personal del proyecto
de evaluacin.
Este papel implica que las personas especializadas en evaluaciones deben
tambin prepararse para funciones administrativas, y tambin que aquellos a
quienes se les asigne un trabajo administrativo relacionado con la evaluacin
')
')
46
Evaluacin sistemtIca
Introduccin
deb~n posee: o adquirir conocimientos bsicos sobre la planificacin de eval~aclOnes.. F1~almente, creemos que las ms importantes instituciones educat:vas, samtanas y sociales, deben a menudo dirigir sus esfuerzos hacia la creacin de grupos administrativos competentes.
a la evaluacin
47
ser necesario supervisar y anotar los resultados de unas entrevistas; crear, proporcionar y utilizar instrumentos para una recopilacin de datos estructurada;
analizar tanto la informacin cuantitativa como la cualitativa; y realizar presentaciones audiovisuales de los resultados.
En las evaluaciones a pequea escala, un simple evaluador puede, a menudo, hacer todas estas tareas sin asistencia especializada. El agente evaluador
est obligado a coordinar y realizar todos los trabajos que sean necesarios, as
como a dominar todas las tcnicas especializadas que se requieran. Este tipo
de agente necesita una amplia preparacin que le introduzca en las ms importantes de estas especialidades. A menudo, esta persona debe ser capaz de coordinar la asistencia de los especialistas cualificados.
De todas maneras, es inevitable que los estdios a gran escala contraten
especialistas para llevar a cabo estas tareas con el fin de que los asistentes
puedan concentrar sus esfuerzos en su propio campo de trabajo: los clientes
y los respondentes. Este gnpo de expertos puede incluir especialistas en la
elaboracin de pruebas, especialistas en muestreos, especialistas en el procesamiento de datos, estadsticos, especialistas en el estudio de casos y redactores tcnicos.
Asistentes de la evaluacin
. Frecuentemente, uno.?e los papeles ms importantes -a menudo independle~;e:de la eva~uaC1on es el del asistente. Este papel supone contactos
p.enodlcos con lo~ ~hentes, revisiones de los documentos del programa, inspecclO~es de la~ aCtlvldades del programa, hacer entrevistas y recoger otro tipo
de 1DfOrmaC1o.n~sacerca de las partes, redactar informes y asumir la principal responsaQlhdad a la hora de presentar los informes. A veces el asistente
es el encargado de realizar la planificacin del estudio comple~o. En otro
casos, l o ella tiene una responsabilidad 'menor. Pero siempre estar encar~
gado de c~labo~~r con el personal del programa y de cooperar en la realizacin
de la plamficaclOn del estudio.
Para deserr:pear el papel de asistente se requieren tanto habilidad tcnica como capaCIdad para las relaciones humanas. Adems, las personas asigna~as a este puest~ deben poseer o ser capaces de desarrollar una gran credibilidad ante los chentes y ante todos aquellos que participan en la realizacin
del programa.
')
')
')
')
')
')
')
')
\
')
")
I
)
)
)
)
Especialistas en informacin
)
Un papel tcnico que hemos escogido para dedicarle una atencin especial es el del especialista en informacin. Y 10 hemos hecho porque ese papel
supone una continua necesidad de informacin relacionada con otras evaluaciones y no con problemas tcnicos determinados. El especialista en informacin es especialmente importante en las agencias que disponen de departamentos de evaluacin. Las evaluaciones dirigidas desde estos departamentos deben
tomar en consideracin el panorama institucional. y su contexto histrico, examinar los descubrimientos del pasado y de la actualidad para determinar las
tendencias y evitar una innecesaria pluralidad de esfuerzos en 10 que se refiere
a la recopilacin de datos. Es necesario, como mnimo, un buen sistema para
ordenar y archiva' los informes de manera que la informacin que contienen
pueda ser fcilmente consultada en futuras evaluaciones. Adems, muchas agencias se beneficiaran de una recopilacin regular de informacin que las ayudara a estar totalmente al corriente de entradas de datos, procesos y producciones, as corno de la actitud de sus componentes hacia los servicios de la
agencia.
El desempeo del papel de especialista en informacin requiere que el evaluador, o uno o ms miembros del equipo de evaluacin, conozca bien las
ciencias informativas. Eso supone conocimientos y tcnicas en reas como la
. comunicacin, los sistemas de informacin, el proceso de datos, la contabilidad
financiera y la planificacin de gran alcance. Las personas que piensan espe-
Responderites de la evaluacin
. Se tra~a de un papel al que demasiado a menudo no se le concede mucha
ImportanCIa. Son las personas que rellenan los formularios, responden a los
tests, contestan a las ent~evistas y permiten que les observen en su trabajo.
En muchos casos, la cahdad de la informacin obtenida depende casi por
co~pleto de su bu~na .voluntad para cooperar y dar lo mejor de s mismos.
Es Improbable que reahcen cualesquiera de estas tareas si no estn informados
acerc~ de s~ papel Y, convencidos de la importancia del estudio. Como consecuen~la, qUIenes estan al frente de las evaluaciones deben hacer un esfuerzo
espeCial para asegurar que el estudio servir de algo a estos colaboradores tal
Y como ocurre con ~os clientes. Tambin deben cuidar que las actividades 'que
promuevan les motiven Y preparen para responder apropiadamente.
Especialistas en ayuda tcnica
, ~a mayor pa~te de las evaluaciones suponen una cierta cantidad de trabajo
tecDlCOque reqUIere la ayuda de expertos especializados. Por ejemplo, puede
)
)
\
)
)
.)
I )
.)
)
)
)
')
)
,)
)
j'
')
'J.
t
(
48
cializarse en evaluacin deben adquirir un dominio general de las especialidades de la informacin, mientras que un cierto tipo de trabajo correspondiente a esta rea resulta importante incluso para las evaluaciones ms sencillas.
Adems, los departamentos de evaluacin deben, a menudo, asignar una o ms
personas para el cumplimiento de esta importante funcin.
{
{
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
l
(
(
(
(
(
(
Especia/istas
en comunicacin
La evaluacin bien hecha es una comunicacin efectiva acerca del mrito

y el valor de algn objeto. Esto quiere decir que los problemas de los clientes
guan el trabajo de los evaluadores, y las conclusiones de stos llegan hasta
los clientes para informarlos. Ninguno de estos objetivos se hace posible sin
una comunicacin efectiva entre el evaluador y el cliente.
Ocurre demasiado a menudo, de todas formas, que la comunicacin efectiva se pierde en el trabajo evaluativo. Los evaluadores y/o los clientes asumen
que los primeros conocen su oncio y, de algn modo, obtendrn y facilitarn
las conclusiones adecuadas; en lugar de eso, los evaluadores a menudo se ocupan de las cuestiones equivocadas. Por otra parte, los evaluadores deben hacer
un buen trabajo consiguiendo que los clientes ayuden a centrar la evaluacin
y a recopilar una informacin que resulte slida y potencialmente til, para
luego pasarles la pelota y que sean ellos los que, sin ayuda, interpreten y
apliquen la informacin. Desearamos dejar totalmente claro que la evaluacin
efectiva supone no slo recopilar y analizar la informacin apropiada, sino
tambin asegurar, a travs de una efectiva tecnologa comunicativa, que la
informacin sea presentada de una forma til y utilizada en consecuencia.
Sabemos que los evaluadores no deben ser considerados responsables de todas
las falsas interpretaciones y empleos errneos que se han hecho de sus informes, pero s, entre otras cosas, de asegurarse de que sus informes sean relevantes para los intereses de sus audiencias y de que puedan entenderlos.
Todo esto requiere que los evaluadores tengan conocimientos sobre tecnologas de la comunicacin. Bsicamente, deben ser capaces de preparar informes escritos con claridad y que estn dirigidos a -y resulten comprensibles
para- la audiencia o audiencias que los han solicitado. Tambin deben saber
cmo comunicar conclusiones a travs de medios distintos del material impreso: por ejemplo, deben saber cmo hablar en pblico, utilizar tcnicas audiovisuales y servirse de los medios pblicos. Finalmente, queremos sealar que
deben poseer conocimientos sobre el anlisis poltico y la solucin de conflictos, ya que, a menudo, las evaluaciones son objeto de controversia.
El papel del especialista en comunicacin tiene considerables implicaciones para la preparacin de los evaluadores, su utilizacin de los especialistas
y la eleccin de personal en los departamentos de evaluacin. Sin duda, los
evaluadores deben adquirir preparacin en una amplia serie de tcnicas comu-
'J
Introduccin
a la evaluacin
49
. t'Ivas . En su prctica " deben como mnimo , someter los borradores

nlca
. , de sus
. f rmes al juicio de los editores. Y los departamentos de eva1uaclOn, a meIn o
. l'
. .,
1
deben emplear a espeCIa Istas en comUnlCaClOn para que asesoren a
nu d o,
., d 1
l'
E
planificacin de las evaluaciones y la presentaclOn e as conc USlOnes. stos
ecia1istas tambin desempean un importante papel a la hora de evaluar
esp
.'
d
1"
y ayudar a mejorar el exhaustivo t~abaJo de un departamento
e eva uaClOn,
comunicando los resultados a sus clientes.
.
El anlisis de los papeles realizado hasta este punto ayuda a clanficar la
complejidad del trabajo evaluativo. Una. gran ag~n~ia, que deba somete~ continuamente a eva1uciones- a sus exhaustivos serVICIOS,puede que nece~lte un
personal completo de especialistas en evaluacin. La figura. ~-1 es un eJemp~o
el departamento de eva1uaclOn de una agenCIa
d e Cmo debe estar oruanizado
b
1 ., Ca
para que cumpla a la perfeccin las diversas funciones de una eva uaClOn. ~o
puede verse en ese esquema organizativo, el coordinador. de la evaluaCl~n
tiene la responsabilidad de satisfacer las necesidades evaluativas de la agenCl.a
y de sus componentes. Para ayudarle en el desempe~ ~e este pap~l,.el coordInador de la evaluacin dispone de los esfuerzos de dlstmtos espeClahstas. Que
los servicios del departamento sean tcnicamente slidos e influyentes,. depende de hasta qu punto su trabajo est coordinado de un modo efectivo. Al
mismo tiempo, queremos subrayar que la evaluacin debe, a menudo, estar
realizada por un solo evaluador. Para hacer bien su trabajo, debe llegar a
desenvolverse bien en toda la amplia gama de papeles ya descritos. Probablemente, la mejor manera de encontrar y aprender el modo de ~onocer bien toda
la gama de papeles de una evaluacin es dirigiendo evaluaCl.o~es de una ~ola
persona bajo la tutela de un experto en evaluaciones. PartiCIpar en eqUIpos
de evaluacin tambin proporciona excelentes oportunidades de aprender. Los
evaluadores deben ser inventivos a la hora de utilizar la ayuda de los especialistas, que pueden resultar1es baratos e incluso no costarles nada. Hasta
Llanero Solitario consideraba necesario y beneficioso colaborar con un SoCIO
leal y capaz.
Llegados a este punto en el anlisis de los papeles en una evaluacin, slo
hemos examinado aquellos que corresponden a una evaluacin efectiva. Ahora
vamos a ver otros cuatro que actan como papeles secundarios en la profesionalizacin de la evaluacin.
:1
Preparador de /a evaluacin
A lo largo del anlisis precedente, nos hemos ido refiriendo a la necesidad
de una buena preparacin por parte de aquellos que participan en una evaluacin. Estas necesidades incluyen tanto la orientacin hacia unos planes de
evaluacin especficos como el desarrollo de unas tcnicas y conocimientos
ms generalizados, y, ms concretamente, los conocimientos que se adquieren
\~
Introduccin a la evaluacin
50
51
Jefe de la
agencia
---------
Clientes
y responden tes
de la evaluacin
---------
Coordinador
de la evaluacin
Planificador
de la evaluacin
,,
,,
Asistentes
de la evaluacin
Especialistas
en ayuda
tcnica
FIGURA
1-1.
l
Especialista
en informacin
Esquema
Especialista
en comunicacin
organizativo
examinando una prctica determinada. Adems, la necesidad de una preparacin corresponde tanto a los especialistas como a los clientes y a los respondentes.
La evaluacin, como cualquier otra profesin, debe asegurarse de que los
que participan en ella disfruten de una amplia gama de slidas oportunidades
para prepararse bien. Esto incluye programas de preparacin especializada que
culminan en una titulacin; cursos auxiliares que estn concebidos para asesorar a todos aquellos que se estn preparando para una serie de funciones profesionales -como
por ejemplo supervisores, asistentes sociales, profesores y
mdicos- sobre la evaluacin de sus propios servicios profesionales; continuas
oportunidades educativas para evaluadores y especialistas, y sesiones orientativas sobre estudios especficamente evaluativos destinados a clientes y respondentes. Este tipo de preparacin debe presentar un contenido actual que resulte
vlido para los problemas concretos que debern enfrentar los aprendices. Sin
duda, la preparacin es un papel crucial para mantener y hacer progresar la
calidad de los servicios evaluativos.
Investigador
evaluativo
La misin de cualquier profesin es servir a sus clientes de la mejor manera posible, y la realizacin de este imperativo se ve siempre limitada por el
estado actual de los conocimientos acerca de la especialidad. Por lo tanto, todas
las profesiones deben tener un carcter investigativo. Los profesionales deben
diar las necesidades relacionadas con la profesilJ. y los problemas de los

estu
. .
. .,
de
. tes examinar sus prcticas a lId
a uz e 1os conOCim1entos
y pnnClp10S
cllen
,
b .
h' ,.
1 disciplinas ms relevantes, analizar su tra aJo en su contexto 1stonco,
as izar sobre los servicios profesionales y hacer avanzar los conocimientos
teor
.
d o d e sus pnnClpa
.,
1es
sobre su especialidad a traves, d e un ana'l'1SlSestructura
premisas e hiptesis.
.
Los programas de investigacin ms extensos se dan en las profeslOnes
ms veteranas, como la medicina y el derecho, o los negocios y la industria.
En el primer caso, la investigacin, bajo la influencia de la tica profesional,
se utiliza para rendir el mejor servicio posible. En el segundo, la principal motivacin es la obtencin de beneficios y la supervivencia en un mundo competitivo. Ambas reas son ~uy conscientes de que un mejor ~ervici? y. la
competitividad dependen caS1 totalmente de un programa de mvesngac1n
dinmico Y adecuado.
Aunque la evaluacin es tan antigua como la civilizacin, slo desde hace
muy poco tiempo existe como prctica formal. Unicamente en las dos ltimas
dcadas se han realizado serios esfuerzos para rec.opilar la historia de la especialidad, teorizar sobre la prctica evaluativa y planificar estudios que resulten
adecuadamente descriptivos y se basen en hiptesis apropiadas. Pero existe, y
debe existir, una fuerte tendencia hacia el establecimiento y mantenimiento de
una base investigativa para la especialidad. Esta tendencia es especialmente
evidente en la gran cantidad de literatura aparecida sobre la especialidad evaluativa, aunque gran parte de este material no puede calificarse como investigativo. En cualquier caso, queremos subrayar que la investigacin evaluativa
es una funcin vital para asegurar que los evaluadores mejoren progresivamente sus servicios y sus resultados.
J,
I
")
)
')
)
)
)
)
)
)
)
)
)
)
Promotor de la evaluacin
Se trata de otro de los papeles vitales de la evaluacin. Tiene como base
la funcin de ayudar colectivamente a los evaluadores a alcanzar y mantener
el status de Ui ,a profesin. El significado de este papel puede encontrarse en
la definicin de un diccionario que afirma que una profesin es un oficio que
requiere un conocimiento especializado y, a menudo, una preparacin larga
e intensiva, incluyendo el dominio de tcnicas y mtodos, as corno tambin
de las nociones cientficas, histricas y eruditas en las que se basan estas tcnicas y mtodos, manteniendo, mediante la organizacin o la coordinacin
de conceptos, altos niveles de ejecucin y xito, y sometiendo a sus miembros
a un estudio continuo y a una concepcin del trabajo en la que lo que ms
impOrta es el ofrecimiento de un servicio pblico.
La especialidad de la evaluacin est empezando ya a presentar las caractersticas de una profesin, tal y como se promulgan en esta definicin. Ya
)
)
)
)
)
)
)
j
)
)
)
EJ
(
(
f
f
(
(
(
{
(
(
{
(
(
(
(
(
52
existen programas de preparacin que terminan en doctorados y ma~ters, as

como tambin una extensa y boyante literatura sobre el terna. La lIteratura
sobre evaluacin recomienda contenidos y experiencias para ser incluidas en los
programas de preparacin, as corno anlisis sobre cm~ deben. elabo:arse
los programas a partir de disciplinas afines, corno la filosofla, la pSIcologla, la
sociologa y la economa. Muchas organizaciones profesionales y dos amplios
conjuntos de normas profesionales ya estn a disposicin de los evaluadores.
Y, desde luego, el gobierno, el pblico y las organizaciones de servicios continan requiriendo evaluaciones de los servicios profesionales, as corno fondos
que los financien. Mantener estos avances hacia la profesionalizacin de la
evaluacin requiere iniciativas nacionales y estatales, adems del apoyo de los
miembros de la profesin. Cada una de las personas que cobren por trabajar
corno evaluadores estn obligadas a apoyar los distintos esfuerzos que se estn
haciendo para que la profesin siga adelante. Entre las funciones especficas
que pueden cumplirse se encuentran las de editor de una publicacin sobre
la evaluacin, elaborador de normas, educador de evaluadores y especialistas
y funcionario de una sociedad evaluadora. Compartiendo las responsabilidades
de estas funciones, los evaluadores pueden contribuir a asegurar al pblico que
los servicios profesionales que ellos ofrecen son modernos y de gran calidad.
(
(
(
(
(
(
(
{
(
t
(
(
{
<(
(
l
t
1_
El metaevaluador
El ltimo papel que querernos subrayar, el del metaevaluador, requiere
mucha astucia y penetracin. Est relacionado con las funciones de evaluar
evaluaciones, pero tambin supone enjuiciar el valor y el mrito de todo lo que
representa y hace la profesin: servicios de evaluacin, utilizacin de las evaluaciones, preparacin de la evaluacin, investigacin evaluativa y desarrollo
organizativo. La metaevaluacin utiliza las normas aceptadas de la profesin
y trata de asegurar que son cumplidas. Tambin se ocupa de examinar las propias normas con el fin de decidir en qu sentido deben ser revisadas.
De una manera u otra, la metaevaluacin necesita incorporarse a cada una
de las actividades de la profesin. A veces se trata de una actividad de autoasesoramiento, corno cuando los evaluadores, los preparadores, los investigadores o los funcionarios de sociedades evaluativas examinan sus planes, la ejecucin de su trabajo o los resultados, comparndolos con las normas de la
profesin. En otros casos supone contratar a un agente independiente para que
valore los servicios. El objetivo de la metaevaluacin es asegurar la calidad de
los servicios evaluativos, evitar o enfrentarse a las prcticas ilegales o a los
servicios que no son de inters pblico, sealar el camino para el perfeccionamiento de la profesin y promover una mayor comprensin de la empresa
evaluativa. Desde luego, todos los evaluadores profesionales deben mantener
al da sus conocimientos de las normas de la profesin, incorporarlas a su tra-
,.-"".T
..~ .
!
;,~
"'
Introduccin
a la evaluacin
53
.
tar dispuestos a actuar corno metaevaluadores de los trabajos de otros
b aJo, es
h
dI'
profesionales y actuar profesionalment?, a la ora e e~a uar e mtentar me.
las contribuciones que la evaluaclOn hace a la SOCIedad.
Jorar
1
l"
.
Con este breve comentario sobre a metaeva uaClon~,termmamos nu.estro
s
papeles
que
se
desempean
en
una
evaluaclOn.
Hemos
anahzado
repaso de lo
"
minuciosamente, hasta cierto punto, la funcion del evaluador profe~lOnal y
h mos echado un vistazo a las divisiones que presenta. Creernos que, sm duda,
e
ello ha contribuido a apoyar la idea de que la evaluacin es a menudo
to dotrabajOo de equipo. Pero sacar la conclusin d e que 1as eva l'uaClOnes neceun
,
fl'
.,
1
sitan de los esfuerzos de un equipo sena una a sa mterpretaclOn: por e
trario la evaluacin debe ser una parte necesariamente integrante de las
can
,
f'
{
funciones de todo profesional. Nuestra conclusin es que estas unClOnes o
papel) son tan difciles corno importantes. Y la conclusin ms obvia y. f.undamental es que todos los profesionales deben desarrollar sus responsabIlIdades evaluativas, puedan o no conseguir la ayuda de un equipo y aunque tengan
que desempear ellos solos todas las funciones de la evaluacin.
Ya daramos un gran paso en la direccin adecuada si consiguiramos una
mayor facilidad para conceptualizar los problemas evaluativos y los mtodos
adecuados para solucionarlos. El resto de este libro ha sido pensado para llevar
a cabo este proceso. Presenta y examina en profundidad varias conceptualizaciones alternativas de la evaluacin.
Puede comprobar que cada unidad finaliza con tres tipos distintos de cuestiones o ejercicios; cada uno de ellos, a su manera, pretende saber cul es su
grado de comprensin de la unidad. Se encontrar con preguntas que presentan mltiples respuestas para que escoja una, y con explicaciones que aclaran
cules de las respuestas alternativas son correctas y cules no. Tanto las preguntas como las respuestas deben permitirle saber si usted ha alcanzado un
nivel satisfactorio en relacin con los objetivos que se propona la unidad en
lo que a conocimientos se refiere. En cada caso, rodee con un crculo la letra
que, segn usted, representa la mejor respuesta y luego valore su eleccin
comparndola con la solucin que le proporcionarnos y con la subsiguiente
interpretacin de las respuestas alternativas.
Cuando haya respondido a todas las preguntas sobre conocimientos, se le
" pedir que revise su trabajo y aumente su comprensin de la unidad, o bien
que continu con los otros ejercicios. Entonces deber enfrentarse a algu-
')
!
54
Introduccin
PREGUNTA
1. Cul de las respuestas que vienen a continuacin refleja lo
que esta unidad ha considerado como los fundamentos esenciales que deben
ser considerados para determinar el valor de un objeto que se est evaluando?
b)
e)
d)
a)
b)
d)
3. Cul de las siguientes afirmaciones es ms coherente con

lue
se ha dicho en esta unidad respecto de los mtodos que pueden ser aprop~adamente empleados en los estudios evaluativos?
l)
.,c~,;:_
b)
e)
. :,"
cinco funda-;~
"-~~
b)
Es incorrecta porque la subjetividad del evaluador puede dar una incli- ...
:.L.~,.~
...j.~.~
..~..
nacin inadecuada al estudio, mientras que si tma como gua los crite- .,
rios sugeridos no quedar ignorado ningn fundamento principal.
'~l
e)
PREGUNTA
2.
En esta unidad se afirma que las evaluaciones, en general,
deben ser
a)
b)
e)
d)
comparativas, cotejando las alternativas disponibles antes del desarrollo

del programa o del servicio.
comparativas tanto antes del comienzo del programa corno, peridicamente, despus de su desarrollo.
comparativas antes de que el programa empiece, no comparativas durante
su desarrollo y ocasionalmente comparativas despus.
ni comparativas ni no comparativas.
Es incorrecta porque tant~ la fa~e. no comparativa como la fase comparativa postoperativa han sIdo om1tldas..
.
. .
. Es incorrecta porque la fase. no compa:~tlva ha sIdo o.m1tlda.
E 'correcta porque cualqmer evaluaClon es comparauva, no comparati:alUo ambas cosas, dependiendo de las necesidades informativas de los
clientes y/o la audiencia de la evaluacin.
")
"
,
)
)
")
1
)
);
)
)
PREGUNTA
Respuestas incorrectas
Es incorrecta porque es incompleta.
Es incorrecta porque la unidad identifica especficamente
mentas.
55
Aunque otros criterios tambin son importantes, los esenciales son el

mrito, la necesidad y la equidad.
"
Deben ser considerados todos los valores ms apreciados por el personal
de la evaluacin y sus clientes.
'.
Los evaluadores son los que deben escoger los fundamentos, basndose
en su -propia filosofa.
.
Las expectativas de los clientes, el mrito, la necesidad, la viabilidad y la
equidad son los criterios que deben determinar esos fundamentos.
Respuesta correcta: Debe usted haber sealado la d. Las distintas expectativas de los clientes, el mrito del objeto (o servicio) en cuestin, la necesidad que se tenga de l, la viabilidad (incluso poltica) del objeto y la equidad o igualdad de oportunidades para que todos puedan tener acceso al objeto, deben ser las normas por que se debe guiar el evaluador.
a)
rrecta Debe usted haber sealado la e. La evaluacin comRespuesta ca

.
.
, .
d'
.
d 1 programa permite realizar comparacIones cnucas entre lSuva antes e
d
11
.
para 1
t' as' la evaluacin no comparativa durante el esarro o permIte
. tas a terna IV ,
. l'
t11l
1 d 1 programa concentrarse en descubnr as mejoras maneras d e
.
d espues
'd e1 progra ma
al Persona
.
1 e evaluacin peno. 'd' lcamente comparaUva
vanzar; y a
d
a
.,
1 camino para el logro e mayores progresos.
despejara e
nos ejercicios prcticos. La unidad concluye con unas Preguntas sin respuesta
y con la recomendacin de unas lecturas complementarias.
.
a)
a la evaluacin
';.I~
i
')f;t
'~i
E:!t
Ji
\i
d)
Evitar el trabajo descuidado, que a menudo es consecuencia de intentar

utilizar muchos mtodos; un evaluador debe especializarse en la utilizacin de una sola tcnica, como la planificacin experimental o el estudio
de un caso .
En general, resulta apropiado seguir un enfoque eclctico para la seleccin de mtodos, pero el evaluador debe evitar la utilizacin de mtodos
poco cientficos, como el estudio de casos o el anlisis poltico.
El panorama actual de los mtodos que pueden emplearse en una evaluacin es ya muy avanzado, y los evaluadores deben concentrarse no en
valorar los metodos existentes y desarrollar otros nuevos, sino en aprender y utilizar la metodologa disponible, especialmente la que procede
de la investigacin y la psicologa educativas .
En general, los evaluadores necesitan ser capaces de utilizar una amplia
gama de tcnicas de investigacin, y los que se ocupan de elaborar mtodos de evaluacin deben desarrollar nuevas tcnicas.
)
)
)
)
)
)
)
)
)
)
)
)
)
Respuesta correcta. Debe usted haberosealado la d. Esta unidad recomienda, a la vez, el empleo de un acercamiento eclctico a la evaluacin y la
necesidad de nuevas estrategias e instrumentos evaluativos.
)
)
)
)
)
t
(
56
-(
(
a)
b)
e)
(
{
Introduccin
Es incorrecta porque la unidad recomienda el uso de mltiples tcnicas.

Es incorrecta porque la unidad fomenta la utilizacin de una amplia
gama de tcnicas, incluyendo el estudio de casos y el anlisis poltico.
Es incorrecto porque esta unidad recomienda el empleo de una amplia
gama de las metodologas existentes y, a la vez, el desarrollo de nuevos
mtodos.
PREGUNTA
4.
poca tyleriana?
57
b) Las evaluaciones no parecan ocuparse demasiado de la exactitud de las

e)
d)
diferencias existentes entre las calificaciones de cada estudiante.

Las agencias federales empezaron a sentir un gran inters por la evaluacin de programas.
Durante este tiempo, se crearon nuevos servicios de tests, algoritmos,
planificaciones experimentales y procedimientos estadsticos, como respuesta a un anlisis de las necesidades de la educacin.
Respuesta correcta. Debe usted haber sealado la a. Esta afirmacin

refleja fielmente el desinters de la evaluacin por la responsabilidad o, lgicamente, por otras cosas, incluso aunque las disposiciones educativas estuvieran extendindose rpidamente.
a la evaluacin
Cul de las siguientes afirmaciones caracteriza mejor la
(,
a)
b)
e)
(
(
d)
Se introaujeron los tests estandarizados para conseguir que la educacin

resultara ms eficiente.
El mtodo tyleriano se distingui por concentrarse en unos objetivos claramente fijados y en su consecucin.
Los evaluadores aprendieron a ayudar a quienes elaboraban currculos a
clarificar el comportamiento de los estudiantes, que sale a la luz con la
realizacin de un currculo.
Las comparaciones internas entre resultados y objetivos resultan costosos.
Respuesta correcta. Debe usted haber sealado la b. Es lo ms destacable de la filosofa de Tyler y del mtodo prctico de evaluacin.
b) Incorrecta; la concentracin en las encuestas regularizadas condujo a una

e)
d)
e)
d)
Es incorrecta porque los tests estandarizados se desarrollaron en el perodo pre-tyleriano (a principios de este siglo).
Aunque esto no es incorrecto, se trata de una descripcin muy pobre de
la alternativa de Tyler a las concepciones ms tempranas de la evaluacin.
Incorrecta; de hecho, por el contrario, las evaluaciones internas han demostrado ser menos costosas porque no requieren los servicios de un
especialista en evaluacin.
b)
e)
d)
5. Qu afirmacin se corresponde mejor con el perodo de

la evolucin de la evaluacin denominado la poca de la inocencia (19461957)?
PREGUNTA
(
(
(
a)
Aunque se daba una gran expansin de la educacin, la sociedad no tena

un particular inters en formar evaluadores responsables.
''-
'f
gran preocupacin por la exactitud de las diferencias de calificaciones

entre los estudiantes.
Es incorrecta, porque este hecho no se produjo hasta los aos sesenta.
Es incorrecta, porque, lamentablemente, no fue ste el caso; procedimientos como los mencionados se ocupaban poco o nada de las necesidades educativas, incluida la de su mejora.
PREGUNTA
6. Cul de las siguientes afirmaciones se corresponde ms
con el desarrollo de la evaluacin durante la poca del realismo (1958-1972)?
a)
a)
(
(
tt
Desde 1965, se invirtieron billones de dlares en programas cuyo objetivo era la igualdad y la mejora de las oportunidades en cuestiones de
servicios sanitarios, sociales y educativos.
El artculo 1 del Acta de la Educacin Elemental y Secundaria de 1965
tena como objetivo proporcionar una educacin compensatoria a los
nios atrasados. Las adecuadas metodologas evolutivas utilizadas en estos programas tuvieron, afortunadamente, xito.
El nfasis puesto en las puntuaciones de los tests hizo que la atencin
se dirigiera hacia los propios programas.
Las duras crticas de CRONBACH (1963), que afirmaron que los mtodos
f: 'aluativos
de entonces carecan de relevancia, y que la evaluacin deba
c;nvertirse en un proceso de recogida y elaboracin de informaciones
que sirvieron como gua para la realizacin de un currculo, fueron muy
oportunas.
)
'1
58
Introduccin
Respuestas
e)
b)
e)
a)
b)
e)
d)
b)
Es incorrecta, porque se trata de una afirmacin acerca de un programa,

poltico y no estrictamente acerca de la evaluacin, incluso aunque los
programas posteriores condujeran a un rpido desarrollo de las metodologas evaluativas.
Es incorrecta, porque las metodologas evaluativas empleadas en esta
poca eran totalmente inadecuadas.
Incorrecfa; la verdad est ms cerca de todo 10 contrario, puesto que las
puntuaciones de los tests desviaron la 'atencin de los programas en s
y de su perfeccionamiento.
Los evaluadores han realizado un significativo progreso hacia el establecimiento de la evaluacin como prctica formal especializada.
De un modo creciente, la evaluacin se fue considerando slo como una
aspirante a la categora de profesin. Esta rea laboral dej de ser til
en la dcada de los sesenta: el pblico la fue dejando a un lado y ya
no recibi ms ayudas econmicas.
En el rea de la metodologa, los evaluadores han llegado casi a un completo acuerdo mediante el cual las evaluaciones deben emplear mtodos
naturalistas y evitar la utilizacin de mtodos cuantitativos.
En respuesta al mayor desarrollo metodolgico de la pasada dcada, se
han realizado minuciosos cambios y reformas en la prctica evaluativa.
Respuesta correcta. Debe usted haber sealado la a. Los evidentes sntomas de profesionalizacin de la evaluacin que se dan en 1983 incluyen
la aparicin de publicaciones peridicas, de numerosos libros y monografas
sobre el tema, de organizaciones profesionales que se dedican a la evaluacin,
de normas profesionales para la prctica, de un programa concreto destinado
a la titulacin, y un accmento de la investigacin y el desarrollo de temas
sobre evaluacin.
59
')
incorrectas
PREGUNTA7. Cul de las afirmaciones siguientes caracteriza mejor, de

acuerdo con esta unidad, el estado de la evaluacin en 1983?
')
Respuesta correcta. Debe usted haber sealado la d. Las crticas de

Cronbach contenidas en su artculo de 1963, constituyeron un gran paso
adelante ~n el proceso de descubrir metodologas apropiadas para satisfacer
las exigencias evaluativas de los aos sesenta.
a)
a la evaluacin
d)
.,
Es incorrecta porque, contrariamente a las afirmaciones previas, acerca

de que la evaluacin formalizada era una moda que pasara pronto, la
especialidad ha empezado a adquirir las caractersticas de una profesin.
Es incorrecta porque existe una profunda divisin entre aquellos que son
partidarios de los mtodos experimentales/cuantitativos
y los que recomiendan mtodos naturalistas/cualitativos.
Es incorrecta porque, a pesar de la creciente competencia de los evaluadores, la prctica evaluativa actual, segn esta unidad, ha cambiado muy
poco en la mayora de los casos.
INTERPRETACINDEL TESTDE CONOCIMIENTOS.

Cuando haya terminado el
test de conocimientos, le rogamos que examine cmo 10 ha hecho. Le recomendamos que revise>las partes ms importantes del test, prestando ms
atencin a las preguntas en las que se ha equivocado o en las que ha dudado,
e incluso aquellas en las que se ha sentido un poco confuso ante nuestras
respuestas y explicaciones.
')
i
)
)
)
)
)
)
Ejercicio prctico
Este apartado consiste en un ejercicio que pretende ayudarle a valorar
si ha comprendido bien cmo pueden aplicarse en la prctica los principales
contenidos de la unidad. Le sugerimos que anote su respuesta en una hoja de
papel aparte y luego la compare con la respuesta-ejemplo que sigue.
EJERCICIO 1. Suponga que el director del Departamento de Bienestar
de una gran ciudad le contrata para discutir los planes de evaluacin de sus
programas que le ha facilitado la agencia. Suponga adems que el director de
la agencia ha asumido el concepto de auto-evaluacin, de acuerdo con el
cual todos los miembros del personal de la agencia son responsables de evaluar su propio trabajo. El jefe advierte tambin que no se han utilizado los
servicios de un departamento de evaluacin, ni los de unos especialistas (ya
sea durante todo el trabajo o parte de l), ni se ha pagado de una manera
especial el trabajo evaluativo. En lugar de eso, ha recordado a los 95 miembros del personal que son responsables de evaluar su propio trabajo y les ha
enseado un mtodo evaluativo, con el fin de que sus esfuerzos lleguen a
buen puerto. El director cree que este tipo de actividad evaluativa puede ser
de utilidad para convencer a la legislatura estatal de que incremente sus ayudas a la agencia.
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
,)
f
f
I Evaluacin sistemtica
f
f
60
Las respuestas al ejercicio

los siguientes puntos:
a)
b)
(
(
(
(
e)
(
(
(
d)
1 deben incluir convenientemente

3.
Cada profesional es totalmente responsable de la calidad y, por 10 tanto,

de la evaluacin de sus contribuciones.
Aunque los profesionales necesitan una cierta preparacin sobre evaluacin, este trabajo es demasiado complejo como para suponer que cada
uno de los profesionales, actuando independientemente, puede hacer todo
10 que la evaluacin necesita para solucionar los problemas que la legislacin estatal plantea a la agencia.
Indudablemente, una preparacin metodolgica apropiada puede ser un
positivo paso adelante hacia la profesionalizacin del trabajo de la agencia, pero entre la planificacin de esa preparacin y la decisin acerca
de cmo distribuir los recursos de la evaluacin, el que toma las decisiones en la agencia debe tener en cuenta una amplia gama de funciones
evaluativas.
Los papeles que se desempean en el trabajo evaluativo de una agencia
son, ms o menos, los siguientes: cliente de la evaluacin, planificador
de la evaluacin, coordinador de los servicios evaluativos, evaluador
especializado, asesor tcnico, especialista en informacin y especialista en
comunicacin.
4.
5.
(
(
Este apartado contiene preguntas destinadas a ayudarle a calibrar y profundizar su comprensin de los asuntos tratados en esta unidad. No se proporcionan respuestas a las preguntas. Le sugerimos que intente dar respuestas
a estas preguntas siguiendo ciertos pasos, como revisar la unidad, consultar
las fuentes bibliogrficas adecuadas, incluyendo las que se consignan al final
de la unidad, y discutiendo las preguntas con sus alumnos o colegas.
D. R. 1956. Taxonomy of educational objectives. Handbook 1: The cognitive

domain, Nueva York, David McKay (trad. cast.: Clasificacin de las metas educativas. Tomo 1: Taxonoma de los objetos, Alcoy, Marfil, 1979).
BRINKERHOFF,R.; BRETHOWER,D.; HLUCHYJ, T.; y NOWAKOWSKI,

J. 1933.
Program evaluation: A practitioners' guide for trainers and educators, Bostan,
Kluwer-Nijhoff.
CAMPBELL,
D. T. y STANLEY,
J. C. 1963. Experimental and quasi-experimental designs for research on teaching, en N. 1. Gage (comp.), Handbook of research
on teaching, Chicago, Rand McNally.
COLEMAN,
J. S.; CAMPBELL,E. Q.; HOBSON,C. J.; MCPARTLAND,
J.; MODD,A. M.;
WEcNFELD,F. D.; Y YORK, R. 1. 1966. Equalty of educational opportunity.
Waohington, D.C. Oficina de Educacin, Departamento de Salud, Educacin y
Bienestar de los EE.UU.
COOK, D. 1. 1966. Program evaluation and review technique: Applications in Education, Washington, D.C. Oficina de Imprenta del Gobierno.
-.1971. Educational project management, Columbus, Ohio, Charles E. Merrill.
(
(
l
{
(
(
1.
2.
dar o refutar el enfoque eclctico para la eleccin de mtodos investigativos?

Algunas personas han sugerido que algunas de las Normas del Joint Committee deben ser tenidas en cuenta antes que otras, es decir, que el orden
de presentacin y aplicacin de cada una de las normas debe ser considerado muy importante. Est usted de acuerdo o no? Si 10 est, cmo
ordenara usted las Normas con el fin de aplicarlas para tomar una decisin acerca de llevar a cabo o no una evaluacin que le han propuesto?
Si cree que el orden en el que se estudien las Normas no es importante,
por qu piensa que no lo es?
Examine el repaso histrico de la teora y la prctica evaluativas contenido en esta unidad. Cmo evaluara el progreso, la regresin o el estancamiento de la especialidad en 10 que se refiere a la responsabilidad social, la erudicin o la repercusin?
Teniendo en cuenta el alcance de la unidad y, especialmente, el anlisis
de los papeles que se desempean en un trabajo evaluativo, hasta qu
punto cree que la sociedad debe invertir en preparar y emplear a especialistas en lugar de simples evaluadores? Dnde, cmo y hasta qu
punto debe proporcionrseles preparacin a ambos tipos de evaluadores?
AMERICANPSYCHOLOGICAL
AssocIATION. 1974. Standards for educational and
psychological tests, Washington, D.C., Autor.
ANDERSON,
S.; BALL,S.; Y MURPHY, R. y colaboradores. 1974. Encyclopedia of
educational evaluation, San Francisco, Jossey-Bass.
BLOOM,B. S.; ENGLEHART,M. D.r FURST,E. J.; HILL, W. H.; y KRATHWOHL,
(
(
61
La definicin de evaluacin que hemos dado en esta unidad, es igualmente defendible desde el punto de vista de escuelas filosficas distintas,
como el pragmatismo, el existencialismo o el positivismo lgico?
Teniendo en cuenta que esta unidad recomienda un enfoque eclctico a
la hora de escoger los mtodos que se usarn en un trabajo evaluativo,
existe alguna investigacin cuyas conclusiones se refieran a la conveniencia o inconveniencia de elegir eclcticamente mtodos de especialidades
afines --como la investigacin educativa, la investigacin psicolgica, la
contabilidad y la planificacin ciudadana-,
contribuyendo as a recomen-
(
(
7
')
")
62
Evaluacin
sistemtica
CRONBACH, L. J. 1963. Course improvement through evaluation, Teachers College

Record, 64, pgs. 672-683.
-.1980. Toward reform of program evaluation, San Francisco, Jossey-Bass.
EISNER, E. W. Educational objectives: Help or hindrance? The School Review,
75 (1967), pgs. 250-260.
-.1975. The perceptive eye: Toward the reformation of educational evaluation,
Stanford, California, Stanford Evaluation Consortium, diciembre.
GLASER, R. lnstructional
technology and the measurement of learning outcomes:
Sorne questions, American Psychologist, 18 (1963), pgs. 519-521.
GLASS, G. 1976. Primary secondary and meta analysis of research, Educational Researcher, 5 (10), pgs. 3-8.
GUBA, E. G. A Study of Title III activities: Report ~n evaluation (National lnstitute for the Study of Educational Change, Universidad de Indiana, octubre
de 1966) (cic1ostilado).
GUBA, E. G. y LINCOLN, Y. S. 1981. Effective evaluation, San Francisco, Washington, Londres, Jossey-Bass.
.
HAMMOND, R. L. 1967. Evaluation ar rhe locallevel.
Conferencia para el Miller
Committee for the National Study of ESEA Title IIl.
JOHNSON, R. 1980. Directory of evaluators and evaluation agencies, Nueva York,
Exxon Corporation.
Joint Committee on Standard s for Educational Evaluation.
1981. Standards for
evaluations of educational programs, projects, and materials, Nueva York, McGraw-Hill.
KAPLAN, A. 1964. The conduct o/ inquiry, San Francisco, Chandler.
KELLAGHAN, T. 1982. Los sistemas escolares como objeto de evaluacin. En
Daniel STUFFLEBEAM; Thomas KELLAGHAN; Y Benjamn ALVAREZ (comp.),
La Evaluacin Educativa, Bogot, Pontificia Universidad Javeriana.
KELLAGHAN, T.; MADAUS,G.; y AIRASIAN, P. 1982. The effects of standardized
testing, Hingham, Mass., Kluwer-Nijhoff Publishing.
KRATHWOHL, D. R.; BLOOM, B. S.; Y MASIA, B. B. 1964. Taxonomy of educational objectives: The classification of educational goals. Handbook II: Affective
domain, Nueva York, David McKay (trad. cast.: Taxonoma de los objetivos
de la educacin. Clasificacin de las metas educativas, Alcoy, Marfil, 1979).
METFESSEL, N. S. y MICHAEL, W. B. A paradigm involving mltiple criterion
measures for the evaluation of the effectiveness of school programs. Educational and Psychological Measurement, 27 (1967), pgs. 931-943.
PECK, H. Report on' the certificar ion of evaluators in Louisiana. Texto presentado en el congreso de la Southern Educational Research Association, Lexington, Kentucky, Fali 1981.
POPHAM, W. J. 1971. Criterion-referenced
measurement, Englewood Cliffs, N.J.;
Educational Technology Publications
(trad. cast.: Evaluacin basada en criterios, Magisterio ~spaol, 1983):
PROVOS, M. 1969. Discrepancy evaluation model, Pittsburgh, Pennsylvania, Pittsburgh Public Schools.
REINHARD, D. 1972. Methodology developments for input evaluation using advocate and design teams. Tesis doctoral indita, Universidad del Estado de Ohio.
RICE, J. M. 1897. The futiliry of the speliing grind, The Forum, 23, pgs. 163-172.
Referencias
bibliogrficas
63
-.1914. Scientific management in education, Nueva York, Hinds Noble and Eldredge.
ROT~, J. 1977. Needs and the needs assessment process, Evaluation News, 5, gmas 15-17.
p
SCRIVEN, M. S,. 1967. The methodology of evaluation. En Perspectives of curriculum evaluatlOn (AERA Monograph Series on Curriculum Evaluation, n. 1), Chicago, Rand McNaliy.
-. 1;n4. P rose and cons about goal-free evaluation, Evaluation Comment, 3, pgmas 1-4 .
-.1975. Evaluation bias and its control. Occasional Paper Series, n. 4, Universidad de Western Michigan. Centro de Evaluacin.
SMITH, E. R. Y TYLER, R. W. 1942. Appraising and,recording student progress
Nueva York, Harper.
'
SMIT ~, N. 1. 1981a. Metaphors for evaluation: Sources of new methods, Beverl
HI,lS, Sage.
y
-. 198 lb. New techniques for evaluation, Beverly Hills, Sage.
STAKE, R. E. 1967. The counrenance of educational evaluation Teachers College
Record, 68, pgs. 523-540.
'
-.197.5. Program .eval~ation, particularly .re~ponsive evaluation. Occasional Paper
Senes n. 5, UnIversIdad de Western Mlchlgan, Centro de Evaluacin.
-.1:)78.
5T8he case-study method in social inquiry, Educational Researcher, 7, pgmas -.
-. ~etting standards fer educational evaluators, Evaluation News n. 2, 2 (1981)
pags. 148-152.
'
STUFFLEBEAM,D. 1. The use and abuse of evaluation in Title IlI Theory Into
Practice, 6 (1967), pgs. 126-133.
'
-. 1978. Metaevaluation:
An overview, Evaluation and the Health Professions 1
(2), pgs. 146-163.
'
STUFFLEBEAM,D. L., Y otros. 1971. Educational evaluation and decision making
ltasca, lli., Peacock.
'
SUR~Z, T. 1980. N~eds assessments for technical assistance: A conceptual overVlew and companson of three strategies. Tesis doctoral indita. Universidad de
Western Michigan.
TYLER, R. W. 1967. Changing coneepts of educational evaluation. En R. E. Stake
(comp.), Perspectives of curriculum evaluation (vol. 1), Nueva York, Rand
MeNaliy.
WEBS~ER,. W. J. 1975. The organization and functions of research and evaluation
umts m a large urban school district, The Dalias lndependent School District
Dalias.
'
')
")
')
")
')
')
)
)
')
)
)
)
)
)
)
)
)
)
}
)
)
)
)
)
)
)
)
)
)
)
)
)
UN ANALISIS DE METODOS ALTERNATIVOS

DE EVALUACION
A lo largo de esta unidad, se presentan los tres mtodos ms importantes

de evaluacin de programas. El primero -la pseudoevaluacinintenta conducir a conclusiones errneas mediante una evaluacin. El segundo -la cuasievaluacinincluye estudios que se preocupan de dar respuestas a ciertas
cuestiones de inters, en lugar de determinar el valor de algo. El tercero
-la verdadera evaluacin- comprende lo que nosotros consideramos esfuerzos globales para examinar el valor y el mrito de un objeto. Los tipos de
estudio particulares que estn relacionados con cada mtodo son analizados
con detalle y contrastados con otros. En total, esta unidad proporciona un .
panorama de doce modelos de estudios evaluativos.
Lo ms frecuente es que los clientes deseen un estudio polticamente pro.
vechoso (pseudoevaluacin), los evaluadores prefieran realizar un estudio basado en problemas concretos (cuasievaluacin) y los consumidores tiendan
hacia estudios basados en valores (verdadera evaluacin). Los evaluadores
deben prestar tanta atencin a sus propsitos evaluativos como a los de los
clientes y consumidores.
~!
"
:~
.~
A7rs
Uno de los ms importantes avances que se han producido en el campo

de la evaluacin consiste en los diversos modos de conceptualizar la propia
evaluacin. Esta unidad proporciona un panorama y un anlisis de tres mto-.
dos generales que se han recomendado o empleado bajo la etiqueta de evaluacin sistemtica. Estos mtodos son nicos y comprenden la mayora de formas de evaluar servicios. Mientras dos de los mtodos se usan, por lo general,
como medios legtimos para calibrar el valor y el mrito, uno de ellos se
utiliza a menudo ilegtimamente para crear una falsa impresin acerca del
valor de un objeto. No debe sorprender que los distintos modelos de estudios
esbozados en las siguientes pginas sean aquellos que, segn nuestra opinin,
')
'1
66
encajan en las dos categoras legtimas de evaluacin. Hemos incluid~ un

comentario sobre el otro mtodo porque se emplea con mucha frecuenda y,
segn creemos, debe ser expuesto como una prctica inadecuada. B.ajo el disfraz de una evaluacin sistemtica, este mtodo, a menudo, proporcIOna falsas
informaciones a las audiencias. Por lo general, el material contenido en esta
unidad est tomado de un estudio previo de STUFFLEBEAM y WEBSTER (1980).
Objetivos
Esta unidad est pensada para ayudarle a alcanzar los siguientes objetivos:
1.
2.
3.
Con la definicin de evaluacin que proporciona la unidad y la serie de

descripciones de estudios evaluativos, debe ser capaz de clarificar stos
como pseudoevaluacin, cuasievaluacin o evaluacin verdadera, e identificar el modelo de estudio con el que cada uno puede ser ms fcilmente asociado.
Con las denominaciones de dos o ms de los modelos de estudio expuestos
en este captulo, debe ser capaz de contrastarlos teniendo en cuenta organizadores previos, utilidad, cuestiones que plantean, tipos y origen de stas, mtodos que usa por lo general y principales representantes.
Con los nombres de los modelos de estudio seleccionados, debe ser capaz
de enumerar las principales virtudes y defectos de cada uno, teniendo en
cuenta la manera en que debe llevarse a cabo una evaluacin, tal y como
se describe en este libro.
Cuando haya estudiado el ncleo de esta unidad, se encontrar con preguntas y ejercicios que podr calificar _usted mismo, incluyendo respuestas
que reflejen parcialmente los objetivos expuestos arriba. Le recomendamos que
realice estos ejercicios evaluativos para que pueda valorar su grado de conocimiento respecto al material de esta unidad. Al nnal de ella aparecen tambin unas preguntas sin' respuesta y ciertas lecturas recomendadas, que se
proponen servirle de gua en sus estudios posteriores acerca de los conceptos
tratados en la unidad.
Mtodos
alternativos
de evaluacin
67
)
')
minada definicin de evaluacin. De acuerdo con lo expuesto en la unidad 1,

definimos la evaluacin aqu como un estudio sistemtico planificado, dirigido
y realizado con el fin de ayudar a un grupo de clientes a juzgar y/o perfeccionar el valor y/o el mrito de algn objeto. Creemos que esta definicin
es, por lo general, aceptable, puesto que concuerda con las definiciones que
aparecen en la mayora de los diccionarios. De cualquier manera, el anlisis
que sigue demuestra que muchos estudios realizados bajo la denominacin de
evaluacin sistemtica o bien no se ajustan a esta definicin, o bien se oponen
claramente a ella.
Utilizando la definicin propuesta, cada uno de los modelos de estudio
presentados en este libro son examinados para comprobar si se corresponde
con uno (o quiz ms) de los tres amplios, aunque distintos, grupos. El primer grupo incluye las evaluaciones polticamente orientadas, que son dirigidas o utilizadas subrepticiamente para provocar un punto de vista determinado, positivo o negativo, sobre un objeto, independientemente de la valoracin objetiva de su valor o mrito. El segundo grupo incluye las evaluaciones destinadas a dar soluciones a preguntas concretas, cuyas respuestas, a
su vez, quizs incluyan, o quiz no, el enjuiciamiento del valor o el mrito
de un objeto. El tercer grupo incluye estudios pensados, ante todo, para enjuiciar y/o perfeccionar el valor o el mrito de un objeto. Para que resulte ms
fcil referirse a cada uno de los tres grupos de mtodos, han sido denominados, respectivamente, pseudoevaluacin, cuasievaluacin y verdadera evaluacin.
Cada mtodo y los modelos de estudio correspondientes son analizados
ms adelante a la luz de estos siete aspectos: 1) organizadores previos, es
decir, las principales indicaciones que siguen los evaluadores para realizar un
estudio; 2) su principal utilidad; 3} el origen de las preguntas planteadas;
4) los problemas caractersticos de" cada mtodo o modelo de estudio; 5) los
mtodos ms frecuentemente utilizados; 6) las personas que conceptualizaron
por primera vez cada mtodo o modelo de estudio; y 7) otras personas que
han participado en el desarrollo y la utilizacin de cada mtodo y modelo
de estudio. Adems, se enjuicia, en trminos generales, cada mtodo y modelo de estudio, comparndolos con las treinta normas del Joint Committee on
Standards for Educational Evaluation.
)
')
')
j
)
)
'J
)
, )
)
)
)
)
)
)
)
)
)
)
')
)
:)
)
Conceptualizaciones alternativas de "la evaluacin
Pseudoevaluaciones
Los modelos de estudio que se exponen aqu y a lo largo de este libro

fueron seleccionados para que representaran ampliamente los diversos puntos
de vista y prcticas utilizados en la evaluacin educacional, sobre todo, pero
tambin en programas de salud y bienestar. Los distintos tipos de estudio
estn clasificados teniendo en cuenta su grado de coincidencia con una deter-
Se dice que los mentirosos imaginan cosas y que las imaginaciones mienten. Del mismo modo, los charlatanes y los manipuladores utilizan a menudo
la evaluacin de una manera inadecuada para lograr sus objetivos. Puede que
tecopilen la informacin rigurosamente, pero no revelan las verdaderas con.
clusiones, o lo hacen de un modo selectivo, o incluso las falsifican, engaando
)
)
)
)
)
.)
....
~
(
Mtodos
f
f
68
tanto a la gente como a s mismos. Pueden distinguirse dos tipos de pseudo-
evaluacin, que ahora pasamos a exponer.
(
{
Investigaciones
El primer tipo ha sido denominado investigaclOn encubierta, aunque

tambin hubiera podido llamarse evaluacin polticamente controlada. Sus
organizadores previos son, implcita o explcitamente, una amena~a que. de~en
afrontar los clientes. La intencin del cliente al encargar una lllveStlgacI6n
encubierta es conseguir asistencia para obtener, mantener o incrementar una
esfera de influencia, poder o dinero. Los problemas que plantea son los que
interesan al cliente y a ciertos grupos que comparten sus intereses. En este
tipo de evaluacin se dan dos preguntas principales: qu informacin puede
resultar provechosa en un conflicto potencial? y qu datos pueden ser de
utilidad en una confrontacin? Los mtodos tpicos con los que se llevan
a cabo las evaluaciones encubiertas incluyen el anlisis de documentos, la vigilancia de los implicados, los estudios simulados, las investigaciones privadas
y los expedientes secretos. Por 10 general, el cliente quiere que la informacin
obtenida sea tan s6lida tcnicamente como sea posible, pero tambin que se
le garantice la posibilidad de controlar la revelacin de la informacin. Dado
que la informacin puede ser revelada selectivamente para crear una ~alsa
imagen del valor de un objeto, o incluso no revelada, para ocultar una SItuacin este mtodo debe ser denominado pseudoevaluacin.
Aqu no mencionaremos a nadie que pueda ser reconocido por sus contribuciones a la creacin o el desarrollo de las investigaciones encubiertas. Pero,
lamentablemente, mucho estudios actuales merecen que se los denomine as.
Para contradecir a quienes puedan argumentar que la evaluacin encubierta es imaginaria, les invitamos a que consideren el siguiente ejemplo.
El director de uno de los ms grandes distritos escolares de la nacin confes
una vez que posea una extensa informacin acerca de las escuelas de su distrito. La informacin inclua el nivel de xito de los estudiantes, las calificaciones de los profesores, la composicin racial de profesores y estudiantes,
cunto costaba cada alumno, las caractersticas socioeconmicas de los estudiantes, cunto duraban los profesores en su puesto y muchas ms cosas.
Estos datos revelaban que se trataba de un distrito escolar muy segregado.
Cuando se le pregunt por qu todo estaba anotado a lpiz, el director replic
que era absolutamente esencial que se mantuviera informado acerca de la
situacin de cada escuela en todo momento. Sea como fuere, dijo, era tambin
imprescindible que la comunidad en pleno, la junta de direccin y los grupos
que tenan intereses especiales en la comunidad, en particular, no tuvieran
acceso a la informacin, porque alguno de estos grupos poda utilizar la informacin para perjudicar a la comunidad y amenazar su posicin. De esta ma-
(
(
(
(
(
,1
(
(
(
{
(
(
{
<.
(
(
(
(
(
(
(
(
(
(
{
~
encubiertas
alternativos
de evaluacin
69
nera, un asesor especial mantena al da todo 10 anotado; slo exista una copia
y el director la guardaba bajo llave en su mesa de trabajo. El hecho es que la
continuada investigacin encubierta y la revelacin selectiva de informacin
llevadas a cabo por el director no eran, en absoluto, un caso de verdadera
evaluacin, porque no incluan revelaciones totales y abiertas. Desde nuestro
punto de vista, se trataba de un ejemplo de pseudoevaluacin.
Estudios basados en las relaciones
pblicas
Un caso similar de pseudoevaluacin es el estudio planificado, realizado

y utilizado para satisfacer propsitos que tengan que ver con las relaciones
pblicas. En este tipo de estudios, las necesidades informativas del propagandista, son organizadores previos. La intencin del estudio es ayudar al cliente
a crear una imagen positiva de una institucin, un programa, un sistema y
similares. Los principales problemas de un estudio como ste se desprenden
de las concepciones de los especialistas en relaciones pblicas y los administradores, acerca de qu cuestiones resultaran ms populares. En general, los
estudios basados en las relaciones pblicas buscan informacin que pueda ser de
ayuda para asegurar el apoyo del pblico. Los. mtodos que se usan ms frecuentemente en este tipo de estudios son las inspecciones, las pruebas y la utilizacin de asesores expertos. La principal caracterstica de la utilizacin de
mtodOS dudosos por parte de este tipo de evaluadores es su propensin a
crear una buena imagen del objeto de la evolucin.
El caso de un distrito escolar urbano ilustrar este segundo tipo de pseudoevaluacin. Un director, al solicitar una inspeccin de la comunidad en su
distrito, afirm abiertamente que necesitaba un documento que proporcionara
un informe positivo sobre el funcionamiento del distrito escolar. Dijo que un
informe de aquel tipo era urgentemente necesario para que la comunidad
volviera a confiar en el distrito escolar. La peticin del director, acerca de la
inspeccin (y del informe positivo), fue totalmente rechazada, pero el hecho
de que pensara que era tan necesaria qued pronto aclarado. Algunas semanas
despus de la inspeccin, fue repentinamente despedido.
Antes de plantear el grupo siguiente de modelos de estudio, queremos
hacer unos cuantos comentarios ms acerca de las pseudoevaluaciones. Quizs
usted se pregunte por qu hemos hablado de estos dos modelos de estudio.
Sin duda, no recomendamos su utilizacin. Hemos tenido en cuenta estos dos
tipos de estudio porque son una parte importante del panorama evaluativo.
Aveces, los evaluadores y sus clientes conspiran juntos para llevar a cabo
estos dos primeros tipos de estudios. En otras ocasiones, los evaluadores, creyendo que realizan una valoracin objetiva, descubren que sus clientes tienen
otras intenciones. En el momento apropiado, el cliente interviene para manipular el estudio y extraer de l la imagen que desea y le conviene. Los evalua-
) 1
.,,
,
"'\
70
Evaluacin
Mtodos
sistemtica
alternativos
de evaluacin
71
cialmente la recopilacin y el anlisis de los datos sobre el trabajo en cuestin,

relativas a objetivos especficos. Ralph Tyler es generalmente admitido como
pionero de este tipo de estudios. Muchos han ido ms all que Tyler al
desarrollar variaciones sobre su modelo evaluativo basado en los objetivos.
Mencionaremos unos pocos: BLOOMy otros (1956), HAMMOND
(1972), METFESSELy MICHAEL (1967), POPHAM (1967) y PROVUS(1971). En la unidad 3,
presentamos una ampliacin del modelo tyleriano desarrollado por METFESSEL
y MICHAEL (1967).
Indudablemente, este tipo de estudio es el que ms frecuentemente se
utiliza con el nombre de evaluacin. Tiene una apariencia bastante racional,
los profesionales acumulan experiencia mediante su utilizacin y emplea las
tecnologas de los objetivos del comportamiento y de las encuestas regularizadas. Las principales crticas que se le hacen apuntan a que produce, principalmente, una informacin que llega demasiado tarde para ser utilizada en
el perfeccionamiento de los servicios, y que esta informacin es, a menudo,
de muy poco alcance como para constituir una base slida a la hora de enjuiciar el valor de un servicio.
dores tienen que estar alertas, ms de lo que suelen estarlo, ante este tipo de
conflictos potenciales; de otra manera, pueden convertirse en cmplices inconscientes de un proceso de engao a travs de la evaluacin.
Cuasievaluaciones
Los estudios cuasievaluativos aparecen especificados porque existe la evidencia de que a veces pueden ser utilizados para enjuiciar el valor o el mrito
de un objeto, mientras que en otros casos su alcance es demasiado estrecho
o slo tangencial a las cuestiones del mrito y el valor. Lo ms importante es
que estos estudios empiezan con un problema concreto y luego buscan la metodologa apropiada para solucionar ese problema. Que la informacin obtenida
sea suficiente para apoyar un juicio sobre el valor de algo es, definitivamente,
una cuestin secundaria. Los estudios cuasievaluativos poseen otros usos muy
legtimos, aparte de su relacin con la evaluacin. As, la principal cautela
que hay que adoptar ante estos tipos de estudios es no considerarlos equivalentes a la evaluacin.
Dos unidades de este libro hablan de los modelos de estudio cuasievaluativos: la unidad 3, sobre la tradicin tyleriana, y la unidad 4, sobre el mtodo
cientfico de Suchman. En esta unidad, analizaremos estas formas de cuasievaluacin: la primera entra en la categora de la cuasievaluacin que hemos
denominado estudios basados en objetivos, mientras que la de Suchman se
basa sobre todo en la experimentacin. Otros ejemplos de mtodos cuasievaluativos, descritos por STUFFLEBEAMy WEBSTER (l980), son los estudios de
responsabilidad, los programas de pruebas y los sistemas de informacin administrativa.
')
')
1
'\
)
J
")
f
)
)
)
Estudios basados en la experimentacin

El modelo de estudio conocido como investigacin experimental es muy
importante en evaluacin. Lo hemos clasificado como cuasievaluacin porque
incluye cuestiones y metodologas a veces relacionadas, pero a veces no, con
el juicio de valores. La investigacin experimental trae a la memoria la advertencia de KAPLAN (1964) contra la llamada ley del instrumento, segn la
cual un mtodo es equivalente a una investigacin. Como consecuencia, el
campo de estudio se reduce a los problemas que pueden ser solucionados
mediante un mtodo determinado. FISHER (1951) ya haba advertido especficamente que no se equipararan sus mtodos experimentales con la ciencia.
Los organizadores previos en los estudios experimentales son la exposicin
de problemas, las hiptesis y el estudio de las cuestiones. El propsito ms
comn de un experimento es determinar o demostrar vnculos casuales entre
ciertas variables dependientes e independientes, como por ejemplo un mtodo
de enseanza y una ejecucin profesional y documentada, o un test con calincaciones. Es particularmente destacable que los problemas planteados proceden de los investigadores, de quienes desarrollan los programas de educacin
y de los editores de publicaciones, y no, por lo general, de los implicados, los
participantes o promotores financieros.
La pregunta ms frecuente que se plantea en un experimento es: cules
son los efectos de una intervencin determinada sobre las variables especficas
resultantes? Los mtodos ms comnmente utilizados son los planes experimentales y cuasiexperimentales. Los pioneros en el uso de la experimentacin
Estudios basados en objetivos

Como se ha visto en la unidad 1, los estudios basados en los objetivos
han .sido, quiz, :a princip~l fuerza que ha impulsado el movimiento para ,iste~atIzar el trabajO evaluatIvo. En este tipo de estudio, los organizadores preVIOSse. suelen basar en algn informe sobre los objetivos. Estos pueden ser
det;:rmmados por los clientes, establecidos por las personas cuyo trabajo se
esta valorando, fo.r~ulados por el evaluador o fijados conjuntamente por todos
aquellos que partICIpan en la evaluacin. El propsito ms comn es determinar s; los objetivos han sido alcanzados y, de acuerdo con esto concluir si se
ha tenido xito en el trabajo que se ha valorado. Las audienci;s ms frecuentes ~e. esto~ estudios son los creadores de programas, los patrocinadores, los
admmlstratlvos y los proveedores de servicios.
Los mtodos utilizados en los estudios basados en objetivos incluyen esen-
)
)
)
)
)
)
)
)
)
, )
)
)
)
)
)
)
1 )
)
.~
J.
f
'f
(
(
(
t
(
(
(
(
(
(
(
(
(
(
(
72
para evaluar programas son LINQUIST(1953), CAMPBELLy STANLEY(1963),

SUCHMAM(1967) y CRONBACH y SNOW (1969). Otras personas que han
desarrollado la metodologa de la experimentacin, especialmente para utili.
zarla en evaluacin, son GLASSy MAGUIRE(l968) y WILEY y BocK (1967).
En la unidad 4, revisamos especficamente las contribuciones de Suchman y
su aplicacin de la experimentacin a la evaluacin de programas sociales.
La principal ventaja de los estudios experimentales en el trabajo evaluativo es que proporcionan mtodos slidos para la determinacin de relaciones
causales relativamente inequvocas entre el programa y los resultados. Los problemas que plantea, no obstante, consisten en que el mtodo, a menudo, no
resulta factible a la hora de sealar los lmites de la especialidad y proporciona
una informacin mucho ms restringida de la que es necesaria para evaluar
programas de educacin, salud y bienestar. Adems, los estudios experimentales tienden -a proporcionar una informacin final que no resulta til como gua
para el proceso de desarrollo.
Antes de terminar nuestros comentarios sobre los mtodos experimentales
y basados en objetivos, desearamos subrayar que slo se trata de dos de los
mtodos que se podran calificar como cuasievaluacin. Nos hemos centrado
en ellos porque las unidades que tratan de los trabajos de Tyler y Suchman
son ejemplificaciones de estos mtodos. Como ya se ha mencionado previamente en esta unidad, los otros tipos de estudios calificados como cuasievaluacin son la comprobacin de programas, los sistemas de informacin administrativa y los estudios de responsabilidad.
Las verdaderas evaluaciones
(
(
(
La mayora de las unidades de este libro estn dedicadas a estudiar modelos que hemos denominado evaluaciones verdaderas. Oponindose a las pseudoevaluaciones subrayan la necesidad de evitar los estudios tendenciosos, y,
en contraste con las cuasievaluaciones, recomiendan la realizacin de investigaciones de conjunto basadas en cuestiones de valor y mrito.
.'(
Estudios de orientacin de la decisin
Empezamos nuestro anlisis de las evaluaciones verdaderas o estudios

basados en los valores con una panormica sobre el enfoque de la decisin
orientada. Este subraya que la evaluacin debe ser utilizada tanto para el perfeccionamiento de un programa, como para enjuiciar su valor. Las decisiones
a tomar -ya sea por un administrador, un consejo poltico, un personal de
programacin o un electoradoproporcionan organizadores previos para
los estudios de orientacin de la decisin. Bsicamente la intencin de estos
1i
I
Mtodos
alternativos
de evaluacin
73
estudios es proporcionar conocimientos y bases valorativas para tomar y justificar decisiones.

La procedencia de los problemas planteados en este tipo de estudios incluye a todos aquellos que toman decisiones: administradores, ciudadanos, estudiantes, profesores, mdicos, juntas polticas, votantes y cualquiera que decida
cmo planificar, dirigir y utilizar servicios. Las principales cuestiones que plantea son: qu es lo que hay que conseguir? Cul debe ser la planificacin de
una empresa determinada? Cmo debe llevarse a cabo el plan? Cundo y
cmo debe ser modificada la empresa? Las respuestas a estas preguntas se basan
en perspectivas subyacentes de valoracin, por ejemplo, en que las empresas
educativas deben sobresalir en el fomento del crecimiento y el desarrollo humanos, mientras que deben ser cautas en la utilizacin de los recursos y satisfacer tanto los objetivos individuales como el bien comn. Ha m~chos
mtodos adecuados para llevar a cabo este tipo de estudios: inspecciones, valoracin de las necesidades, estudios de casos, series de recomendaciones, observaciones estructurales y planificaciones cuasiexperimentales y experimentales.
CRONBACH(1963) fue el primero que introdujo a los evaluadores en la
idea de que la evaluacin deba ser reorientada y que, de basarse en objetivos,
deba pasar a ser una ayuda para que los educadores tornaran decisiones ms
acertadas acerca de cmo educar. Ms tarde, STUFFLEBEAM
(1966, 1967) introdujo una conceptualizacin de la evaluacin que se basaba en la idea de que
sta deba ayudar a los educadores a tomar y justificar decisiones que pudieran
satisfacer mejor las necesidades de los estudiantes. Muchos otros, desde entonces, han contribuido al desarrollo de un concepto de la evaluacin basado en
decisiones. Entre ellos se encuentran ALKIN (1969), REINHARD(1972), TAYLOR
(1974), GUBA {l978) y WEBSTER (1975), Las unidades 5 y 6 proporcionan
una amplia informacin acerca de las estrategias desarrolladas por Cronbach
y Stufflebeam.
La principal ventaja de este tipo de estrategia es que anima a los grupos
de profesionales, as como a las organizaciones gubernamentales, a utilizar la
evaluacin continua y sistemticamente para planificar y lle-,'ar a cabo los servicios que satisfacen las necesidades de los clientes. Tambi.1 proporciona una
base lgica que ayuda a los profesionales a responder de las decisiones tomadas en el curso de un servicio.
Su principal limitacin es que la colaboracin imprescindible entre el evaluador y el que toma las decisiones puede conducir a una distorsin de los
resultados. La metaevaluacin externa (la evaluacin de la evaluacin) se emplea para contrarrestar estas posibles desviaciones.
000
74
Mtodos
de evaluacin
"
')
75
')
Estudios centrados en el cliente

Mientras que el estudio de orientacin de decisin est concebido casi siempre para los niveles administrativos, ms que para el personal de una organizacin, ya que existe ms autoridad decisoria en los niveles ms altos, el mtodo que se base en el cliente se preocupa ms de dnde est la accin. Los
estudios relacionados con este enfoque se centran principalmente en ayudar
a aquellos que realizan un servicio cotidiano a valorar y perfeccionar sus contribuciones. Los organizadores previos son las preocupaciones y problemas del
programa del servicio. El propsito del estudio es ayudar a la gente que forma
parte de un servicio local a comprender cmo funcionan las actividades de su
servicio y el grado en que estos servicios son respetados por los expertos y
valorados por los clientes.
Los problemas planteados por este tipo de estudios proceden de la comunidad y de grupos locales, as como de expertos ajenos al caso. En general, los
grupos desean conocer la historia y la situacin de un determinado programa
de servicios, as como la manera en que ha sido enjuiciado por distintos grupos de clientes. Los mtodos ms frecuentemente utilizados en este tipo de
estudios son el estudio de casos, informes contrapuestos, sociodramas y lo que
STAKE(1975) llama evaluacin respondente.
STAKE{l967) es el pionero de este tipo de estudios, y su mtodo ha sido
desarrollado por MACDoNALD (1975) en Inglaterra, RIPPEY (1973) y, ms
recientemente, GUBA (1978). En la unidad 7, realizamos un extenso repaso
y anlisis de las propuestas de Stake para la conceptualizacin y la realizacin
de un trabajo evaluativo.
La mayor virtud de este mtodo es que se trata de una investigacin activa
en la que se ayuda a la gente que realiza programas a dirigir sus propias evaluaciones. Su principal defecto es su ausencia de credibilidad externa y la
posibilidad de ser manipulado por ciertos elementos locales que, en efecto,
ejercen un gran control sobre la evaluacin.
alternativos
~.
diversas p~lticas aplicables a una institucin determinada o a la sociedad.

Los legIsladores, las asociaciones polticas y los grupos especialmente interesados son los que, ms a menudo, plantean las cuestiones en un estudio
p.oltic~.. Una de sus, preguntas p:i~cipa1es es: cul de entre dos o ms polticas dlstmtas lograra con mayor exlto resultados vlidos a un coste razonable?
Los ~todos utilizados en los estudios polticos incluyen la Delphi Technique
(de~cnta por AN~ERSO~,BALL, MURPHY y otros, 1973), la planificacin expenmental y cuaslexpenmenta1, los guiones, los pronsticos y los procedimientos judiciales.
]oseph R~CE (en ANDERSONy otros, 1973) puede ser considerado el pioneroen esta area, puesto que, alrededor de 1900, dirigi unos estudios a gran
escala con el fin de que el sistema educativo determinara si era conveniente o
no continuar centrndose primordialmente en la ortografa. Otras personas
que colaboraron en la creacin de una metodologa para la realizacin de estudios polticos fueron COLEMAN,CAMPBELL,HOBsoN, McPARTLAND,MooR,
WEINFELD y YORK (1966); ]ENKS, SMITH, ADAND,BANE, COHEN, GINTIS,
HE~NESy MIKELSON(1~72); CLARK(.1965); OWENS(nota 1); WOLF (l973),
. Y \XEISS (1972). La umdad 10 descnbe el modelo de estudio recomendado
por Owens y W 01y lo que nosotros consideramos un mtodo de estudio poltico.
La principal ventaja de los estudios polticos es que resultan esenciales
como gua de las instituciones y de la sociedad. Su principal inconveniente
e.sque, una vez ms, acaban corrompidos o subvertidos por el ambiente poltiCOen el que se desarrollan.
")
')
")
I
)
)
)
)
(
)
)
)
)
)
)
)
Estudios basados en el consumidor
)
~n este tipo de e.studios, el evaluador es el inteligente sustituto del cons~lmldor. Los ~r~amzadores previos son los valores y necesidades de la soCIedad. El.rroposltO de ~n estudio basado en el consumidor es juzgar los valo~es relatIVOS de .tos bIenes y :"ervicios alternativos y, como consecuencia,
a}uda~ a los cont~l~uyentes y clIentes a saber elegir en sus adquisiciones de
esos bIenes y serVICIOS.
1 L~s problemas planteados por este tipo de estudios estn relacionados con
~ ~ocledad, con los que forman parte de los servicios institucionales y espe~~::ente con ~as premisas del evaluado~. Su principal pregunta es: cul de
1
uc~os objetos de consumo alternatIvos es mejor comprar dado su coste
nec~sldade~ del grupo consumidor y los valores de la sociedad en general?
OSIm~t,odos mcluyen listas de control, la valoracin de las necesidades la
cva
de los obJ'eti vos, 1a p 1am'ficaCIOn
. ,. expenmenta1 y cuasiexperimenta1
'
1 uaCl0n
T'
:~~a lSISdel modus operandi y ~1 anlisis de los costes (SCRIVEN)1974): Otr~
do popular para el consumIdor externo e independiente consiste en re-
Estudios polticos
Consideramos el estudio poltico como el tercer gran modelo de evaluacin verdadera. Hemos clasificado as este mtodo porque sirve para identificar y valorar los mritos de varias polticas que compiten en una sociedad
o segmento social. El organizador previo de un estudio poltico es una determInada cuestin poltica, como por ejemplo, cul es el mejor o, al menos, el
mtodo ms efectivo de satisfacer las directrices federales en lo que a igualdadde oportunidades educativas se refiere? El propsito de un estudio poltico
es, por 10 general, describir y valorar los costos y beneficios potenciales de
)
')
)
)
)
)
)
)
)
)
(
~,
)
)
;:;
'b
,)
"'f',
(
t"
(
(
(
(
(
(
(
(
(
{
76
(
(
(
(
(
(
t
.(,
77
alerta y resistencia ante los modelos que supongan algn tipo de subterfugio
(las pseudoevaluaciones).
Los evaluadores deben tener particularmente en cuenta que quiz se encuentren con dificultades considerables si su concepcin del estudio que estn
llevando a cabo difiere de la de sus clientes o audiencias. Con frecuencia, los
clLeptes desean un estudio polticamente ventajoso (pseudoevaluacin), mientras que los evaluadores prefieren realizar estudios basados en cuestiones concretas (cuasievaluacin), puesto que ello les permite aplicar la metodologa
para la que se han preparado. Adems, los consumidores de los servicios que
se estn valorando desean, por lo general, estudios basados en los valores
(verdadera evaluacin), que les ayuden a determinar la vala relativa de los
distintos bienes y servicios o juzgar el mrito y el valor de un programa u objeto dados. Si los evaluadores ignoran este tipo de posibles conflictos, la evaluacin, probablemente, estar condenada al fracaso desde el ?rincipio. La
moral debe ser lo primero en un estudio, y los evaluadores deben atender
tanto a lo que ellos piensan, como a lo que piensan los clientes y la audiencia. Es ms, los evaluadores deben avisar a las partes implicadas de los posibles conflictos que pueden producirse en lo que se refiere a los propsitos
y la realizacin del estudio, y llegar, desde un primer momento, a un acuerdo
comn. Las alternativas presentadas pueden ser, perfectamente, tanto un estudio cuasievaluativo destinado a valorar cuestiones concretas, como una verdadera evaluacin destinada a buscar cualquier evidencia que pueda ayudar al
cliente y a la audiencia a enjuiciar el valor de un objeto.
De cualquier manera, no es creble que los estudios inspirados y controlados polticamente sean apropiados para la evaluacin de la salud, el bienestar
y la educacin. Indudablemente, pueden ser necesarios en la administracin
y en las relaciones pblicas, pero no deben ser confundidos con -o sustituidos
por- la evaluacin. Finalmente, es imprescindible recordar que ningn tipo
de estudio es siempre el mejor a la hora de evaluar algo. Otra cuestin que
se desprende del examen de los diversos tipos de estudio presentados en este
libro es que tienen, a la vez, virtudes y defectos. En general, los defectos de
los estudios orientados polticamente es que son fcik; de manipular por personas sin escrpulos; y esto puede contribuir a que la mdiencia llegue a falsas
conclusiones al desarrollar una opinin particular sobre el valor de un programa que acaba siendo infundada y quiz falsa. El principal problema de los
estudios basados en cuestiones concretas es que, a menudo, plantean preguntas de un alcance ms limitado que el que en realidad sera necesario para un
verdadero enjuiciamiento del valor. De todos modos, tambin resulta notable
que estos tipos de estudios sean frecuentemente superiores, en la eficiencia
de la metodologa y la adecuacin tcnica de la informacin empleada, a 10s
verdaderos estudios evaluativos. Finalmente, los estudios basados en valores
realizan una tarea muy ambiciosa. Por ello es virtualmente imposible enjuiciar
el verdadero valor de cualquier objeto. Un logro completo requerira omnis-
comendar la obtencin de conclusiones a partir de estudios de programas financiados pblicamente.

SCRIVEN(l967) fue el primero en aplicar este tipo de estudio a la educacin, y existen grandes paralelismos entre su trabajo y el de Nader en el campo
del consumismo. Glass ha desarrollado enrgicamente el trabajo de Scriven.
Una de las principales ventajas de este mtodo es que se trata de un~
valoracin slida e independiente concebida para proteger a los consumidores
de productos y servicios de muy baja calidad. El mtodo goza de una gran
credibilidad entre los grupos de consumidores. Su principal desventaja es que
puede llegar a independizarse tanto de quienes lo practican que quiz no
pueda ayudarles a la hora de servir mejor a los consumidores. Adems, este
tipo de estudio requiere un experto que sea competente y en el que se pueda
confiar, adems de los recursos suficientes que le permitan realizar un estudio
minucioso. A menudo, este mtodo es demasiado costoso como para ser llevado a cabo y da como resultado datos imperfectos y poco fiables.
(
(
Mtodos alternativos de evaluacin
Conclusin
Esto completa nuestra revisin de los que consideramos los tres principales acercamientos a la evaluacin. Los diversos tipos de estudio descritos en
este libro estn contenidos en el comentario de estos enfoques. Insistimos en
que ninguno de estos tres mtodos se corresponde con la pseudoevaluacin.
En resumen, las ideas y procedimientos evaluativos que TYLER (unidad 3) y
sus seguidores, METFESSELY MICHAEL (unidad 3), y HAMMOND
y SUCHMAN
(unidad 4), proponen ms adelante, son ejemplos de cuasi evaluacin. Los recomendados por CRONBACH(unidad 5), STUFFLEBEAM(unidad 6), STAKE
(unidad 7), OWENS (unidad 8) y SCRIVEN (unidad 10) se corresponden con
nuestra descripcin de la verdadera evaluacin. Mud'lOS de los procedimientos
evaluativos recomendados por \'q eiss -particularmente
los que se refieren a
las relaciones polticas e interpersonalescoinciden casi totalmente con nuestro concepto de evaluacin verdadera. En trminos generales, creemos que los
autores que recomiendan un mtodo holstico de evaluacin, como MAcDoNALDy STAKE(unidad 9), defienden tambin ejemplos de verdadera evaluacin,
con tal que la ausencia de la credibilidad externa sea reconocida.
Como se afirma al principio de esta unidad, un anlisis de estos modelos
de estudio tiene importantes implicaciones tanto para el que los practica como
para el que estudia la evaluacin resultante. Ambos necesitan fortalece_o su
capacidad de valorar y aplicar planes de evaluacin, modelos, etctera,:ue
aparecen en la literatura evaluativa. Este estudio no slo debe describir planes
alternativos que uno puede escoger o adoptar, sino que tambin debe incrementar la sensibilidad a la hora de localizar las virtudes, los defectos y las
diferencias entre los diversos esquemas. y debe aumentar la capacidad de
pz
Ai
')
78
Mtodos
alternativos
de evaluacin
'1
79
")
ciencia, infalibilidad y una perspectiva de valoracin singularmente perfecta.

Sin embargo, no olvidarse nunca de las cuestiones referentes al valor es ciertamente esencial para el progreso de la sociedad.
a)
b)
e)
Siguen ahora cuatro preguntas con respuestas a elegir y doce anrmaciones

para cotejar que han sido concebidas para ayudarle a comprobar y consolidar
su dominio de los contenidos de la unidad 2. Le rogamos que, en cada pregunta, rodee con un crculo la letra que usted considere la mejor respuesta,
y despus compruebe su eleccin comparndola con las explicaciones de h3
respuestas correctas e incorrectas que siguen a cada pregunta. Las pregunta:;
van seguidas de una tabla de puntuacin.
Cuando haya respondido a todas las preguntas, se le darn instrucciones
para que revise (y, en su caso, perfeccione) el conjunto de su trabajo. Luego
deber intentar realizar una serie de ejercicios prcticos. La unidad concluye
con varias Preguntas sin respuesta y una lista de lecturas recomendadas.
')
')
Es incorrecta porque esta unidad subraya que la verdadera evaluacin

supone tanto servir a los clientes como hacer valoraciones de conjunto.
Es incorrecta por la misma razn proporcionada en la respuesta a.
Es incorrecta porque la definicin de evaluacin que se da en esta unidad
no excluye ningn tipo de informacin mientras incluya cuestiones acerca del mrito y el valor del objeto de inters y pueda ser utilizada por el
grupo de clientes.
')
)
)
)
.}
PREGUNTA2. Cul de las siguientes caractersticas

pseudoevaluaciones?
a)
b)
e)
d)
PREGUNTA1. Cul de las siguientes caractersticas de la evaluacin coincide mejor con el modo en que la hemos definido en esta unidad?
no corresponde a las
Deben suponer el ocultamiento o la divulgacin selectiva de los resultados.

Deben incluir, a menudo, informes valorativos, pblicos e independientes, del mrito y el valor de la evaluacin.
A menudo inventa las conclusiones con el fin de ganarse el apoyo para
un producto o servicio determinado.
Puede incluir la recopilacin de una informacin fidedigna y de gran
validez.
Respuesta correcta. Debe usted haber escogido la b. Desde el momento

en que las pseudoevaluaciones, por definicin, son utilizaciones inadecuadas de
la evaluacin realizadas por ciertas personas con el fin de alcanzar sus metas,
el trabajo evaluativo jams se somete a un escrutinio pblico e independiente,
excepto en el caso de que quien haya realizado la pseudaevaluacin no slo
carezca de tica, sino tambin de inteligencia.
a) Las evaluaciones deben centrarse en determinar el valor o el mrito de un

objeto, independientemente de los intereses o deseo~ de cualquier grupo.
b) La responsabilidad principal y casi exclusiva de los evaluadores profesionales es responder a las preguntas planteadas por sus clientes.
Los evaluadores deben evitar plantear cuestiones que ya han sido el foco
e)
de atencin de otras evaluaciones, puesto que esta prctica no ayuda a
ampliar los conocimientos.
d) Los evaluadores deben realizar tanto un amplio enjuiciamienD del valor
y el mrito de un objeto, como satisfacer las necesidades informativas de
sus clientes.
a)
e)
Respuesta correcta. Debe usted haber escogido la d. La definicin de

evaluacin que se da en la unidad 2 supone que el evaluador debe tener autoridad para valorar todo 10 que sea necesario a la hora de enjuiciar el valor o el mrito de un objeto, pero tambin insta al evaluador para que la evaluacin destaque la informacin que pueda prestar un mejor servicio al grupo de clientes.
d)
Es incorrecta porque ocultar o revelar parcialmente las conclusiones es

la caracterstica esencial del tipo de estudio pseudoevaluativo conocido
con el nombre de investigacin encubierta.
Es incorrecta porque el tipo de pseudoevaluacin denominado estudio de
relaciones pblicas supone precisameritela
utilizacin manipuladora de
la evaluacin con el fin de conseguir los propios objetivos.
Es incorrecta porque, en las investigaciones encubiertas, la ofensa previa
que se realiza contra la utilizacin tica de la evaluacin no concierne a
la calidad de los datos recopilados, sino a la presentacin de las concluclusiones, que tiende a desvirtuar su mensaje.
)
, }
)
)
,
)
)
)
)
)
)
)
,)
,
)
)
J
)
,)
)
')
,)
)
Jz
f
(
80
PREGUNTA3. Cul de las siguientes caractersticas

un estudio cuasievaluativo?
no se corresponde con
c)
(
(
a)
b)
de evaluacin
81
Mtodos alternativos
c)
Plantea una amplia gama de cuestiones acerca del valor y el mrito del
objeto de inters.
Est pensado para responder algunas preguntas concretas planteadas antes
de empezar la bsqueda de informacin.
La informacin obtenida puede o no puede ser suficiente para apoyar con
pruebas el presunto valor del objeto de inters.
Existen usos legtimos de los resultados de ciertos estudios.
d)
Mientras las cuasievaluaciones, a menudo, renuncian a la recopilacin de

una amplia gama de informacin en favor de la recogida de datos que
resulten de mucho inters para unas pocas cuestiones en concreto, las
verdaderas evaluaciones sacrifican a menudo un poco de rigor con el fin
de obtener una informacin que resulte relevante para los juicios sobre
el valor y el mrito.
El mtodo ms comnmente utilizado en la verdadera evaluacin es la
verdadera experimentacin.
d)
(
(
Respuesta correcta. Debe usted haber escogido la a. De acuerdo con

esta unidad-, la informacin recogida de los estudios cuasievaluativos es, a
menudo, demasiado restringida como para servir de apoyo a juicios de valor
acerca del objeto de inters.
Respuesta correcta. Debe usted haber seleccionado la d. La experimentacin es un mtodo utilizado a veces en la verdadera evaluacin, pero por lo
general se utiliza junto con otras tcnicas, como la revisin de documentos,
la inspeccin, el estudio de casos, las visitas y las audi:iones. La experimentacin, ciertamente, no es la tcnica ms utilizada en las v.;:rdaderas evaluaciones.
Es ~s, no hay ninguna tcnica que se utilice ms que otra en este mtodo,
porque la eleccin de tcnicas es casi siempre pragmtica y eclctica.
(
(
Es incorrecta (1a afirmacin es caracterstica de la cuasievaluacin) porque

las cuasievaluaciones empiezan comnmente con una cuestin concreta, y
luego emplean mtodos que darn respuesta a la cuestin; slo al final
del estudio el evaluador puede considerar si la informacin obtenida es
suficiente para servir de apoyo a juicios sobre el valor y el mrito del
objeto.
Es incorrecta porque mientras la informacin recopilada para responder
a cuestiones concretas es, a menudo, demasiado reducida como para servir
de apoyo a amplios juicios de valor, a veces las cuestiones tienen el suficiente alcance como para servir de gua para la recopilacin de la amplia
gama de informacin necesaria para servir de apoyo a juicios sobre el
valor y el mrito.
Es incorrecta porque las cuasievaluaciones se utilizan legtimamente ayudando a los dientes a responder a cuestiones que son importantes para
ellos, sea o no suficiente la informacin obtenida para servir de apoyo a
amplios juicios de valor.
porque existe un acuerdo para asegurar que la verdadera evaluacin sea

solvente, justa y til.
b) Es incorrecta porque, por definicin, las verdaderas evaluaciones son intentos de obtener y presentar una gama lo suficientemente amplia de
informacin como para servir de apoyo a afirmaciones acerca del valor y
el mrito de un objeto de inters.
e)
Es incorrecta porque siempre debe renunciarse a algo en el trabajo evaluativo, y porque quienes re~lizan cuasievaluaciones de alcance muy limitado encuentran ms fcil conseguir que sus resultados sean ms exactos, que aquellos que, pretendiendo realizar verdaderas evaluaciones,
deben distribuir su tiempo y sus recurS03 entre las a menudo desagradecidas tareas de recopilar toda la inforn~acin requerida para servir de
apoyo a amplios juicios de valor.
PREGUNTA4. Cul de las siguientes afirmaciones no es caract.::rstica de

las verdaderas evaluaciones?
PREGUNTAS
5 a 16. De la lista de modelos de estudio que facilitamos ms
abajo, seleccione la que mejor se puede aplicar a cada descripcin proporcionada en los nmeros 5-16. En el espacio que aparece a la izquierda de cada
descripcin escriba la letra correspondiente al modelo de estudio seleccionado.
Puede utilizar una respuesta ms de una vez.
b)
(
(
<.
c)
(
(
,
(
d)
(
(
\
(
,
(
(
(
(
1(
a)
b)
Su planificacin induye garantas contra la recopilacin y publicacin de

resultados tendenciosos.
Generan consecuentemente una amplia gama de informacin.
a) Es incorrecta (esta afirmacin es caracterstica de la verdadera evaluacin)
A.
B.
Investigacin encubierta.
Estudio basado en las relaciones pblicas.
'1
82
C.
D.
E.
F.
G.
H.
Estudio
Estudio
Estudio
Estudio
Estudio
Estudio
5.
6.
7.
8.
9.
--
10.
- 11.
12.
13.
14.
15.
16.
Mtodos alternativos de evaluacin I
basado en los objetivos.

basado en la experimentacin.
basado en las decisiones.
centrado en el cliente.
poltico.
orientado hacia el consumidor.
Las cuestiones que sirven de gua estn asociadas con las necesidades que deben satisfacerse, los mritos relativos de cada uno de
los modos en que las necesidades pueden ser expuestas, la idoneidad del programa de realizacin y el alcance y calidad de los resultados.
Este modelo de estudio valora los productos y servicios desde el
punto de vista de quienes van a beneficiarse de la utilizacin de
esos productos y servicios.
Este modelo de estudio est pensado para ayudar a los clientes a
obtener una informacin exacta que puedan controlar y seleccionar para alcanzar sus objetivos.
Este modelo de estudio ha monopolizado los esfuerzos realizados
para sistematizar la evaluacin.
Los principales problemas de este modelo de estudio consisten en
que, a menudo, no es operativo a la hora de construir teoras y
en que ofrece una gama muy estrecha de informacin.
Este tipo de estudio se centra en donde se encuentra la accin
y en las cuestiones o problemas planteados por el producto o servicio que se evala, vistos desde la perspectiva de vatios clientes.
Este' modelo de estudio podra conocerse por creacin de imagen.
Este modelo de estudio est ejemplificado por un estudio que ha
sido pensado para identificar y valorar dos o ms propuestas legales referentes a la salud de los ms necesitados.
Este modelo de estudio fue bsicamente desarrollado por Tyler.
Este modelo de estudio ha sido recomendado por Scriven y Nader.
Robert Stake es el principal representante d este tipo de estudio.
Cronbach y Stu1ebeam han recomendado este modelo de estudio.
7.
8.
9.
10.
11.
12.
13.
14.
.
'
Respuestas correctas. Debe usted haber respondido como sigue, por las razones expuestas:
E
5.
6.
Todo lo que se refiere a las necesidades, los planes alternativos,

la realizacin de los planes y los resultados, configura las principales categoras de informacin relacionadas con la conceptualizacin
orientada hacia la decisin evaluativa de Stu1ebeam.
Las valoraciones hechas desde la perspectiva del consumidor, con
.t,
15.
16.
"'l
83
el evaluador actuando como un avezado sustituto del consumidor,

es precisamente lo que supone una evaluacin orientada hacia el
consumidor.
Las investigaciones encubiertas deben manejar tanto una informacin exacta como una seleccin de informaciones.
El estudio basado en objetivos, recomendado por Tyler, ha sido
la estrategia dominante para evaluar programas desde los aos
cuarenta.
Los estudios orientados experimentalmente utilizan planificaciones
que incluyen controles de laboratorio, que a menudo no pueden
dedicarse a la creacin de teoras porque ello interferira en el
rendimiento del servicio y que comnmente se centran en slo
unas pocas y cuidadosamente definidas variables, dependientes e
independientes, lo cual proporciona una gama de informacin ver.
daderamente reducida.
El mtodo evaluativo de Stake, centrado en el cliente, consiste
primordialmente en un cuidadoso estudio del funcionamiento de
un programa de operaciones y se dedica a proporcionar informacin constante a los que estn implicados e interesados en el ptograma en cuestin.
.
El modelo de estudio inspirado en las relaciones pblicas se dedIca
a recopilar evidencias y presentar informaciones que puedan servir
de apoyo al objeto; no intenta proporcionar un perfil veraz, sino
una imagen positiva.
Los estudios orientados polticamente calculan y valoran los costes relativos y los beneficios de dos o ms propuestas polticas,
como por ejemplo estrategias opcionales para proporcionar cuidados sanitarios a los ms necesitados.
Ralph Tyler es la persona ms mencionada en la literatura evaluativa como responsable de la concepcin del trabajo evaluativo basado en objetivos cuidadosamente fijados.
Los estudios orientados hacia el consumidor son coherentes con
la filosofa evaluativa defendida por Scriven y con la mayora de
los productos y servicios que Ralph Nader y sus colaboradores
han dirigido .
El modelo centrado en el cliente es coherente con lo que se desprende de la filosofa evaluativa de Robert Stake, ms conocida
por evaluacin respondente.
Tanto Cronbach como Stu1ebeam han propuesto un mtodo evaluativo que sirve como gua para la toma de decisiones.
CALIFICACINDEL TEST DE CONOCIMIENTOS.

Una vez terminado el test de
conocimientos, le sugerimos que cuente el nmero de respuestas correctas.
")
")
")
')
1
)
.)
)
)
)
\
)
)
)
)
)
)
)
)
)
)
)
)
)
,)
)
)
)
)
)
)
L)
84
Mtodos alternativos de evaluacIn
As, evaluaremos su trabajo inicial tal como sigue: 15-16, excdente; 13-14,
muy bien; 10-12, bien; 7-9, regular; y 0-6, mal.
Cuando haya obtenido una estimacin aproximada de su trabajo inicial, le
recomendamos que dirija su atencin hacia las cuestiones que ha errado. Le
sugerimos que relea cada una de estas cuestiones y su respuesta 'correcta, y
luego revise el material del te]fto con el fin de mejorar su comprensin de
los conceptos que incluye. '
Modelos
de estudio
Estudios
orientados
hacia las
decisiones
Estudios
basados en
los objetivos
Estudios
orientados
hacia el
conStlmidor
I../1' 'VI''v/(\...
;~;~~.~~:Tt.
':',"
EJercicios prcticos
85
Estudios
centrados en
el cliente
es' juzgado por los
que, forlIlan parte
de l y por los
que son expertos
en e! rea en la
que se incluye e!
programa?
(1 ..
'C)
Mtodos ms
comunes
Este apartado contiene ejercicios prcticos que han sido pensados para
ayudarle a saber si ha comprendido usted nuestra presentacin y anlisis de
las conceptualizaciones alternativas de la evaluacin. Cada una de las cuestiones
va seguida de una respuesta-muestra o' de una lista de puntos importantes
que usted ha debido incluir en su ,respuesta. La revisin de estas respuestas
le ayudarn a valorar las suyas.
'
Modelos
de estlldio
Organizadores
previos
Propsito
Procedencia de
las cuestiones
Cuestiones
principales
Estudios
basados en
los objetivos
Estudios
orientados
hacia el
~onsumidor
Cronbach y
Stufflebeam
Pioneros
Respuesta correcta al ejercicio 1. Su esquema informativo completo suele

aproximarse al que aparece a continuacin.
EJERCICIO 1. La tabla de informacin, parcialmente completa, que va a

continuacin contrasta los modelos de estudio en seis puntos distintos. Demuestre su dominio de los parecidos y las diferencias esenciales entre estos
modelos aadiendo la informacin que falta.
Estudios
orientados
hacia las
decisiones
.Comparacin
de los datos de
trabajo con los
objetivos
Modelos
de estudio
Estudio~
centrados en
el cliente
Objetivos
Proporcionar los
conocimientos
suficientes y una
base valorativa
para tomar y
justificar
.
decisiones
La sociedad en
general, los
consumidores
y e! evaluador
Estudios
basados en
los objetivos
Estlldios
orientados
hacia
el consumidor
Estudios
centrados en
el cliente
Organizadores
previos
Objetivos
Situaciones
decisivas
Necesidades y
valores sociales
Cuestiones y
problemas
localizados
Propsito
Relacionar los
resultados con
los objetivos
Proporcionar los
cOl,ocimientos
sukientes y una
base valorativa
para tomar y
justificar
decisiones
Juzgar
los mritos
relativos de
bienes y
servicios
alternativos
Facilitar la
comprensin de
las actividades
y su valoracin
,en una teora
determinada y
desde distintas
perspectivas
Los que toman

las decisiones, sus
ayudantes y los
evaluadores
La sociedad
en general, los
consumidores
y e! evaluador
La comunidad y
los grupos de
clientes en zonas
locales, y los
expertos
Procedencia de . Planificadores
y directivos
las cuestiones
de! programa
Cul es la
historia de un
programa y cmo
Estudios
orientados
hacia las
decisiones
);1
11
;~------------------------------------------
86
Evaluacin
Mtodos
Modelos
de estudio
Cuestiones
principales
Mtodos
comunes
Pioneros
sistemtica
Estudios
basados en
los objetivos
Qu
estudiantes
alcanzan sus
objetivos?
ms
Comparacin
entre los datos
de trabajo y
los objetivos
Tyler
Estudios
orientados
hacia las
decisiones
Como debe ser
planificada,
ejecutada
y
reciclada una
empresa
determinada
para
que promueva el
crecimiento
humano yel
desarrollo
a un
coste razonable?
Inspecciones,
valoracin de las
necesidades,
grupos de
recomendacin,
observaciones
y
. planificacin
experimental
Cronbach y
Stufflebeam
Estudios
orientados
hacia el
consumidor
Estudios
centrados en
el cliente
Cul de los
diversos
objetos de
consumo
alternativos
representa la
mejor compra
que' pueda
hacerse, dados
sus costes, las
necesidades
de los
consumidores
y los valores
de la sociedad
en general?
Cul es la
historia de u~
programa y cmo
es juzgado por
quienes estn
implicados en l
y por los que son
expertos en el
rea en la que se
incluye el
programa?
Listas de
control,
valoracin
de las
necesidades,
evaluacin
sin metas,
planificacin
experimental
y anlisis
del coste
Estudio de casos,
informes
contrapuestos,
sociodrama y
evaluacin
respondente
Scriven
Stake
EJERCIC~O2. Haga una lista de los que usted cree que son los principales
defectos y vIrtudes del mtodo evaluativo experiment.tl.
Ejemplo de respuesta al ejercicio 2. De acuerdo con la pOSlClon adoptada
en esta unidad, su respuesta debe ser aproximadamente como sigue:
a)
Virtudes.
1. Valora las relaciones causales.
2. Proporciona una informacin exacta y objetiva.
3. Produce datos que pueden utilizarse en el anlisis.
4. Da. como resultado informes precisos y objetivos.
5. EVIta la manipulacin poltica.
b)
alternativos
de evaluacin
87
Defectos.
1. No armoniza con las necesidades informativas de las audiencias.
2. No produce una informacin oportuna.
3. Ofrece una visin reducida del valor de un objeto.
4. A menudo no documenta ni valora la realizacin de un programa.
5. A menudo se gua por planes de procedimientos poco prcticos.
EJERCICIO 3. Haga una lista de los que usted considere como principales
defectos y virtudes de la estrategia evaluativa centrada en el cliente.
Ejemplo de respuesta al ejercicio 3. De acuerdo con la posicin adoptada
en esta unidad, su respuesta debe ser aproximadamente como sigue:
a)
Virtudes.
1. Proporciona informacin continua.
2. Sirve a mltiples audiencias.
3. Es flexible y aguda.
4. Promueve la autoevaluacin.
5. Facilita una efectiva comunicacin de los resultados.
6. Toma en consideracin el contexto.
7. Valora los procesos.
8. Valora los resultados propuestos y los conseguidos .
9. Valora los efectos secundarios.
10. Proporciona una informacin de amplio alcance.
11. Valora los defectos y las virtudes.
12. Ofrece juicios procedentes de distintas fuentes.
13. Pone nfasis en la validez.
14. Pone nfasis en la descripcin completa.
15. Pone nfasis en la comunicacin clara.
16. Es aplicable a pequeas instituciones.
h)
Defectos.
1. Depende de la cooperacin de las audiencias.
2. Puede dejar de lado la evaluacin completa.
3. No viene avalada por mtodos completamente desarrollados y vlidos.
4. A menudo produce informacin de exactitud cuestionable.
5. La objetividad de la evaluacin es a menudo dudosa.
6. Permite la utilizacin de evaluadores tendenciosos o poco preparados.
7. A menudo condu.ce a resultados equvocos o contradictorios.
8. A veces es vulnerable a la manipulacin poltica.
f
(
88
f
f
(
{
(
(
(
(
Este apartado
final incluye cuatro preguntas
concebidas
para ayudar a
reflexionar crticamente
sobre los contenidos
de esta unidad. No se proporcionan las respuestas.
En su lugar, le sugerimos
que lea y piense cada una de
ellas y, si es posible, las discuta con sus alumnos o colegas. Adems, puede
que estas 'preguntas le resulten tiles como gua para un futuro estudio de las
lecturas propuestas
al final de la unidad.
1.
Puede una. autoevaluacin

interna aproximarse
a los reqUISltOS de una
verdadera
evaluacin?
Si es as, qu debe producirse
para que cumpla
esos requisitos?
2.
La distIncin que proporcionamos

en esta unidad entre cuasievaluaciones
y verdaderas
evaluaciones,
es artificial, especialmente
si se considera que
la evaluacin supone no un simple estudio, sino un programa de estudios?
Existen
cuestiones
filosficas fundamentales
que distingan los estudios
orientados
hacia el consumidor
de los estudios centrados en el cliente?
Si es as, cules son?
(
(
(
(
3.
(
(
(
4.
Es importante
que los evaluadores distingan entre pseudoevaluacin,
sievaluacin
y verdadera
evaluacin?
Si es as, por qu? Si no,
(
(
(
(
(
(
(
(
l
(
4
(
cuapor
qu no?
ALKIN, M. C. 1969. Evaluation theory development, Evaluation Comment, 2, pginas 2-7.
ANnERSON,S.; BALL, S.; MURPHY, R. y colaboradores. 1973. Encyclopedia o/ educational evaluation, San Francisco, Jossey-Bass, pg. 142.
BLooM, B. S.; ENGLEHART, M. D.; FURsT, E. J.; HILL, \Yl. H.; Y KRATHWOHL,
D. R. 1956. Taxonomy o/ educational objectives. Handbook 1: Cognitive domain, Nueva York, David McKay (trad. cast.: Clasificacin de las metas educativas. Tomo I: Taxonoma de los objetos, Alcoy, Marfil, 1979).
CAMPBELL, D. T. Y STANLEY, J. C. 1963. Experimental
and quasi-experimental
designs for research on teaching. En N. L. GAGE (comp.), Handbook o/ research
on training, Chicago, Rand McNally.
CLARK, K. Dark ghetto, Nueva York, Harper and Row, 1963.
COLEMAN, ]. S.; CAMPBELL, E. Q.; HOBsoN, c.]. MCPARTLAND,J.; MOOK, A.
M.; \YlEINFELD, F. D.; Y YORK, R. L. 1966. Equality o/ educational opportunity, \Ylashington, D.C. Oficina de Educacin, Departamento
de Salud, Educacin y Bienestar de los EE.UU.
CoOK, D. L. 1966. Program evaluation and review techniques, applications in education, U. S. O//ice o/ Education Cooperative Monograph, 17 (OE-12024).
89
CRONBACH, L. ]. 1963. Course improvement through evaluation, Teachers College

Record, 64, pgs. 672-683.
CRONBACH, L. J. Y SNOW, R. E. Individual Differences in Learning Ability as a
Function of Instructional Variables, Stanford, Calif., Stanford University Press,
1969.
EBEL, R. L. 1965. Measuring educational achievement,
Englewood Cliffs, N. J.,
Prentice-Hall.
SCRIVEN,M. S. 1967. The methodology of evaluation. En R. E. STAKE (comp.),

Curriculum evaluation. AERA Monograph Series on Curriculum Evaluatiol1
(vol. 1). Chicago, Rand McNally.
STAKE, R. E. 1967. The countenance of educational evaluation, Teachers College
Record, 68, pgs. 523-540.
STAKE, R. E. Program Evaluation, particularly Responsive Evaluation. Occasional
'-
bibliogrficas
FIsHER, R. L. 1951. The design o/ experiments (6.' ed.), Nueva York, Hafner.
GLASS, G. V. y MAQUIRE, T. O. 1968. Analysis of time-scires quasi-experiments.
(Informe n. 6-8329 de la Oficina de Educacin de los EE.UU.) Boulder, CoL,
Laboratorio de Investigacin Educativa, Universidad de Colorado.
GUBA, E. G. 1978.. Toward a methodology Of naturalis~ic inquiry in educational
evaluation. CSE Monograph Series in Evaluation, Los Angeles, Calif., Center
for the Study of Evaluation.
HAMMOND,R. L. 1972. Evaluation ,'1' the local level (ciclostilado), Tucson, Ariz.,
EPIC Evaluation Center.
JENCKS, c.; SMITH, M.; AnAND, H.; B., MJ.; COHEN, D.; GINTIS, H.; HEYNES,
B.; Y MICHELSON, S. 1nequality: A reassessment of the effect of family and
schooling in America, Nueva York, Basic Books, 1972.
KAPLAN,A. 1964. The conduct o/ inquiry, San Francisco, Chandler.
LESSINGER,L. M. 1970. Every kid a winner: Accountability
in education, Nueva
York, Simon & Schuster.
LINQUIST,E. F. 1953. Design and analysis o/ experiments in psychology and education, Boston, Houghton Mifflin.
McDoNALD, B. 1975. Evaluation and the control of education. En D. TAWNEY
(comp.), Evaluation: The state o/ the art, Londres, Schools Council.
METFESSEL, N. S. Y MICHAEL, \Yl. B. 1967. A paradigm involving multiple criterion measures for the evaluation of the effectiveness of school programs,
Educational and Psychological jvleasurement, 27, pgs. 931-943.
OWENS, T. 1971. Application of adversary proceedings to educational evaluation
and decision making. Texto presentado en el congreso anual de la American
Educational Research Association, Nueva York.
POPHAM, \Yl. ]. 1969. Objectives and instruction. En R. STAKE (comp.), 1nstructional objectives. AERA Monograph Series on Curriculum Evaluation (vol. 3).
Chicago, Rand McNall:-PROVUS,M. N. 1971. Disc.?pancy evaluation, Berkeley, McCutcheon.
REINH ARD, D. L. Methodology Development for Input Evaluation Using Input
Evaluation Using Advocate and Design Teams. Tesis Doctoral de Filosofa, Universidad del Estado de Ohio, 1972.
RIPPEY, R. M. (comp.). Studies in Transactional Evaluation, Berkeley, McCutcheon,
1973.
(
(
Referencias
bs
I
90
II
Paper Series n. 5, Universidad de Western Michigan, Centro de Evaluacin,

1975.
STUFFLEBEAM,D. L. 1966. A depth study of the evaluation requirement, Theory
into Practice, 5 (junio), pgs. 121-134.
...
-.1967.
The use and abuse of evaluatioIi in Title III, Theory mto Practzce, 6 (Junio), pgs. 126-133.
.,
STUFFLEBEAM,D. L. Y WEBSTER, W. J. An Analysls of Al.ternatlve Approach~s
to Evaluation. Educational Evaluation and Policy Analysls, n. 3.2 (mayo-JunIO
de 1980), pgs. 5-19. Copyright J 1980, American Educational Research Association, Washington, D.C.
SUCHMANN, E. A. 1967. Evaluative research, Nueva York, Russell Sage Foundation.
TAYLOR, J. P. 1974. An administrator's
perspective of evaluation. Kalamazoo: Universidad de Western Michigan (publicacin no peridica, 2).
THORNDIKE, R. L. 1971. Educational measurement (2.a ed.), Washington, D.C.,
American Council on Education, 1971.
WEBSTER, W. J. The Organization and Functions of Research and Evaluation in
Large Urban' School Districts. Texto presentado en el congreso anual de la
American Educational Research Association, Washington, D.C., marzo de 1975.
WEISS, C. Evaluation Research: Methods 01 Assessing Program Ellectiveness, Englewood Cliffs, N. J., Prentice-Hall, 1972.
..
.
.
\J(1ILEY,D. E. Y BOCK, R. D. Quasi-experimentauon
m .Educauonal Settmgs: Comment, The School Review, invierno de 1967,35, pags. 3-66.
WOLF, R. L. How teachers feel toward evaluatiom>. En E. R. HOUSE (comp.),
School evaluation: The Politics and Process, Berkeley, McCutcheon, 1973.
")
"')
LA EVALUACION ORIENTADA HACIA

LOS OBJETIVOS: LA TRADICION TYLERIANA
')
')
')
.')
')
'1
,.._ 'l~ \ ~"
~\\(~1~
[.'-
"
)
')
)
)
.,i,
1
Off
1
1
j
I
hn
Ralph W. Tyler desarroll el primer mtodo sistemtico de evaluacin

educacional. Este surgi del trabajo que realiz, en los aos treinta y a principios de los cuarenta, en el Eight-Year Study de la Universidad del Estado de
Ohio (SMITH y TYLER, 1942). A partir de entonces, el profesor Tyler ha
continuado desarrollando aspectos de la evaluacin, principalmente a escala
nacional, siguiendo la evolucin de los programas educativos federales. El
alcance del respeto que ha conseguido puede medirse, en parte, por el gran
nmero de reputados evaluadores que han basado su metodologa en las teoras
tylerianas.
Antes de que Tyler publicara su modelo evaluativo en 1942, los estudios
se centraban en el estudiante y en la valoracin de los logros alcanzados por
el estudiante. La evaluacin era, por lo tanto, virtualmente idntica a la valoracin. Tyler procur poner el nfasis en una amplia gama de objetos educativos, como los currculos y las ayudas. Tambin destac la necesidad de
establecer, clasificar y definir los objetivos en trminos de rendimiento, como
una etapa inicial del estudio evaluativo. La evaluacin, pues, se convirti en
un proceso para determinar la congruencia entre estos objetivos y las operaczones.
El concepto tyleriano ha sido a menudo aplicado con una estrechez de
miras que Tyler nunca propugn. Ms significativamente, mientras Tyler ofreca medios prcticos para proporcionar informacin durante el curso de una
evaluacin, la atencin acab fijndose en los datos (por lo general relacionados con los logros del estudiante), que fueron considerados vlidos slo
cuando el programa haba recorrido ya su ciclo completo. Apesar de las desuentajas de la evaluacin concebida como un proceso terminal y del estrecho
Clcanceasignado a los objetivos, el trabajo de Tyler permanece como uno de
los grandes hitos en la historia de la evaluacin concebida como ciencia.
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
,)
)
,)
,
f
f
('
t
(
(
(
(
f
(
'T
92
La tradicin tyleriana
Ralph W. Tyler es generalmente considerado el padre ~e la ~valuacin

educacional. Existen, posiblemente, dos razones para ello. Pnrr:~ra. propuso,
describi y aplic un mtodo ya desarrollado para la evaluaClon, algo que
nadie haba hecho antes. Y segunda: su metodologa ~~ sido ta~ penetrante
como influyente. Destacados estudiosos de la evaluaclOn educ:aclOnal, ~omo
Nlichael y Metfessel, Provus y Hammond, han llevado m~s alla el trabajo de
Tyler, sin alejarse de su filosofa bsica y de su tecnologla .. ,
.
En trminos generales, Tyler consideraba que la evaluaClon debe deter:r;lnar la congruencia entre trabajo y objetivos. TYLER lleg a esta c~ncluslOn
tras su trabajo en los aos treinta y principios de los cuarenta, en el Elght-Year
Study de' la U~iversidad del Estado de Ohio. Algunos aos ms tarde (1950,
pg. 69) resumi sus concepciones en estas palabras:
3.
(
(
(
(
(
(
(
(
(
En esta unidad, presentamos los principales aspect~s del m~todo evaluativo tyleriano. Tambin reseamos brevemente el trabajO de Mlchael y. Metfessel, seguidores del modelo concebido por Tyler. Cuando h~y~ termll1ado
el ncleo de esta unidad, se le pedir que haga un test de conoClmlent~s sobre
la tarea tyleriana, comparando sus respuestas con las que l~ propo.rclonamos
nosotros, y un ejercicio prctico, en el que deber hacer 10 rr:1smo. ~I~al~ente,
la unidad termina con la discusin de los temas (y sus pOSibles utIlizacIOnes)
en las Preguntas sin respuesta y con una lista de lecturas recomendadas.
(
(
Objetivos
Los objetivos de esta unidad son los siguientes:
(
(
1.
l
(
(
2.
Llegar a comprender la intencin del mtodo evaluativo tyleriano te~iendo

en cuenta sus procedimientos de planificacin evaluativa, las ventajas del
mtodo y las utilizaciones del mode:o.
.
.
Destacar algunas limitaciones del rr~todo tylenano. En particular, la evaluacin como proceso terminal, sus limitaciones tcnicas (ocultar el proceso para la consecucin de los objetivos y situar los objetivos ~n trr:lln~s
de comportamiento), la consideracin del rendimiento como ltimo cnteno
y el estrecho alcance de la evaluacin.
Procedimiento de diseo evaluativo

La ventaja de la definicin de evaluacin basada en la congruencia es que
procede de una base lgica organizada a partir del desarrollo de un programa.
Tyler consideraba que la evaluacin deba ser una etapa esencial de este desarrollo. Adems, consideraba que deban existir una serie de etapas lgicas que
afianzaran el proceso de evaluacin real. De acuerdo con Tyler, el procedimiento para evaluar un programa es el siguiente:
1. Establecer las metas u objeti;os.
2. Ordenar los objetivos en amplias clasificaciones.
3. Definir los objetivos en trminos de comportamiento.
4. Establecer situaciones y condiciones segn las cuales puede ser demostrada la consecucin de los objetivos.
5. Explicar los pfJpSitos de la estrategia al personal ms importante en
las situaciones ms adecuadas.
6. Escoger o desarrollar las apropiadas medida~ tcnicas.
7. Recopilar los datos de trabajo (en el caso de los programas educativos,
deben referirse al trabajo de los estudiantes).
8. Comparar los datos con los objetivos de comportamiento.
Debe destacarse que la definicin de evaluacin de Tyler coincide mucho
con estas etapas del procedimiento. Si el objetivo de un programa de currculos y enseanza es producir un cambio en los modelos de comportamiento
de los que se benefician de l, entonces es necesario un mtodo que mida el
(
(
L....
Revisar una ampliacin del mtodo tyleriano, la realizada por Metfessel

y Michael, teniendo en cuenta su procedimiento evaluativo de ocho etapas
y el apndice (sobre valoraciones basadas en mltiples criterios).
En su informe general sobre la evaluacin publicado en 1942, Ralph Tyler

puso las bases de un estilo evaluativo orientado hacia los objetivos. Concluy que las decisiones acerca de los' programas deban estar basadas necesariamente en la coincidencia entre los objetivos del programa y sus resultados
reales. Si se alcanzaban los objetivos, se tomaran las decisiones en una direccin concreta. Si no se a1c:!nzaban, o slo se alcanzaban parcialmente, deban
tomarse decisiones distintas. La principal recomendacin de Tyler era que el
profesor, el administrador o el que realizara los currculos deba llegar a emitir
juicios racionales' acerca de las reas programticas que fueran en su direccin.
El proceso de la evaluacin es esencialmente el proceso de determinar ~asta

qu:punto los objetivos educativos han sido actualm~nte alcanzados mediante
los programas de currculos y enseanza. De cua.lqUlermanera,. desde el .momento en que los objetivos educativos son esenCl.al~ente cambios produCidos
en los seres humanos, es decir, ya que los obJetlvos alcanzados pro~ucen
ciertos cambios deseables en los modelos de com?ortami~nto del estudiante,
entonces la evaluacin es el proceso que determ111ael nivel alcanzado real.
mente por esos cambios de comportamiento.
93
La intencin del mtodo tyleriano
(
(
J
J
94
La tradicin
Ventajas del mtodo tyleriano
')
95
Lo utilizaron otros, incluido Scriven (evaluacin formativa) y Stufflebeam

(evaluacin del proceso), para resaltar la gran importancia de la evaluacin,
til tanto para juzgar el ptoceso de un programa como sus resultados finales.
Tyler subray que un estudio evaluativo no necesariamente deba ser considerado aislado de otros estudios similares. Crea que el valor real de la informacin derivada de los estudios ms tempranos deba ser utilizada para ayudar a definir los objetivos, seleccionar las condiciones apropiadas para que pudieran alcanzarse los objetivos propuestos y ayudar en la interpretacin de
los resultados que deban valorarse. Consideraba, por lo tanto, que un buen
evaluador deba adquirir destreza para utilizar con habilidad los precedentes
adecuados a la hora de realizar estudios evaluativos o desarrollar tcnicas de
valoracin.
Como se ha dicho al principio, Tyler puso las bases del primer mtodo
sistemtico de evaluacin. Fue lo que ms tarde se convirti en el mtodo
dirigido por objetivos, para desarrollar y controlar organizaciones o ciertos
aspectos de las organizaciones. Uno de los aspectos ms importantes de los
mtodos sistemticos es su apariencia racional. En educacin, concretamente,
resultan atrayentes los conceptos derivados de las etapas sistemticas, como
formulacin de objetivos, retrol!limentacin, evaluacin continua y reciclaje (basado en la modificacin de metas u objetivos). Adems, el proceso parece
ser til para el profesor que desee tomar decisiones acerca del programa.
Rara vez son necesarios los agentes externos, aunque el Eight-Year Study
es una excepcin importante.
alcance del cambio. Antes de que esto suceda deben ser determinadas con claridad y definidas las metas y objetivos. Dicho en trminos de comportamiento, deben comprobarse los objetivos despus de que se hayan establecido
las condiciones apropiadas para su comprobacin.
Tyler no diferenciaba entre metas y objetivos en su estrategia. De sus
escritos puede colegirse, de cualquier forma, que las metas de un programa
eran ideales por los que haba que luchar, mientras que los objetivos eran
submetas que podan ser expresadas como entidades mensurables.
Antes de que Tyler desarrollara su mtodo, la evaluacin educacional se

haba centrado casi exclusivamente en el estudiante. Los logros de los estudiantes eran la base de la evaluacin del programa. Los logros, o los mritos,
se basaban a veces enteramente en valoraciones como los tests y, ocasionalmente, en una sntesis de varias valoraciones e impresiones subjetivas. En este
mtodo orientado hacia la valoracin para descubrir el mrito de un programa,
el estudiante era el principal foco de atencin. Adems, la evaluacin se limitaba a aquellas variables que podan ser sometidas a valoracin.
El mtodo tyleriano, en teora, desplazaba su atencin hacia otros aspectos del programa, aparte de los estudiantes. En concreto, deben tenerse muy
en cuenta el conocimiento de las intenciones del programa, sus metas y sus
objetivos de comportamiento, as como los procedimientos necesarios para
llevarlo a cabo con xito. El hecho de que debieran ser definidos los objetivos
proporcionaba un buen punto de referencia para la evaluacin y la toma de
decisiones. Las definiciones de los objetivos tambin implicaban criterios para
valorar su xito. Cualquier evidencia vlida acerca de los objetivos de comportamiento deba ser concebida como un mtodo vlido de evaluacin. Nunca
estuvo especialmente interesado en los mtodos que no utilizaban papel-y-lpiz,
como la observacin, las entrevistas y la valoracin de los trabajos manuales
y ejercicios de los estudiantes.
Tyler proporcion medios prcticos para la retroalimentacin (trmino que
l introdujo en el lenguaje evaluativo). As, Tyler vea la evaluacin como un
proceso recurrente. La evaluacin, segn l, deba proporcionar un programa
personal con informacin til que pudiera permitir la reformulacin o redefinicin de los objetivos. Si se produce la modificacin de los objetivos, debe
realizarse la revisin correspondiente de los planes evaluativos.
La estrategia de Tyler tambin permiti que el evaluador con llllclatlva
pudiera examinar los datos ms relevantes del proceso mediante el cual se
desarrollaba el programa. De todas formas, como afirmamos ms adelante,
este aspecto potencialmente valioso del programa evaluativo nunca fue promulgado por Tyler ni puesto en prctica por sus inmediatos contemporneos.
tyleriana
.)
'l
'l
,'l
')
)
, )
')
)
)
)
)
)
)
Utilizaciones del modelo tyleriano
Tyler previ que su mtodo evaluativo sera utilizado principalmente por

profesores y elaboradores de currculos. Tras la aparicin de los programas
federales en los aos sesenta, consider igualmente que su mtodo poda ser
apropiado para evaluadores profesionales.
.
Aparte la modificacin de currculos y la clasificacin de objetivos, como
se ha subrayado ms arriba, el mtodo Tyler es muy til en clase. De cualquier manera, depende mucho de la agudeza del profesor que el mtodo sea
usado positivamente (la toma de decisiones para el perfeccionamiento de la
educacin debe continuar siendo la principal utilizacin de la evaluacin, no
importa cul sea el alcance de la discrepancia existente entre los objetivos y
los resultados del trabajo).
El mtodo Tyler puede ser til como gua de aprendizaje para el estudiante. Puede encargarse del diagnstico y posterior tratamiento de los defectos del proceso de aprendizaje, ya sea individual o por grupos. Puede tambin
permitir que un profesor modifique los objetivos de aprendizaje para satisfacer tanto las posibilidades de ese aprendizaje como las necesidades del
)
)
)
)
)
)
)
)
)
)
)
\
)
)
'Ft
(
96
estudiante, Debemos destacar que Tyler nunca mencion el curso en el que se

encontraba cada estudiante, ni 10 utiliz en su mtodo evaluativo.
Tyler tambin crea que la evolucin era til para proporcionar a la direc.
cin de una escuela informacin acerca de algunos de sus aspectos. En cierto
modo, prevea el uso de la evaluacin con propsitos administrativos. De cual.
quier forma, le interesaba ms el cambio positivo que poda producirse despus de una evaluacin que los argumentos que poda proporcionar a los padres y a otros miembros de la comunidad para que los utilizaran contra el
personal de la escuela. La informacin derivada de un proceso evaluativo
racional puede producir buenos efectos, esto es, un perfeccionamiento de la
educacin.
(
(
(
(
(
(
(
(
(
(
(
(
Algunas -limitaciones del mtodo tyleriano

Tyler consideraba que el propsito de una evaluacin era proporcionar
un informe que dilucidara si la planificacin de experiencias de aprendizaje
serva realmente de gua al profesor para alcanzar los resultados deseados.
Esto suena a propsito desarrollista o formativo. En realidad, el mtodo tyle.
riano ha sido utilizado de muchas maneras. Esta es la crtica que ms frecuen.
temente se le hace al modelo.
(
(
La evaluacin como proceso terminal
<.
(
(
(
(
(
(
(
,,
(
'l
l
Es irnico que un procedimiento que tanto habl de la retroalimentacin

y de su utilizacin en la mejora de la educacin, haya sido utilizado casi
exclusivamente para valorar el logro final. Con su amplia gama de posibilidades, nunca subrayadas por Tyler, el mtodo orientado hacia los objetivos
tiende, en la prctica, a convertir la evaluacin en un acontecimiento termi.
nal, permitiendo nicamente juicios sobre el producto final. Cualquier proceso de recogida de datos no debe ser necesariamente estril, puesto que
pueden ser utilizados cuando ya se hayan alcanzado las metas. De cualquier
manera, se pierde la oportunidad de utilizar estos datos para perfeccionar el
programa durante su curso.
As, el concepto tyleriano de evaluacin en trminos de coincidencia,
que relaciona los resultados con los objetivos, concede una atencin predominante al proceso terminal que proporciona informacin slo cuando se ha
cumplido el ciclo completo del programa. Exi~te una pequea duda acerca
del modo en que Tyler conceptualiz su mtodo evolutivo y la manera en que
esta conceptualizacin difiere de la prctica, demasiado a menudo en contra
de las grandes posibilidades del mtodo tyleriano.
La tradicin
Limitaciones
tyleriana
97
tcnicas
Para obtener un grupo operativo de objetivos que luego coincidan con

los resultados, el evaluador debe seleccionar, y clarificar, los objetivos aproiados. Ms claramente, tampoco deben ser tenidos en cuenta en una evalua~in todos los objetivos posibles para un programa. Tyler sugiere, por 10 tanto, que se realice un proceso de criba inicial segn una filosofa y una psicologa determinadas. Nunca especific exactamente qu forma deba adoptar
este proceso; las desventajas de este mtodo impreciso son obvias. Los intentos realizados por autores posteriores con el fin de interpretar este proceso
selectivO slo han trado ms confusin. Quiz sea suficiente decir que esta
criba inicial deba exponer los aspectos ms importantes de un programa
desde puntos de vista como el contenido, el aprendizaje y el desarrollo de una
teora, y que estos aspectos deban ser expresados en trminos de rendimiento
o comportamiento.
La principal contribucin de los evaluadores fue reducir las metas ya seleccionadas a objetivos de comportamiento valorables. Para la estrategia de tra.
bajo tyleriano, los objetivos deban ser establecidos en trminos operativos.
La habilidad necesaria para realizar esta operacin bsica (por la que la totalidad de la evaluacin poda seguir adelante o desmoronarse) demostr ser
excesiva exigencia para algunos profesores. Como resultado, el criterio para
la exposicin de objetivos acab siendo la facilidad con la que el informe podra ser utilizado directamente como test. Como consecuencia, los objetivos
importantes, particularmente los relacionados con los aspectos menos concretos del programa, como las actitudes que deban adoptarse, fueron a me.
nudo ignorados.
El rendimiento
como ltimo criterio
En su definicin de evaluacin, Tyler puso un nfasis especial en los objetivos relacionados con el rendimiento, e, invariablemente, con el rendimiento
de los estudiantes. Aunque, como hemos afirmado ms arriba, el modelo tyIeriano dio su promesa terica de atender tanto a los procedimientos educativos
como a los estudiantes, los evaluadores se sintieron obligados a evaluarlo
todo atendiendo a los efectos producidos en los estudiantes. Esto ocurra
incluso cuando el objeto real de la evaluacin era un diseo para un nuevo
edificio o un procedimiento administrativo renovador. Todo tenda a ser contemplado desde el punto de vista de los estudiantes y de sus cambios en el
tendimiento (el cual, si era positivo, se llamaba logro). As, tomando el
ejemplo expuesto anteriormente, la cuestin que deba ser respondida era
si la estructura del nuevo edificio, o el procedimiento administrativo, iban
1
1
98
La tradicin tyleriana
El procedimiento
')
de las ocho etapas
")
")
Algunos crticos consideran que el mtodo tyleriano falla en reas como

la seleccin de los objetivos ms importantes, la evidencia de la tendenciosidad de sus valores en esta seleccin y las normas bsicas por las que las
discrepancias entre los objetivos y los resultados del trabajo son valorados.
Adems, pueden surgir pequeas dudas acerca de que el procedimiento
que se centIa estrechamente, primero en la clase y luego en el profesor, sea
el agente que el estudio verdaderamente necesita. Si la eleccin de objetivos
es demasiado restrictiva, existen pocas oportunidades de que surja un estudio
ms realista y abierto. La evaluacin estaba, en efecto, encerrada en el molde
de sus objetivos iniciales. Un resuhado probable y desafortunado era que el
programa se desarrollara poniendo especial nfasis en los objetivos escogidos,
anulando as la creatividad del programa en favor de las demandas evalua-
1.
2.
3.
4.
5.
6.
Metfessel y Michael: una am.pliacin del mtodo tyleriano
METFESSELY MrcHAEL (1967) crean, al igual que Tyler, que la valoracin de los resultados poda hacer ms perfectas las decisiones educativas.
Como apndice a una interesante publicacin (1967), Metfessel y Michael
hicieron una lista de los mltiples criterios de valoracin que podan ser utilizados para la evaluacin de programas. Especificando toda la gama de posibles criterios para la valoracin de los resultados, Metfessel y Michael van
bastante ms all que Tyler. Sin embargo, su paradigma evaluativo es bsicamente similar al mtodo tyleriano.
evaluativo
Metfessel y Michael desarrollaron un paradigma evaluativo de ocho etapas

con el propsito de ayudar al personal bsico de las escuelas (profesores,
administradores y especialistas) a evaluar la consecucin de los objetivos en
los programas escolares. El cuarto segmento de este paradigma utiliza las valoraciones basadas en mltiples criterios a que nos hemos referido ms arriba.
Las ocho etapas principales del proceso evaluativo son las siguientes:
evaluativos
tivas.
Demasiado a menudo, la eleccin de objetivos queda restringida a los objetivos de rendimiento, que son ms fciles de cuantificar y especificar. Importantes actividades que no se definen operacionalmente, como la apreciacin,
el juicio y la reflexin -ms difciles de cuantificar-,
fueron rara vez incluidas como objetivos especficos de la evaluacin de un currculo. Era difcil
poner a los estudiantes en u'na situacin en la que estas ltimas actividades
pudieran manifestarse de un modo valorable. Con esta dificultad a la hora de
especificar el rendimiento y precisar la cuantificacin, dificultad que incluso
poda ser imposibilidad, con la poca concrecin que poda alcanzarse respecto
a estos elementos del programa, la evaluacin tenda a convertirse en algo
desequilibrado y, por 10 tanto, incompleto.
99
')
a ayudar al xito del estudiante. El estrecho alcance del mtodo evaluativo

tcnico basado en la coincidencia centr demasiado la atencin en el rendi_
miento como criterio ltimo.
Tendenciosidad Y falta de alcance de sus componentes
7.
I
8.
Implicar a todos los miembros de la comunidad escolar como participantes o ayudantes de la evaluacin.
r::acer una lista coherente de todas las metas y objetivos especficos, claslficados en un orden jerrquico, desde los resultados ms especficamente
deseados hasta los ms generales, a) poniendo primero las metas que
ms a~p~iamente abarcan las intenciones tericas del programa; b) luego
los obJetIVOS especficos en trminos operacionales, para permitir una
valoracin objetiva siempre que sea posible; y e) desarrollando finalmente
criterios de enjuiciamiento que permitan la definicin de los resultados
ms significantes y relevantes, el establecimiento de prioridades realistas
en trminos de necesidad social, de la facilidad del alumno, de la retroalimentacin alumno-maestro y de la disponibilidad de personal y de recursos materiales.
Traducir los objetivos especficos de rendimiento a una forma inteligible
que pueda ponerse en prctica para facilitar el aprendizaje en el ambiente
escolar.
Seleccionar o crear una variedad de instrumentos que suministren valores
de los que se pueda colegir la efectividad de los programas a la hora de
conseguir los objetivos que se haban propuesto.
Llevar a cabo observaciones peridicas, a travs de la utilizacin de instrumentos variados, para calibrar el alcance del cambio en el rendimiento
que resulta vlido respecto a los objetivos seleccionados.
Analizar los datos proporcionados por la valoracin del cambio a travs
de la utilizacin de mtodos estadsticos apropiados.
Interpretar los datos relativos a los objetivos especficos segn ciertas normas ~e enjuiciamiento y ciertos valores que se consideren apropiados para
los n}veles a los que se desee llegar en el trabajo; de esta manera, se
podra llegar a conclusiones que proporcionen informacin acerca de la
direccin de la evolucin, el progreso de los estudiantes y la efectividad
de todo el programa.
H. acer :ecomen daClones
.
que proporcionen una base para futuros perfecclO.na~Il1entos,modificaciones y revisiones de toda la gama de metas y
objetivos especficos con el propsito de mejorar el programa; proporcio-
I
')
')
)
)
')
.)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
r'.
(
,(
100
La tradicin
nar continua informacin, basada en recomendaciones, a todos los individuos implicados en el programa; y prepararse para cuando vuelva a
recomenzar el ciclo del proceso evaluativo, una vez que los resultados
ya hayan sido presentados a las audiencias correspondientes,
(
(
(
El paradigma tambin proporciona detalles acerca de los individuos que
deberan ser los principales responsables de la evaluacin en cada una de las
etapas sucesivas del proceso, Estas responsabilidades, en forma de funciones
de asistente, vienen indicadas con la letra L para el personal no experto.
([ay persormel), la P para el personal profesional (professional stal! personnel) y la $ para los estudiantes (students), Cuando ms de uno de estos
grupos tiene alguna responsabilidad en alguna etapa del proceso evaluativo,
deben designarse los que actuarn como agentes secundarios o indirectos.
Por ejemplo, mientras los tres grupos se reparten la responsabilidad en la
primera etapa, slo los profesionales estn implicados en la sexta y estos mismos profesionales tienen la responsabilidad principal en la octava, donde los
no expertos y los estudiantes desempean papeles secundarios y de asistentes.
Metfessel y Michael tambin insistan en que las decisiones que supusieran algn tipo de enjuiciamiento deban incluirse en todas las fases del proceso evaluativo, puesto que los que participan en cada etapa deben estar
preparados para reajustes en sus actividades segn la cantidad y el carcter
de la informacin que vayan recibiendo.
Adems, Metfessel y Michael afirmaban que los evaluadores deban saber
que las valoraciones podan indicar falsos progresos o falsos retrasos relacionados con 10 siguiente:
(
(
(
(
(
,'(
(
(
(
(
(
(
(
(
1.
(
2.
(
3.
4.
Teniendo siempre presentes estos peligros, la prudencia y el buen juicio

del evaluador se hacen particularmente tiles y necesarios si se quieren
extraer conclusiones honestas y significativas de los datos de la evaluacin.
(
(
(
El apndice de las valoraciones
(
~
..
i'
1.
2,
3.
101
Indicadores de inmovilidad o cambio en los comportamientos cognitivos

y afectivos de los estudiantes segn mediciones y esca!as norn:alizadas:
por ejemplo, tests de conocimiento estandarizados, autOl.n.ventanos. estandarizados, escalas de valor estandarizado y tests de hab1hdades pS1comotrices estandarizados.
y afectivos de los estudiantes mediante instrumentos o .sistemas, i~formales o semiformales, realizados por el profesor: entrev1stas, cuestIonarios, autoexmenes acerca de los conceptos y tests de conocimientos y
escalas de valor realizados por el maestro.
Indicadores de inmovilidad o cambio en el comportamiento de los estudiantes que no pueden ser valorados mediante tests, inventario o escalas
de observacin, pero que estn- relacionados con la tarea de evaluar los
objetivos de los programas escolares: por ejemplo, ausencias, apuntes
anecdticos (crticas del comportamiento), tareas (nmero y carcter de
las que ha realizado), libros (nmero y carcter de los que ha pedido, en la
biblioteca), acciones disciplinarias que han debido ser adoptadas (tIpO y
frecuencia), participacin en los trabajos de equipo, referencias del profesor al consejero y habilidades (demostracin de sus nuevas aptitudes
de las que ha perfeccionado).
Indicadores de inmovilidad o cambio en el comportamiento cognitivo o
afectivo de los profesores y dems personal de la escuela en relacin con
la evaluacin de los programas escolares: por ejemplo, la asistencia (frecuencia con la que asiste a las reuniones profesionales o a los cursos de
preparacin), la participacin, incluyendo los puestos de eleccin q~e .desempean en organizaciones profesionales y comunitarias; y procedlm1entos informativos practicados por administradores, consejeros y profesores.
Indicadores del comportamiento de la comunidad con relacin a la evaluacin de programas escolares: por ejemplo, asistencia a las actividades
4,
criterios
El apndice de la publicacin de 1967 contiene valoraciones basadas en

mltiples criterios para la evaluacin de programas escolares. Estas valora-
(.
basadas en mltiples
,
crticas representan una excelente contribucin a la creacin de instruclOnes
..
.
dI'
orque incluye una hsta de las dlVersas fuentes y tIpos e va oraClOnes
mentaS, P
1 d 1 d'
l'as para alcanzar una comprensin acabada y comp eta e os 1versos
~M
tos de un programa escolar. Dicho de otra manera, aunque Met f esse1 y
~rce~ael no fueran, en principio, ms all del mtodo tyleriano, ampliaron el
alcance de los juicios s~bre un ?rogra~a..
..
.
El apndice proporclOnaba Clnco d1menslOnes prmc1pales (valoraclOnes. baen
criterios) para la evaluacin de programas escolares. En cada eJemsadas
d'
. d'
aparecan
valoraciones que, si se aplicaban a un programa, po 1an m 1car
1
po,
"d
1
1
h
b'
si un aspecto del programa habla permanec1 o ta cua o a la cam b'lad o,
comparndolo con los objetivos ~specficos pe~sados para el programa. Estos
cinco tipos de indicadores, con ejemplos sufiClentes para comprobar las valoraciones que se aplicaban a cada uno, eran presentados as:
Experiencias dentro y fuera del ambiente escolar que caen fuera de las
intenciones de los objetivos especficos de rendimiento.
Diferencias no identificadas, resultado de los efectos de profesores y dems personal bsico de la escuela (a menudo capaces de motivar por naturaleza).
Incorrecciones en diversos aspectos de la recopilacin de datos y el anlisis.
Errores en la planificacin investigativa y en la metodologa estadstica.
tyleriana
5.
.)
J
102
Evaluaci6n
sistemtica
La tradicl6n
especiales de la escuela; conferencias (frecuencia de las reuniones entre

padres y profesores o entre padres y administradores promovidas por los
padres); respuesta de los padres a las cartas e informes, y llamadas telefnicas de los padres, de la comunidad y del personal de los medios de
com unicacin.
tyleriana
')
103
")
")
b)
El apndice sugera que una amplia variedad de no expertos y de profesionales, individualmente o en grupo, poda estar implicada en la evaluacin,
definiendo las valoraciones y las audiencias para el informe final. Metfessel
y Michael subrayaron la necesidad de un modelo coherente que incluyera una
gran gama de metas y objetivos, as como tambin una serie de indicadores
del nivel que se haba alcanzado con xito.
e)
d)
Es incorrecta porque la informacin que se recoge en el mtodo tyleriano

debe estar relacionada con objetivos referentes al comportamiento o rendimiento.
Es incorrecta porque el mtodo tyleriano ni describe los antecedentes ni
interpreta ninguna informacin, aparte la que est relacionada con los
objetivos de comportamiento.
Es incorrecta porque el mtodo tyleriano se basa en una definicin de
evaluacin estrecha y poco flexible (como indica la respuesta correcta).
)
)
)
)
\
)
2. Cul de las siguientes afirmaciones describe mejor la posicin de Tyler acerca de los tipos de evidencias admisibles en una evaluacin
educacional?
PREGUNTA
a)
b)
En esta seCClOnse proporcionan preguntas objetivas y sus correspondientes respuestas, correctas e incorrectas. El propsito de la seccin es determinar si ha alcanzado usted un dominio suficiente de los objetivos intelectuales
del mtodo evaluativo tyleriano. El test puede hacerlo todo usted mismo;
rodee con un crculo la letra que usted considere la mejor respuesta. Luego
comprela con las respuestas que vienen a continuacin. Cuando haya terminado todas las preguntas, se le ensear a valorar su trabajo.
a)
b)
c)
d)
1.
De acuerdo con Tyler, la evaluacin es:
El proceso mediante el cual se determina hasta qu punto han sido alcanzadas las metas propuestas.
El proceso mediante el cual se definen, se obtiene y se proporciona informacin til para juzgar decisiones alternativas.
El proceso mediante el cual se describen los antecedentes, se controla el
propio proceso, se valoran los resultados y se interpreta toda la informacin.
La valoracin del mrito.
)
)
PREGUNTA
c)
d)
Slo son admisibles los tests que pretenden ser vlidos y exactos.
Los tests son la evidencia ms til, pero deben ser adecuadamente complementados con entrevistas y datos de observacin.
Cualquier evidencia vlida sobre el comportamiento o el rendimiento
proporciona un mtodo evaluativo apropiado.
Ninguna.
Respuesta correcta. Debe usted haber respondido c. Tyler insiste en que

la recopilacin de evidencias acerca de objetivos de comportamiento debe
ser lo m.s amplia posible. Esto incluye la utilizacin de tests objetivos y de
observaclOnes.
)
)
)
)
)
)
)
)
a) Esta respuesta limita el alcance de las evidencias admisibles a los tests

objetivos.
b) Esta respuesta posee un nfasis incorrecto, puesto que son las circunstancias .las que d~ctan el tipo de evidencias admisibles que deben recopilarse; SI esto es CIerto, deben utilizarse evidencias acerca de los objetivos.
d) La c es la respuesta correcta.
)
)
)
)
,)

incluye la definicin esencial del mtodo evaluativo tyleriano, a saber, la discrepancia entre el trabajo en contraste con las metas (u objetivos).
3. El mtodo evaluativo tyleriano intenta disponer de ventaJas sobre otros mtodos previos, ya que:
. PREGUNTA
a)
Se centra casi exclusivamente en el estudiante.
)
)
)
J..
)
.)
,
(
f
(
104
c)
d)
(
(
(
(
(
,{
(
-s
en valoract'
. que proporClOnan los tests.
como las
Permanece libre de normas para la valoracin de los objetivos alcanzad
Tiene en cuenta el conocimiento de las intenciones del programa, toJs,
sus metas y objetivos de comportamiento y los procedimientos que has
que poner en prctica para llevarlo a cabo con xito.
ay
Respuesta correcta. Debe usted haber sealado la d. Esta afirmacin

contiene las principales ventajas que tiene el mtodo sobre otros procedimien_
tos anteriores de evaluacin educacional, en los que la valoracin de los logro
del estudiante era el centro de todo (lo cual quiere decir que la evaluacin ~
idntica a la valoracin). Con los objetivos definidos, se consigue unos firmes
puntos de r~ferencia para la evaluacin y la toma de decisiones.
(
(.
(
(
l
(
(
(
l
l
105
b)
Es incorrecta porque Tyler proporciona medios prcticos para la retroali.

mentacin incluso si no es utilizada frecuentemente por los que usan
el
este mtodo.
.
.. ,
Es incorrecta porque esta afirmacin es contrar1~ a. la 0pWlOn de Tyler
segn la cual esta clarificacin de las metas (u obJeuvos) puede ser resul.
d)
tado de la retroalimentacin.
.
.,
Es incorrecta porque Tyler consideraba que, con la modlficaclOn de los
objetivos, poda producirse la revisin correspondiente de los planes eva.
luativos.
PREGUNTA5.
b)
e)
Aunque en la prctica el mtodo Tyler tiende a centrarse en el estudiante, en teora cualquier aspecto de la educacin puede ser el tema de
estudio.
Incorrecta: vea la respuesta correcta.
Es incorrecta porque la definicin de los objetivos tambin implica cri.
terios para valorar los resultados alcanzados.
a)
b)
e)
d)
(
(
A cul de las siguientes utilizaciones no puede aplicarse
el modelo tyleriano?
a)
(
(
tyleriana
(
(
La tradicin
b) Emite juicios acerca de los logros basndose enteramente
(
(
PREGUNTA4. Cul de las siguientes afirmaciones caracteriza

opinin de Tyler acerca de la retroalimentacin?
a)
b)
e)
d)
mejor la
Tyler ve la evaluacin como un proceso recurrente.

Dado que puede establecerse la coincidencia entre los objetivos y el tra.
bajo, el proceso intermedio es de poca importancia.
La retroalimentacin conduce casi inevitablemente a la confusin acerca de
los objetivos de comportamiento, que son la base de la evaluacin.
A pesar de la reformulacin de objetivos que sigue a cada nueva informacin, los planes evaluativos no deben variar si el estudio quiere con.
servar su credibilidad.
Respuesta correcta. Debe usted haber respondido a. Tyler consideraba

que la evaluacin debe proporcionar un programa personal con informacin
continua y til que pueda conducirle a la reformulacin o redefinicin de los
objetivos.
La evaluacin de muchos programas federales.

La clarificacin y modificacin de los propsitos de un currculo.
Servir de gua para el aprendizaje de los estudiantes, incluyendo el diagnstico y el tratamiento correspondiente de sus puntos dbiles.
La presentacin de un informe equilibrado sobre los pros y los contras
de introducir un nuevo programa en una clase.
Respuesta correcta. Debe usted haber sealado la d. Tyler, y todos los

que estn de acuerdo con su mtodo, no disponen de ninguna estrategia para
evaluar el mrito de las metas y objetivos seleccionados.
a)
b)
e)
Es incorrecta porque Ty ler consideraba que su mtodo era til para que
el personal profesional pudiera evaluar programas federales.
Es incorrecta porque la revisin de metas y objetivos es una utilizacin
posible del mtodo tyleriano.
Es incorrecto porque la gua y el apoyo del aprendizaje escolar era una
de las principales utilizaciones a las que Tyler deseaba aplicar su modelo.
PREGUNTA6. Cul de las siguientes afirmaciones describe mejor la serie de etapas sugeridas por Metfessel y Michael para una buena ejecucin de
un estudio evaluativo?
-').
~
106
a)
b)
e)
d)
~:;;;:y';~,;;~;':~;:~:ni~~:m~~t~:
:~;~o~~ ~:~,u~:d::o~~;::
...~l
I
de datos; recopila, analiza e interpreta los datos; y formula recomenda_

ciones.
Define el problema y acciones de respuesta alternativas al problema; define y opera con mltiples criterios; recopila informacin crtica acerca de
cada problema; y juzga los mritos relativos de cada alternativa.
Modela el programa para que sea evaluado; especifica los objetivos; determina los requisitos informativos; especifica valoraciones basadas en
mltiples criterios; y recopila, analiza y presenta los datos.
Describe los antecedentes elel programa; identifica y valora los objetivos
del programa; modifica los objetivos; selecciona instrumentos basados en
mltiples criterios; recopila datos del proceso y su producto; y utiliza los
datos- para modificar el programa.

representa una breve pero acertada sntesis de las etapas progresivas de la evaluacin propuestas por Metfessel y Michael.
b) Es incorrecta a causa del nfasis que pone sobre la evaluacin como estra-
d)
tegia para la solucin de un programa, antes que como evaluacin de un

programa u objeto determinados.
Es incorrecta porque las tres primeras etapas son marcadamente distintas
a las que propugnan Metfessel y Michael.
Es in~orrecta porque esta serie de etapas difiere casi por completo de la
sugenda por Metfessel y Michael.
tyleriana
Ejercicios prcticos
EJERCICIO 1. Seleccione un objeto o programa educativo, ya sea real o

hipottico, para evaluarlo. Imagine que intenta llevar a cabo el estudio utilizando el mtodo y la filosofa evaluativos de Tyler. Escriba un ensayo exponiendo los procedimientos que piensa utilizar. Su respuesta debe contener dos
elementos principales: a) comentarios de naturaleza general acerca de la filosofa de Tyler sobre las utilizaciones de la evolucin; y b) estar de acuerdo
con el modelo tyleriano.
")
)
"
')
)
)
')
')
La respuesta al ejercicio 1 debe incluir los siguientes puntos:
a)
Respecto a las utilizaciones de la evaluacin:

,
1.
2.
f
3.
4.
Debe destacarse el deseo general de perfeccionar el currculo u objeto como resultado de la evaluacin.
En la evaluacin de currculos, el perfeccionamiento del aprendizaje
del estudiante (que incluye el tratamiento de sus puntos ms dbi.
les) es un resultado importante, relacionado con la modificacin de
los objetivos de aprendizaje.
La revisin de las metas y objetivos puede ser resultado de la retroalimentacin; Tyler vea la evaluacin como un proceso recurrente.
El estudio puede proporcionar informacin til para los directivos
de la institucin educacional a la que corresponde el programa o
proyecto.
)
)
)
)
)
.)
)
especificado por Tyler (el nfasis variar segn el rea que se est investigando):
1.
2.
3.
4.
5.
Este apartado incluye un ejercicio prctico destinado a determinr su como

pre~sin del modelo tyleriano y un ejercicio referente a la parte de la unidad
dedIcada a Metfessel y Michael. Despus de cada ejercicio hay una lista de
puntos que usted deber haber incluido en su respuesta. Su revisin le ayudar
a valorar su trabajo. Obtendr una ms completa valoracin de su trabajo

releyendo la parte o partes ms relevantes de esta unidad.
b) Respecto al modelo tyleriano, a las etapas que deben cumplirse en el orden

INTERPRETACIN
DEL TEST DE CONOCIMIENTOS.Cuando haya completado
el test de conocimientos sobre el mtodo tyleriano, revise aquellas cuestiones
que ha errado y las que le han dejado alguna duda a pesar de haber escogido
la respuesta correcta. Le sugerimos que revise las pertinentes secciones de la
unidad para afianzar el dominio de sus contenidos.
')
107
,}
e)
La tradicin
6.
7.
El establecimiento de amplias metas y objetivos especficos.

Una amplia clasificacin de los objetivos.
La definicin de los objetivos en trminos de comportamiento oren.
dimiento.
El establecimiento de las condiciones adecuadas para que pueda producirse la consecucin de los objetivos.
La planificacin de las explicaciones de los propsitos del estudio
dirigidas al personal bsico en las situaciones adecuadas (vase ms
arriba).
Ll seleccin de las valoraciones tcnicas apropiadas.
La recopilacin y anlisis de los datos de trabajo.
.)
I )
.)
)
)
,)
.)
)
f)
)
)
)
1)
108
,...... ..'..'
;-:~'"
f
'f
8.
~~
'(
e
(
,(
a)
b)
'(
(
c)
1<
d)
:(
(
e)
a)
b)

y afectivos de los estudiantes expresados en valoraciones y escalas regu.
larizadas.
y -afectivos segn los instrumentos o sistemas, informales o semiforma.
les, creados por los profesores.
Indicadores de inmovilidad o cambio en el comportamiento o rendimien.
to de los estudiantes que no puedan ser valorados mediante tests, inven.
tarios y escalas de observacin, en relacin con la tarea de evaluar objetivos de los programas escolares.
Asistencia a l~s reuniones profesionales; puestos de eleccin en diversas

organizaciones; escalas de valor referentes a actitudes, eficiencia en el
trabajo y opiniones de los diversos miembros de toda la comunidad escolar.
(
(
,(
(
r-P
Cules fueron las ms tiles contribuciones

luacin?
de Tyler al estado de la eva-
Tyler afirmaba que una evaluacin es el proceso mediante el cual se determina hasta qu punto los objetivos educativos han sido realmente alcanzados mediante el programa de currculos y enseanza_ Qu deficiencias
percibe usted en un mtodo como ste? Qu sugiere para perfeccionarlo?
3. El apndice de Metfessel y Michael, resulta vlido como gua para la
valoracin de tcnicas? Discuta los procedimientos que pueden adoptarse
para utilizar ciertas valoraciones crticas en cada una de las cinco categoras, con el fin de servir de ayuda a la evaluacin del logro de los objetivos del programa.
4.
Tests estandarizados de rendimiento y de aptitudes; autoinventarios estandarizados que proporcionen medidas de las actitudes; escalas de valor
estandarizadas para juzgar la calidad de los productos.
Tcnica de las frases incompletas; cuestionarios; valoraciones de la percepcin del autoconcepto (diferencial semntico, por ejemplo); valoraciones autoevaluativas.
d)
Frecuencia de la asistencia a actividades relacionadas con la escuela; entrevistas con el personal de la escuela, requeridas por los padres o por iniciativa del propio personal; frecuencia de la demanda de informacin y de
las respuestas de los padres a las cartas o informes.
2.
Indicadores del comportamiento de la comunidad con relacin a la evaluacin de los programas -escolares.
Apuntes anecdticos; asistencia; historias de casos; actividades extraaca.

dmicas; media de las calificaciones; referencias del maestro al consejero;
demostracin de habilidades.
109
En este apartado se proporcionan cuatro preguntas a las que no se da ninguna respuesta. Las preguntas p~ed~n. ser utilizadas como temas para una
discusin de grupo o para tareas IndIVIduales. Cada pregunta puede ser respondida en dos niveles: primero, respecto al material contenido en es~a unida~,
y segundo, respecto a referencias ms amplias relacionadas con la 11sta de 11bros y artculos que cierra la unidad.
1.

y afectivos de los profesores y dems personal de la escuela con relacin a
la evaluacin de los programas escolares.
c)
Las respuestas al ejercicio 2 pueden incluir puntos como los siguientes,

de acuerdo con' las reas de clasificacin expuestas ms arriba:
e)
,!
(
(
La comparacin de los datos analizados con los objetivos de compor.

tamiento definidos.
EJERCICIO 2. Suponga que antes de empezar la evaluacin del progra.

ma u objetivo seleccionado en el ejercicio 1, decide investigar valoraciones
basadas en mltiples criterios que pueden utilizarse como ayuda en la evalua.
cin. Seleccione dos o tres de estos criterios (que sean apropiados para su
tema de evaluacin) segn cada una de las siguientes reas de clasificacin
sugeridas por Metfessel y Michael.
:(
-------.
:'l"'/
................
Tyler propona que cada profesor utilizara su propio mtodo para la evaluacin de currculos. Piensa usted tambin as? (En su respuesta, puede
usted citar puntos en los que el profesor puede necesitar Ia ayuda de
otros.)
D. R. 1965. Stating objectives appropriately for program, for curriculum, and for instructional materials development, Journal o/ Teacher Education, 12, pgs. 83-92.
KRATHWOHL,
N. S. y MrcHAEL,
W. B. 1967. A paradigm involving multiple criterion measures for the evaluation of the effectiveness of school programs, Educational and Psychological Measurement, 27, pgs. 931-943.
MICHAEL,
W. B. y METFESSEL, N. S. 1967. A paradigm for developing valid measurable objectives in the evaluarion of educational programs in colleges and
universities, Educational and Psychological Measurement, 27, pgs. 373-383.
METFESSEL,
I
I
~L
'--,~
1')
110
'.)
SMITH, E. R. Y TYLER, R. W. 1942. Appraising and recording student progress,
Nueva York, Harper & Row.
STUFFLEBEAM,D. L.; FOLEY, W. J.; GEPHART, W. J.; GUBA, E. G.; HAMMoND,
R. L.; MERRIMAN, H. O. y PROVUS, M. M. 1971. Educational evaluation and
decision making in education, Itasca, IlI., Peacock.
TYLER, 1. 1. Y KLEIN, M. F. 1967. Recommendatons
for currculum and instruetional materials, Los Angeles, Universidad de California, Los Angeles (ciclostilado).
.
TYLER, R. W. 942. General statement on evaluation, Joumal o/ Educational Research, 35, pgs. 492-501.
-. 1950. Basic principles o/ curriculum and instruction, Chicago, University of
Chicago Press.
-. 1953. Sorne persistent questions on the defining of objectives. En C. M. LINDVALL (comp.), De/ining educational objectives, Pittsburgh, University of Pittsburgh Press.
-.1956.
The objeetives and plans for a national assessment of educational progress, ]oumal o/ Educational Measurement, 3, pgs. 1-10.
TYLER, R.; GAGNE, R; y SCRIVEN, M. 1967. Perspectives of curriculum evalua. tion, Chieago, 'Rand MeNally.
WORTHEN, B.R. y SANDERS,]. R. 1973. Educational evaluation: Theory and practice, Worthington; Ohio, Charles A. Jones.
.")
EDW ARD A. SUCHMAN y EL METODO

CIENTIFICO DE EVALUACION
')
,<)
..
')
,)
')
')
,)
',,")
:)
J
Edward Such111-an,cientfico investigador que, crea firmemente en la necesidad de basar principalmente las conclusiones en evidencias cientficas, consideraba que la evaluacin deba disponer de la lgica del mtodo cientfico.
Su trabajo y sus obras) que se deSarrollaron en la dcada de los sesenta, insistan, de cualquier forma, en la necesidad de mejorar los programas con relacin
a su prctica. Por esta razn) sugera criterios especficos para perfeccionar el
xito de los programas. Sus estudios en el campo de las ciencias sociales, particularmente los referidos a la salud pblica) le hicieron reconocer que la evaluacin cientfica tiene algunas limitaciones prcticas. Adems) afirmaba que
los investigadores evluativos) al exponer las consecuencias cleseadas y las no
deseadas) deban tener en cuenta algunos v~lores rlevantes) espe~ialmenle los
que estaban en. conflicto.
.
La contribucin de Suchman a la especialidad, Evaluative Research: PrincipIes and Practice in Public Service and Social Action Programs (1967), dejaba claro que l consideraba que un evaluador debe utilizar todo tipo de tcnicas investigativas que sean tiles y apropiadas a las circunstancias y necesidades de un estudio evaluativo determinado.
Aunque Suchman crea que el estudio ideal deba coincidir con el modelo
experimental clsico) tambin afirmaba que) en realidad, los p'1'Oyectosin vestigativos de evaluacin utilizan comnmente alguna variacin o adaptacin
de este modelo. En un sentido amplio, la formulacin de los objetivos y la
planificacin de un estudio investigativo de evaluacin depender de quin
dirija el estudio y de la utilizacin anticipada que se haga de los resultados de)
los mismos.
Edward SUCHMAN <:rea que la evaluacin, como todas
deba basarse en la lgica del mtodo cientfico. Pensaba
las investigaciones,
que un evaluador
~)
.)
t)
/J
)
,)
l)
,)
.)
f)
(J
)
,)
)
cJ
()
C)
()
r-J
(:J
,
(
112
Suchman
f
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
deba utilizar cualquier tcnica investigativa que resultara til y factible, de

acuerdo con las circunstancias de cada evaluacin. Suchman, que alcanz el
puesto de profesor de sociologa en la Universidad de Pittsburgh (antes de su
prematura muerte en 1971), trabaj intensamente en el campo de las ciencias
sociales, particularmente en salud pblica. Sus publicaciones se centraron en el
rea de la investigacin social, y su principal contribucin a la evaluacin es
su interesante y documentado libro Evaluative Research: Principles and Practice in Public Service and Social Action Programs (1967).
.
Suchnian no estaba solo en su creencia de que, aunque los evaluadores
son bsicamente investigadores, deben llegar a un equilibrio ehtre el rigor'
del mtodo y la situacin en la que deben actuar. Los. primeros autores que
propugnaron un mtodo similar para la metodologa evaluativa fueron KLINEBERG (1955), JAMES (1958), HERZOG (1959) y FLECK (1961).
Suchman distingua entre evaluacin e investigacin evaluativa. A la primera se refera por lo general como un proceso de emitir juicios de vabr,
mientras que consideraba que la investigacin evaluativa consista en los procedimientos de recopilacin y anlisis de datos que aumentan la posibilidad
de demostrar, ms que de asegurar, el valor de alguna actividad social. Cuando hablaba del proceso evaluativo, propona un mtodo cientfico. Vea la
evaluacin como un proceso social continuo, que supona intrnsecamente una
combinacin de suposiciones bsicas acerca de la actividad que estaba siendo
evaluada y de los valores personales de quienes participaban en el estudio,
incluyendo al evaluador. Insista en que la evaluacin debe necesariamente
convertirse en un proceso cientfico que d cuenta de esta subjetividad intrnseca, ya que no puede ser eliminada.
Como ya se ha afirmado, Suchman considera que la evaluacin es un proceso cientfico. De acuerdo con esta postura, no crea que la especialidad
evaluativa tuviera una metodologa distinta de la del mtodo cientfico. Por
lo tanto, conceptualiz la investigacin evaluativa como la primera y prin. Gipal investigacin, que debe acercarse cuanto le sea posible a las normas comnmente aceptadas de la metodologa investigativa. Los mismos procedimientos que se utilizaban para descubrir el conocimiento podan ser utilizados
para evaluar el nivel de xito obtenido en la aplicacin de este conocimiento.
Suchman defenda firmemente la concepcin de que, adoptando el mtodo
cientfico, un evaluador conseguir resultados ms objetivos y de una exactitud
y validez fcilmente discernibles.
Suchman afirmaba que la investigacin bsica tena un propsito diferente
al de la investigacin evaluativa. La investigacin bsica es el descubrimiento
del conocimiento; la accin administrativa no es una consecuencia necesaria.
En cambio, la investigacin evaluativa es investigacin aplicada, y su propsito es determinar hasta qu punto un programa especfico ha conseguido el
resultado deseado. Los resultados siempre sern utilizados por el administrador para tomar decisiones acerca del futuro del programa. Conservando en la
mente el papel dominante del criterio administrativo a la hora de determinar
la validez del estudio llevado a cabo, el evaluador necesita estar continuamente al tanto de la potencial utilidad de los resultados.
Este nfasis en la necesidad de la utilidad de los resultados puede convertirse, en opinin de Suchman, en un problema acucian te para el evaluador.
A causa de la fuerza de los intereses creados, el administrador del programa
intentar controlar la evaluacin, por 10 menos hasta el punto de definir los
objetivos del programa que va a ser evaluado. An mucho ms que el investigador bsico, el evaluador puede perder el control de la situacin investigativa: As, no son los conceptos investigativos, por s mismos, los que dificultan
Objetivos
Los objetivos de esta unidad son caracterizar los que Suchman consideraba
los tres aspectos principales de la evaluacin:
1.
Aspectos conceptuales, que incluyen los propsitos y princir 'os de la evaluacin, los valores y el proceso evaluativo, las suposiciones de cara a los
estudios evaluativos, los tipos de evaluacin y las categoras de la evaluacin.
2.
El aspecto metodolgico, que incluye un enfrentamiento entre la investigacin evaluativa y la no evaluativa, aproximaciones metodolgicas a la
evaluacin, variaciones en la planificacin investigativa de la evaluacin,
principios de la planificacin investigativa de la evaluacin y valoracin
de los efectos (subrayando la exactitud y la validez).
El aspecto administrativo, que incluye la ciencia evaluativa y administrativa, la administracin de los estudios evaluativos (algunas reas pro-
(
(
(
(
(
(
3.
(
(
,
(
*ES
113
Aspectos conceptuales de la evaluacin
Estos objetivos pueden ser alcanzados mediante la lectura del material

contenido en esta unidad. De cualquier manera, p~ede obte~erse una ca mensin ms completa de las teoras y la filosofIa evaluatIva de Edward
~~chman leyendo sus trabajos originales, que aparecen relacionados al final de
esta unidad.
Los problemas que se incluyen deben responderse segn el mtodo evaluativo de Suchman. Es aconsejable que no se aborden estos problemas hasta
que, por lo menos, no se conozca profundamente el material.
(
(
el mtodo cientfico de evaluacin
blemticas) y los compromisos para cumplir las obligaciones administrativas.
')
!""""'""'".
)
114
Evaluacin
Suchman
sistemtica
los estudios evalutivos, sino ms bien los problemas prcticos derivados de

asumir estos principios ante las consideraciones administrativas.
Cuando se preguntaba si la investigacin evaluativa estaba preparada para
desempear un papel ms importante, Suchman conclua diciendo que no.
El anlisis sistemtico de los principios tericos, metodolgicos y administra_
tivos que subyacan en los objetivos y procedimientos del evaluador, se haca
necesario, antes de que pudieran darse, con confianza, positivos y significativos
pasos hacia adelante. Ahora hablaremos de algunos aspectos de las concepciones de Suchman acerca de estos tres aspectos (relacionados entre s) de la
evaluacin.
Propsitos
y principios
de la evaluacin
Suchman asuma los propsitos evaluativos expuestos por BIGMAN(1961):

1.
2.
3.
4.
5.
6.
Describir .si los objetivos han sido alcanzados y de qu manera.

Determinar las razones de cada uno de los xitos y fracasos.
Descubrir los principios que subyacen en un programa que ha tenido
xito.
Dirigir el curso de los experimentos mediante tcnicas que aumenten su
efectividad.
Sentar las bases de una futura investigacin sobre las razones del relativo
xito de tcnicas alternativas.
Redefinir los medios que hay que utilizar para alcanzar los objetivos, as
como incluso las submetas, a la luz de ls descubrimientos de la investigacin.
Estos propsitos, en opinin de Suchman, sugieren una relacin intrnseca

entre la planificacin del programa y su desarrollo, por una parte, y la evaluacin, por otra. Los medios para alcanzar los propsitos de Bigman, a saber, la
investigacin educativa, deben proporcionar la informacin bsica para planificar y, si es necesario, replanificar los programas. As como la investigacin
tradicional suele conducir hacia una comprensin ms amplia de los procesos
bsicos, la investigacin evaluativa debe conducir a una mayor comprensin
de los procesos aplicados o administrativos. Suchman tambin afirmaba que
los programas en accin estaban muy influidos por los procesos administrativos.
Un principio fuertemente defendido por Suchman era aquel segn el cual
situaciones distintas necesitan distintos mtodos evaluativos, incluyendo distintos mtodos y criterios tcnicos para valorar el xito obtenido en la consecucin de los objetivos deseados. Basndose en la suposicin de que un estudio
evaluativo puede tomar formas distintas y en que la funcin principal de muchos estudios es ayudar en la planificacin, desarrollo y operatividad de los
,.
I
lb
y el mtodo
cientfico
de evaluacin
115
rogramas, Suchman lleg a distinguir, como ya se ha dicho, entre evaluacin

~ investigacin evaluativa. La primera designa el proceso de juzgar el mrito
de alguna actividad, sin hacer caso del mtodo empleado. La investigacin
evaluativa, por su parte, designa la utilizacin especfica del mtodo cientfico
on el propsito de realizar una evaluacin. En otras palabras, la evaluacin
cuede ser considerada como una meta, mientras que la investigacin evaluafiva puede ser considerada como un medio concreto de alcanzar esa meta.
Aunque Suchman consideraba que la utiliZacin de la metodologa cient.
fica necesitaba un nfasis especial, no exclua la utilizacin de mtodos no cientficos. Reconoca que en la planificacin y realizacin del programa, muchas
cuestiones acerca de la evaluacin podan ser respondidas sin necesidad de
investigacin. Sin embargo, mantena que si los requisitos bsicos de la investigacin evaluativa podan ser satisfechos -esto es, las suposiciones subyacentes en los objetivos examinados, el desarrollo de criterios valorables especficamente relacionados con los objetivos y el control de una situacin estableeida-, los resultados seran conclusiones basadas en investigaciones convincentes, y no slo en juicios subjetivos.
)
')
')
.,
')
I
I
')
')
)
')
)
)
Los valores y el proceso evaluativo
)
Una precondicin de cualquier estudio evaluativo, segn Suchman, es la
presencia de alguna actividad cuyos objetivos tengan algn tipo de valor. Define el valor como cualquier aspecto de una situacin, actividad u objeto que
tenga un inters particular, como ser bueno, malo, deseable, indeseable o cosas
por el estilo. Los valores, por lo tanto, pueden estar construidos como modos
de organizar la actividad humana basados en principios que determinan tanto
las metas como el perfeccionamiento de los programas, as como el medio de
alcanzar esas metas.
Suchman consideraba que el proceso evaluativo parte de, y regresa a, la
formacin de los valores, tal como muestra la figura 4-1.
~
Formacin del valor
Valorar el efecto
-------',Eleccin
de esta operacin
(evaluacin del programa)
)
)
)
,)
)
)
(
)
)
de la meta (objetivos)
Operar ton las actividades

que conduzcan a la meta
(funcionamiento~
del programa)
~
/valoracin
I
. .
de a meta (cntenos)
,)
Identificacin de las actividades
que conduzcan a la meta
(planificacindel programa)
()
I )
FIGURA4-1.
El proceso evaluativo
)
)
)
'"\(
,..-
..
i
116
~
~
I
"
.(
.~
(
(
\,
"
"
~ )~.;
(,
(
(
{
a
~
t
(
~
~
~
~
(
.~
.~
~
~
I~
.~
.,
La evaluacin empieza con un valor concreto (ya sea explcito o implcito)

luego procede a definir la meta, esto es, a hacer un.a seleccin entre todas ~
metas alternativas posibles. Cada una d~ ellas comp:te ~on las dems en recuro
sos y esfuerzo. Seguidamente, se seleccIOnan los c~l,tenos par~ v~orar la COn.
secucin de la meta; la ~~turaleza d; .la evaluaclOn d~ter~lUar~, el tipo de
valoracin que se debe utilizar. La proXlffia etap~ es la ldentificaclOn de algn
tipo de actividad para alcanzar la meta (el tratamIento) y la operacionalizac:i6n
de esta actividad. En algn punto del proceso, hay que valorar tambin esta
operacin. Esta etapa incluye la determinacin del grado en que el programa
operativo ha alcanzado el objetivo predeterminado. Finalmente, basndose en
esta evaluacin, se emite un juicio acerca de si esta actividad dirigida hacia la
meta ha resultado til.
El acto de juzgar devuelve la actividad a la formacin del valor. El concepto de Suchman acerca del movimiento cclico del proceso evaluativo enfatiza
la fuerte interrelacin existente entre la evaluacin y la naturaleza, basada
en el valor de la planificacin y la operacin del programa. Como resultado,
siempre existe la posibilidad de conflicto de valores entre el administrador
del programa y el evaluador. Este problema ser discutido ms tarde en esta
misma unidad. En trminos generales, puede decirse que los valores desempean un amplio papel en la determinacin de los objetivos de los programas
de servicio social (como los de naturaleza educativa) y que el proceso evaluativo que presenta consecuencias deseadas e indeseadas de estos programas
debe presentar valores sociales, especialmente valores conflictivos.
Las presuposiciones
en los estudios evaluativos
La principal suposicin de Schuman acerca de los estudios evaluativos es

que cada programa tiene algn valor con algn propsito. As, la caracterstica ms identificable de la investigacin evaluativa es la presencia de alguna
meta u objetivo cuyo nivel de consecucin constituye el principal centro de
atencin del problema investigativo.
Cuando ha sido expuesta una afirmacin clara acerca del objetivo del programa que va a ser evaluado, la evaluacin puede ser vista como un estudio
del cambio. El programa que debe ser evaluado constituye la variable causal
o independiente, y el cambio deseado es similar al efecto o variable dependien.
te. Caracterizando as un estudio evaluativo, Suchman afirmaba que el proyecto deba ser formulado como series de hiptesis que afirmen que las actividades A, B y C producirn los resultados X, Y y Z.
Los objetivos y las presuposiciones de un estudio evaluativo acaban fuer.
temente interrelacionadas cuando se necesita una respuesta, antes de que empiece el estudio, para las siguientes y difciles preguntas: Qu tipo de cam.
bios se desea? Qu medios deben utilizarse para efectuar este cambio? Qu
Suchman y el mtodo cientfico de evaluacin
117
.,
el cambio en reconocible? Antes de responder a estas pre.
convertltan
1
.
. d
al dor debe ser capaz de diagnosticar a presenCla o ausenCIa e
al
guntas, el ev ua
ocial y su correspondiente sistema de vares,
y d e d efini r 1as
toblema s
.
d
di .,
un P . dicativas del progreso en la mejora e esa con ClOno
lIletas 10
pone seis preguntas que deben ser respondidas cuando se forSuchman pro
, .
l'
1
'
.
b' tivos de un programa con proposItos eva uatlvos y, c aro esta,
lIlulen los o Je
.
di
la planificacin del propIO estu o:
sigt1S
Cul es la naturaleza del contenido del objetivo (P?r ejemplo, cambios

1. ~ los conocimientos, las actitudes y/o elcomrx:>rtamlento)?
2. Quin es el destinatario del programa (por ejemplo, grupos grandes o
pequeos) ?
1
Cundo debe producirse el .c~mbio deseado (metas a corto o largo pazo,
3. o programas cclicos y re~tltlvoS!? .
.
10 objetivos son unitartos o multrples (por ejemplo, los programas son
4. '~ares para todos los usuarios o diferentes para distintos grupos)?
5. ~ICules la magnitud de.seada del efecto (por ejemplo, resultados concen-
6.
trados o dispersos)?
.,
,
'Cmo
es el objetivo que debe ser alcanzado (por ejemplo, cooperaClOn
<:
voluntaria o sanciones obligatorias)?
Muchas de las respuestas que pueden darse a estas preguntas requieren

xamen de las presuposiciones subyacentes en los objetivos fijados. Suchman
e
un
d d
..
cree que la obligacin de un evalu~dor es poner en , u a. estas presupoSICIOnes, si es necesario, puesto que solo entonces podra aplicarse de verdad el
mtodo cientfico al proceso evaluativo.
Clasific las presuposiciones en dos clases: presuposiciones de valor y presuposiciones de validez. Las presuposiciones de valor pert:necen al sistema
de creencias que determinan qu es bueno para una SOCIedad o para una
parte de esa sociedad. Por ejemplo, un nuevo pro~rama educativo pue~e ~er
juzgado favorable o desfavorablemente por los distmtos grupos de un dIstnto
escolar. La pregunta a la que debe responder el evaluador antes de investigar
el programa es: qu se considera un xito, y desde el punto de vista de quin?
Las presuposiciones de validez estn relacionadas especficamente con los
objetivos del programa. Estas presuposiciones, por ejemplo, son la base de
la creencia de los educadores acerca de que los primeros programas elementales deben estar en consonancia con las influencias del hogar de cada nio.
Suchman insista en que las respuestas a todas las preguntas sobre la validez
nunca podan darse antes del inicio de un programa. El administrador debe
atender a su propia experiencia y habilidad para desarrollar programas prcticos cuyas presuposiciones aparezcan claramente fijadas. Entonces, la tarea
del evaluador consiste en demostrar o refutar el significado de estas presuposiciones.
--
J
,
118
"
Suchman' y el mtodo cientfico de evaluacin
Tipos de evaluacin
"
Siguiendo k HERZOG (1959), Suchman hablaba de tres tipos de estudios

evaluativos. 1:1 evaluacin ltima se refiere a la determinacin del xito global
de un programa segn los objetivos que se haba fijado. La investigacin preevaluativa trata de los problemas intermedios (por ejemplo, el desarrollo de
explicaciones vlidas y exactas acerca del problema, la definicin de las metas
y el perfeccionamiento de las tcnicas) que deben ser resueltos antes de abor.
dar la evaluacin final. La evaluacin a corto plazo busca informacin espec.
fica acerca de procedimientos concretos en trminos de utilidad inmediata.
Con cualquier tipo de evaluacin que se utilice, siempre se tiende, segn
Suchman, a idealizar los objetivos del estudio. Sin despreciar la obvia impar.
tancia de los idealizados objetivos finales, Suchman afirma que son los objetivos prcticos e inmediatos los que ms a menudo representan el paso del
propsito al programa. Recomendaba que la evaluacin de un programa deba
consistir esencialmente en la valoracin del xito obtenido en la consecucin
de estos objetivos prcticos.
Suchman menciona un importante error que realizan los evaluadores cuan.
do pasan de la evaluacin global de un programa a una evaluacin segmentada
de cada una de sus partes. Ocurre demasiado a menudo que se evalan los
componentes de un programa con criterios de xito final ms que con crite.
rios intermedios que resulten relevantes. Por lo tanto, debe existir una cadena
acumulativa de objetivos que vaya desde e! objetivo ms inmediatamente prc.
tico hasta la ltima (y quizs idealizada) meta. Adems, el conocimiento nunca
se alcanza del todo, y deben existir vacos entre los eslabones causa.efecto de
esta cadena, que deben ser rellenados slo con presuposiciones relativas a la
validez de estas etapas. As, las presuposiciones de validez acaban siendo el
cimiento indispensable que hace cuajar la jerarqua de los objetivos.
'
Categoras de la evaluacin
Adems de modificar los niveles de los objetivos, Suchman consideraba que
la investigacin evaluativa deba ser entendida segn categoras de efecto distintas. Estas categoras representan varios criterios de xito (o fracaso) con
los que puede juzgarse un programa. El propona cinco categoras:
"
1. Esfuerzo. Las evaluaciones de esta categora presentan, como criterio de
2.
xito, la calidad y la cantidad de las actividades producidas durante el

programa. Es una valoracin de lo que se hace y no de! producto. Indica,
por lo menos, que se est haciendo algo para solucionar un problema.
Traba;o. Los criterios de esta rea valoran ms los resultados del esfuerzo
que el esfuerzo por s mismo.
;.
\)
119
~
I
')
Suficiencia del traba;o. Este crIterio de xito se refiere al grado en que el
trabajo efectuado coincide, PQr comparacin, con todas las necesidades

expuestas (de acuerdo con objetivos definidos).
4. Eficiencia. La evaluacin, en esta categora, plantea la pregunta: es la
eficiencia la capacidad de un individuo, organizacin, facilidad, operacin
o actividad, para producir resultados en proporcin al esfuerzo realizado?
5. Proceso. El propsito de esta categora es investigar explicaciones bsicas
acerca de las razones que conducen a los resultados. Suchman apuntaba
cuatro dimensiones para e! anlisis de un proceso: a) los atributos del
programa, b) la gen te a la que afecta el programa, c) e! con texto en el
que se desarrolla el programa y d) los diferentes tipos de efectos producidos por e! programa (por ejemplo, efectos mltiples o unitarios y duracin de los efectos).
~
~
~
I
)
')
")
')
)
)
En resumen, al discutir los tipos y categoras de la evaluacin, Suchman

apuntaba e! proceso bsico que deba seguirse a la hora de dirigir un estudio
evaluativo. Este proceso supone objetivos fijos en trminos de finalidad, metas
intermedias o inmediatas, el examen de las presuposiciones y la formulacin
de criterios de esfuerzo, trabajo, suficiencia, eficiencia y proceso.
)
)
)
)
Los aspectos metodolgicos de la evaluacin
)
)
Evaluacin contra investigacin
no evaluativa
?)
Suchman deline claramente las diferencias existentes entre los objetivos

y las facultades investigativas de la evaluacin, oponindolas a las de la investigacin no evaluativa (esto es, bsica o pura). Se dio cuenta de que la dife.
rencia n? estaba en que una fuera acertada y la otra equivocada, sino en una
compleja mezcla de distintos valores, propsitos y recursos.
La investigacin evaluativa es un tipo especial de investigacin aplicada
cuya meta, a diferencia de la investigacin no evaluativa, no es el descubri.
miento del conocimiento, sino valorar la aplicacin de este conocimiento.
Poniendo principalmente el nfasis en la utilidad, la investigacin evaluativa
d::?e proporcionar informacin para la planificacin de! programa, su realizaClOny su desarrollo. La investigacin evaluativa asume tambin las particulares caracter~ticas de la investigacin aplicada, que permite que las predicciones se conVIertan en un resultado de la investigacin. Las recomendaciones
q~e .se hacen en los informes evaluativos son, por otra parte, ejemplos de pre.
dicclOnes.
Comparndolo con la investigacin no evaluativa, e! estudi~~..i.ti~I~'b.
contiene una amplia serie de variables sobre las que el evaluador;tn~,
)
)
)
)
)
)
)
,
)
)
mui:
~"",
....
-" .,' ..
f ."".,~.~"'"
~'
~;':'''''-
.':.."-'C'"
~
(
(
120
121
(
(
(
(
(
(
(
(.
(
1"
(
poco, o ningn, control. Suchman insista en que en la investigacin evaluati.

va, las variables que se pueden observar y valorar son los fenmenos de inters; el programa que se va realizando tiene como meta el cambio de los va.
lores de estas valoraciones. Mientras el concepto subyacente es de importancia
primordial en la investigacin bsica, no ocurre lo mismo en la investigacin
aplicada, una de cuyas formas es la investigacin evaluativa.
Suchman afirmaba que la evaluacin de un programa puede ser muy poco
generalizable, puesto que la evaluacin es aplicable nicamente al programa
que est siendo evaluado y a sus ramificaciones contextuales. As pues, existe
una razn de por qu tantos estudios evaluativos aparecen repetitivos (siempre existe la incertidumbre acerca de si un programa que resulta efectivo en
una situacin lo ser tambin en otra). Adems, cuando la solucin del problema que es el objetivo de la investigacin evaluativa parece ser estimular la
toma de decisiones administrativas respecto a algunas necesidades inmediatas
y especficas, las futuras dificultades referentes a su validez externa se presentan por s mismas ..
(
(
(
(
(
(
l
(
(
Aproximaciones
metodolgicas
a la evaluacin
Las diferencias existentes entre los estudios evaluativos y los no evaluativos, segn Suchman, se reflejan en la forma que toma la exposicin del problema. Mientras la investigacin pura (investigacin no evaluativa) pregunta
si A est relacionado con B y comprueba esta relacin experimentalmente (bajo
condiciones controladas), la investigacin aplicada (investigacin evaluativa)
pregunta si A intenta efectivamente cambiar B y procura responder a esta
pregunta empricamente, manipulando A y valorando su efecto sobre B. En
la investigacin no evaluativa, es muy importante el anlisis del proceso
mediante el cual A se relaciona con B, pero en la investigacin evaluativa
tiene relativamente poca importancia el hecho de comprender por qu A
produce B. Los lectores deben advertir que, al hacer esta afirmacin, Suchman se opone a un punto de vista que expondremos dentro de poco: el que
afirma que la evaluacin debe poner el nfasis en el proceso que se desarrolla
entre el inicio del programa y sus conclusiones.
Las diferencias, adems, entre la investigacin evaluativa y la no evaluati.
va no son absolutas, pero puede decirse que existen siempre. Suchman pensaba que un evaluador debe, por lo tanto, atender tanto como le sea posible en
la prctica a las reglas de la investigacin cientfica, pero el evaluador debe
exponer y justificar dnde y cundo estas reglas deben adaptarse a la realidad.
De cualquier forma, puede argirse que, si A es falsamente interpretado
como causa de B, puede desarrollarse un costoso programa basado en A, slo
para descubrir que no se produce el efecto deseado debido a un cambio en
la verdadera causa, que puede estar mnimamente relacionada con A. Such.
ecomendaba que para descubrir una causa falsa, el plan de la evaluacin
r
roan
11
l'"
dI
debe incluir un anlisis del proceso que s.e desarro a en:re e .1ll1C~~e proconclusiones Este mtodo eXIge un plan de lllvestIgaclOn evaluagrama y sus
'.
.
el'd
. que se convierta en <<unaparte mtegrante del propIO programa enten 1 o
tlva
.,
d
1
servicio. Una evaluacin continua es un reconOC1m1ento e que a opecomo
h
..d' .
b' t
. , de un programa est dominada por muc as con 1C10nescam 1an es,
raClOn
1
d 1 d ..
d
d 1
. 1 endo fuerzas que estn ms all del contro
e a m1mstra or e pro~~
.
d
ero tambin la informacin que va llegando contllluamente, que pue e
grama, P
bIT
.
. fl' tanto sobre los ob]'etivos del programa como so re e proceso. emenmU1r
1
..
dI
do esto presente, un evaluador debe ser indulgente. co~, as contmgenc~a: e
desarrollo 'y pensar, al disear el plan, en la recopdaclOn de datos adiclOnales, si de verdad son necesarios.
Variaciones en el ptan de investigacin
evaluativa
Suchman afirmaba que la investigacin evaluativa no tena un~ ~e~odolo, propia' al tratarse de una investigacin, se atiene a los prtnC1p10S del
gla
,
bl P 1
ili'
.ed d de
mtodo cientfico tanto como le es posi e. or o tant?, ut z~ u~a var.I ~
nocidos
planes
de
investigacin
y
las
correspond1entes
tecmcas
CIentficas
recO
, .
para la recopilacin y el anlisis de datos. La pregu~ta ~as l~p~r:ante que
debe responderse (como ya previ Suchman) no es Sl la lllves~lgaclOn evaluativa es cientfica sino hasta qu punto la investigacin evaluatIva puede hacer
el mejor uso po~ible de los planes y tcnicas de investigacin disponibles.
Dando mucha importancia a la relacin entre las causas y efectos de un
programa, por una parte, y la plani~cacin por otra, Suchman propuso un
modelo que demuestra que la secuenCIa de causas ~r,opuesta. p.ara una evaluacin se convierte en uno ms de los campos de aCClOny actIVIdades que con.
ducen a las conclusiones. El diagrama de la figura 4-2 muestra ese mod:lo:
un sistema abierto, un modelo naturalista y multicausal, que se opone al Slstema cerrado de la investigacin no evaluativa.
:'~
~::::::
Acontecimientos
que influyen
Variable
independiente
Precondiciones
~::~
I-p-ro-g-ram-a-A-]
~
,
./
~b
FIGURA
4.2.
b, ::/
"
Variable
dependiente
Consecuencias
::
I--E-fec-t-o-B-I---..
~c"
Concepto ntulticausal de evaluacin
c,
122
Este modelo es muy importante para la planificacin de los estudios d

!nve~tigacin evaluativa. Por ejemplo, indica que los programas sociales son~
meVItablemente, evaluados en el contexto de otros programas o actividad
q.ue afectan al objeto en cuestin. As, el plan de estudio debe tomar preca~~
ClOnes ~ara .tener en ~u~nta las precondiciones y los acontecimientos que
pueden mflUIr en la actlVIdad del programa inicial. Los efectos, tanto los deseados como los indeseados, son, probablemente, consecuencia de la falta de
un ~ontrol experimental, algo inherente a cualquier teora. El plan debe prevemr, de nuevo, la investigacin de estos efectos.
Principios
de planificacin
de la investigacin
evaluativa
Suchman hizo una lista de principios que deben ser observados al trazar
el plan de un estudio evaluativo. Los principales son stos:
1. Un buen .plan e~ aquel que resulta ser el ms apropiado para el propsito

2.
3.
4.
del estudlO; no Importa tanto si es o no es cientfico.

No hay nada como un plan correcto y simple; las hiptesis pueden estudiarse por medio de diferentes mtodos y utilizando diversos planes.
Todo plan de investigacin representa un compromiso dietado por muchas
consideraciones prcticas.
Un plan de investigacin evaluativa no es algo muy especfico que deba
ser seguido sin desviacin alguna, sino una serie de indicaciones para
asegurar que se va en la buena direccin.
En el captulo 6 de su libro de 1967, SUCHMANproporciona detalles acerca

~e posibles variaciones que pueden darse en el plan de investigacin evaluatlva. L?s lectores interesados quiz deseen investigar estos planes. Se encontraran ~on que S~c~man crea que el estudio ideal deba adaptarse al model~ exp~nm.e?tal claslc?, afir~ando tambin que, en realidad, los proyectos
de .1?VeStlgaclOnevaluatlva utlllzan, por lo general, alguna variacin o adaptaclOn de este modelo. En un sentido amplio la formulacin de los objetivos
y el pla~ de un estudio de investigacin evaluativa depende de quin dirija
el est~dl.o de la utilizacin anticipada que se haga de las conclusiones. Suchman mSlstla en que, mientras planifica un estudio, un evaluador debe saber
que las consideraciones sobre la validez son cruciales.
.
'!
La valoracin
de los efectos
. De acuerdo con .Suchman, la. valoracin de los efectos de un programa re- ;'
qUIere que se especIfiquen las cuatro principales categoras de variables:
123
1. Partes integrantes o procesos del programa.

2. Poblacin estimada y grupos a los que realmente concierne.
3. Condiciones situacionales en las que se desarrolla el programa.
4., Efectos diferenciales del programa.
Suchman afirmaba que la determinacin de la exactitud y la validez de los
criterios de efectividad de estas variables origina ciertos problemas. En la
mayor parte de ellos, el evaluador no debe valorar directamente el fenmeno
que est siendo estudiado, sino las clasificaciones de esos fenmenos. Entonces aparecen dos problemas obvios. Primero, cmo debe el evaluador tomar
una decisin acerca de los indicadores de los criterios que debe emplear para
alcanzar los objetivos del programa? Y segundo, cmo debe el evaluador seleccionar, de entre todos los posibles indicadores, aquellos que pueden ser
utilizados para un propsito concreto?
Al exponer las soluciones a estos problemas, Suchman comenta aspectos
de los conceptos metodolgicos de fiabilidad y validez con gran amplitud. En
particular, subraya que los evaluadores deben estar enterados de, y esforzarse
por controlar, las principales causas de variacin asistemtica en la investigacin
evaluativa:
1. Fiabilidad del sujeto: actitudes y comportamiento afectados por el estado de nimo, la fatiga, etc.
2. Fiabilidad del observador: factores personales que influyen en la interpretacin del tema.
3. Fiabilidad de la situacin: condiciones de la valoracin que producen
cambios en los resultados, que no reflejan el verdadero cambio que
se ha producido.
4. Fiabilidad del instrumento: todo lo anterior (combinado) o aspectos especficos del propio instrumento (por ejemplo, preguntas mal redactadas)
afectan a la fiabilidad.
5. Fiabilidad del proceso: enumerar los errores y dems cosas que pueden
fortuitamente reducir la fiabilidad.
, La validez presenta muchos ms problemas que la fiabilidad, porque no
solo se refiere a valoraciones especficas, sino tambin al significado de todo
el proceso evaluativo. La validez de un estudio evaluativo se refiere a la valide~ de sus valoraciones especficas, as como a la teora subyacente a las hiptesIS que relacionan las actividades evaluativas con su objetivo. Exponemos
a continuacin las causas de los errores referentes a la validez en los estudios evaluativos:
1. Validez proposicional:
tas o inadecuadas.
la utilizacin de presuposiciones o teoras incorrec-
)
i
)
)
)
~
..)
I
1
i
J)
-_._-----..._-~'"~..
~:
fe
124
(,
,
~-
t
y
2.
3.
4.
5.
(
f.
6.
7.
Validez del instrumento: la utilizacin de clasilicaciones operacionalmen_

te irrelevantes.
Validez del muestreo: falta de representatividad de la poblacin escogida.
Validez del observador (evaluador): introduccin de errores importantes
basados en inclinaciones personales o nociones preconcebidas.
Validez del sujeto: hbitos y predisposiciones que conducen a errores
importantes.
Validez de la administracin: las condiciones del estudio (por ejemplo,
los mtodos de recopilacin de datos) constituyen una causa de invalidez.
Validez del anlisis: errores deliberados o involuntarios conducen a la
invalidez.
"f~
("
(
(
~
~
~
Los efectos diferenciales de un programa abarcan lo que Suchman llama

efectos inesperados o involuntarios. Los fenme;nos sociales son tan complejos e interrelacionados que resulta imposible cambiar uno de sus aspectos
sin producir una serie de cambios en cadena, 10 que Suchman llama efectos
secundarios. Estos efectos secundarios de un programa pueden ser particularmente fastidiosos cuando el programa est pensado para ser ampliamente
difundido. Los programas federales de educacin pertenecen a esta categora. El evaluador y el administrador del programa deben, por lo tanto, ser
cautos y no aceptar fcilmente los efectos secundarios positivos como justificacin de la consecucin de los objetivos previamente fijados de un programa; las decisiones referentes a la generalizacin deben hacerse segn esta
base. De cualquier manera, es tambin importante comprender que la investigacin es un proceso de aprendizaje y que los efectos secundarios (deseados o indeseados) y el anlisis de estos efectos, son parte integrante del
proceso.
(
)
,
~
t'
l.'
~
.
La evaluacin y la administracin del programa

Como ya se ha dicho al principio, Suchman consideraba que el propsito
de una evaluacin era, por lo general, la utilidad. Su principal objetivo era
aumentar la efectividad en la administracin del programa. Relacionado con
este objetivo est el concepto' segn el cual la administracin de un estudio
evaluativo es una forma de actividad programtica;
consecuentemente, la
planificacin y ejecucin de los estudios evaluativos requieren recursos organizativos. Suchman reconoca la existencia de una intensa relacin entre la
investigacin evaluativa, por una parte, y la teora y la prctica administrativas, por otra.
125
La evaluacin y la ciencia administrativa

La investigacin evaluativa puede desafiar a la prctica tradicional y llevar
cabo la til funcin de hacer ms eficientes estas actividades. Los estudios
a aluativos de programas anteriores cumplen la importante funcin de sacar
~vla luz esfuerzos improductivos: Con relacin a los programas actuales, la
investigacin evaluativa puede valorar el progreso experimentad~ y ad~lan,t~r
nuevas estrategias. Y en 10 que se refiere a programas futuros, la mvestlgaclOn
evaluativa puede prestar una gran contribucin a la definicin de objetivos.
Suchman afirmaba que la evaluacin haba sido tradicionalmente considerada como el proceso final de la funcin administrativa que representa
planificar un programa, s~?ndo los. pro~e,sos anteriores, la investi~a~i?, la
planificacin, la demostraclOn y la e]eCUClon.De cualqUler forma, mSlstla en
que la evaluacin, como estudio de la efectividad, puede darse en todas las
etapas del proceso. Por ejemplo, un administrador puede desear evaluar,
o haber evaluado, los resultados de un estudio investigativo o la viabilidad
de un programa durante su desarrollo. De los diversos procesos, segn Suchman, la planificacin y la ejecucin requieren una evaluacin ms cuidadosa,
y la prioridad ms alta debe concederse a los programas operativos.
La evaluacin de la etapa operacional (o ejecucin) -proporcionar
una
valoracin de hasta qu punto el programa ha alcanzado los resultados deseados '-desempea,
entre otras, estas valiosas funciones:
1. Especifica los puntos fuertes y los dbiles de la operacin programtica
y sugiere cambios y modificaciones en procedimientos y objetivos.
2. Examina la eficiencia y suficiencia de los programas comparndolos con
otros mtodos a la luz de las necesidades.
3. Sugiere nuevos mtodos para futuros programas.
4. Establece prioridades entre los programas, segn la escasez de recursos
como los fondos, el personal y el tiempo.
5. Facilita una responsabilizacin pblica.
6. Fomenta las actitudes morales y crticas del personal implicndolo en
la evaluacin de su propio trabajo.
Debe destacarse que cada funcin evaluativa tiene una conexin real
con las funciones administrativas.
Suchman adverta que la investigacin evaluativa, con todas sus consideraciones administrativas, debe ser acometida con otros propsitos aparte del
perfeccionamiento del programa. Por ejemplo, un administrador puede intentar justificar un mal programa con informes manipulados (<<msicacelestial),
ocultar los fallos de un programa evitando los mtodos objetivos (<<
blanqueamiento) o destruir un programa sin tener en cuenta su valor para librarse
126
Evaluacin
sistemtica
de l (<<submarino). Dado
petuarse a s mismas, debe
una evaluacin podran ser
de debilitar el poder de la
sente problema tuviera una
Suchman
que las estructuras administrativas tienden a per.

tenerse tambin en cuenta que los resultados de
mejor acogidos si el estudio tuviera la capacidad
evaluacin. Suchman no crea que este omniprefcil solucin.
Administracin de los estudios

algunas reas problemticas
. ..t
f!.
"
evaluativos:
Una evaluacin es una forma de actividad social que abarca varias rela .
ciones interpersonales altamente significativas, que se dan entre los investiga.
dores, el personal del programa y los sujetos. El evaluador no puede eludir
estas interrelaciones. Adems de los aspectos normativos de la investigacin,
un evaluador trata con problemas muy relacionados con los intereses creados.
Por lo tanto, atendiendo ms al xito o al fracaso que al objetivo escolar, las
recomendaciones del evaluador pueden determinar la continuacin o el cambio
de un programa. La precisin del juicio del evaluador puede muy bien depen.
der de la calidad de las actividades complementarias del evaluador y el personal
ms importante del estudio.
Si las relaciones entre los papeles del evaluador y del administrador se
deterioran, pueden abordarse varias estrategias para mejorarlas. Suchman proporciona algunas sugerencias:
1.
2.
3.
Desarrollar un ptimo nivel de expectacin para la orientacin inicial

por ambas partes.
Clarificar los papeles y actividades de ambas partes.
Fomentar las tcnicas interpersonales de todos los participantes por medio
de un programa de preparacin inicial (organizado por ambas partes).
Suchman adverta que, sobre todo en el caso de evaluaciones externas, los

evaluadores necesitan saber que el personal del programa se siente como si 10
estuvieran juzgando y, por 10 tanto, amenazando. La coordinacin entre el
evaluador y los administradores puede ser un largo camino hacia la prevencin
del conflicto. El evaluador y el personal del programa deberan ponerse de
acue.rdo antes de que empiece la evaluacin, con el fin de discutir los objetivos y el plan de procedimientos.
La pregunta quin debe hacer la evaluacin?, segn Suchman, no tiene
una respuesta fcil. Tanto las evaluaciones internas como las externas tienen
ventajas y desventajas. A pesar de que no se implica tanto personalmente y
de que no sufre tantas presiones para llegar a un compromiso en el plan de
investigacin y en la interpretacin, el investigador externo es menos apropiado para comprender los objetivos y procedimientos del programa o la viabili.
y el mtodo
cientfico
de evaluacin
127
dad de las recomendaciones. Un evaluador interno estar ms informado acerca

del programa, pero su falta de objetividad es un peligro omnipresente. Aunque
las circunstancias son las que dicen qu estrategia es preferible, Suchman acon.
seja, cuando sea posible, una combinacin de ambas.
Otro problema omnipresente se refiere a las distintas posiciones valorativas
del evaluador y el administrador acerca de la definicin de los objetivos. En
general, el evaluador tiende a valorar los logros, mientras que el administrador del programa pone ms el nfasis en el resultado final y la tcnica. El
evaluador se preocupa ms de los objetivos ltimos, mientras que el adminis.
trador del programa se ocupa de los objetivos inmediatos. Suchman subrayaba
que la evaluacin est concebida para ayudar, y no estorbar, en la realizacin
de un proyecto. As, el evaluador puede acabar haciendo un informe de muy
poco valor si se obsesiona con la precisin de las valoraciones. Y, por otra
parte, la preocupacin por las ltimas tcnicas, y el desinters por el significado total del proyecto, es igualmente una mala prctica. Una explicacin, por
parte del evaluador y del administrador, de las metas del estudio, resulta
crucial para la solucin de los problemas planteados por las distintas posturas
valorativas, como ocurre en los ejemplos reseados ms arriba.
Acuerdos para solucionar los problemas administrativos

Ya se ha afirmado que Suchman consideraba que los estudios evaluativos
deban alcanzar el mejor compromiso posible entre las exigencias de la ciencia
y las c~~diciones realistas de la investigacin. A menudo, de cualquier forma,
las d~clSl0nes acerca del compromiso deben tomarse, por 10 menos en parte,
atendIendo a los problemas o presiones planteados por los administradores.
Si se acepta que la investigacin evaluativa est destinada a proporcionar una
base a las decisiones administrativas, el plan de estudio debe acomodarse a
la poltica admi~i,strativa y otras cosas. El evaluador necesita recordar siempre
~ue u~a ~valuaclOn se desarrolla bajo condiciones naturales y que sus tcnicas
lDvestIg:~I~as deben necesariamente adaptarse a la realidad de la recopilacin
y el ~nalls1S de datos. La ingenuidad y confianza del evaluador, sin embargo,
neceSItan el mayor control cientfico posible.
. Finalmente, en sus comentarios sobre los papeles del evaluador y el adminlSt~ad?~, Suchman afirmaba que ambas partes deben consultarse acerca de
la vIab111dady las posibilidades de perfeccionamiento de las conclusiones mientras que los resultados de una evaluacin deben ser traducidos a 'juicios
referentes al xito o fracaso del programa. Para que tengan un valor real los
resultados deben ser claros indicadores de futuras direcciones. Un evalu~dor
puede cometer un gran error si hace una lista de recomendaciones sin consultar 1 d "
d
1
r a a ~,ID1stra or y a personal del programa. Una consulta puede evitar la
p esentaclOn de resultados errneos que no tengan en cuenta las muchas con.
1)
)
)
)
i
1)
I
i)
,)
,
)
)
f '
L
f
,
(
128
Suchman y el mtodo cientfflco de evaluacin
tingencias necesarias en la prctica, incluyendo las funciones interpersonales

y administrativas.
,
(
(n
:,t
{
,,
Test de conocimientos
sobre la unidad 4
Este test de conocimientos contiene dos partes. Las preguntas que se responden con un verdadero o un falso valoran si ha comprendido usted
bien la premisa bsica del mtodo evaluativo de Suchman. Cuando haya decidido si una afirmacin es verdadera o falsa, deber usted responder otra pregunta
basada en su respuesta. Compare su contestacin con la respuesta correcta.
La segunda parte de este test de conocimientos consiste en dos preguntas
con mltiples respuestas posibles. Una vez ms, cada pregunta va seguida de
la respuesta correcta y de las razones que la apoyan.
Cuando haya respondido a todas las preguntas de ambas partes, le sugerimos que repase y perfeccione su trabajo, utilizando las indicaciones que
aparecen despus de las preguntas.
129
PREGUNTA2. El principal propsito de la investigacin evaluativa, segn

Suchman, es proporcionar informacin til a los administradores, con el fin de
hacer ms efectivas las decisiones acerca del programa.
Verdadero
Falso
Si es verdad, haga una lista de cinco puntos importantes que un evaluador

debe tener en cuenta para asegurar que la informacin derivada de un estudio
evaluativo es precisa y til para las tomas de decisiones. Si es falso, diga cul
es el principal propsito de la investigacin evaluativ~ segn Suchman.
Respuesta correcta. La afirmacin es falsa. Suchman consideraba que el

principal objetivo de la investigacin evaluativa es determinar hasta qu punto
un programa o procedimiento estratgico ha alcanzado los resultados deseados.
Ciertamente, lo ms importante es la potencial utilidad de los resultados, pero
el principal propsito de un estudio evaluativo es descubrir la efectividad de
un programa comparndolo con sus objetivos a la luz de la relacin entre los
objetivos y sus presuposiciones.
I,
PREGUNTA1. El principal objetivo de Suchman era hacer obvia la necesidad de una re evaluacin crtica del papel y la metodologa de la investigacin
evaluativa en las reas del servicio pblico y la accin social.
Verdadero
Falso
PREGUNTA3. Suchman consideraba que debe existir una relacin muy estrecha entre la evaluacin y la planificacin y el desarrollo de un programa.
La investigacin pura conduce hacia un mayor conocimiento de los procesos
bsicos, mientras que la investigacin evaluativa conduce a un mayor conocimiento de los procesos aplicados y las estrategias permitiendo as la realizacin
de cambios racionales.
Si es verdad, qu tienen que ver las conclusiones de Suchman con la relacin entre la investigacin evaluativa y los principios bsicos de la metodologa investigativa? Si es falso, cul es el principal objetivo de Suchman al
escribir acerca de la investigacin evaluativa?
"
li:'
1
~
ti~.
,~
Respuesta correcta. La afirmacin es verdadera. Suchman insista constantemente en que la investigacin evaluativa debe asumir los principios de la
metodologa investigativa. La investigacin evaluativa debe, por lo tanto, ser
un proceso cientfico en el que cada esfuerzo debe estar destinado a controlar tanto la subjetividad del evaluador y de los participantes como la influencia de variables externas. Finalmente, el significado de los resultados evaluativos estar determinado por las mismas normas cientficas utilizadas para
juzgar la investigacin no evaluativa.
Verdadero
Falso
Si es verdad, diga cules son los requisitos bsicos necesarios (en opinin
de Suchman) para llevar a cabo una investigacin evaluativa que pueda sugerir
propuestas precisas para el desarrollo de un programa. Si es falso, diga si
Suchman vea algn tipo de relacin entre la evaluacin y el desarrollo y/o
perfeccionamiento de un programa.
Respuesta correcta. La afirmacin es verdadera. Suchman conceba la investigacin evaluativa como algo que proporcionaba la informacin bsica necesaria para planificar y replanificar los programas de accin. De ah que la
evaluacin, en algn sentido, deba hacer algo ms que juzgar el xito o el fracaso de un programa; debe tambin incluir el entendimiento y la redefinicin.
Para conseguir estos fines, Suchman afirmaba que la' investigacin evaluativa
deba ser cada vez ms cientfica, que tanto los objetivos del programa como
sus presuposiciones deban ser totalmente comprendidos antes de empezar el
---------- ....
')
,
"
130
Suchman y el mtodo cientffico de evaluacin
estudio, y que deba producirse un control de la sit~ac!n con el in .de deter.

minar hasta qu punto se haban alcanzado esos objetivos (y cualqUler efecto
secundario negativo). En este punto, segn Suchman, todo estaba preparado
para el desarrollo de un programa que tenga sentido.
PREGUNTA4. Suchman crea que un valor es cualquier aspecto de una

situacin u objeto que proporciona una orientacin acerca de si ste es "bueno",
"malo" , "deseable" o "indeseable".
Verdadero
Falso
Respuesta correcta. La afirmacin es verdadera. Suchman vea los valores

como maneras de organizar la actividad humana, principios cargados de sigo
nificado que determinan las metas de los programas de accin social y el medio
ms aceptable de alcanzar esas metas. Para cualquier evaluador, es muy im.
portante comprender estos principios, puesto que slo con esta comprensin
podr conocer el significado exacto de las metas del programa, sus presupo.
siciones y la operacin programtica. Por 10 tanto, un evaluador debe necesariamente estar muy enterado de los valores conflictivos existentes antes de que
empiece un estudio o que aparezcan durante su curso. Si no se tiene todo esto
en cuenta, los valores conflictivos pueden crear problemas tan serios que
hagan disminuir o anular la efectividad de la evaluacin.
PREGUNTA5. Suchman no crea que el xito de una evaluacin o de un

programa de accin social dependiera del diagnstico de la presencia o ausen.
cia de un problema social y de la definicin de las metas, que indicaran el
camino hacia una mejora de esa condicin.
.
Falso
: ..,
I
131
Respuesta correcta. La afirmacin es falsa. Suchman pensaba que sin el

diagnstico del problema y, consecuentemente, la definicin de la meta, la
investigacin evaluativa no tena objeto. Para formular las metas y objetivos
de una investigacin evaluativa, Suchman expona seis consideraciones principales: a) Cul es la naturaleza del contenido de la meta (u objetivo)?;
b) Quin es el destinatario del programa?; c) Cundo debe producirse el
cambio deseado?; d) Los objetivos, son unitarios o mltiples?; e) Los resul.
tados buscados, son dispersos o concentrados?; f) Cmo deben alcanzarse
las metas y objetivos?
1
~
\)
Si es verdad, cul es el significado, en opinin de Suchman, de los valores con respecto a los estudios evaluativos? Si es falso, cul es la definicin
de valor de Suchman, y qu importancia tiene la comprensin del trmino
en la realizacin de una evaluacin?
Verdadero
Si es verdad, qu importancia le daba Suchman (si es que le daba alguna)

al problema del diagnstico y de la definicin de las metas? Si es falso, cules
son algunas de las consideraciones generales utilizadas en la formulacin de
las metas y objetivos de la investigacin evaluativa?
)
PREGUNTA6. Dado que la investigacin evall}ativa es particularmente concreta en comparacin con la investigacin bsica, que es ms abstracta, pueden
formularse preguntas significativas acerca del significado de la recopilacin de
datos en cada tipo de estudio. La investigacin evaluativa subraya el concepto
subyacente corno la principal variable de inters; los datos del estudio deben
ser 'capaces de representar este concepto de una manera exacta y vlida. La
investigacin bsica, por su parte, subraya que las indicaciones que pueden
observarse y valorarse son los fenmenos de inters.
Verdadero
Falso
Si es verdad, diga cul de los tipos de investigacin -la evaluativa o la

bsica- se presta ms fcilmente a la generalizacin. Si es falso, diga cul
es el significado exacto de la recopilacin de datos en cada tipo de estudio.
Respuesta correcta. Las afirmaciones que siguen a la primera frase son
falsas. La investigacin evaluativa se ocupa principalmente de la observacin
y la valoracin de los resultados; el programa que se evala est destinado,
por 10 general, a cambiar los valores de estas valoraciones especficas y slo
indirectamente se preocupa del concepto subyacente. Por el contrario, la in.
vestigacin bsica se ocupa principalmente de traducir un concepto a unidades
observables (por ejemplo, ndices operacionales del concepto subyacente), cuyo
valor depende de su capacidad para representar el concepto de una manera
exacta y vlida.
PREGUNTA7. Dado que Suchman apoy tanto los procedimientos de la

investigacin bsica corno el ideal de una investigacin evaluativa, abog ni.
camente por el mtodo clsico de planificacin experimental en 10 que se
refiere a los estudios evaluativos.
Verdadero
Falso
)
'. )
'.
)
,
)
)
)
)
)
------~_
132
Si es verdad, diga cules son los procedimientos bsico.s qu: deben seguir~e
para aplicar el modelo experimental clsico. Si ~s falso, ~lga Sl Suchman crela
que eran factibles adaptaciones del plan expenmental ldeal.
Respuesta correcta. La anrmacin es ~alsa. ~uc~:na~ consideraba que. el .
modelo experimental clsico es un tipo de mveStlgaclOn ldeal cuyas adap:aclOnes deben derivarse de las circunstancias particulares de cada caso. AS1, no
slo hay uno sino muchos modelos experiment~les, porque ~o hay un modo
mejor que otro de planincar los estudios evaluatlVos. Co~o eJempl~s de adaptaciones del modelo experimental clsico, Suchman menClona los metodos cuasiexperimentales de Campbell.
PREGUNTA8. En la evaluacin, la nabilidad no slo est amenazada por

errores casuales del instrumento valorativo, sino tambin por las fluctuaciones
reales del objeto que se est valorando.
Verdadero
Falso
Si es verdad mencione por 10 menos tres tipos de factores de cambio que

contribuyen a p~ner en duda la nabilidad de las valoraciones del cambio. Si
es falso, altere la anrmacin para que sea correcta.
).
..
l,-.:
Respuesta correcta. La afirmacin es verdadera .. Las principa~es. causas de

la innabilidad de las valoraciones del cambio se den van de los slgUlentes factores: a) Fiabilidad del sujeto: los estados de nimo del sujeto pueden influir
sobre su actitud acerca del programa; b) Fiabilidad del observador: los estados
de nimo del observador pueden influir en la manera en que realice sus valoraciones; c) Fiabilidad de la situacin: ciertas condiciones ambientales pueden
influir en los cambios informados; d) Fiabilidad del instrumento: preguntas
mal expresadas, por ejemplo, pueden producir respuestas inexactas; e) Fia~ilidad del proceso: cifras equivocadas u otros errores mecnicos pueden reduclt
la nabilidad.
PREGUNTA9. Suchman crea

utilizados exclusivamente porque
organizacin y el mantenimiento
personalmente con los resultados
realizacin.
Verdadero
que los evaluadores externos deban ser

el personal directamente relacionado con la ..
del programa estaban demasiado implicados,':
de una evaluacin como para confiarles su,
'.
.
Falso
133
Si es verdad, mencione tres maneras en que los evaluadores internos, a

propsito o de otro modo, pueden distorsionar la informacin evaluativa. Si
es falso, diga cul es la verdadera postura de Suchman ante este problema.
Respuesta correcta. La anrmacin es falsa. Suchman anrmaba que en 10 referente a quin debe realizar la evaluacin, no puede haber una respuesta
clara. Tanto las evaluaciones internas como las externas tienen ventajas y desventajas. Los evaluadores externos quizs estn menos implicados personalmente en los resultados, pero son menos apropiados para comprender los objetivos o procedimientos del programa y estn menos enterados de las implicaciones prcticas de las recomendaciones hechas en el estudio evolutivo. Por
otra parte, aunque los evaluadores internos estn ms al tanto de las metas
del programa, de su organizacin y de sus posibilidades, puede resultarles
extremadamente difcil mantener su objetividad. Por 10 tanto, son las circunstancias particulares de cada situacin las que deciden el uso de uno u otro
tipo de evaluacin. En la medida de 10 posible, Suchman consideraba que una
combinacin de ambos poda tener muchas ventajas. Su concepcin era la
de una divisin del trabajo racional y profesional.
PREGUNTA10. Suchman opinaba que, a menudo, las decisiones del programa deban tomarse bajo presiones administrativas. Como consecuencia, si
un evaluador desea dirigir un estudio que ponga las bases para una toma de
decisiones, no puede ignorar que debe tener en cuenta la poltica y las presiones administrativas. Todo ello debe formar parte del plan de investigacin.
Verdadero
Falso
. Si es verdad, diga la principal razn por la que Suchman estaba dispuesto

a aceptar interferencias administrativas durante una investigacin evaluativa.
Si es falso, diga cul era, segn Suchman, la relacin concreta que haba entre
la evaluacin y la toma de decisiones administrativas.
Respuesta correcta. La afirmacin es verdadera. La postura de Suchman
mantena que la investigacin evaluativa es investigacin aplicada; debe abordar el cam~o de estudio en condiciones naturales y, por 10 tanto, debe adaptarse 10 mejor que puede a las condiciones prcticas existentes. Una condicin
muy frecuen~e es la presin administrativa. Si no se comprende esto y no se
, hac~n conceSlOnes de este tipo en la investigacin evaluativa, el estudio eva.~lUatlvo ser menos til en 10 que a la toma de decisiones se refiere.
--~
1i
')
134

d)
Preguntas con muchas posibles respuestas
b)
c)
d)
lo principal es aislar, analizar y juzgar un tratamiento como si estuviera

operando en la prctica,
el camino ms seguro hacia la formulacin de conclusiones evaluativas
slidas es crear y comprobar sistemticamente hiptesis acerca de las re.
laciones existentes entre las variables intermedias y los resultados inme.
diatos,
el xito o el fracaso de un programa debe ser evaluado en trminos de
efectividad del coste, reincidencia y diversidad de los resultados.
el producto, el trabajo, la suficiencia del trabajo, la eficiencia y el proceso,
son las categoras tiles que- determinan el xito o fracaso de los programas.
Suchman consideraba que el evaluador y el administrador del programa

deban ser muy cautos a la hora de confiarse el uno al otro; es aconseja.
ble que cada uno vaya por su camino para que se mantenga la objetividad.
a)
b)
c)
Aunque Suchman insista en la necesidad de valorar los programas con

relacin a su prctica, apunt criterios especficos para valorar el xito
de un programa, como se ha subrayado ms arriba.
El concepto de Suchman de los criterios apropiados no se reduca, obviamente, a las variables intermedias y a los resultados inmediatos.
Suchman no incluy la reincidencia y la diversidad de los resultados entre
las principales categoras de criterios que recomendaba.
12. Cul de las siguientes afirmaciones refleja ms fielmente

las concepciones de Suchman respecto a las influencias administrativas y la posicin del evaluador?
PREGUNTA
a)
b)
e)
Suchman afirmaba que si los resultados de la evaluacin tienden a disminuir el poder de la organizacin, el estudio debe ser considerado beneficioso porque los cambios que se produzcan reforzarn esa debilidad.
El evaluador es un juez del xito o el fracaso y determina la continuacin
o cambio de un programa.
La investigacin est sujeta a las limitaciones sociales que impone la organizacin en la que trabaja el evaluador.
~
I
")
Respuesta correcta. Debe usted haber seleccionado la e. Si el evaluador

no comprende esas limitaciones y las concesiones hechas en la planificacin
del estudio, es muy probable que los resultados del estudio sean inexactos.
~
~
a)
b)
d)
:1
Las organizaciones suelen ser muy sensibles y permanecer a la defensiva

ante las crticas adversas.
Suchman afirmaba que la responsabilidad de un evaluador acaba cuando
ya ha hecho las recomendaciones que son resultado de enjuiciar el xito
o fracaso de un programa.
Suchman consideraba que el evaluador y el administrador de un programa deben discutir los objetivos y procedimientos planificados para la evaluacin antes de que sta empiece.
Respuesta correcta. Debe usted haber seleccionado la d. Estos son los

criterios que Suchman propona para valorar el xito o fracaso de un programa.
I~
PREGUNTA 11. Respecto a los criterios de valoracin de programas, Such.

man propona que:
a)
[135
Es recomendable que
relea aquellas preguntas que le hayan resultado difciles o confusas, y las utilice
como base para repasar las correspondientes secciones de la unidad.
INTERPRETACIN
DE SU COMPRENSIN DE LA UNIDAD,
')
')
1)
,)
)
)
)
)
)
)

Las siguientes preguntas pueden resultar tiles para iniciar un debate:
En qu se diferencian, segn Suchman, la investigacin bsica y la investigacin evaluativa?
2. Cules son, para Suchman, los propsitos principales de una evaluacin?
3. Cules son los principales aspectos del modelo propuesto por Suchman
para demostrar que la primera secuencia causal de una evaluacin es slo
una de las muchas posibles acciones y actividades que conducen a los
resultados?
4. Suchman adverta que la investigacin evaluativa est cargada de consideraciones administrativas. Mencione algunas de ellas.
,~
1.
')
)
)
)
i
')
,
Ji
J
\)
)
)

f.
f.
136
t
f
t
I
f(".
'"
f
f
.
t
"
",
f.
tI
lr
,,
l
FLECK,A. C. 1961. Evaluation as a 10gicaI process, Canadian Journal o/ Public

Health, 52 (mayo), pgs, 185-191.
HERZOG,E. 1959, Some guide lines /or evaluative research, Washington, D,C., De.
partamento de Salud, Educacin y Bienestar de los EE.UU.
JAMES,G, 1958, Research by local hel!lth departments - Problems, methods, re.
sults, American Journal o/ Public Helath, 48 (marzo), pgs. 354-379.
-.1961. Planning and evaluation o health programs. En Administration o/ como
munity health services. International City Managers' Association, Chicago, p.
ginas 124-134.
KLINEBERG,
O. 1955, The problem o evaluation, International Social Science Bu.
lletin, 73, pgs, 347-362.
SUCHMAN,E. A. 1954, The principles o/ research designo En J. T, Doby y otros,
An introduction to social research. Harrisburg, Pa., The Stackpole Co., pgi.
nas 254-267.
-,1963. Sociology and the /ield o/ public health, Nueva York, Russell Sage Foun.
dation.
-, 1966. Medical deprivation, American Journal o/ Orthopsychiatry, 36 (julio),
pgs. 665.672.
-. 1967. Evaluative research: Principles and practice in publie service and social
aetion programs, Nueva York, Russell Sage Foundation.
LA PLANIFICACION EVALUATIVA SEGUN

CRONBACH: UNA SINOPSIS
Durante los ltimos cuarenta aos, Lee ]. Cronbach se ha interesado en

muchos aspectos de la evaluacin de programas de ciencias sociales. Muchas
de sus intuiciones en estas reas han culminado en un libro titulado Designing
Evaluations of Educational and Social Programs (CRONBACH,1982), un largo
y erudito trabajo cuya versin preliminar qued terminada en abril de 1978.
Con sus 374 pginas, el libro incluye algunos nuevos aspectos para la planificacin de evaluaciones educacionales, a la vez que discute los pros y los contras de algunos de los conceptos de planificacin que ya se utilizan.
En su introduccin a los problemas que plantea la planificacin de evaluaciones, Cronbach afirma que planificar una investigacin evaluativa es un arte,
porque cada plan debe ser decidido teniendo en cuenta sz' es apropiado o no
para cada nueva empresa, Dice que el evaluador debe estar bien enterado de
las elecciones que puede hacer para que las ventajas derivadas de cada caracterstica del plan puedan compensar los sacrificios que implica la eleccin. La
planificacin, por lo tanlo, acaba siendo ms bien un problema de cmo debern repartirse los recursos investigativos, basndose en una seleccin de las
cuestiones ms adecuadas y guindose mediante consideraciones prcticas y
polticas.
Los fuertes contrastes existentes entre los comentarios d' los partidarios
del mtodo cientfico y los entusiastas del mtodo naturalista holstico indican
una polarizacin tan fuerte que no es posible la reconciliacin. De cualquier
forma, Cronbach cree que el conflicto se ha exagerado, y que Ji un trabajo
evaluativo tiende a convertirse en un programa de estudio (ms que un
simple estudio) ser ms conveniente que se le aplique una mezcla de estilos.
La necesidad de una conciencia poltica, de una mentalidad abierta y de una
buena comunicacin, establecida por el operador, entre las etapas planificadoras y operacionales de una investigacin son la base de todos los escritos
de Cronbach.
138
Objetivos
Los objetivos de este captulo son los siguientes:
2.
3.
4.
,"}
")
A causa de su longitud, nos resulta imposible cubrir, en esta breve unidad,

todo el material contenido en el libro de Cronbach (CRONBACH,1982). Si, de
todas maneras, usted cree que los temas tratados son interesantes, debe asegurarse de que merece la pena estudiarlos ms ampliamente acudiendo al texto
completo. Del trabajo de Cronbach, seleccionamos aqu aquellos aspectos que
se adaptan al contexto general, sobre todo los componentes investigativos y
los recursos de una evaluacin, como el lugar que ocupan los distintos estilos
en la planificacin evaluativa, la descripcin de los problemas investigativos
y la importancia de la comunicacin de la toma de decisiones. Adems, nos
acercamos a la concepcin de los elementos que forman parte de una planificacin evaluativa: unidades, tratamientos y operaciones de observacin (uto).
El estudio de esta unidad debe capacitarle para conocer a fondo el pensamiento de Cronbach (en trminos generales) acerca de las influencias que
soporta la planificacin de un programa evaluativo. Al final de la unidad, hay
ejercicios para que compruebe sus conocimientos. Ahora le proporcionamos
una lista de los objetivos de la unidad. Cuando los haya estudiado, lea la
unidad y realice el test de conocimientos, contrastando sus respuestas con
las que proporcionamos nosotros.
1.
Las instituciones polticas aprenden de la experiencia evaluativa, y por

eso la utilizan para sus clientes y para los distritos electorales. La evaluacin
est concebida para acelerar el proceso de aprendizaje por medio de la comunicacin de lo que de otra manera quiz quedara olvidado o mal comprendido.
, I
-------_ ...
Facilitar el conocimiento de algunos de los problemas generales concernientes a la planificacin de evaluaciones, teniendo en cuenta una planificacin previsora y flexible, la utilidad de la evaluacin, los mtodos alternativos de evaluacin, el acuerdo en la planificacin de los elementos y
el equilibrio en la investigacin evaluativa (resumen).
Presentar el concepto que tiene Cronbach acerca de los elementos de una
investigacin evaluativa; en particular, las unidades, los tratamientos y
las operaciones de observacin; UTOS: el campo de la investigacin; definicin de los elementos de uto y UTO; y *UTOS: el campo de la aplicacin.
El conocimiento de varios modos de identificar las cuestiones evaluativas
teniendo en cuenta la fase divergente y la fase convergente.
Destacar la importancia de la comunicacin respecto a la utilidad de los
resultados, la comunicacin directa y la extrapolacin de los resultados.
Planificacin evaluativa segn Cronbach
5.
139
"}
Investigar el concepto de Cronbach acerca de las perspectivas de la evaluacin, que incluye la flexibilidad de la planificacin, la relacin entre
evaluacin y poltica (limitaciones) y otras consideraciones.
~
~
~
Introduccin a los problemas ms importantes
~
Una planificacin
previsora
y flexible
Cronbach est convencido de que hay que estimular la planificacin de la

evaluacin para que resista ciertos tipos de desafos, porque, en opinin de
Cronbach, las evaluaciones estn concebidas para cumplir una funcin poltica.
Los desafos a la informacin que surgen en las evaluaciones estn, a menudo,
polticamente motivados. Esta es una caracterstica ineludible de toda evaluacin. Para poner una amplia gama de esperanzas legtimas en el resultado de
una evaluacin, su planificacin debe ser algo cercano a la planificacin de un
programa de investigacin. y as, en el mejor de los casos, la evaluacin debe
tener la misma flexibilidad tanto respecto a sus propios resultados como a los
intereses cambiantes de la comunidad poltica. Cuando planifica (y replanifica)
un estudio profesional completo, el evaluador se esfuerza por hacerlo de tal
manera que los votantes, los administradores, el personal operativo y/o los
polticos puedan tomarse en serio sus resultados. No hay nada ms que justifique el esfuerzo invertido en la planificacin de una evaluacin.
Las evaluaciones, a menudo, se realizan a peticin de un administrador.
Posiblemente, el administrador desee convertir al evaluador en un simple
tcnico, plantendole preguntas sucesivas y pidindole que aplique tcnicas de
muestreo, valoracin y anlisis estadstico, sin reflexionar sobre las implicaciones de estas actividades. Cronbach, de cualquier forma, concibe que un
evaluador exija, y obtenga, una responsabilidad ms amplia para que la evaluacin sea ms til. Aunque los evaluadores no pueden, y no deben, sustituir
su juicio por el de la agencia patrocinadora, debe permitrseles aportar su
punto de vista acerca de la agenda investigadora. Los administradores, pues,
deben pedir a los evaluadores competentes que piensen acerca de las posibilidades de la planificacin antes de que se tome ninguna decisin.
Cronbach cree que ningn individuo est totalmente cualificado para encar?~rse l solo de la planificacin y la interpretacin; casi siempre, la responsabIlIdad debe ser compartida por un equipo. Este mtodo tiene ciertas ventajas, puesto que proporciona multiples perspectivas y promueve saludables
debates profesionales. La planificacin, por lo tanto, se desarrolla en dos niveles: una planificacin general que reparta prioridades y responsabilidades
entre los miembros del equipo, y una detallada planificacin interna del equipo,
que debe dar como resultado planes basados en la experiencia y las interac-
')
()
)
)
)
)
)
)
.~
'.
)
i
)
,
J
I
'1
1
...)
I
.{
)
140
ciones de los que constituyen el equipo. As, la planificacin y los estudios',

evaluativos se convierten en algo ms reflexivo, ocupndose de los procesos, y ,
no solamente de los objetivos.
'
'
Reflexionar sobre los propios acontecimientos es mucho ms importante
que confiar en lo que Cronbach llama proceso de datos irreflexivo. Como'
Carol WEISS (1972), Cronbach cree que la evaluacin debe ser contemplada
como una manera de iluminar complejos mecanismos como la variacin de los
tratamientos, como un estudio tanto del proceso como de los resultados y
como una informacin sobre un campo determinado que puede utilizarse en
las tomas de decisiones referentes a otros distintos.
Planificacin evaluativa segn Cronbach I 141

Cronbach insiste en que en todas las etapas de una evaluacin, desde la
planificacin al informe, es esencial una excelente informacin. Como WILENSKY (1967), Cronbach cree que una excelente informacin debe ser
_ e/ara, porque debe ser comprendida por todos aquellos que la utilicen;
_
_
_
La evaluacin til
Las planificaciones se realizan basndose en ciertas concepciones acerca
de lo que una buena evaluacin es o hace. La mejor planificacin es aquella
que promete aumentar el beneficio social de la evaluacin; la eleccin entre
las planificaciones alternativas se realiza atendiendo a cmo pueden influ!
las evaluaciones en los asuntos sociales. Las instituciones sociales aprenden
de la experiencia, as como de los clientes y de los distritos electorales. La
evaluacin, en palabras de Cronbach, est concebida para acelerar el proceso
de aprendizaje, mediante la comunicacin de lo que, de otra forma, no se
comprendera o se entendera equivocadamente.
Para ser til, una evaluacin debe tener como ncleo las actividades
cientficas, puesto que si las observaciones presentadas no son realistas o la
interpretacin no se basa en un buen razonamiento, la evaluacin no tendr
mucho valor. Por otra parte, un estudio tcnicamente admirable puede quedarse corto si el evaluador no atiende a lo que piensan los individuos polticac
mente ms relevantes de la comunidad, como los clientes, el personal del programa, los burcratas y los ciudadanos interesados.
Como resultado del mtodo cientfico, el trabajo de los evaluadores puede
provocar intuiciones en otros; as, los evaluadores son educadores cuyo nivel:
de xito debe ser juzgado, por lo menos en parte, segn el xito que alcancen:"
en el terreno de la comunicacin. Cronbach cree que este aprendizaje empieza"
cuando el evaluador se rene con miembros polticamente formados de la cO:,
munidad para resolver sus dudas. Contina con cada contacto que el evalua-"
dar mantiene con los que participan en el programa o con otros individuos.
relevantes. El informe final es slo uno de los medios de instruccin de que
dispone el evaluador: el trabajo didctico reside tanto en el planteamiento de.;
los problemas como en la formulacin de sus soluciones. Especialmente en 10"
que se refiere a los problemas relativos al valor, la responsabilidad del evalua-'i;
dar (como educador) es ayudar a los dems a saber solucionar los problemas"
y determinar las acciones ms apropiadas para la consecucin de los objetivos.";,
oportuna, porque debe llegarles cuando la necesiten;
_ exacta, porque los diversos observadores que utilicen el mismo procedimiento deben contemplarlo de la misma manera;
vlida, porque debe incluir los conceptos y las valoraciones estrechamente
relacionados con la realidad;
amplia, porque debe proponer las principales alternativas polticas que tienen ms probabilidades de alcanzar las metas de la organizacin o proponer nuevas metas.
Si 10 que se comunica acerca de una evaluacin es su resultado mas lIDportante, las siguientes preguntas deben ser planteadas cuando la evaluacin
haya terminado:
A todas las secciones de la audiencia les interesa el mensaje?

Lo comprenden?
Lo encuentran creble?
Se ha respondido, en la medida de 10 posible, a las preguntas que ellos
consideraban ms importantes?
Han alterado las respuestas sus ideas preconcebidas?
Se ha enriquecido y elevado el dilogo sobre las tomas de decisiones
como consecuencia de la evaluacin?
Si las comunicaciones responden positivamente a todas estas preguntas, el

plan y los procedimientos evaluativos deben ser considerados buenos. Una
dificultad obvia que se presenta al emitir un juicio es la que se deriva de cada
consenso, puesto que en una situacin polticamente viva existe una comunidad formada polticamente y no slo un individuo que toma decisiones. Todos los que desempean algn papel en la aprobacin del programa o en la
recomendacin de alternativas forman parte de la comunidad. Adems, de una
manera ideal, el evaluador debe esforzarse por llegar a los ciudadanos ms
pasivos, a los que debe animar a hablar y cuyas preguntas deben ~er respondidas mediante la adecuada comunicacin.
Una evaluacin debe reducir la incertidumbre mediante alternativas propuestas a su audiencia. Adems, debe complicar los conceptos que sean demasiado simples o demasiado seguros. Aunque los evaluadores quiz no sean
capaces de persuadir a todos los segmentos de la comunidad poltica para que
utilicen sus conclusiones del modo ms completo, deben ir siempre en esta
direccin.
142
--------_~I~
~
i
I
Una planificacin evaluativa debe conducir a un estudio que clarifique los

problemas de todos los implicados y delate cundo ha. tr~bajado con falsas s~posiciones o pasado a la accin sin demasiado conOCImIento de causa. ASI, la
evaluacin ms til es aquella que proporciona una gran cantidad de sugerencias para solucionar futuros problemas y clarificar significados.
Cronbach afirma que los programas evaluativos convencionales centran su
atencin en una sola agencia, tcnica o intervencin. Aunque esta estrategia
es til y necesaria, a la larga puede perder eficacia, porque puede que no conduzca a la comprensin de! problema bsico. La consecuencia de esto para
una evaluacin parece estar clara .. Lo ms difcil es mantener la esperanza
puesta en una lnea de intervencin concreta; lo ms importante es que la
evaluacin contribuya a la comprensin bsica de! fenmeno. Cuando una evaluacin alcanza este nivel, puede aspirar razonablemente a un avance social en
la comprensin del rea en cuestin.
Enfoques evaluativos
enfrentados
Los fuertes contrastes existentes entre algunas de las afirmaciones de los

partidarios de! enfoque evaluativo cientfico y los entusiastas del naturalista
u holstico sugieren una polarizacin tan rotunda que no es posible la reconciliacin. De todas formas, Cronbach cree que el conflicto se ha exagerado y
que si un trabajo evaluativo se convierte en un programa de estudios (m~s
que en un solo estudio) tiene ms posibilidades de emplear una mezcla de estIlos. Una evaluacin, en otras palabras, puede incluir todo tipo de investigaciones, y slo de esta manera podr ser valorado e! significado total de una
situacin.
I
.'
La mayor dificultad a la que se enfrentan los evaluadores, de cualquier

forma, es que deben decidir sobre la distribucin del trabajo investigativo en
un proyecto y tiempo concretos; as pues, los cambios proyectados a largo
plazo deben ser el principal centro de atencin de los evaluadores. Un estudio
concreto, por lo tanto, puede exigir ms nfasis en sus predilecciones experimentales que en las naturalistas. Por su parte, Cronbach ha utilizado ambos
mtodos, segn la naturaleza del estudio. De cualquier manera, y en general,
su libro concede ms importancia a la planificacin de evaluaciones estructuradas que a la planificacin de estudios concretos o al mtodo iluminativo.
Cree que, hasta ahora, se han producido pocas reflexiones acerca de los mtodos ms naturalistas porque no ha existido un intercambio de puntos de vista
comparable al que se ha producido en el campo experimental. Como consecuencia, los problemas que han dividido a mtodos distintos, como el naturalista y e! experimental, permanecen an en la superficie.
143
~
~
El consenso en los elementos
de la planificacin
Cronbach afirma que existe un acuerdo general segn e! cual la sociedad

debe renovarse. Las instituciones y los servicios sociales rara vez son como
podran ser, e incluso los planes que una vez funcionaron se vienen abajo
cuando cambian las circunstancias sociales. Por lo tanto, se hace necesario
algn tipo de evaluacin que mejore este panorama.
Tambin existe un acuerdo acerca de que la evaluacin debe ser emprica
y que los acontecimientos deben ser examindos en los lugares donde se desarrolla e! programa. Ni los evaluadores humansticos ni los cientficos conductistas consideran esto necesario. La tradicin humanista, de cualquier forma,
puede llegar a asegurar que un programa es vlido por derecho propio. Adems, cualquier conclusin a la que se llegue acerca de los hechos recopilados
es una deduccin que va ms all de los datos. Son falibles y se basan en presuposiciones o hiptesis de trabajo; as, las conclusiones son verosmiles en
mayor o menor grado. Debe siempre recordarse que las estimaciones estadsticas se esperan con incertidumbre.
Sin embargo, puede advertirse un consenso inconsciente entre humanistas
y conductistas cuando los partidarios de la experimentacin empiezan a hablar
de comprensin o de intuicin, puesto que esto supone acercarse mucho a los
estudios naturalistas que ellos practican. Los investigadores naturalistas reparten los recursos entre los numerosos tratamientos, procesos y variables externas, y buscan datos para los modelos. Presentan e interpretan muchas relaciones que no son, en modo alguno, estadsticamente significativas. En otras palabras, optan por la extensin a expensas de la fidelidad, por lo que adoptan
un compromiso entre e! nfasis que ponen en el control frreo y la sobriedad,
por una parte, y la ausencia total de controles, por otra. Resumiendo, parece
existir un cierto consenso entre los autores importantes segn e! cual en muy
pocas ocasiones debe dependerse de los mtodos evaluativos estadsticos y de
sus conclusiones.
Cuando planifica e! estudio, el evaluador debe hacer algunas elecciones.
Entre ellas pueden encontrarse, quizs, un tratamiento regularizado que no
puede operar en ausencia del investigador, que reduce las variabilidades (esto
es, e! mtodo experimental tradicional) o un mtodo naturalista que tenga en
cuenta interpretaciones heterogneas de la institucin bajo circunstancias operativas normales. De cualquier manera, Cronbach insiste en que e! evaluador
puede escoger un plan cualquiera, desde el estudio artificial totalmente controlado y reproducible, hasta e! estudio naturalista, ms libre y oportunista.
~
~
~
~
~
1
')
')
)
)
)
)
)
)
)
)
i
,)
)
)
)
I
.)
'~
.)
)
)
i
~)
.,
"
:f
(~
.~
ff
!.
~.
,
4.
4
(
,(
I(
1.
i
'.l~-
El equilibrio
en la planificacin
evaluativa:
resumen
145
Cronbach resume la reflexin acerca del continuum existente entre la

planificacin cientfica y la humansti.ca con la siguiente ai~macin: ;<La retrica que establece oposiciones polanzadas entre los estudlOs expenmentales
y los naturalistas es til slo para llamar la atencin sobre ciertas cuestiones
crticas.
Lo dicho en la seccin anterior indica que algunos evaluadores, en la planificacin y la prctica de su estudio, pueden llegar a utilizar tanto el mtodo
cientfico como el humanstico. Por otra parte, otros insisten en que slo hay
que aplicar un estilo en cada estudio.
Aquellos que estn a favor de los tests sumativos formales tambin son
partidarios de la objetividad en la observacin y el anlisis. Por el contrario,
los que prefieren el estudio de casos concretos son tambin partidarios de la
interpretacin impresionista. El primer grupo insiste en el carcter fijo de la hiptesis que est siendo examinada, mientras que los segundos destacan la creciente calidad de las cuestiones investigativas. Cuando el investigador no puede
especificar adecuadamente en la planificacin las variables ms significativas, el
estudio se desarrolla en un contexto de descubrimientos. El descubrimiento
proviene de los datos recopilados, que se interpretan a la luz de la experiencia
previa del investigador (directa o procedente de otros). Las planificaciones
ms frreas, por otra parte, son convenientes si las variables pueden ser claramente definidas y las hiptesis claramente formuladas. La principal misin de
una planificacin frrea, en la ciencia bsica, es proporcionar una base objetiva,
reproducible e incuestionable para la prediccin de una teora.
Cronbach afirma que no se plantea necesariamente conflicto entre el control experimental y la utilizacin de informacin cualitativa o interpretacin
subjetiva, o la exploracin libre de prejuicios y la produccin de evidencias
objetivas. Esto quiere decir que incluso un experimento formal puede incorporar entrevistas de los operadores del programa y los clientes de una manera
indefinida y, por ltimo, apUcar codificaciones ciegas para obtener datos mecanizados compatibles. Por otra parte, los datos cuantitativos y muy estructurados pueden ser utilizados para la construccin de hiptesis en estudios de
casos concretos. Algunos autores, adems, dejan claro que ellos pueden como
binar una planificacin frrea con una interpretacin subjetiva. Scriven, en
concreto, propone que los evaluadores informen si el tratamiento es bueno
.0 malo, para que as incluyan sus propios valores en el juego. Por su parte,
los observadores naturalistas pueden inyectar objetividad en su est1,ldio documentndolo con ancdotas y tambin utilizando observadores adicionales que
se centren en aspectos concretos del programa que se est evaluando.
Al disear y llevar a cabo una evaluacin, el evaluador avezado debe
decir cules son sus preferencias en cuanto a la metodologa que se debe emplear para facilitar la resolucin de un problema poltico concreto en un momento determinado, y debe fortalecer su estudio en algunos aspectos y mano
tenerlo flexible en otros. Segn parece, incluso el ms firme partidario de alguno de los estilos de investigacin evaluativa est preparado para abordar el
estilo opuesto para seguirlo en ciertas tareas.
En la planificacin real, casi siempre es conveniente introducir algn tipo

de control -en la recopilacin de datos, e incluso en la manipulacin del
tratamientoy hacer alguna observacin naturalista acerca de los acontecimientos, todo ello en el marco de la estructura planeada. El equilibrio entre
los estilos debe variar de una cuestin a otra, y quiz modificarse (en cualquier sentido!) a medida que se desarrolla el trabajo evaluativo.
Los conceptos de Cronbach acerca de los elementos

de una planificacin evaluativa: Uto
Las conclusiones derivadas de una evaluacin deben indicar lo que ocurrir
si se adopta un cierto plan de intervencin en un cierto tipo de situacin.
Estas conclusiones pueden ser predicciones acerca de la presentacin del programa, de la reaccin ante los clientes, del cambio de comportamiento, del
cambio institucional, etctera. El planificador de una evaluacin debe esforzarse por asegurar (en la medida de lo posible) que el contenido de sus conclusiones son tan vlidas y persuasivas como sea posible. Finalmente, la validez consiste en un escrutinio crtico de la lgica de cada interpretacin y en
las operaciones investigativas consiguientes.
Unidades, tratamientos
y operaciones
de observacin
Cronbach presenta una teora en la que puede basarse cualquier recomendacin referente a la planificacin. El concepto abstracto caracteriza la muestra, el dominio estricto en que esa muestra resulta significativa, el dominio
afectado por las decisiones tomadas por la comunidad y las relaciones entre
estos tres aspectos. Los tres conceptos abstractos son unidades, tratamientos
y operaciones de observacin. As, un evaluador debe atender a 10 siguiente:
1.
Unidades: cualquier individuo o clase.
2.
Tratamientos: una unidad est expuesta a la realizacin de un tratamiento

concreto; por ejemplo, un profesor selecciona y organiza lecciones, y las
explica de un modo que puede ser claro o confuso; as, la ejecucin de
algo puede variar aunque est sujeta a un tratamiento regularizado.
Operaciones de observacin: el evaluador obtiene datos antes, durante y/o
despus del tratamiento, y utiliza un cierto tipo de tests, o enva a alguien
3.
------_
146
Cuando comenta un estudio concreto, Cronbach se refiere a las unidades

que participan en el estudio, a los tratamientos rea~izados y a las observaciones como uto, respectivamente. Cada u va emparejada con, ~l me~os, una t
y una o, lo cual forma el smbolo uto, que se refiere al e:tudlo re~llZado, o a
cualquier parte de un conjunto de estudios que puede realIzarse baJO un~ especificacin concreta. As, uto puede referirse a los datos de una sola umdad o
a los de toda la muestra..
.
.
Cuando se han seleccionado las unidades, resulta inevitable haber mclUldo
las caractersticas del marco local. Por ejemplo, si se ha estudiado a los profesores se habr hecho segn su contexto social y no como individuos aislados. L~s profesores estn influidos por los directores, por las tensiones que
se desprenden de las relaciones interpersonales y por las negociaciones del
sindicato (por mencionar slo algunas de las muchas influencias posibles). Adems, el contexto es muy amplio. El clima intelectual y poltico de una situacin determinada afecta a todas las unidades. Ms an, las conclusiones acerca
de una situacin determinada en un momento dado no tienen por qu repetirse
necesariamente algunos aos ms tarde, incluso en esa misma unidad.
UTOS: El dominio de la investigacin

Cronbach afirma que los dominios correspondientes a uto son U, T y O.
Estos se combinan con S en UTaS, un concepto que ser explicado ms tarde.
Por definicin, UTa especifica la clase de combinaciones unidad-tratamientooperacin que el investigador pretende describir segn la base de uto. Por
ejemplo, un programa de seguimiento diario puede llevar a cabo ciertos planes
concebidos para nios de un determinado tipo de familias, haciendo referencia
a la evidencia de cuestiones concretas como las revisiones de salud efectuadas
por un mdico, las informaciones de la madre respecto a la utilizacin del
tiempo libre y la aceptacin del servicio por subgrupos concretos de la comunidad. Este plan de un tipo de combinacin unidad-tratamiento-operacin
es
un ejemplo de UTa. Cronbach define UTa como el <<universo de las observaciones admisibles. Lo cual quiere decir que cualquier uto observado cae dentro de los dominios que interesan al investigador.
Si la definicin es adecuada, los lectores independientes estarn de acuerdo
en qu ejemplos de unidades, realizaciones u operaciones forman parte de
UTO. Adems, el orden y la distribucin de uto dentro de UTO debe (idealmente) armonizar con los intereses del investigador. Como afirma Cronbach,
el dominio puede ser estrecho o amplio. Por ejemplo, un estudio puede investigar mtodos de estudio independientes basados en datos aceptados de cual-
a la clase para que recoja algn tipo de impresiones. Estas son las operaciones de observacin.
')
...,
147
quier escuela que se esfuerce por ofrecer a los estudiantes una metodologa de
aprendizaje individualizada; otro estudio puede definir un tipo especial de
metodologa de aprendizaje individualizada y centrar su atencin slo en los
ejemplos de un modelo de actividad. Es importante destacar que cuando cambia
la definicin, tambin cambia la cuestin que est siendo investigada directamente.
Cronbach insiste en que la planificacin ideal define un UTa, y luego los
planes para seleccionar un uto que lo represente. Si la planificacin es lgica
y se lleva a cabo estrictamente, pueden legtimamente inferirse de los resultados de uto los probables resultados de UTO.
Los elementos u, t y o son casuales. El evaluador piensa en u como en la
muestra de una poblacin y controla el muestreo hasta donde le resulta posible. El evaluador define la recopilacin de unidades de inters -la
poblacin, U- y disea cuidadosamente una muestra representativa. El informe
acerca de las observaciones de un caso concreto, o, se toma como representacin de todos los dems casos; idealmente (si no lo impiden los costos) deberan disponerse de datos de cada o en O. Un punto de vista similar se aplica
a t y T, puesto que el tratamiento designado define un tipo de realizaciones
que interesan al investigador, y las realizaciones son una muestra de todo el
dominio. Lo cierto es que, por lo general, U, T y O, en una evaluacin,
dependen del muestreo y de los peligros que ste esconde. Un evaluador, al
planificar un estudio, debe tener siempre presente que el carcter y las variaciones de las respuestas pueden contribuir a la formacin de generalizaciones
inexactas resultantes de los datos recopilados, quiz cuidadosamente, durante
el proceso de muestreo.
__",
No es inusual el concepto de una poblacin U no homognea de la que se
extraen los datos. En UTOS, Cronbach ampla este concepto. Afirma que
en la investigacin ms social, t y o se conciben como fijos, mientras que no
ocurre lo mismo en la evaluacin de un programa. El intrprete de los datos
generaliza, quizs inconscientemente, sobre la realizacin de los tratamientos
i~ual que sobre las escuelas o los estudiantes. De un modo similar, el procedImiento de observacin que se emplea es uno ms entre las muchas realizaciones posibles de un plan. La S de UTOS representa un marco de accin
(setting: S) que debe ser considerado fijo. Segn esta convencin, cada estudio tiene slo un marco de accin (aunque las unidades estn relacionadas con
sectores distintos de este marco).
J
')
')
')
')
')
')
')
)
)
)
)
)
)
)
)
)
)
,
I )
)
)
)
)
I
Definiciones
de los elementos
de
uta y UTa
')
i
)
. La unidad es la entidad independiente ms pequea sobre la que la influenCIa del tratamiento es totalmente operativa. La unidad puede ser concebida
como un sistema. Es lo suficientemente completa y autnoma como para
J
,)
----------
..
148
;EW~ii..;.
que sus experiencias y respuestas no estn influidas por las experiencias y

respuestas de entidades paralelas.
Muy a menudo, los objetos que se investigan tienen una estruc~ra. de
nido. Por ejemplo, los alumnos en sus clases, en las escuelas, en los distrltOS
y en los estados.
El nivel que se escoja para ser la unidad depen?e de un~, concepcin sustancial del mecanismo mediante el cual opera la lntervenClOn propuesta y del
nivel en que aparece esa intervencin.
La eleccin de la unidades una decisin delicada. Debe tenerse en cuenta
que la presuposicin de independencia se debilita cuando se utiliza el ms
alto nivel de la jerarqua como nivel de la unidad. Por otra parte, puede ser
ventajoso definir el plan de muestreo en muchos niveles dist~tos.
,
En la planificacin de un estudio, el problema central es Juzgar cuales son
las unidades de tratamiento independientes. De aqu se sigue la eleccin de las
unidades para el muestreo, junto con las conclusiones de ti que resultan vlidas para U.
'.
En cualquier estudio manipulador, el evaluador deSIgna unas cuantas acclOnes que influyen en el curso de las unidades. El tratamiento des!gnado par.a
la unidad es T, mientras que el tratamiento que realmente se aphca a la UnIdad es t. Las actividades del tratamiento real (t) no suelen estar enteramente
de acuerdo con las designaciones del investigador, puesto que pueden existir
variaciones respecto a la planificacin del estudio. Cronbach afirma que cuando se somete a prueba una serie de materiales didcticos, una descripcin
completa del t real debe incluir, por ejemplo, el ritmo al que los ~rofesores
desarrollan su trabajo, los ejercicios propuestos, las recompensas aSIgnadas a
los estudiantes, etctera. Estas descripciones reales de t discrepan de las afirmaciones generalizadoras de T al incluir 10 que se conoce comnmente como
distribucin: aquellos elementos de un tratamiento planificado que influyen
realmente en la unidad ti. La designacin de T puede, desde luego, incluir
directrices, instrucciones y procedimientos de supervisin, requisitos del personal que lleva a cabo el tratamiento, materiales didcticos y detalles para el
tratamiento de los acontecimientos; o, por el contrario, puede no ser ms que
una designacin global tal como una progresin individual dentro de las cl~ses, en la que ser admitida cualquier realizacin que responda a esta etlqueta.
Las operaciones de observacin incluyen tests, entrevistas, visitas a las clases {en el caso de las escuelas), grabaciones de dilogos y procedimientos para
codificar las observaciones y la utilizacin de datos archivados. Puede realizarse, adems, una observacin de los antecedentes de la situacin inicial!
final de los logros que pretenden conseguirse, de las aptitudes y de las aCt!tudes , as como de las diversas variables intermedias o procesadas. En el esta-
149
dio del diseo de una evaluacioo el ideal es designar procedimientos tan claros
que otro investigador sea capaz de recopilar datos comparables. Lamentablemente, sta no es la prctica normal.
En las ciencias naturales, Cronbach afirma que los procedimientos suelen
ser tan regularizados que la distincin entre la clase O y el ejemplo o tiene
muv poca importancia. Por el contrario, las valoraciones del comportamiento
no pueden ser demasiado regularizadas. El nfasis puesto comnmente en la
definicin operacional consiste en designar una clase ms homognea de
procedimientos. De esto se sigue que la o designada para formar parte de esa
clase debe concordar con ella. Aquellos que utilizan el informe evaluativo, de
cualquier forma, estn a menudo ms interesados en una estructura ms ampliamente definida. Ms que escoger un solo procedimiento para aplicar a todos
los sujetos, el evaluador debe representar los intereses del cliente definiendo
un dominio de las diversas actividades asociadas con el concepto que se est
investigando. Por ejemplo, ms que afirmar que debe valorarse la comprensin de la lectura, puede ser preferible designar unas cuantas formas distintas
de comprender la lectura; todos estas tareas acaban siendo elementos de O.
Cronbach subraya que la clase ti debe ser designada con mucho ms cuidado que U y T, puesto que una definicin vaga de las variables que deben
ser valoradas es insuficiente y posiblemente conduzca a errores.
.UTOS: El dominio de aplicacin

Una versin ms depurada de UTaS, y algo que Cronbach considera bsico para su argumentacin, es el desarrollo del concepto de ;'UTOS. El asterisco se pone al principio (as estrella UTaS) porque un asterisco al final
quiz podra sugerir UTa en S*.
Slo una pegueafraccin de la audiencia (si es que existe alguna) se interesa primordialmente por los UTaS que define el estudio. Se interesan ms
en aspectos particulares del informe. Esto es lo que Cronbach llama ;'UTOS,
un concepto que difiere del original en algunos puntos. Para los interesados
la evaluacin tiene un valor y un propsito slo si sirve para proporcionar
extrapolaciones razonables a partir de una observacin de las circunstancias
de los *UTOS, con su interpretacin individualista de las observaciones.
Como consecuencia, si una evaluacin quiere ser til, los resultados deben
reducir la incertidumbre acerca de los problemas polticos incluidos en los
;'UTOS una vez que han sido recopilados los datos (basados en observaciones). De esto se sigue tambin que, en la planificacin de un estudio, el evaluador debe anticipar, tanto como le sea posible, los U~', T* y 0* que los
clientes y las audiencias deseen conocer, y tambin debe hacer algunas consideraciones acerca de S~',como se muestra ms abajo.
La pregunta
acerca de si esto funcionar con nuestros estudiantes
se re-
:r
--==)
o
")
. ,...,.<-,:'. '
-\
.1
150
fiere a la designacin de una U". Cronbach afirma que una diferencia de r~sultados producto de una operacin de laboratorio puede no darse en las SItuaciones cotidianas de una escuela, o que una diferencia producto de una muestra
nacional representativa puede no coincidir con los dis~ritos escolares ~s pudientes o ms aislados. La cuestin es que U y U" difieren y que la Importancia de sus diferencias ser ms acusada cuando se tomen acciones que
afecten a U".
Si la O original es limitada, las audiencias pueden interesarse en ~* y
recibir una satisfaccin mayor con la definicin ms concreta que proporcIOna.
Por ejemplo, un curso de matemticas puede apare~tar tener xito cuan~~ O
se limita slo a las lecciones explicadas. De cualquIer forma, algunos cntlcos
pueden argir muy bien que los que han aprobado ese curso. no se defienden
bien en la resolucin de problemas. Entonces puede muy bIen ser adoptada
una determinada valoracin de O" que solucione las cuestiones adicionales
del curso.
Como ya se ha mencionado al principio, la audiencia de la evaluac~n e.st~
muy interesada en si debe o no adoptarse el experimental T del estudIO onglnal. A medida que el estudio avanza, las discusiones acerca de l sugieren
variaciones para mejorar el plan original. Cada una de estas variaciones se convierte en un T*. Cronbach facilita un interesante ejemplo de este fenmeno:
Cuando se volvi por primera vez a la educacin compensatoria, algunos
centraron su atencin en que UTO deba utilizarse para recopilar los datos.
Unos propusieron un cambio del tratamiento: Est muy bien informar negativamente sobre el "Head Start" (T); pero acaso ello no demuestra que
el tratamiento compensatorio necesita prolongarse ms (Ji')? En consecuencia el "Follow Through" fue preparado como un T* (y evaluado ms tarde
directamente)*
Es interesante advertir que el dominio del tratamiento puede cambiar
cuando las consideraciones se desplazan de UTaS a UTOS* -incluso
cuando la designacin operacional de T permanece inalterala-.
Si U se convierte
en U* o S en S* la frecuencia de las realizaciones cambia porque la manera
en que se realiza ~n tratamiento depende de los marcos loc~les .Y de los i~plicados as como de otros factores como los ambientes orgamzatlvos o SOCIales.
As, S* puede ser un aspecto significativo de *UTOS cuando cambia la poblacin.
.
Quienes interpretan los resultados de una evaluacin a menudo se preguntan esto: qu diferencia implica el paso de UTOS a *UTOS? Posiblemente,
el cambio no tiene muchas consecuencias ya sea porque el fenmeno que se
"
* El Head Start y el Follow Through son dos momentos de un programade apren;"~

dizaje; el primero, de principios bsicos y el segundo introduce ya en la tarea que se .
trata de asimilar. [T.]
151
est estudiando es impermeable al cambio social o porque el cambio es demasiado pequeo como para representar un problema. Adems, si una cuestin
se investiga directamente puede presentarse con la forma de un parmetro de
un UTaS para proceder a su estimacin. Cronbach afirma que el parmetro
puede ser un medio, un coeficiente de regresin o una proporcin de casos
de una categora. Cuando las cuestiones no se investigan directamente, pueden
presentarse bajo la forma de un parmetro de *UTO del que se busca una
estimacin. Por ejemplo, el responsable de un programa puede desear conocer
el valor de un indicador concreto de la motivacin de un estudiante (0*)
si unas reglas concretas acerca de la educacin multicultural (un T*) se han
promulgado para todos los distritos escolares de un estado (U").
"UTaS, el dominio de aplicacin, es un aspecto central y bsico de la
planificacin de cualquier evaluacin, que consiste en ofrecer informacin especfica y necesaria a las audiencias.
")
.~
')
~
~
)
~~
)
)
)
"
)
1
La identificacin de las cuestiones a investigar
)
I
Cronbach afirma:
)
Los problemas de una investigacin provienen principalmente de las incertidumbres de los miembros de la comunidad que debe tomar las decisiones,
o de los desacuerdos entre esos miembros, cada uno de los cuales est convencido de que su solucin es la buena. Identificar los problemas ms importantes es un primer paso en la planificacin de una evaluacin; el segundo
es una distribucin apropiada del trabajo.
El evaluador, segn Cronbach, no es un agente libre para escoger los problemas que deb.en investigarse, porque el patrocinador puede querer respuestas para determlnadas preguntas y no para otras. Y hay ms. Un administrador
puede no querer ajustarse a un esquema experimental por muchas razones o
quiz los informantes no estn muy dispuestos a suministrar datos. Por o~ra
p~rte, .l~s comunicaciones entre el evaluador y el patrocinador antes de la plan~ficaclOnpue.den hacer que el segundo acepte sugerencias para ampliar el abanICOde cuestIOnes.
Se han d~scrito dos fa~es de planificacin: la fase divergente, en la que
se.hace una h~ta .de las pOSibles cuestiones, y la fase convergente, en la que se
aSIgnan las pnondades entre ellas. En la prctica, ambas actividades se desar~ol1ansimultneamente. Parece sensato que una agencia proponga a un patrocmador una evaluacin que, antes de abordar un plan operacional, siga los
p.ro~esos de planificacin divergente y convergente. Los intercambios y negocla~l~~es consiguientes entre el evaluador y el patrocinador conducirn a una
reVlSlOnde la lista de cuestiones. El proceso de rectificacin continuar inevitablemente incluso cuando el trabajo en s haya empezado.
)
I
,~)
.)
,)
.)
-(
:~
..(
.,-~
-(
1
-1
(~
'f
1
152 I
I
I
La fase divergente
Esta fase infunde conciencia al evaluador y al patrocinador acerca de toda
la gama de cuestiones posibles que deben ser tenidas en cuenta, por lo menos
brevemente, en una investigacin.
ORIGEN DE LAS CUESTIONES. Mientras planifica lo que los individuos o
grupos plantean como cuestiones importantes para el estudio, el evaluador
debe pensar en atender una amplia variedad de informadores. Como consecuencia, las omisiones sern resultado de las elecciones informativas y no ~e
la visin restringida del patrocinador, el administrador o quien tenga la pnncipal responsabilidad.
Cronbach afirma que el evaluador se ocupa de producir algo -informacin- que tenga valor para los consumidores y por lo que estn dispuestos
a pagar. As, la decisin acerca de qu producto hay que lanzar es de carcter econmico y en ella intervienen todos los aspectos de la oferta y la demanda.
El evaluador tiene ciertas ventajas sobre el patrocinador a la hora de enfrentarse a las cuestiones que deben resolverse:
Est libre de prejuicios.
El evaluador puede estar en mejor posicin que el patrocinador para recopilar y apreciar las cuestiones ms actuales de los crculos polticos y no
polticos.
Gracias al conocimiento de otras investigaciones, el evaluador puede reconocer los desafos y las contrainterpretaciones a las que est sujeto el estudio, y as sugerir controles especficos necesarios 'para reforzar la razonabilidad de sus respuestas.
El evaluador conoce la situacin de su profesin y puede informar al patrocinador (o al administrador) sobre cmo una cuestin determinada puede
responderse adecuadamente sin salirse del presupuesto.
De cualquier manera, al final, es la estimacin del patrocinador acerca de
la relevancia poltica y administrativa de las cuestiones la que sirve de gua al
evaluador. Lo cierto es que el patrocinador no debe tomar solo este tipo de
decisiones.
,
l
TRATAMIENTO
y PROCESOS. En el rea de los serVlClOSsociales, el lugar
que ocupa la evaluacin no debe estar sujeto a modificaciones que sirvan a los
propsitos del estudio. En otros casos, los servicios estn abiertos a la manipulacin; los tratamientos deben ser adecuados para proporcionar una comprobacin directa de una propuesta renovadora. En cualquier caso, como afirma
153
SUCHMAN(1967), el evaluador necesita una serie de tratamientos que puedan

concebir el valor de una investigacin, o localizarlo all donde est realmente.
Tanto el patrocinador como el evaluador deben estar enterados de las diferentes p~esiones ejercidas por .10s grupos partidistas, que sugerirn ciertos tipos
de cuestlOnes para los tratamIentos. Otras cuestiones pueden ser sugeridas, de
una manera provechosa para el estudio, por personas apartadas del centro de
la accin poltica. No deben existir desavenencias a la hora de formular las
cuestiones. Ms tarde, la realidad poltica plantear algunas cuestiones mucho
ms apropiadas y tiles que otras, pero esto debe ser discutido en la etapa
convergente.
Detrs de cualquier propuesta programtica existen dos conceptos: uno se
refiere al modo en que las condiciones sociales existentes y los servicios ya
ofrecidos se combinan para producir un resultado insatisfactorio, y la otra
se refiere al modo en que un servicio alternativo puede producir un resultado
ms satisfactorio. Cronbach, por lo tanto, recomienda un modelo de intervencin en el que sus diversas actividades se dispongan en forma de tablas
o de grficos. Esto, en s mismo, debe evidenciar las cuestiones que resultarn
valiosas cuando el proceso de intervencin y sus efectos queden clarificados
por el proceso evaluativo. Debe destacarse, de cualquier manera, que el proceso de hiptesis y las cuestiones particulares que deben formularse (para la
evaluacin) sern distintos en cada variante del programa. Esto resulta cierto
si las variaciones han sido planificadas o reconocidas al tomar forma las distintas realizaciones.
La intensidad de la intervencin debe estar incluida en la planificacin.
Debe prepararse a un equipo numeroso para satisfacer esta necesidad? La
intensidad de la intervencin puede tambin centrarse en cuestiones relativas
a las etapas intermedias del programa que se est preparando. Si los result~dos finales no son los que el cliente esperaba o haba anticipado, las evidenCIasde estos procesos y etapas intermedios pueden resultar tiles. Para controlar y conservar e~tas evidencias, se debe preparar y emplear a un equipo numeroso para que tntervenga en el estudio.
RES~LTADOS
.. Las metas fijadas por el patrocinador o por los que propon~n la tnterven~ln son una significativa fuente de cuestiones para la fase
~lvergente. La ltsta debe incluir metas propuestas por otros a los que se haya
tnterrogado acerca de la evaluacin, y tambin resultados intermedios.
Cronbach advierte que incluso una lista bien especificada de metas resulta
necesariamente incompleta com9 fuente de cuestiones si no presta atencin
:a los re.s~l~ados en los que no se. ~aba pensado. El evaluador debe, por lo
oto, dmglr una parte de su atenclOn a los efectos secundarios, igual que hace
c?n las metas. Resulta tambin importante advertir que en el contexto educaCIOnalel progreso no tiene nada que ver con el puesto que ocupe el estudiante
en la escala. As, la intencin global de un programa es alcanzar sus metas
------.">
]
")
154
y, para ello, debe ser tratado prudentemente por el evaluador. A la hora de

planificar un estudio, In nica pregunta razonable es: qu resultados debemos
alcanzar? Si el nivel obtenido es satisfactorio o no, se sabr cuando haya terminado la evaluacin, mediante un proceso de negociacin poltica. Incluso
aunque el personal de la evaluacin deba exigir afirmaciones claras acerca de
los distintos resultados que los planificadores del programa pueden tener en
la mente, en la etapa divergente es importante recordar que una definicin y
valoracin frreas de las variables, tales como las consecuencias afectivas, no
debe perderse nunca de vista.
.
Cronbach afirma que la lista divergente debe incluir resultados conceb1dos
para ser examinados slo cuando la evaluacin haya sido terminada y p~esentada. Dice que, a menudo, resulta adecuado acumular datos para que una Investigacin posterior pueda ofrecer un claro p~norama de las con:ecuen~ias q~e
pueden derivarse a largo trmino. Es necesano que las grandes dlferenc1as eXiStentes entre los tratamientos no se repitan en las etapas posteriores.
Una parte importante de la planificacin son las discusiones que mantiene
el evaluador con personas que tienen un concepto determinado del programa,
discusiones relativas a quines sienten esperanza o temor, o a qu tipo de
efectos esperan. Debe tenerse en cuenta la amplia gama de sectores de la comunidad que toma las decisiones, con el fin de que el evaluador pueda aprender
a contemplar el programa desde el punto de vista de los distintos (y enfrentados) sectores de la comunidad, incluyendo los profesionales que podran
intervenir en el programa, si es aceptado, y los ciudadanos que se serviran
de l. Conocer las esperanzas y temores de estos sectores es esencial. Adems,
el evaluador tiene la responsabilidad de incluir en el panorama final estos valores que no disponen de voz poltica propia. La meta del evaluador debe ser
consultar fuentes divergentes y tambin aquellas que no se hacen or fcilmente.
La fase convergente
!;
La fase convergente insiste en la necesidad de que sea una amplia diversidad de individuos y grupos la que formule las cuestiones. Algunas cuestiones deben plantearse por razones prcticas. Cronbach afirma que existen, por
10 menos, tres razones para reducir la serie de variables tratadas sistemticamente en una evaluacin:
1.
2.
El coste: siempre debe existir un presupuesto lmite.

El alcance de la atencin del evaluador: a medida 'que un estudio se hace
ms complicado, se hace tambin ms difcil de administrar, la masa de
informacin resulta demasiado extensa para ser tenida en cuenta y, canse-
3.
155
cuentemente, mucha informacin se pierde en el curso de la reduccin y

sntesis de los datos.
El alcance de la atencin de la comunidad que toma las decisiones: muy
pocas personas desean saber todo 10 referente a un programa, y, claro
est, muy pocos tienen tiempo para dar todas sus opiniones al evaluador.
La fase divergente, por 10 tanto, designa qu es 10 que posiblemente puede tener valor para una investigacin. La fase convergente se dedica a decidir
qu resulta ms aceptable de 10 incompleto. El evaluador puede invertir su
tiempo y su trabajo en el estudio de una cuestin concreta (o de un plan para
hacerla) cuando existan las siguientes condiciones:
1. Una gran incertidumbre

2.
3.
4.
acerca de la respuesta.
Una probable abundancia de informacin.
Un bajo coste de la investigacin.
Un alto grado de influencia, por su parte, sobre la eleccin de la informacin (el trmino influencia se comenta ms abajo).
')
)
,
")
~
I
,~
(
: ')
)
)
.)
,)
)
)
Cuando ya se ha realizado una primera lista de cuestiones, debe plantearse en trminos de U, T yO, que resulten significativos para los que participan en la toma de decisiones. Adems, la lista debe contener cuestiones
acerca de las condiciones artificiales que arrojan una luz indirecta sobre problemas prcticos. En el proceso convergente, de cualquier manera, algunas de
estas cuestiones resultan escogidas para convertirse en UTO del estudio, tras
haber sido examinados detenidamente.
INFLUENCIA. Cronbach define la influencia como el peso de una determinada incertidumbre en el proceso de toma de decisiones. Al planificar
una evaluacin que deba ejercer alguna influencia en el futuro, un evaluador,
junto con el patrocinador o el administrador, puede necesitar saber qu tipo
de informaciones influyentes pueden aparecer sobre un problema concreto.
Cuando el estudio haya terminado, puede juzgarse la influencia que ha ejercido sobre la comunidad la evidencia presentada en el informe. Un problema
al que la comunidad entera le concede mucha atencin ejercer mucha influencia. Tambin puede ejercer influencia si resulta signficativo para un sector
interesado o para un grupo no comprometido cuyo apoyo u oposicin puede
ser crucial. Un problema que influye en muchas decisiones, como en las de
ir-o-no-ir, tiene ms influencia que otro cuya resolucin slo afecte a detalles menores del plan.
.
La influencia, por 10 tanto, tiene dos aspectos: la importancia del problema o eleccin sobre los que se basa la evidencia, y el peso que la evidencia
debe resistir. El evaluador debe tener en cuenta cunta influencia puede ejercer
cada una de las soluciones posibles de un problema.
,)
.)
)
,)
\f
I~
()
:)
)
~j
,)
..J
I
()
i
,.J
')
'J
()
-----------~"S...
156
Cronbach afirma que el evaluador conoce explcitamente los valores de

todo lo que toma parte en una evaluacin examinando su influencia. Nada
de lo que aparece en la lista divergente de cuestiones merece atencin si los
resultados no tienen valor alguno, al menos para ciertas tomas de decisiones.
Cosas que slo son bonitas de conocer no justifican la inversin de recursos
para una evaluacin. Hablando de la incertidumbre previa, Cronbach considera que, cuando las cosas estn equilibradas, la atencin debe centrarse en la
cuestin de qu incertidumbre es la mayor; esto es, cuando dos cuestiones
parecen ser iguales ante la investigacin, hay que emplear muchos recursos
para dilucidar la cuestin de cul de ellas despierta ms la incertidumbre de la
comunidad.
De acuerdo con esto, el evaluador debe elaborar una escala de prioridad
para el trabajo investigativo:
1.
lo-,
2.
3.
.~
4.
Si una cuestin tiene mucha influencia y es causa de una gran incertidumbre merece un esfuerzo que elimine esa incertidumbre.
Si la influencia es poca y la incertidumbre mucha, el esfuerzo est justificado.
Si la influencia es mucha y poca la incertidumbre previa, debe ser recopilada informacin incidental.
Si la influencia es poca y la incertidumbre tambin poca, el investigador
no debe hacer ms que mantener abiertos los canales para recibir informacin incidental.
Planificacin de la comunicacin
La utilidad de los resultados

La utilidad de una evaluacin depende del grado en que los miembros de
la comunidad que toma las decisiones comprendan los resultados y los consideren razonables. Cronbach tambin cree que la informacin se pierde invariablemente al pasar de la observacin al informe. Algunas observaciones nunca son comunicadas por el observador al resto del equipo, algunas se pierden
en el proceso de resumen codificador y estadstico y otras se pierden porque
no todo puede ser incluido en un informe. Cuando ya se ha escrito un informe, la informacin pasa a travs de distintos filtros, mientras algunas informaciones quedan excluidas o alteradas (adems, el patrocinador puede suprimir algunas conclusiones). Y es ms, la audiencia lo asimila todo selectivamente y puede tender a simplificar la informacin o asimilar informacin nueva
a la luz de viejas creencias, en lugar de corregir esas creencias.
Cronbach advierte que una audiencia dispone de un tiempo limitado y de
r.
157
muchos problemas y programas sociales que exigen su atencin. Son muy pocas las personas que leen en profundidad un informe evaluativo sobre una
cuestin pblica. Adems, muy pocos pueden comprender toda la slida serie
de procedimientos y anlisis tcnicos.
La cuestin ms importante es que la tarea informativa del evaluador es
diferente de la que aborda comnmente el cientfico. El cientfico se dirige a
una audiencia selecta que comparte su lenguaje y su estructura mental. El evaluador, por el contrario, habla a audiencias numerosas y dispersas, muchas
de las cuales reciben slo informaciones secundarias y suavizadas. El evaluador que cree que una audiencia ha malinterpretado un informe se encuentra
con que es muy difcil, e incluso imposible, replicar de algn modo.
Cronbach plantea dos preguntas:
1.
Qu es lo que se puede incluir en un informe para facilitar la comprensin del usuario?
2.
Qu supone esto para las primeras operaciones de la evaluacin?
La comunicacin directa
El evaluador debe considerar la posibilidad de incrementar la comunicacin directa. Esta comunicacin puede ser comparativamente informal a causa
de la audiencia que debe abarcar y porque su conocimiento pblico debe ser
tan oportuno como sea posible. El evaluador afirma que quizs el informe ms
impactan te es la conversacin informal, ya sea en la oficina del legislador o
alrededor de la mesa de conferencias.
El evaluador, segn Cronbach, desempea un papel muy parecido al del
periodista que investiga asuntos de inters pblico, juzga qu es lo que merece
la atencin pblica y lo presenta de una forma que atraiga la atencin. Las
personas que forman parte del equipo evaluativo tienen una rica experiencia
y u~a oportunidad razonable de intercambiar puntos de vista con el equipo y
los mformadores. Gozan, pues, de una buena posicin para llevar a cabo la
tare.a infor:ua.tiva tanto en un sentido periodstico como investigativo. Si el
eqUIpo se lImIta a s mismo a la realizacin de informes formales, deja a otros
la difusin de su mensaje.
Los evaluadores sospechan comprensiblemente de las limitaciones de sus
i?formes. Esta clase de tensin se resuelve nicamente cuando el sistema poltICOaclara el papel que deben desempear las evaluaciones. En la concepcin
de Cronbach, se sirve mejor al inters pblico mediante acuerdos institucionale~ .que permiten a los evaluadores hablar directamente con todos los que
partICIpan en las decisiones acerca de los programas. Es importante, por 10
t~t?, que por lo menos algunos miembros del equipo evaluativo dominen las
tecncas de la comunicacin informal. Cronbach est de acuerdo con Stake,
----']
')
)
158
Planificacin evaluativa segn Cronbach I
159
I~
que recomienda, para la planificacin de informes evaluativos en comunidades

grandes, un mtodo que emplea a menudo formas de comunicacin poco convencionales, como las publicaciones, las conferencias y reproducciones dramticas del programa como apuntes y lbumes de recortes, para llevar el mensaje a las casas. El objetivo es comunicar a la audiencia algo sobre el programa
y los que participan en l, y no slo un abstracto resumen. Es necesario que el
evaluador que prev la necesidad de una informacin veraz, empiece muy pronto a acumular material que proporcione color y realismo a lo que, de otra
manera, ser slo un relato escueto y poco convincente.
Cronbach cree que es provechoso para los observadores archivar relatos
de este tipo que revelen ancdotas ocurridas en las clases junto con los comentarios de quienes participan en el programa. Estos memorndums no deben
estar bien presentados, sino proporcionar un contexto y una continuidad adecuados. Deben ser ms objetivos que interpretativos. En opinin de Cronbach,
das ancdotas ayudan maravillosamente al inters y la credibilidad de los informes.
El informe, ya sea en su informacin anecdtica o en las valoraciones
formales y estadsticas, debe ser altamente selectivo. Tanto los informes ms
cortos como los ms largos, ya sea con un mnimo contenido tcnico o quiz
con un gran tratamiento, pueden servir a diversas audiencias. Incluso el informe ms completo puede ser razonablemente sintetizado en algunas breves afirmaciones, omitiendo anlisis y datos que no parezcan poder influir en las decisiones. Sin embargo, el informe completo puede presentar algunos puntos para
ilustrar cualquier diferencia, as como tambin aspectos representativos de la
categora no diferencial, obviando as la inclinacin que sienten algunos evaluadores por ahogar al lector con un despliegue de todas las diferencias.
La extrapolacin de los resultados

Cronbach cree firmemente que las audiencias que toman las decisiones
tienen el derecho y la'necesidad de extrapolar, tanto como puedan, los resultados de cualquier estudio. As, afirma:
Sin duda, no es suficiente terminar un informe evaluativo con la advertencia
de rigor: Los resultados de este informe son vlidos para las condiciones y
la poblacin que se ha estudiado. Es necesaria otra investigacin para extender las conclusiones a otras condiciones y poblaciones. El mundo debe ampliar las conclusiones para continuar funcionando, y el evaluador goza de
una buena posicin para saber cules son las ampliaciones posibles.
El evaluador puede, por lo tanto, ofrecer predicciones alternativas, consistentes en distintas series de opiniones. Esto puede conducir a promover discusiones en las que salgan a la luz interpretaciones encontradas.
Sugerir que el evaluador debe llevar la interpretacin tan lejos como le sea
posible, ~on. la convenient.e precaucin, ratifica lo acertado de conservar apuntes descnptIvos comparativamente ricos. Cronbach subraya el valor de revalorar peridicamente la planificacin del estudio, con el fin de prestar la debida
atencin a las sorpresas y problemas consiguientes. Es conveniente dilucidar
los resultados intermedios involuntarios que pueden afectar al futuro del programa antes de continuar las operaciones investigativas acerca de ese programa.
~
')
\
~
~
.~
,)
El pronstico de la evaluacin
'-'::'~fo'.'r.i:o .
'1,.-,;'.
'+-.......-"
'':'!'~-J.~''''-.,~
~IN"":'
tJr:!\I:;:
Flexibilidad del diseo
'.,'.
f.4Cl.",,'
.')
Una buena parte del libro de CRONBACH(1982) trata de la elaboracin

de controles utilizados para fortalecer las deducciones y sacar algunas conclusiones ms razonables. Hasta cierto punto, la lista de controles que aparece
en el libro es una especie de lista de control para el evaluador. Cronbach afirm~ que algu~os de estos ,con.troles que fortalecen las deducciones son de muy
baJO cost:, mcluso en. termmos de recursos o aplicabilidad. Especificar qu
s~ lntenta estudlar, por ejemplo, es casi gratis. Llegar a esa especificaClOndeja al evaluador frente a alternativas que, de otra forma, quiz le hubieran pasado inadvertidas.
'~ronbach contina diciendo que quiz nunca exista un programa social
medIante el cual todos los recursos evaluativos deban someterse a un estudio
estrechamente controlado que fortalezca las deducciones del ms limitado de
los UTa. Sin embargo, en muchos casos, los subestudios estrechamente controlados pueden ser tiles en determinado trabajo evaluativo. En otros casos,
puede resultar prudente estructurar una investigacin de manera que se llegue
a una buena deduccin, y realizar estudios intensivos de los lugares donde se
encuentran las unidades por medio de muestras y a travs de mtodos naturalistas e incluso i~?resionistas
que permitan al investigador aprender algo
acerca de las actIVldades y procesos que no se han previsto. Como se ha
a~rmado al principio, puede resultar posible combinar la comparacin estads~lca.~e los clculos experimentales y de control, con estudios intensivos de
md1V1duoso grupos por medio de mtodos naturalistas.
~!o
Las evaluaciones y la poltica: limitaciones

Cronbach insiste en el hecho de que las evaluaciones defraudarn
blemente si de ellas se espera que resuelvan algn conflicto poltico:
')
inevita-
')
)
)
)
)
)
~
,)
( )
()
,)
,
r"
"
160
('
La razonable aspiracin del evaluador es producir informacin que la observacin menos sistemtica del programa no puede producir, o informacin que
sea ms verosmil, y por lo tanto ms influyente, que la de los informes si.
milares producto de observaciones menos sistemticas. Una investigacin limitada intenta hacer esto ofreciendo buena informacin acerca de unas pocas
cuestiones importantes; para conseguir el mismo objetivo, una investigacin
ms amplia produce una informacin ms extensa pero de alguna manera
menos segura. La eleccin de una u otra opcin debe basarse en consideraciones acerca de la influencia de las decisiones.
(
('
t
(
,1 .
f
En otras palabras, el plan evaluativo que resulta demasiado amplio y, por
"
10 tanto, demasiado superficial para un contexto determinado, puede ser com-
1
(
1,
,
(
f
(
,
()-
"
1]
f
'1'
:
.
pletamente apropiado para otro. El estudio que se centra estrechamente en

un objetivo y obtiene una informacin coherente pero limitada, puede resul.
tar adecuado para un contexto pero totalmente inadecuado para otro.
Cronbach consideraba las evaluaciones como investigaciones a corto plazo
que se proponen aclarar decisiones correspondientes a la agenda poltica
actual o que estn a la vuelta de la esquina. El valor de una evaluacin no
se limita nicamente a su contribucin a este tipo de decisiones. La sociedad
aprende de su experiencia con el programa y an ms claramente del servicio
prestado por la evaluacin. La evaluacin contribuye a fomentar la reflexin
acerca de los problemas de un determinado medio social, y as genera nuevas
ideas y sentimientos a partir de los cuales aparecen posibles reas de cambio
y mtodos de apoyo. El valor de una evaluacin, por 10 tanto, no se limita a
su influencia sobre el destino del programa que se estudia. Cronbach subraya
que cuanto ms aclare la evaluacin el fenmeno, ms duradera ser su influencia en 10 que se refiere a la comprensin de los problemas y a la estructura
de futuros programas.
Otras consideraciones
Cronbach considera que la evaluacin tendr una gran trascendencia
cuando las planificaciones y estudios pongan el nfasis en el valor de los xitos
y fracasos, ms que en la simple valoracin de los objetivos. Son necesarias
nuevas intuiciones, y, por 10 tanto, el investigador no debe limitarse a las
cuestiones que identifique de antemano, aunque sean importantes. Es tambin
muy importante para el evaluador no retrasar el informe hasta que haya solucionado todos los problemas que deba dilucidar. Por el contrario, el evaluador puede necesitar acudir a la comunidad que toma las decisiones antes de
que el tratamiento haya seguido todo su curso. Esta es una razn por la que
la estructuracin, la planificacin, la observacin y la interpretacin (destinada
a quienes toman las decisiones) deben discurrir ms simultneamente que
sucesivamente.
161
Por razones similares, Cronbach sugiere que el plan evaluativo debe permitir que el personal tenga tiempo para la reflexin en cada etapa del trabajo.
Esta reflexin debe impedir, por ejemplo, que la labor se centre prematuramente en delicados. ~ complicados problemas sociales. Y puede ofrecer a quie.
nes toman las declslOnes buenos consejos que de otro modo no seran po.
sibles.
Cronbach cree que una descripcin que favorezca un estilo concreto de
evaluacin o ponga el nfasis en ciertos controles, es de una aplicabilidad
limitada. Segn est~ teora, los evaluadores deben acudir a los juicios prcticos acerca de cuestlones sustanciales y polticas, as como metodolgicas. No
deben emitir juic~os sin asesoramiento; deben aliarse con los patrocinadores,
los colegas profeSIonales o las partes polticamente interesadas:
El evaluador que utilice este sistema de localizar y sopesar adecuadamente
las cuestiones. :valuativas necesita una gran preparacin, ms amplia de la
que .sue1e recIbIr. Las teoras polticas, filosficas y organizativas pueden ser
tan Importantes, a la hora de planificar una evaluacin potencialmente influyente, como el conocimiento de las estadsticas y de la llamada teora del
desarrollo del nio.
Como .~ntes y~ ~icieron Stufflebeam y Stakes, Cronbach afirma que cuando
la evaluaclOn se dIvIde entre los miembros de un equipo, el equipo debe trabajar .como una sola uni~ad si desea que aparezcan las intuiciones. Aunque
los mlem~ros de un eq~lpo deben conocer a fondo los aspectos principales
del estudl.o; los que estan en el centro del proyecto deben asumir la mayor
res~onsablJdad a la hora de establecer las prioridades, interpretar las obser~aCl~nes y recopilar experiencias de primera mano de los clientes y otros
ImplIcados. De esta manera, el equipo, considerado como un todo, se situar
en la pe~spectiva. correcta e interpretar adecuadamente los datos computados
y. otras mformaclOnes .. Es necesari?, pues, que algunos miembros del equipo
dl~pongan de observaCIones de pnmera mano y las comuniquen a los otros
mIembros.
. Fina~mente, Cr~nbach afirma que la evaluacin puede resultar peligrosa
SI la socIedad restnnge los programas que los evaluadores condenan y ponen
e.n marcha. aquell~s que recomiendan. Los evaluadores prestan un s:rvicio valIoso y satlsfactono, descubriendo hechos y relaciones que a los observadores
~asuales. les pasan por alto. Cronbach cree que los evaluadores tendrn una
InfluenCIa mayor en los aos venideros, con el perfeccionamiento de su arte
y con la progresiva confianza de la sociedad en los estudios sistemticos que
ofrecen para proporcionar informacin.
------_ ...
)
")
162
~
Evaluacin .sistemtica
a)
b)
e)
Este test de conocimientos contiene nueve preguntas con muchas respuestas para escoger una. El propsito de estas preguntas es determinar si ha
alcanzado el conocimiento suficiente de los objetivos de conocimiento de la
unidad. En cada caso, rodee con un crculo la letra que usted considere que
incluye la respuesta o respuestas ms razonables. Luego debe compararla con
la solucin que le proporcionemos despus de cada pregunta. Cuando haya
contestado a las nueve preguntas, le recomendamos que valore su trabajo y
utilice esta valoracin como base de un estudio ms profundo de la unidad.
d)
a)
b)
e)
d)
1.
Las evaluaciones, segn Cronbach,
deben basarse exclusivamente en mtodos establecidos y regularizados,

provocan inevitablemente cambios en las instituciones sociales,
desempean una funcin poltica,
deben ser planificadas slo en trminos generales.
d)
Es incorrecta porque Cronbach cree que una evaluacin debe ser considerada un modo de aclarar problemas complejos y puede utilizar diversos mtodos para recopilar la informacin (algunas se oponen a los mtodos normales).
Es incorrecta porque a veces las consideraciones polticas pueden ser ms
influyentes que la informacin que se desprende del estudio, y muy frecuentemente contribuyen a mantener el status qua.
Es incorrecta porque Cronbach subraya la necesidad de u~a planificacin
cuidadosamente elaborada; sin embargo, hay que hacer concesiones a la
flexibilidad de los procedimientos una vez haya empezado la investigacin.
PREGUNTA
debe hacerse
2.
Cronbach
considera que la eleccin de una planificacin
")
)
~
)
')
')
b)
e)
b)
basndose en los deseos del cliente,

llevando al mximo la objetividad, los controles, la regularizacin y la
estabilidad del proceso informacin-recopilacin,
promoviendo un debate profesional acerca de los resultados del estudio
llevando al mximo la influencia potencial de la evaluacin en los asun:
tos sociales.
segn Cronbach
Respuesta correcta. Debe usted haber sealado la e. Cronbach considera

que es algo inherente a las evaluaciones que las motivaciones polticas influyan
en su desarrollo e intervengan en la informacin consiguiente.
a)
evaluativa
Respuesta correcta. Debe usted haber respondido d. Cronbach cree que

la mejor planificacin es la que se propone incrementar el beneficio social de la
evaluacin.
a)
PREGUNTA
163
Planificacin
Es incorrecta porque mientras el cliente es quien encarga la evaluacin,

la planificacin es responsabilidad del evaluador, que puede acudir a los
expertos de su equipo y satisfacer las necesidades informativas de una
amplia audiencia.
Es incorrecta porque Cronbach cree que las planificaciones deben ser procesos reflexivos y desarrollados y no, por lo tanto, lmites para construir
modelos.
Es incorrecta porque aunque el debate puede darse, y puede resultar muy
til, el principal propsito de la planificacin (y del estudio consiguiente)
es influir en los asuntos sociales.
)
)
)
i
)
)
)
)
)
PREGUNTA 3.
Si las comunicaciones de la evaluacin son su producto
ms vlido, cul de las siguientes preguntas no debe ser planteada ante la
evaluacin ya terminada?
a)
b)
Todos los sectores de la audiencia reaccionan ante la evaluacin?

La consideran creble?
e)
Las preguntas ms significativas para ellos, han sido respondidas, en la

medida de lo posible?
Existe un consenso acerca de los resultados alcanzados?
d)
Respuesta correcta. Debe usted haller sealado la d. Existe a menudo

una justificable dificultad (cuando no una imposibilidad) de alcanzar un consenso, porque quien toma las decisiones es toda una comunidad y no un solo
individuo.
Respuesta~ incorrectas. Las respuestas a, b y e son incorrectas, porque son esenCIales para el xito de una evaluacin.
)
)
;
)
)
i.)
I
-(
f
.?
~
)
,
(
f
f
(
(
(
(
(
(
(
(
(
(
(
164
4. Con cul de las siguientes afirmaciones estara Cronbach,

probablemente, de acuerdo?
PREGUNTA
Slo los experimentos reales, y sus aproximaciones, constituyen modelos

aceptables de evaluacin.
b) 'Una evaluacin utiliza distintos estilos de investigacin de acuerdo con
las circuns tancias.
e)
El estilo evaluativo naturalista es el ms valioso.
d)
Generalmente, debe ser utilizado el mtodo experimental, y no el naturalista.
a)
Respuesta correcta. Debe usted haber sealado la b. La planificacin

evaluativa, segn Cronbach, debe producir intuiciones a partir de evidencias
anecdticas y de estudios particulares, antes de pasar a realizar tests sumativos
basados en los anlisis de los datos recopilados. Insiste en que una mezcla de
estilos evaluativos puede ser empleada en un solo estudio.
a)
(
(
(
y e) Son incorrectas por las razones expuestas ms arriba en favor de la

respuesta correcta.
d)
Incorrecta. Aunque la monografa de Cronbach tiende a conceder ms
importancia a la planificacin de experimentos que a los estudios de casos
concretos o al mtodo naturalista, nunca llega a decir, sin embargo, que
las circunstancias de un programa que va a ser evaluado puedan deter.
minar los estilos evaluativos que habr que utilizar y su importancia.
(
(
(
t
l
t
(
(
,
(.
les. La respuesta d indica que los acontecimientos

en los lugares en los que se desarrolla el programa.
PREGUNTA
tJ)
b)
e)
d)
b)
e)
d)
Respuestas correctas. Debe usted haber sealado a y d. La respuesta

a indica que existe un consenso en 10 que se refiere a la opinin de que,
para todos los servicios e instituciones, es necesario algn tipo de evaluacin,
puesto que incluso los mejores fracasan cuando cambian las condiciones socia-
deben ser investigados
6. La relacin entre los conceptos de UTO y uto consiste en que
cualquier uto observado puede entrar en el dominio de UTO si le inte.

resa al evaluador,
la distribucin de uto dentro de UTO tiene poca importancia para el
investigador,
U, T y O, y u, t Y o son elementos casuales,
UTO siempre est totalmente representado por cualquiera de sus uto.
Respuesta correcta. Debe usted haber sealado la a. Si UTO es el universo de las observaciones admisibles, abarcar u, t y o cuidadosamente defi.
nidas y seleccionadas.
b)
c)
PREGUNTA
5. Con qu dos de estas afirmaciones estaran de acuerdo
tanto los evaluadores humansticos como los conductistas cientficos?
Los servicios e instituciones sociales deben ser evaluados porque rara vez
desempean sus funciones tan bien como podran.
El evaluador debe concebir situaciones controladas que le sirvan para
sus experimentos.
Los tests sumativos son esenciales.
Las evaluaciones deben ser empricas.
165
Respuestas incorrectas. Las respuestas b y e son incorrectas porque

ambas afirmaciones se refieren slo a las posturas adoptadas por los evaluadores de la escuela conductista/ cientfica.
d)
a)
Es incorrecto porque el orden de distribucin de uta dentro de UTO

est relacionado (tanto como sea posible) con los intereses del investi.
gador.
Es incorrecta porque slo u, t y o son elementos casuales; UTO es el
universo.
Es incorrecta porque cualquier uto nunca puede representar totalmente
un UTO, aunque a travs de un muestreo representativo una evaluacin
puede legtimamente deducir, de los resultados de uto, los posibles resultados de UTO.
PREGUNTA
7. Aunque un evaluador considera que 10 que dice la gente
es una parte de la situacin que debe investigar, cul de las siguientes fuentes, segn Cronbach, define mejor las cuestiones que debe plantear el estudio?
a)
b)
c)
d)
Las instrucciones del cliente o del administrador del programa.

Todos los que estn estrechamente relacionados con el programa (por
ejemplo, maestros y estudiantes, en el caso de una escuela).
Las dudas de los miembros de la comunidad que toma las decisiones o las
que surgen de los desacuerdos entre estos miembros.
La experiencia del evaluador y la observacin de la situacin.
')
')
')
166
Respuesta correcta. Debe usted haber respondido e. Segn Cronbach,

estos grupos, o circunstancias, generan las cuestiones ms p~r.tinentes: ~os que
toman las decisiones porque son ellos los que deben decidir el destIno del
programa, y los desacuerdos porque la polarizacin de opiniones descubre problemas que necesitan ser aclarados y examinados.
Respuestas
incorrectas
b)
d)
particular o a la desviacin.
.
Es incorrecta porque el evaluador debe buscar cuestlOnes (en la etapa
de la planificacin) procedentes de la gente del lugar; aunque su misin es
generar cuestiones, se excedera en su autoridad profesional si todas las
cuestiones del estudio fueran de su invencin.
a)
e)
d)
"I
a) El evaluador contacta con una amplia gama de personas potencialmente

b)
e)
d)
interesadas y les pide que valoren la importancia de los requisitos del

cliente, relativos a una informacin especfica.
El evaluador busca la ms amplia gama posible de cuestiones para estudiarlas, aunque sea brevemente, como focos de la investigacin.
El evaluador se esfuerza por identificar a todas las audiencias importantes y estimular su inters hacia la evaluacin.
El evaluador tiene ciertas ventajas sobre el cliente (o clientes) por conocer las cuestiones que deben ser respondidas, y as poder fiarse solamente de su propio juicio profesional.
Respuesta correcta. Debe usted haber seleccionado la b. Durante la fase

divergente, el evaluador debe mantener despiertas tanto su mente como la de
sus clientes ante todas las posibles fuentes de cuestiones que pueden resultar
importantes para los problemas y dudas que el estudio evaluativo debe intentar clarificar a quienes toman las decisiones.
')
')
Es incorrecta porque Cronbach insiste en que, durante la fase divergente,

debe exigirse, dentro de 10 posible, al personal ms importante que proponga cuestiones, y no slo que valore las cuestiones del cliente.
No es la mejor respuesta. La afirmacin es exacta pero incompleta, puesto
que no especifica que debe estudiarse una amplia gama de cuestiones.
Es incorrecta. Aunque el evaluador puede disfrutar de ciertas ventajas
sobre el cliente (o clientes), que deben utilizarse para reforzar la fase
divergente, stas no constituyen una definicin de dicha fase.
')
')
')
')
')
)
')
PREGUNTA
9.
Segn Cronbach,
la utilidad de una informacin depende
sobre todo de
a)
b)
e)
d)
PREGUNTA
8. Cul de las siguientes afirmaciones es ms coherente con
la definicin cronbachiana del papel del evaluador durante la fase divergente
de recopilacin de cuestiones?
167
a) No es la respuesta ms adecuada. Aunque las opiniones de los clientes
y administradores deben ser tenidas en cuenta, sus ?erspectivas, tomadas

individualmente, pueden limitar y desviar el estudlO.
No es la mejor respuesta. La opinin de los que estn ms estrechamente
relacionados con las operaciones del estudio, aunque necesaria y posible.
mente muy valiosa, puede conducir tambin a una perspectiva demasiado
el grado en que los miembros de la comunidad que toma las decisiones

estn enterados de los resultados y los consideren crebles,
hasta qu punto el evaluador aumente la posibilidad de una comunicacin
directa con quienes toman las decisiones,
hasta qu punto el informe final est libre de contenidos tcnicos
la cantidad de extrapolaciones vlidas, enteramente distintas de l~s extrapolaciones verosmiles, que quienes toman las decisiones pueden extraer
de los resultados.

subraya los dos factores que 'Cronbach considera esenciales para que una evaluacin sea til, a saber, las buenas comunicaciones de los resultados y su
credibilidad a los ojos de la comunidad que toma las decisiones.
)
)
)
)
)
)
)
)
)
)
)
)
)
b)
e)
d)
No es la mejor respuesta, porque es slo una faceta de la utilidad de una

evaluacin.
Incorrecta. Aunque Cronbach afirma que, a menudo, una jerga demasiado tcnica puede malograr la utilidad de un informe final, un cierto
contenido tcnico puede ser particularmente apropiado si el informe se
presenta bajo diferentes aspectos.
No es la mejor respuesta. Aunque Cronbach considera que los evaluadores deben aceptar las ampliaciones verosmiles de las conclusiones, tal
como deben tambin hacerlo quienes toman las decisiones, la posibilidad
de esta extrapolacin depender de la naturaleza de los procedimientos
y resultados de la evaluacin en cuestin.
)
)
)
)
)
)
)
)
)
)
,
(
f
(
(
(
(
('
168
PuNTUACINDEL TEST DE CONOCIMIENTO.

Cuando haya terminado el test
de conocimientos, cuente las respuestas que ha acertado. Un total de 8 o 9
indican un buen dominio del material. Un total de 6 o menos es insuficiente:
le recomendamos que relea la unidad, concentrndose en sus puntos ms d.
(
(
(i
<'
(
(
(
(
(
(
~
{
(
(
b)
169
Es el centro de las actividades cientficas, basadas en observacio.

nes reales e interpretaciones razonadas.
El evaluador como educador:

1.
Ejercicios prcticos
2.
3.
Este apartado contiene dos cuestiones prcticas, que determinarn su como

prensin de las distintas concepciones de Cronbach acerca de la evaluacin.
Puede, si 10 desea, relacionar el sistema y la teora de Cronbach con situa.
ciones reales en las que intervenga una evaluacin. O quiz prefiera relacionar
los conceptos de Cronbach con una situacin hipottica o, como alternativa
nal, solamente explicar el pensamiento de Cronbach relacionndolo con dis.
tintos temas prcticos.
Despus de cada ejercicio hay una lista de puntos que, para nosotros,
deben formar parte de una respuesta apropiada. Una revisin de estos puntos
puede ayudarle a valorar su trabajo. Quiz desee entonces releer las partes
ms importantes de este captulo, habiendo realizado ya el ejercicio, para obte.
ner una valoracin ms completa de su respuesta.
4.
5.
e)
a)
La intencin de realizar la mejor planificacin, incluyendo las activi.
b)
e)
d)
dades cientficas.
El evaluador como educador.
La naturaleza de la mejor informacin.
Cuestiones que deben responderse al final del estudio, incluyendo las
alternativas que debe tener en cuenta la comunidad que toma las deci.
e)
siones.
Nueva comprensin de los problemas (contribucin
sico de un rea de problemas).
al entendimiento
4.
5.
d)
2.
3.
La respuesta al ejercicio 1 debe incluir lo siguiente:
a)
4.
La intencin de realizar la mejor planificacin, incluyendo actividades
5.
cientficas:
samiento de los miembros polticamente ms relevantes de la ca.

munidad.
De esta forma, se promueve la formacin de intuiciones.
El xito del evaluador como educador depende de su xito en las
comunicaciones.
El aprendizaje empieza cuando el evaluador soluciona cuestiones en
las que participan esas comunicaciones.
En las cuestiones de valor, la responsabilidad del evaluador es ayudar a los dems a plantear mejores preguntas.
Clara y comprensible para todos los que la utilizan.

Oportuna: llega a la audiencia cuando la necesita.
Fiable: los distintos observadores (utilizando los mismos procedi.
mientos) deben verla de un modo similar.
Vlida: concebida de forma que refleja la realidad.
Amplia: ofrece distintas alternativas para alcanzar las metas organizativas u otras nuevas que se propongan.
Cuestiones que deben responderse al final del estudio, incluyendo las

alternativas que debe tener en cuenta la comunidad que toma las decisiones:
1.
b.
10 que los evaluadores aprenden debe entrar a formar parte del peno
La naturaleza de la mejor informacin:

1.
2.
3.
EJERCICIO 1. Escriba un ensayo titulado La evaluacin til. Su respuesta debe incluir principalmente estos elementos:
(
(
3.
biles.
('
El mensaje, es interesante, comprensible y creble para todos los

sectores de la audiencia?
Las cuestiones que resultaban ms significativas para ellos, han que.
dado respondidas en la medida de 10 posible?
Han alterado las respuestas sus preconcepciones?
Se ha alcanzado, dentro de 10 posible, un consenso poltico en la
comunidad que toma las decisiones?
El evaluador ha llegado a los ciudadanos normalmente pasivos?
Ha respondido a sus cuestiones?
(.
t
t
(
1.
2.
Proporciona beneficios sociales e influye en los asuntos pblicos.

Promueve el aprendizaje de instituciones e individuos a partir de la
experiencia.
e)
Nueva comprensin de los problemas (contribucin al entendimiento bsi.

co de un rea de problemas):
()
170
1.
2.
3.
El evaluador debe abarcar todos los sectores de la comunidad que

toma las decisiones con el fin de hacer una utilizacin ms justifi.
cada de los resultados.
El estudio debe clarificar los problemas y las falsas presuposiciones
para luego sugerir las posteriores comprensiones y clarificaciones d~
los problemas.
La evaluacin debe aspirar a avanzar en la comprensin social de los
problemas.
EJERCICIO 2.
nes investigativas:
1.
2.
3.
Dudas de la comunidad que toma las decisiones.

Desacuerdos entre los miembros (que, sin embargo, estn convencidos de sus particulares posturas).
La certificacin de las cuestiones ms pertinentes es el primer paso
en la planificacin de una evaluacin.
2.
3.
4.
5.
Es improbable que el lugar donde se desarrolla la evaluacin est sujeto a modincaciones.

Por 10 tanto, debe acudirse a los tratamientos ms apropiados para
producir los datos ms relevantes.
El evaluador necesita estar al corriente de las distintas presiones de
los grupos partidistas que proponen probables cuestiones o grupos
para los tratamientos.
Un esquema de intervencin, en forma tabular, debe proporcionar
cuestiones para el proceso evaluativo.
La planincacin debe indicar la intensidad de la intervencin pensada para las distintas etapas del estudio.
La fase divergente:
1.
2.
3.
4.
5.
resultados:
Las cuestiones deben tambin incluir aquellas que puedan descubrir

resultados que no se buscaban.
La atencin del evaluador debe dirigirse a los efectos secundarios.
Hay que ser precavido ante la idea de que la intencin global de un
programa es alcanzar sus objetivos.
Las variables difciles de definir y de valorar, como las consecuencias afectivas, no pueden ser ignoradas.
La lista divergente tambin debe incluir resultados que podrn ser
perceptibles slo cuando el estudio haya terminado.
La consulta de fuentes distintas es la esencia de la fase divergente.
Limitaciones del evaluador:

1.
2.
3.
4.
e)
y procesos:
')
6.
b)
El patrocinador puede apoyar ciertas investigaciones y rechazar otras.

El administrador puede negarse a aceptar un mtodo experimental.
Los informadores pueden negarse a suministrar datos.
Sin embargo, una comunicacin correcta puede llevar al patrocinador
a aceptar una ampliacin de la investigacin.
La fase divergente:
1.
2.
el origen de las cuestiones:
Debe estudiarse la ms amplia gama posible de cuestiones.

Tambin debe estudiarse una amplia gama de candidatos para designar las cuestiones, incluyendo aquellas personas que normalmente no
hablan acerca de los problemas.
")
")
La fase divergente: tratamientos

1.
Cmo surgen las cuestiones.

Limitaciones del evaluador.
La fase divergente: el origen de las cuestiones.
La fase divergente: tratamientos y procesos.
La fase divergente: resultados.
Cmo surgen las cuestiones:
\")
')
d)
e)
a)
El evaluador disfruta de ciertas ventajas sobre el patrocinador (por

ejemplo, carece de predisposiciones y conoce algunas investigaciones anteriores).
Escriba un ensayo titulado Identificacin de las cuestiola fase divergente. En su respuesta, incluya estos aspectos
171
'}
3.
principales:
a)
b)
e)
d)
e)
')
)
)
')
'>
)
)
)
)
)
)
)
)
)
)
)
)
)
En este apartado se proporcionan cinco preguntas, pero no se facilita ninguna respuesta.
Las preguntas pueden ser utilizadas como temas para debates de grupo
o como tareas individuales. Usted quiz prenera obtener intuiciones ms profundas acerca del pensamiento de Cronbach sobre la planincacin evaluativa
leyendo el texto completo u otros libros recomendados en la seccin bibliogrfica. De cualquier manera, las cuestiones pueden responderse basndose en
el material contenido en esta unidad y a 10 largo del libro.
)
)
)
)
)
)
'1 .
172
Referencias
Evaluacin
sistemtica
(
(
1.
(
(
2.
(
(
3.
4.
(
(
(
(
(
5.
La realidad poltica proporciona preguntas mucho ms apropiadas que

otras. Discuta esta afirmacin con relacin a la eleccin de cuestiones
que se producen en la fase convergente de Cronbach.
En qu se diferencia el esquema de Cronbach para el planteamiento y la
eleccin de cuestiones de los de a) Stake (particularmente con relacin
a su mtodo acreditativo), b) Wolf (el modelo de contraposicin) y e) Serio
ven (la evaluacin sin metas)? Cules son los mritos comparativos de
cada mtodo?
Cronbach afirma que la utilidad de una evaluacin depende del grado
en que los miembros de la comunidad que toma las decisiones estn al
corriente de sus resultados y los consideren crebles. Discuta el particular nfasis que pone Cronbach al hablar de las comunicaciones de la evaluacin. Existen otros evaluadores que concedan la misma importancia
a las comunicaciones?
De qu manera aborda Cronbach la delimitacin, definicin y explica.
cin de los elementos de una planificacin evolutiva (esto es, uto) para
que le sirven de ayuda en el plan lgico y el desarrollo de un estudio
evaluativo?
Cules son las diferencias ms significativas entre UTaS -el dominio
de la investigaciny *UTOS -el dominio de la aplicacin-?
Por qu
Cronbach considera que los *UTOS son bsicos para comprender su mtodo de planificacin de evaluaciones educacionales?
(
(
(
(
,
(
t
(
(
,,--
,,
CAMPBELL,
D. T. 1957. Factors relevant to the validity of experiments in social
settings. Psychological Bulletin, 54, pgs. 297-312.
_. 1973. The social scientist as methodological servant of the experimenting society, Policy Studies Journal, 2, pgs. 72.75.
-.1975. Assessing the impact of planned social change. En G. M. LYONDS
(comp.),
Social research and public policies, Hanover, N. H., Public Affairs Center, Dartmouth College.
CRONBACH,1. J. 1963. Course improvement through evaluation, Teachers College
Record, 64, pgs. 672-683.
-.1982. Designing evaluations o/ educational and social programs, San Francisco,
Jossey-Bass.
CRONBAC
H, 1. J., Y otros. 1976. Research on classrooms and schools: Formulation of questions, design, and analysis. Publicacin no peridica, Stanford Evaluation Consortium, Universidad de Stanford, Calif.
CRONBACH,1. J., Y colaboradores. 1980. Toward re/orm o/ program evaluation,
San Francisco, Jossey-Bass.
HOUSE,E. R. 1976. Justice in evaluaton. En G. C. GLASS(comp.), Evaluation
studies review annual, vol, 1. Beverly Hills, Calif., Sage, pgs. 75.99.
bibliogrficas
173
MACDoNALD,B. 1976. Eva1uation and the control of education. En D. TAWNEY

(comp.), Curriculum evaluation today: Trends and implications, Londres, Macmillan Education, pgs. 125-136.
RIECKEN,H. W. y BORUCH, R. F. (comp.). 1974. Social experimentation, Nueva
York, Academic Press.
ROSSI,P. H. Y WILLIAMS,W. 1972. Evaluating social programs: Theory, practice
and politics, Nueva York, Seminar Press.
SCRIVEN,M. 1967. The methodology oE evaluation. En R. W. STAKE,y otros,
Perspectives on curriculum evaluatiol1. AERA Monograph Series on Curriculum Evaluation, n. 1, Chicago. Rand McNally, pgs. 39-83.
-.1974. Pros andocons about goal.free evaluation, Evaluation Comment, 3, pginas 1-4.
STAKE,R. E. 1967. The countenance of eclucational evaluation, Teachers College
Record, 68 (abril), 523.540, 63, 146.
SUCHMAN,E. A. 1970. Action for what? A critique of evaluative research. En R.
O'TOOLE (comp.), The organization, management, and tactics o/ social research.
Cambridge, Mass., Schenkman.
-.1967. Evaluative research, Nueva York, Russell Sage.
WEISS,C. H. (comp.). 1972. Evaluating action programs: Readings in social action
and education, Boston, Allyn and Bacon.
WILENSKY,H. 1967. Organizational intelligence: Knowledge and policy in government and industry, Nueva York, Basic Books.
,)
()
)
STUFFLEBEAM: LA EVALUACION ORIENTADA
HACIA EL PERFECCIONAMIENTO
l
o)
")
'J
:)
;)
,)
,)
)
0)
,)
Esta unidad afirma que las evaluaciones deben' tender hacia el perfeccionamiento, presentar informes responsables y promover el aumento de la comprensin de los fenmenos que se investigan; tambin afirma que el primero
de estos propsitos es el ms importante. El mdulo explica el mdelo evaluativo CIPP describiendo su desarrollo, contrastndolo con otros mtodos, caracterizando el papel que desempea en el perfeccionamiento de los programas,
explicando sus principales conceptos Y esbozando los requisitos de una planificacin evaluativa slida. Finalmente, subraya la importancia de someter a
evaluacin el propio trabajo evaluativo a travs de la metaevaluacin.
El propsito ms importante de la. evaluacin no es demostrar sino perfeccionar ... No podemos estar seguros de que nuestras metas son valiosas si
no las comparamos con las necesidades de la gente a la. que presuntamente
sirven.
La unidad presenta una orientacin perfeccionista para la evaluacin de
un programa. Dado que el contexto histrico es til para comprender cualquier conceptualizacin de una prctica profesional especializada y que yo soy
consciente de que mis antecedentes profesionales y mis experiencias influyen
en gran manera sobre mis propios puntos de vista, he personalizado la presentacin. He trazado el desarrollo del modelo CIPP, lo he contrastado con
otros mtodos, he caracterizado sus sistemas y su orientacin hacia el perfeccionamiento del programa y he descrito los cuatro tipos principales de evaluacin. Tambin he expuesto mi punto de vista acerca de lo que interviene en
la planificacin de evaluaciones concretas y, para concluir, hablo sobre la metaevaluacin.
Al trabajar en esta unidad, le sugiero que estudie sus objetivos con el fin
de descubrir lo que puede aprender de ella; luego lea el material, realice el
:)
rO)
;J
:)
,)
f)
()
~
1)
,)
i)
:J
':)
~)
:)
()
,:)
!)
()
()
f
(
(
(
(
176
test de conocimientos y los ejercicios prcticos, y finalmente compruebe sus

respuestas comparndolas con las que se proporcionan aqu. Para acabar, le
resultar instructivo realizar las Preguntas sin respuesta. Le sugiero que
las discuta con otros estudiantes y que repase la bibliografa: al final de esta
unidad, encontrar una lista de los libros y artculos pertinentes.
Objetivos
Los objetivos de esta unidad son los siguientes:
(,
1.
2.
3.
(
"
4.
~
(
5.
6.
7.
(
{
(
8.
9.
10.
11.
12.
13.
Identificar el orden en que el autor ha llegado a los conceptos. de con- '

texto, entrada de datos, proceso y evaluacin del producto, y explicar
por qu esta secuencia de desarrollo era una respuesta a las necesidades
evaluativas.
Identificar las condiciones definidas por el comit PDK como sntomas
de la enfermedad que padece la evaluacin educacional.
Caracterizar las objeciones que pone el comit PDK a las definiciones
que identifican la evaluacin con la planificacin experimental, la valoracin, los juicios profesionales y la comparacin de los resultados con
los objetivos.
Discutir los cinco problemas definidos por el comit PDK como causantes del fracaso de la evaluacin educacional.
Identificar y explicar la definicin de evaluacin expresada en el modelo CIPP.
Identificar los principales parecidos y diferencias entre el modelo CIPP
y las concepciones de la evaluacin propuestas por Stake y Scriven.
Caracterizar las potenciales contribuciones de las evaluaciones CIPP para
satisfacer los requisitos de la responsabilidad.
Explicar la orientacin perfeccionista del modelo CIPP.
Caracterizar el papel de la evaluacin CIPP en el contexto de los trabajos
realizados por una institucin para perfeccionar su programa.
Describir el propsito, los mtodos y las utilizaciones, respectivamente,
del contexto, de la entrada, del proceso y de la evaluacin del producto.
Explicar el propsito y los procedimientos de la tcnica del grupo asesor.
Describir el concepto del autor acerca de la planificacin evaluativa.
Definir el concepto de meta evaluacin.
(
(
Un poco de historia personal

Mi acceso a la evaluacin de programas fue totalmente accidental. Junto
con otras muchas personas que tenan algunos conocimientos sobre mtodos
Stufflebeam: la evaluacin del perfeccionamiento
177
, vestigativos, me dediqu al impresionante trabajo de cumplir los requisitos

~~derales para la evaluacin de proyectos instaurados por la. ~merica's Eleentary and Secondary Education Act (ESEA) de 1965. InlClalmente, reacml'onde la misma manera que muchos de mis colegas: recomendando la utilic
d .
acin de tests ya ensayados y de planificaciones investigativas ya acepta as.
~ero mientras trataba de aplicar estas recomendaciones, cambi radicalmente
mi concepcin de la aplicabilidad de la experimentacin y de los tests objetivos
para estudios evaluativos y empec a, buscar un mtodo .ms rel.ev~nte y factible. El principal resultado de esta busqueda y del trabajo conslgUlente fue el
llamado Modelo de Evaluacin CIPP, que es el tema principal de esta unidad.
La Elementary and Secondary Education Act de 1965 proporcion billones de dlares a todos los distritos escolares de los Estados Unidos con el
propsito de mejorar la educacin de los estudiantes atrasados y, de un modo
ms general, de subir el nivel de todo el sistema de la educacin elemental
y secundaria. El acta tambin necesitaba educadores que evaluaran sus proyectos. Este requisito origin una crisis, porque los educadores no estaban cualificados, ni tenan la suficiente preparacin o experiencia para planificar y dirigir evaluaciones, y porque los distritos escolares no podan recibir los fondos
de la ESEA hasta que presentaran un plan aceptable para evaluar cada proyecto propuesto por la misma.
Algunas universidades y agencias de servicio crearon programas destinados
a ayudar a los distritos escolares a cumplir los requisitos evaluativos de la
ESEA. Yo fui designado para dirigir un programa en la Universidad del Estado
de Ohio y, ms generalmente, para organizar y dirigir un centro que hiciera
progresar la teora y la prctica de la evaluacin. El nuevo centro pretenda
alcanzar seis metas: 1) proporcionar servicios evaluativos a las agencias educativas; 2) estudiar estas experiencias de servicios; 3) conceptualizar modos de
evaluar perfeccionados; 4} idear instrumentos y estrategias para desarrollar
nuevas ideas acerca de la evaluacin; 5) preparar a los educadores en la utilizacin de esos nuevos instrumentos y estrategias; y 6) difundir informacin
acerca del trabajo y los logros del centro .
El desarrollo del modelo CIPP

Para conseguir esas metas, el centro contact con las escuelas pblicas de
Columbus, Ohio, con el fin de evaluar sus proyectos de la ESEA. Estos proyectos de tres aos incluan un proyecto preparvulario, proyectos sobre matemticas y perfeccionamiento de la lectura, un centro de estudios para despus
de la escuela, un proyecto de servicios sanitarios y otros muchos; los proyectos
estaban avalados por una subvencin federal de 6,6 millones de dlares. El
distrito de Columbus cedi alrededor del 8 % de esta cantidad al Centro de
')
")
178
Evaluacin
Stufflebeam:
sistemtica
1 evaluacin de los ocho proyectos y ayudar al disEvaluacin para patrocmar al'

io sistema eva uatlvo,
d
d"
1
trito a desarro 11ar su prop
,
b '
aluativo al mo otra lClona,
bordo su tra aJo ev
b' ,
d
1
El personal e centro a
h ban alcanzado sus o }etlVOs,
,
'locho
proyectos a
,
d
Intentaron determmar SI os,
'fi
1
bJ'etivos de comportamiento
e
, d d b' os ldentl car os o
, d
Segn este meto o, e 1m
II 1 l'nstrumentos apropia os para va'
r o desarro ar os
, d 1
cada proyecto, seleCClOna
l'
ti 'nstrumentos despues e a ense, d 1
d' te ap lCar es os
,
d 1
lorar el trabajo e estu lan
d 1 t di ante con los objetIVOs e proyecanza y luego comparar el tra ajad el eS u l' ica de la evaluacin tyleriana
d verse
e a base og
d
'
1
to, Se trata, como pue e
, " 1 '1 r de la teora evaluativa e ucaClOna
'd
d
3)
que
ha
sido
el
prmClpa
~l
a
(
unl a,
d
d 30 anos
americana durante aIrede or e
"t
do no era adecuado para evacon que este me o
d'
Pronto nos encontramos
S
los educadores saban o po lan
C 1 b s uponer que
d
luar los proyectos e o um u,
,
d los estudiantes producto de aque'
1 omportamlento
e
'd
1
fcilmente d etermmar e c
,
Los ob' etivos originales contenl os en as
llos proyectos, no era nada reahslta,
Jroporcionaban datos tiles acerca
,
t
eran genera es y no p
, ,
1
1
Pnmeras propues as
'D
h ho los obJetlvos por o genera,
,
'
d 1 estudIantes,
e ec ,
,
'd
del funclOnamlento e os .'
administradores que han tem o poca o
son determinados por especlahstasd~
y lo que es ms, el personal del
"
esos estu lantes,
h
ninguna expenencla con
d'
1 cuando el proyecto ya a empet
de
acuer
o,
mc
uso
h
d
proyecto pue d e no es ar
'fi
deben ser adoptados, A ora pue o
"d
b' tivos especl cos que.
d
1
zado acerca e os o Je
d'
tiempo preclOso mtentan o
,
II
nosotros per Irnos un
, bl
decir que tanto e os como,
d de los estudiantes eran muy var:a es y ~o
hacer esto, porque las neceslda. es.
or ue ningn grupo comun de obJehaban sido objeto de un estudlO ds~n,o,y p ,q les y necesidades de desarrollo,
, d
t
sus IstlDtos mve
, ,
tivos podla ar respues a a
1 hecho de que eXlstlan tests
"
l'
do con esto era e
,
1
Un problema teCnlCOre aClOna
d 1
'y
a los niveles funclOna es
1 modelos e enguaJe
b
que no se adapta an a os
1d
ollo de estos tests a tiempo para
,
, t sados y e esarr
ESEA
de los estudIantes mas a ra
,
1"
d los proyectos de la
,
T d
en la eva uaClOn e
,
,
que pudIeran ser utllza os
, b'l'd d Igualmente y esto es mas serlO,
bl mas de vla I 1 a '
"
'1
d
presentaba gran es pro el'
propona proporcionar mformes so o
se
nuestro empleo ~el mtodo ty enano d
a era demasiado tarde para ayudar al
1 final de cada ano de proyecto, cuan o y
bl
a
.d
'fi
resolver sus pro emas,
.. ,
personal de~,proyecto a I entl c,ar
se hizo ostensible para m cuando vI,slte
La inutlhdad de nuestro meto o
b erv sus actividades relatlvas
1 del programa y o s
a los miembros d e1 persona
los proyectos funcionaran ya
b encontrarme con que
d
al proyecto, Y o espera a
d d
herencia pero no vi nada e eso.
'erto
gra
o
e
co,
,
en escuelas y au 1as con Cl
f' ,
tendl'da entre los profesores, que no
,
"
gran con USlOnex
h b'
En camblO, eXlstla una
d b'
h r Muchos de ellos no a lan
,
a que e lan ace,
, II
saban que es lo que se supon
supuestamente, deblan evar,?
tenido la oportunidad de lee\ lashP~~~:~:~~~ ~~~~ban en desacuerdo con ellas o".~~
a cabo, Y muchos de los que as a
d - ues que las actividades acerca ,
f d'd
No era sorpren ente, p
, .
se sentlan con un lOS.
.
1 , las y que estas actlVIde un proyecto determinado no funclOnaran en as au ,
b'
'f
'1
'1
1
la evaluacin
del perfeccionamiento
179
dades tuvieran muy poco que ver con las que se describan en las preguntas
originales, Cuando hube considerado esta situacin, los datos acerca de los
resultados que mis colaboradores y yo habamos planeado recopilar, parecan
tener muy poca importancia.
Mi conclusin fue que los educadores necesitaban una definicin de evaluacin ms amplia que la que se limitaba a determinar si los objetivos haban
sido alcanzados, La definicin que necesitaban deba proponer evaluaciones que
fueran capaces de ayudar a administrar y perfeccionar los programas, Crea
que lo mejor para realizar este ideal poda ser proporcionar a los dire~tivos
de las escuelas, a los directores de proyectos y al personal de la escuela, mformacin que pudieran utilizar para decidir y llevar a cabo los cambios que
resultaban necesarios en los proyectos, Como alternativa a la definicin tyleriana propuse, en una reunin de la ESEA y en un artculo periodstico, que
la evaluacin fuera redefinida como un proceso mediante el cual se proporcionara informacin til para la toma de decisiones (STUFFLEBEAM,1966),
Esta propuesta recibi un extendido apoyo, especialmente del Departamento
de Educacin, de muchos distritos escolares y de agencias de investigacin y
desarrollo, as como de muchos administradores educativos.
Puesto que pensaba que la evaluacin deba proporcionar la informacin
que necesitaban quienes tomaban las decisiones, pareca apropiado identificar
los principales tipos de decisiones que deban afrontar, y luego crear las adecuadas estrategias evaluativas. Basndose en la experiencia de los proyectos
ESEA para Columbus, las decisiones de inters ms inmediato parecan ser
las relacionadas con la realizacin de la planificacin de proyectos, esto es, cmo
interesar a los profesores en la realizacin de los proyectos, cmo distribuir
los recursos, cmo asignar y remodelar las ayudas, cmo obtener y mantener
el apoyo de la comunidad, cmo proyectar el necesario transporte de los
estudiantes, cmo adaptar los materiales didcticos y cmo promover la comunicacin entre todos los que participan en el proyecto, Para poner en marcha todas estas decisiones de realizacin, ense a mis colaboradores cmo
deban observar e involucrarse en las actividades del personal del proyecto
de una manera continuada y presentando, al menos una vez cada dos semanas,
un informe sobre los resultados del proceso a ese mismo personal, con el fin
de que pudieran detectarse, destacarse o solucionarse los problemas operacionales, El otro tipo de decisin, especialmente con vistas al ciclo anual de subvenciones del gobierno, inclua aparentemente decisiones relacionadas con la
continuacin o finalizacin de un proyecto, segn aumentaran o decrecieran
los fondos, relacionando el proyecto con otro nuevo, institucionalizndolo, etc,
Llam a esto decisiones de reciclaje y suger que deban ser apoyadas con informacin acerca de lo que el proyecto ya haba producido. De acuerdo con esto,
mis colaboradores y yo continuamos trabajando con el personal del proyecto
para clarificar qu indicios acerca de los resultados del programa resultaran
adecuados, y desarrollamos y llevamos a cabo unos pocos tests de trabajo espe-
}
)
')
)
)
')
')
')
)
)
')
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
-.J
)
)
)
.. ;b'S:lI.'
180
--,.,..
_.
------
5tufflebeam: la evaluacin del perfeccionamiento
181
trada que son estudios q 'd 'fi

1
planificaciones de proyect~~ ~i:~~lto~~n y va oran los mritos relativos de las
cialmente diseados para el caso y unas escalas de valor, Resumiendo, en este

punto, la reconceptualizacin de la evaluacin inclua la evaluacin del proceso que servira de gua para la realizacin Y la evaluacin del producto, facilitando as las decisiones de reciclaje. La evaluacin del proceso era un concepto relativamente nuevo en la tradicin de la evaluacin educacional; la evaluacin del producto, desde luego, estaba relacionada con lo que Tyler haba
Al llegar a dI'
este punto ya esta b a termlDada
'
(la evaluacin
la estructura bsica del CIPP
e contexto como ayuda para 1 d"
., d 1
evaluacin de entrada como a d
d f a eS1gnaClon e as metas, la
,, d
yu a para ar arma a las pr
1
al
CIar. el proceso como gua de
1'"
opuestas, a ev ua"
.
su reailZacIOn y la evaluaci d 1
d
1
serVICIOde las decisiones de recicla'e) How d
'
n e pro uc~o a
del Centro de Evaluacin en
ll)"
ar Mernman, que era estudIante
'
aque a epoca y que despus
. .,
1
rector
del
nuevo
Departament
dEl
',
se convlttlo en e
nuestro proyecto) observ qu ~ e .va uacllon de Columbus (que desarroll

sentaban los cuatr~ conceptos e~:s ~nmeras etras de las palabras que reprepara ayudar a la gente a record ulatlvAos,propo~cionaban unas siglas adecuadas
ar os. SI se aSIgn al esq
1 b
'
.
uema a a rev1atura
CIPP (contexto, entrada -inp u t- ,proceso y producto).
llamado evaluacin per se,

Poco despus de haber desarrollado este esquema, fui invitado para que
lo describiera en un coloquio de una facultad del Estado de Ohio. La principal reaccin fue que la conceptualizacin propuesta era un indudable avance
sobre las ideas clsicas acerca de la evaluacin educacional, porque proporcionaba ideas tanto para el proceso como para el producto, Por otra parte,
tres miembros del grupo arguyeron que el mtodo ignoraba el tema fundamental de la valoracin de las metas.
Estaban en lo cierto. La seleccin de las metas pone limitaciones a lo que
se espera y pretende de un proyecto, lo cual la convierte en una decisin
clave. Yana haba incluido la eleccin de las metas como una decisin que
deba tomar la evaluacin ni propuse estrategias evaluativas que ayudaran a
los evaluadores a escoger o valorar las metas, Igualmente, saba que la eleccin de las metas que deban servir de gua a los proyectos de Columbus
estaban basadas, en general, ms en la literatura relativa a los nios atrasados
y las innovaciones educativas, que en un estudio sistemtico de las necesidades de los estudiantes de Columbus. Yo sospechaba que las metas de los
ocho proyectos de ESEA reflejaban las necesidades de los estudiantes de Columbus slo muy superficialmente, y no haba ninguna evidencia de lo contrario, Para solucionar esta deficiencia, propuse que los evaluadores valoraran
e informaran de las necesidades de los estudiantes y de los problemas de mtodo, para as ayudar a los educadores a escoger metas slidas, El lenguaje
que proporcion la naciente estructura del CIPP permiti a los educadores
utilizar la evaluacin del contexto al servicio de las decisiones de planificacin. De cualquier manera, esta intuicin lleg demasiado tarde como para que
pudiramos utilizar el informe acerca de la evaluacin de un contexto como
base para seleccionar y dar forma a las metas del proyecto del programa
Columbus.
Haba un hueco obvio en este nuevo esquema evaluativo, puesto que no
consideraba necesario especificar qu medios eran necesarios para alcanzar una
serie determinada de metas o una serie de necesidades ya valoradas. Estas
especificaciones estn representadas por los procedimientos, programas, planes
de personal y presupuestos que aparecen en las propuestas que se envan a la
jun ta de una escuela y a las agencias que proporcionan los fondos, y, en general, por la eleccin de un plan entre muchas posibilidades, A todo esto lo llam
decisiones de estructura Y propuse que deban basarse en evaluaciones de en-
La elaboracin de la evaluacin CIPP

por parte del Comit de Estudios POK
En 1969, Phi Delta Kappa cre un comO , d
d'
.
evaluacin. Este inclua a Walter Fole
Bi~te e estu 10 naCIOnal sobre la
Hammond, Howard Merriman M 1 1 y'p
Gephart, Egon Guba, Robert
N
' a ca m rovus y yo mism
'd
os encargaron valorar el estadio de la eval ClOn
.,
. o como preS1 ente.
general para la realizacin de
l'
educacIOnal y crear un plan
en el libro de STUFFLEBEAMeva u a c10nesos ventes. Nuestro informe apareci
d (1971)
. f
y ca al bora ores
.
,
El lD orme se abra con la amm . , d
una grave enfermedad D '
aClOn e que la evaluaCIn era vctima de
,
' eClamos que esta enfermedad
'bl
smtomas que presentaban 10 d ..
d
era reconoCl e por los
en todos los niveles de la eds a ~lnIstra orles, el personal y los evaluadores
ucaClOn,SIma
y por a mal '
eva uativo:
cal'd
1 ad d e su trabajo
1
Ut
Ausencia de esfuerzo a la hora de evaluar

Pre~cupacin ante la perspectiva de evaluars~~sprogramas.
sablan que el proceso eval t'
b'
programas, a causa de que
ua IVOera am IguO su rfi' 1 . d
penso al error y a menudo t d'
,pe
C1a, lDa ecuado, proE
' ,
en enclOSO.
sceptzclSmo acerca de que los expertos
d'
lo que significa una evaluacin solvent pu lera~ ~onerse de acuerdo en
intentaban ayudar a los educ d
he, 10 cual h~ltaba los estudios que
A
"
a ores a acer su trabajO
usencza de dzrectrices (especialmente de 1
' '
tisfacer los requisitos eva1 t'
. 1
as agencIas) que permitieran saua IVos lDCuso cuand 1
l"
evaluaciones.
o o so 1CItan las propias
Malos sistemas (tanto procedentes de
realizar las evaluaciones en

. expertos como de la bibliografa) de
El 'd
su propIO marco.
sm rome de la diferencia no significativa, segn el cual todos los estu-
)
'l
182
dios afirman que el mtodo que se ha seguido no se diferencia en nada de

los resultados del estudio.
.,
' t
de los elementos perdidos, esto es, la ausenCIa de una teona
.,
. f
.
d
El sm oma
.
t de conceptos claros acerca' de los reqUlsltos m ormatlvos;
e
pertmen e;
..'
instrumentos
Y planificaciones apropIados; de mecamsmos para or?amzar,
procesar y presentar la informacin evaluativa; y de un personal bIen pre5.
parado.
f i
,
l
\
,1
Como consecuencia, advertimos que los dominantes en la evaluacin, tanto

. d"d
1 mo colectl'vamente eran inadecuados. Recomendamos a nuestra
m lVl ua co
,
.,
1'"
f
,'
o l'dentificara la evaluacin con la valoraclOn, e JUICIOpro eau d lenCla que n
..'
b' .
1
sional, la investigacin experimental o la cOlnclde~cla entre o Jetlv~s y resustos mtodos presentaban mdudablemente CIertas venta d os. A unque todos e
b"
,
. l' .
.
tI'112' ados en la evaluacin cada uno tam len tema senas lmltajas para ser u
"1
1
taciones. Las ventajas Y limitaciones de estos cuatro metodos, ta como as
concebimos nosotros, estn resumidas en la tabla 6-1. ,
.,
't'
PDK
reconoca
que
todos
los
metodos
evaluatIVOs
claAunque e1 ca mI e
. .
.
d
sicos tenan cualidades aprovechables, acababa dIcIendo que nmgun? era a ecuado para satisfacer los requisitos evaluativos de la ESEA. Se~ecclOnaron el
modelo CIPP como estructura general para desarrollar, a partlr d~ ella, un
mtodo ms solvente. y especificaron cinco problemas ~ue neces~taban ser
solucionados para perfeccionar la bse conceptual del trabajO evaluatlVo:
1.
. . .,
D ef mClOn.
Debe J'uzgarse si las definiciones existentes son vagas, dema. d'

f
siado errneas en sus presuposiciones y/o demasla o lmper ectas en su
orientacin metodolgica.
Toma de decisiones. El comit conceba la evaluacin como algo tot~l:nen2.
te relacionado con la toma de decisiones, pero pensaba que las declSlones
que deban tomarse en cuanto a los cambios no ~:taba~ muy claras. Adems el comit consideraba necesario una concepClOn mas clara del proceso
meeiante la cual los evaluadores pudieran enfrentarse y resI><?ndera los
problemas de decisin y a los consiguientes requisitos informatIvos.
Valores. El comit crea que muchas evaluaciones reflej.~ban errn~amente
3.
una orientacin que no atenda a los valores. Tamblen denuncIaron la
escasez de buena literatura sobre temas cruciales acerca de .cmo r~co~ocer
y tratar con mltiples perspectivas de valor, cmo co~segUlr l?,s cnten~~ e
instrumentos apropiados y cmo asignar valores a la mformaclon obtem a.
Niveles.
El comit crea que los evaluadores haban fracasado p~r ~om4.
pleto al no reconocer que las distintas audiencias pres:nta?,an dlstmtos
requisitos informativos en sus distintos n~v~les de orgamza.clO~. Una evaluacin concebida para satisfacer los requlSltos de una audIencIa concreta
-por
ejemplo, el personal de un proyecto escolar-:- p~ede que. no sea
apropiada para satisfacer los requisitos de otras audIencIas; por ejemplo,
183
el Departamento de Educacin. Por 10 tanto, el comit vio la necesidad

de un proceso para la planificacin de evaluaciones que sirviera de gua
a los evaluadores a la hora de identificar las audiencias, valorar sus nicas y comunes necesidades informativas y planificar la recopilacin de
datos y las actividades informativas con el fin de complacer las necesidades de las distintas audiencias.
Diseo de la investigacin. El comit consideraba ya entonces que la
investigacin y la evaluacin tenan propsitos distintos que requeran
diferentes procedimientos, y que las planificaciones investigativa y evaluativa deban ser juzgadas mediante normas distintas. Las evaluaciones de
la ESEA se encontraron con graves problemas cuando las planificaciones
de la investigacin clsica intentaron presentarse como una verdad generalizable para ser utilizada en la evaluacin de proyectos nuevos, que no
necesitaban un conocimiento generalizable, sino las oportunas directrices
que solucionaran sus problemas de decisin.
Dedicamos un captulo a analizar cada uno de estos problemas, y luego

presentamos y elaboramos el modelo CIPP. He aqu una versin puesta al da
de la definicin formal que propusimos y difundimos:
')
)
')
)
'\
)
')
)
')
)
")
)
)
)
)
La evaluacin es el proceso de identificar, obtener y proporcionar informacin til y descriptiva acerca del valor y el mrito de las metas, la planificaci~n, la realizacin y el impacto de un objeto determinado, con el fin de
serVIr de gua para la toma de decisiones, solucionar los problemas de responsabilidad y promover la comprensin de los fenmenos implicados.
)
)
)
)
Esta definicin resume los conceptos clave del modelo CIPP. Postula tres
p.ropsitos evaluativos: servir de gua para la toma de decisiones, proporClOnar datos para la responsabilidad y promover la comprensin de los fenmenos implicados (lo cual coincide con la orientacin de perfeccionamiento
del modelo, puesto que el primero de estos propsitos es tambin el ms
importante). Presenta la evaluacin no como una prueba sino como un proceso, y afirma que este proceso incluye las tres etapas de identificar, obtener
y proporcionar informacin (de ah que los evaluadores deban tener una buena
preparacin en las reas tcnicas y de comunicaciones). Tanto la informacin
til (para emitir juicios) como la descriptiva son consideradas adecuadas para
va~orar y ayudar a perfeccionar el objeto de inters. Los aspectos clave del
objeto que, segn la definicin, deben ser valorados incluyen sus metas su
planificacin, su realizacin y su impacto (los cuales son valorados, resp~ctivamente, median.te l.a evaluacin del contexto, de la entrada, del proceso y del
producto). El cnteno fundamental que debe ser tenido en cuenta incluye su
valor (s~ respuesta a las necesidades valoradas) y su mrito (su calidad).
El hbro que explicaba esta definicin tuvo una considerable influencia en
)
)
)
)
)
)
)
)
)
)
)
""";.,rr~r,:,...,:,...,-("'~::,
(*"'i,--f"";-,r-;:"~:""'~("""F-l.'f/::R,~,...;::-tdtAt:'f"'\ "1"\ --'f'"\-"'ri-,..c.-
-,
~e
TABLA
6-1.
Venta;asy
desventa;as
de los distintos
mtodos
tradicionales
.~
fI\~~' ~
""" "'" "'" ~
~.
~
Q)
c:
o
o:
::1
Q)
l.
Medicin
Basada en la teora psicolgica

Emplea tecnologa estandarizada
Concebida para asegurar fiabilidad y validez
Validez de los tests publicados y de los servicios
segn las normas
de calificacin
Basada en normas profesionales
Estndares
procedentes
de normas
Se centra slo en los instrumentos

disponibles
Es inflexible a causa del tiempo y el coste que
supone producir nuevos instrumentos
Desatiende la validez del contenido en favor de
la fiabilidad del recuento de las diferencias
individuales
Destaca los conocimientos y aptitudes que pueden
ser fcilmente
valorados mediante
tests con
papel y lpiz
Eleva el modelo a la categora
todos los estudiantes
Fcil de llevar a cabo

Toma potencialmente
en consideracin
2. Juicio profesional
todas las
variables
U tiliza toda la habilidad y experiencia disponibles
No se retrasa durante el anlisis de d,atos
3, Diseo
Alta respetabilidad
cientfica
Proporciona
potencialmente
datos
experimental
sobre
las cau-
sas y los efectos

Est preparado
para alcanzar altos niveles de
fiabilidad, validez y objetividad
Qrdena potencialmente
las opciones de quienes
toman las decisiones
Est apoyada por estadsticas deductivas
i'I '.;
Coincidencia entre resultados

objetivos (Tyleriano)
en
..
3
"'-..
o'
;
ro
Q)
para
Dictados principalmente
por la oportunidad
Su fiabilidad y objetividad son cuestionables
Tanto los datos como los criterios son ambiguos
No pueden comprobar la validez
La generalizacin es muy difcil
Impone controles inalcanzables

en un contexto
educativo o perjudiciales
para los propsitos
de la evaluacin
Se interfiere en las operaciones normales de los
proyectos que se estn estudiando
Supone presuposiciones
inaplicables / Limita el
estudio a unas pocas variables
Los servicios restringen las decisiones
Proporciona los resultados slo al final
,--~-- ~
.- ._,
4.
de norma
Puede combinarse con la planificacin didctica

Proporciona
datos sobre los estudiantes
y sus
currculos
Posibili ta la retroalimentacin
peridica
Define las normas del xito
Posibilidad
de procesar y producir datos
-~
.....,~
de evaluacin
Desventa;as
Venta;as
Mtodos
Concede una funcin tcnica al evaluador

Se centra casi exclusivamente en los objetivos
Considera el comportamiento
como el ltimo criterio de todas las acciones educacionales
Fracasa en la evaluacin de los objetivos
Se centra en la evaluacin como proceso terminal
..c:
(J)
:l;
(1)
o(1)
ll>
3
iil
~
Q)
c:
o
o;
Q)
::1
o-
~
"tJ
(1)
~
(1)
o
o
o'
::1
Q)
3
O
::1
8"
t"
,.186
Evaluacin
sistemtica
arrollo de las evaluaciones orientadas hacia la decisin, especialmente en

e 1 d es
'd d
'd
. d
los distritos escolares grandes. El resto de esta Un! a esta estilla. o, en su
mayor parte, a poner al da los conceptos clave y las recomendaclOnes que
aparecan en el libro del PDK.
El modelo CIPP comparado con otras recientes

propuestas evaluativas
Mientras mis colegas y yo desarrollbamos la estructura del CIPP, Robert
Stake desarrollaba su mtodo de la figura de la evaluacin, que est incluido
en su mtodo respondente (vase unidad 7). Intercambi~.mos ,borradores de
nuestras obras en 1966, y yo estaba interesado en saber Sl hablamos desarrollado independientemente mtodos similares o distintos.
.
La coincidencia entre el CIPP y la estructura de la figura era cons1derabIe pero tambin existan diferencias notables. Ambos mtodos exigan
una ~aloracin de los resultados, pero Stake destacaba la necesidad .de .1~calizar
tanto los efectos secundarios como los ya propuestos desde un pnnc1plO. Era
una excelente recomendacin que ms tarde incorpor en mi concepcin de la
evaluacin del producto. Su disposicin de observar y ~na.lizar las transacciones que se producen dentro de un proyect? fue algo slm1~ar para la evaluacin del proceso. Aunque Stake no proporclO~~ba nada analogo p~ra la evaluacin de entrada, tanto sta como la evaluaclOn del contexto pod1an ~e.rcubiertas por lo que l llamaba la identificacin y valo.racin de las cond1C10nes
previas (las que existen antes que el proyecto e~p1e:: y antes de ~ue el, evaluador entre en escena). Sin lugar a dudas, la uuhzac10n de cualqUler metodo
exiga una valoracin del proyecto ms ampfia que la .que p~opona la concepcin tyleriana orientada hacia los resultados. Una diferenc1a entre ambos
mtodos era el llamado problema del punto de entrada. Al relegar la valoracin de las necesidades y los planes del proyecto a la categora de antecedentes, Stake pareca asumir que el evaluador debe~a entrar en .accin durante
la etapa de la realizacin, cuando sera ms aprop1ado que se fijara en las transacciones que estaban ocurriendo. El CIPP permita la entrada tanto antes
como durante el proyecto y conceda la posibilidad de llevar a cabo un solo
tipo de evaluacin (del contexto, de la entra~a, del proceso o .del.producto) o
alguna combinacin, dependiendo de las neces1dades de las aud1enc1as.
Ningn mtodo estaba a favor de iniciar una evaluacin despus de que
el proyecto hubiera quedado completado para realizar un post m.~rtem (o ~ar
motivo a una celebracin), puesto que ambos destacan la funclOn perfecc10nista de la evaluacin. Mientras los dos mtodos estn concebidos para ayudar
a audiencias concretas a utilizar la evaluacin para llevar a cabo sus tareas, el
mtodo de Stake est concebido para ayudar ms directamente al personal y
los profesores del proyecto, y el mtodo CIPP se orienta ms hacia las nece-
)
)
Stufflebeam:
la evaluacin
)
187
')
sidades de los que planifican y administran los proyectos. Otra diferencia entre
ellos se refiere a las bases utilizadas por los dos mtodos para llegar a conclusiones acerca del xito de los proyectos. En el mtodo de Stake, estas conclusiones se derivan de la recopilacin y el anlisis de los juicios de todas las
IXrsonas y grupos que estn interesados en el proyecto, mientras que el mtodo CIPP atiende ms a la satisfaccin de las necesidades valoradas. Ambos
mtodos evidencian una tensin -yo creo que saludable- entre la obtencin
de un amplio concepto de un proyecto y la adaptacin de la evaluacin a la
satisfaccin de las necesidades informativas ms importantes de las audiencias.
El mtodo sumativo-formativo de Michael Scriben ofrece un contraste
muy fuerte con el mtodo CIPP y el acreditado (para una versin puesta al
da de su mtodo, vase la unidad 10). Defini la evaluacin como la determinacin sistemtica y objetiva del valor o el mrito de un objeto, y dijo que
la mejor puesta en prctica de esta definicin consista en encargar a un evaluador independiente que emitiera un juicio sobre un objeto basndose en
evidencias acumuladas producto de su comparacin con objetos similares a la
hora de satisfacer las necesidades de los consumidores. Llam a este mtodo
evaluacin sumativa y dijo que era mucho ms importante que la evaluacin
formativa, en la que un evaluador recopila y presenta datos y juicios que ayudan al desarrollo de un objeto. Segn esta base lgica, SCRIVEN(1970) denunci que el mtodo CIPP era imperfecto porque ignoraba casi totalmente el
papel fundamental de la evaluacin sumativa debido a su preocupacin por el
perfeccionamien to.
En una reunin del grupo de evaluacin May 12, Michael Scriven y yo
debatimos los mritos relativos de la orientacin perfeccionista enfrentada a la
orientacin hacia el juicio sumativo. Ms tarde, AERA puso el debate en marcha, por as decirlo, y ambos fuimos encargados de codirigir y ensear al
equipo de cuatro institutos ambulantes. Como consecuencia, NIE nos encarg
presidir los equipos que iban a disear diversos planes evaluativos para los
laboratorios regionales educativos y para centros de investigacin y desarrollo.
A travs de estos contactos, acab convencindome de que las diferencias entre
nuestros conceptos de evaluacin eran ms aparentes que reales y de que reflejaban, sobre todo, distintas perspectivas y experiencias. En mi trabajo en Columbus, una orientacin hacia un juicio de valor final y basado en conceptos exteriores haba quedado ahogada, sin servir a las necesidades del personal, que pretenda sacudir y perfeccionar sus proyectos de la ESEA. Asimismo, dado que
Scriven haba estado ampliamente implicado en grupos asesores relacionados
con diversas evaluaciones nacionales de currculos, es fcil comprender por qu
insista tanto en las evaluaciones comparativo-sumativas. Sus audiencias principales eran los potenciales compradores de estas evaluaciones, que estaban
obviamente interesados en las recomendaciones acerca de las alternativas que
mejor les convenan, y no en los datos que pudieran mejorar esas evaluaciones.
Finalmente, la compatibilidad de nuestros puntos de vista se confirm cuando
.,
')
)
')
)
')
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
')
)
)
)
(
(
(
(
(
(
(
(
{
188
'o
.<:;
':l
.~
~
':l
...~
el
...
l:l..
ClJ
"~
""...
.::
(
(
;:
"
.~
<.l
'"u
'o"
...
'"
o
ClJ
...
o.
ClJ
"":l
ClJ
"":l
':l
(
(
(
(
el
....
....
':l
::
':l
l:l..
;:
'O
.<:;
':l
;:s
~~
ClJ
"":l
...el
(
(
(
(
ClJ
189
las planificaciones de nuestros dos equipos para NIE resultaron ser muy similares, incluso habindose desarrollado independientemente (REINHARD, 1972).
Sin embargo, estas experiencias reafirmaron la necesidad de clarificar y
ampliar el modelo CIPP, para asegurarse de que satisfara las necesidades tanto
de las evaluaciones sumativas como de las comparativas. De acuerdo con esto,
escrib un artculo sobre la aplicabilidad del mtodo CIPP a la contabilidad
(SruFFLEBEAM, 1971). En este artculo, yo caracterizaba la evaluacin destinada a la toma de decisiones como formativa o proactiva por naturaleza, y la
evaluacin destinada a la responsabilidad como sumativa o retroactiva. El artculo fue escrito prinpalmente para exponer una versin del esquema presentado en la tabla 6-2. Este esquema muestra que las evaluaciones del contexto,
de entrada, del proceso y del producto pueden ser utilizadas tanto como guas
para la toma de decisiones, funcin formativa, como para suministrar informacin para la responsabilidad, funcin sumativa.
Basndose en este esquema, los evaluadores pueden planificar y realizar la
evaluacin con el fin de ayudar al personal a proyectar y llevar a cabo su programa. Dejando aparte la estrechez o amplitud de los requisitos informativos
de los que realizan el programa, pueden tambin pensar e intentar satisfacer
todas las necesidades informativas de las audiencias externas que algn da
desearn llegar a conclusiones acerca del valor y el mrito de ese trabajo de
perfeccionamiento. Adems, pueden realizar una relacin de la informacin
recopilada y evidencias sobre hasta qu punto la han utilizado como gua para
su trabajo. Aunque esta informacin puede que no responda a todas las preguntas de un evaluador sumativo externo, ayudar, sin lugar a dudas, a aclarar
algunas de ellas. Especialmente, si el mtodo CIPP se lleva hasta el final, proporcionar informacin muy til para plantear las siguientes preguntas:
1.
el
...
"-
~
<.l
...
2.
ClJ
"":l
.~
<.l
~
....
"-o
l:l..
.~
':l
>-4
l
l
.e....
(
(
-1J
<:
,..
~
<:
E-<
':
.~
...
o
3.
Qu necesidades han sido planteadas, cul es su trascendencia e importancia y hasta qu punto los objetivos del proyecto reflejan las necesidades
valoradas (planteadas por la informacin del contexto)?
Qu plan de procedimientos, de personal y de presupuesto ha sido adoptado para plantear las necesidades, qu alternativas se han considerado,
por qu se ha escogido una y no las otras, y hasta qu punto era una propuesta razonable, potencialmente exitosa y efectiva con relacin a su coste,
para satisfacer las necesidades valoradas (planteadas por la informacin de
entrada)?
Hasta qu punto se ha realizado el plan del proyecto y cmo y por qu

razn se ha modificado (planteada por la informacin del proceso)?
4. Qu resultados -positivos
y negativos, buscados o no- se han observado, cmo han juzgado los distintos clientes el valor y el mrito de los
resultados y hasta qu punto han sido satisfechas las necesidades de la
poblacin objeto del estudio (informacin del producto)?
....
__
.1
....
El CIPP como estrategia para el perfeccionamiento de los sistemas
I
1
I
ji
Comparado con las orientacione~, de Stak~ .Y Scriven, el CIPP est ms

en la lnea de los sistemas de educaclOn y serV1CI0Shumanos. No se concentra
demasiado en servir de gua para la realizacin de un estudio individual, sino
ms bien en proporcionar unos servicios de evaluacin continu~ para la toma
de decisiones de una institucin determinada. Se basa especIalmente en el
concepto de que el propsito ms importante de una evaluacin no es d~mostrar sino perfeccionar. Esto se opone a los que afirman que las evalua~~ones
deben ser cazadoras de brujas o simples instrumentos de responsabtlidad.
Por el contrario, considera que la evaluacin es un instrumento para ayudar a
que los programas sean mejores para la gente a la que deben serVIr. Esta
postura es coherente con la que recientemente han expresado PATTON(1978)
y CRONBACHy sus colaboradores (1980) (vase unidad 5). D~ cualquier f?~ma,
las orientaciones del CIPP no estn concebidas para reducIr la probabilidad
de que algunos programas sean indignos de una mejora, por lo ~ue se de~era
terminar con ellos. Promoviendo la eliminacin de programas mnecesanos o
desesperadamente imperfectos, las evaluaciones tambin cumple? una, funcin
perfeccionista, al permitir que los recursos vayan a parar a tra~aJos ma~ provechosos. Fundamentalmente, la utilizacin del modelo CIPP esta concebIda para
promover el desarrollo y ayudar a los dir.ectivos ~,person~l respo~sable: .de
una institucin a obtener y utilizar una mformaclOn contmua y slstematIca
con el fin de satisfacer las necesidades ms importantes o, al menos, hacer
lo posible con los recursos de que dispongan..
.
Esta orientacin, que ayuda a mantener y mejorar la calldad de las operaciones institucionales, aparece ilustrada en el diagrama de la. figura 6.1. Empezando por la izquierda, puede comprobarse .que las ope~a~lOnes de u.na escuela o cualquier otra institucin, incluyen dIversos y qUlza no coordmados
trabajos evaluativos, pero tambin que, peridicamente, la ins~i:ucin nece~ita
someterse a una evaluacin especial del contexto. Una evaluacI0n de este tlpo
puede examinar las necesidades de los clientes de la institucin; exponer. oportunidades como programas de subvencin, avanzadas tecnologas educatlvas o
industrias con disponibilidad y capacidad para ayudar a la institucin; recopilar y examinar intuiciones acerca de los problemas de .la .institu~in. qu~ necesitan un cambio; y valorar la eficacia de las metas y pnondades mstltuclOnales. Una evaluacin del contexto puede estar motivada desde dentro de la
institucin como una valoracin regular del estado de la institucin o como
una respuesta a ciertos sectores que estn insatisfe:~os con la ~abor de la
institucin. Una evaluacin del contexto puede tambIen estar mOtlvada desde
fuera de la institucin, como cuando una agencia acreditada pide un autoestudio o cuando una agencia de subvenciones pide una valoracin de ~as
necesidades como base para justificar una solicitud de fondos. Estos estudIos
)
:,1:
...........
!
190
..
')
191
')
pueden estar dirigidos hacia reas de inters especficas o centradas, ms generalmente, en una amplia gama de funciones de la institucin. En general, estos
estudios ayudan a la renovacin del sistema y a la promocin de un mejor y
ms eficiente servicio, al diagnosticar problemas concretos y modos de perfeccionamiento, Y comunicar los puntos fuertes y dbiles de la institucin respecto a su ciscunscripcin.
Los resultados de la evaluacin del contexto, idealmente, pueden conducir a una decisin acerca de la introduccin de algn tipo de cambio en el
sistema. Si la decisin es en sentido negativo, el personal de la institucin
debe continuar con las operaciones del programa de costumbre. Por el contrario, si se toma la decisin de cambiar, de alguna manera, la institucin, el
personal del programa debe clarificar el problema (o problemas) que debe{n)
ser resuelto{s) y formular sus objetivos. Seguidamente, deben considerar si existe alguna estrategia de solucin clara y apropiada, as como fcilmente adaptable a su situacin. Si la hay, deben adoptarla y redirigir su atencin hacia su
utilizacin y evaluacin en el programa, ya en marcha, de la institucin.
Si no aparece ninguna solucin satisfactoria, el personal, de acuerdo con el
diagrama, debe realizar una evaluacin de entrada. Una evaluacin de este
tipo debe localizar la literatura ms importante, interrogar al personal de otras
instituciones que hayan tenido xito en un problema similar, fomentar el ingenio y la creatividad del personal de la institucin y de los grupos de clientes,
y, posiblemente, contratar a expertos del exterior. Ms tarde, se encargar a
uno o ms equipos que propongan una o ms posibles estrategias de solucin.
La(s) propuesta(s) resultante(s) deben ser valoradas segn criterios como el
inters que tienen para las necesidades, problemas y objetivos establecidos, su
solvencia 'y su viabilidad.
Los resultados de la evaluacin de entrada pueden ser utilizados para decidir si ha sido hallada una estrategia de solucin lo suficientemente prometedora como para seguir adelante con su desarrollo. Si no ha ocurrido esto, el
personal debe considerar si el cambio deseado es 10 suficientemente importante para continuar la bsqueda y, si loes, debe reemprender la bsqueda de
otra estrategia de solucin. Si se ha encontrado una estrategia prometedora,
el personal debe decidir si esta estrategia puede ser justificadamente adoptada
sin comprobacin. Si la estrategia es bien conocida y el persOnal se considera
capaz de aplicarla, debe desviar su atencin a la incorporacin del cambio en
las actividades regulares que lleva a cabo, sin el apoyo de evaluacin especializada alguna.
')
Por el contrario, si decide su comprobacin, debe dirigir su atencin hacia

un examen de la estrategia y someterla a una evaluacin del proceso y del
pr.oducto por el perodo de tiempo que sea necesario para analizar el procedimIento y alcanzar el nivel operativo deseado, as como la habilidad suficiente
para su aplicacin. De cualquier forma, si, en algn punto, el proyecto no se
desarrolla satisfactoriamente o su coste es considerado alto, el director de la
")
')
)
')
)
)
')
)
)
)
)
)
)
)
).
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
(
(
192
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
FIGURA
6-1.
Diagrama descriptivo del papel de la evaluacin el??

en el perfeccionamiento de un sistema
(
(
(
(
193
1.
(
(
a las operaciones regulares, incluyendo la evaluacin regularizada del programa

que est en marcha.
El anlisis de la evaluacin precedente, en el contexto de un proceso de
cambio institucional, reafirma muchas importantes caractersticas propias de
un mtodo sistemtico de evaluacin:
institucin puede decidir que no se contine el trabajo y, de acuerdo con esta

conclusin, terminar con l. Estas decisiones se toman frecuentemente al final
de los proyectos subvencionados federalmente, cuando se ha de decidir si deben
concederse los fondos locales para la institucionalizacin de un proyecto. Como
se muestra en la parte inferior derecha del diagrama, incluso si un proyecto ha
tenido xito, el director de la institucin puede determinar que las condiciones
de la institucin han cambiado 10 suficiente como para que ya no sea necesario el cambio que se haban propuesto y, como consecuencia, dar por finalizado
el trabajo. Si supone que el proyecto es un xito y que la solucin proporcionada an es necesaria, la institucin debe seguir aplicando el proyecto y volver
La evaluacin es una parte integrante del programa regular de una institucin y no slo una actividad especializada relacionada con proyectos
de renovacin, y el perfeccionamiento del CIPP o de cualquier otro mtodo especializado es slo una parte del mosaico de la evaluacin formal
e informal de la institucin.
2. La evaluacin desempea un papel vital en la estimulacin y planificacin
de cambios.
3. La utilizacin de cada tipo de evaluacin del modo CIPP est indicada slo si es necesaria ms informacin de la que ya existe, y no por el
valor intrnseco de cada clase de evaluacin. En otras palabras, las evaluaciones del contexto, de la entrada de datos; del proceso y del producto son
slo una parte del gran marco evaluativo de cada institucin, y la funcin
ms importante de estos estudios encargados es servir a las necesidades
marginales, en lo que se refiere a la informacin evaluativa, de la institucin.
4. El desarrollo de nuevos programas debe incluir una previsin acerca de
su utilizacin prctica de la evaluacin, una vez que hayan sido aceptados
a travs de algo relacionado con la evaluacin con insercin de currculo
(en la que la evaluacin se construye mediante la realizacin de un currculo y, automticamente, proporciona una retroalimentacin til para el diagnstico, prescripcin y comprobacin de los progresos).
5. La informacin de la evaluacin no slo proporciona una gua para resolver problemas institucionales, sino que, si se realiza de cara a una revisin
pblica, tambin proporciona una base para juzgar si las decisiones acerca.
del fracaso o institucionalizacin de un proyecto especial se toman desde
posiciones justificables.
6. Las decisiones acerca del principio, mantenimiento, aplicacin o final de
los programas o de su perfeccionamiento, casi siempre reflejan fuerzas
dinmicas -racionales
e irracionalesque van ms all de la esfera de
estudio e influencia del evaluador.
Panorama de las categoras del CIPP

Adems de considerar el mtodo CIPP en un contexto institucional o de
sistemas, es instructivo examinar ms de cerca cada tipo de estudio. La matriz
de la tabla 6-3 se presenta como un til panorama de los significados esencia-
'. ".....~~..~..
~
TABLA
Evaluaci6n
del contexto
6-3.
Evaluaci6n
...
<O
Cuatro tipos de evaluacin

de entrada
Evaluaci6n
Evaluaci6n
del proceso
del producto
[
e
Objetivo
Mtodo
Relacin
con
la toma de
decisiones en
el proceso de
cambio
Definir el contexto institucional, identificar

la poblacin objeto del estudio
y valorar sus necesidades,
identificar las oportunidades de satisfacer las necesidades,
diagnosticar
los
problemas
que mbyacen
en las necesidades y juzgar si los objetivos propuestos son lo suficientemente coherentes con las
necesidades valoradas.
Identificar
y valorar la capacidad
del sistema, las
estrategias
de programa
alternativas,
la planificacin
de procedimientos
para llevar a cabo las estrategias,
los presupuestos y los programas.
Identificar o pronosticar, dti- .. Recopilar descripciones y juirante el proceso, los decios acerca de los resultafeetos de la planificacin
dos y relacionarlos con los
del procedimiento o de su
objetivos y la infotmacin
realizacin,
proporcionar
proporcionada por el coninformacin
para las detexto, por la entrada de
cisiones preprogramadas
y
datos y por el proceso, e
describir y juzgar las acinterpretar
su valor y su
tividades
y aspectos del
mrito.
procedimiento.
Utilizacin de mtodos como

el anlisis de sistemas, la
inspeccin, la revisin de
documentos,
las audiciones, las entrevistas,
los
tests diagnsticos y la tcnica Delphi.
Inventariar y analizar los recursos humanos y materiales disponibles,

las estrategias de solucin y las
estrategias de procedimiento referentes a su aplicabilidad, viabilidad y economa. Y utilizar mtodos
como la bsqueda de bibliografa,
las visitas
a
programas ejemplares, los
grupos asesores y ensayos
piloto.
Controlar
las limitaciones
potenciales
del procedimiento y permanecer alerta ante las que no se
esperaban,
mediante
la
obtencin de informacin
especfica de las decisiones programadas,
la descripcin del proceso real,
la continua interaccin con
el personal del proyecto y
la observacin de sus actividades.
Definir operacionalmente
y
valorar los crirerios de los
resultados,
mediante
la
recopilacin de los juicios
de los clientes y la realizacin de anlisis cualitativos y cuantitativos.
Decidir el marco que debe

ser abarcado,
las metas
relacionadas
con la satisfaccin de las necesidades
o la utilizacin
de las
oportunidades
y los ob;etivos relacionados
con la
solucin de los problemas,
por ejemplo, la planificaci6n de los cambios necesarios. Y proporcionar una
base para juzgar los resultados.
Seleccionar los recursos de

apoyo, las estrategias
de
solucin y las planificaciones de procedimientos,
esto es, estructurar
las actividades de cambio. Y proporcionar
una base para
juzgar la realizacin.
Llevar a cabo y perfeccionar

la planificacin
y los procedimientos
del programa,
esto es, efectuar un control del proceso. Y proporcionar un esbozo del
proceso real para utilizarlo ms tarde en la interpretacin
de los resultados.
Decidir la continuacin,
finalizacin, modificaci6n
o
readaptaci6n
de la actividad del cambio. Y presentar un informe claro
de los efectos (deseados y
no deseados, positivos y
negativos ).
'o."
!J.
:J
en
en
...
ro
3
...
"',
'
'"
!?/
e
=:::
ro
oro
'3"
;ro
~
e
'"
o;
o
e;
, ~
:J
:t< ..::: ::;
O r""'
c..
ro
t"-=.
~;.:::~~~
.~~ ;:-:"J
'C
-:n
t,~:}~
.. '
("
o
o
o'
:J
;; ~~\,p~
'"
3
.,.. '!".;7~.
t.'1
ro
~
ro
r- ~_.'.
t. ~l~;':
ro
:J
...
O(f"'..L.
,,,
v' ..-t (:.
~(-
o::rJ In
() r11 :j
_-o :.,(1
~6':r;
(l
<"
<O
C1I
:~~~
..............
. -c.,
I
Stufflebeam:
196
Evaluacin
la evaluacin
197
sistemtica
de
d del proceso y del producto. Estos
les de la evaluacin del contextfio"d entra a 'ac1'o'
n a sus objetivos, sus mtodos
,
d e estu d'10 son de nl os con re l
cuatro upos
y sus utilizaciones.
Evaluacin del contexto

. . l'
. 'n de 1a eva 1uac l'o'n del contexto es identificar las
La prmC1pa onentac10
b'
una institucin un programa, una
d 19n o Jeto, como
'
f .
virtudes Y d ef ectos e a
..
onar una gua para su per ecclOpoblacin escogida o una per:o~a, YdPropotClt'po-de estudio son la valoracin
.'
1 obJeuvos e este 1
.
'fi
namiento. Los pnnc1pa es
l'd
'fi 'o'n de sus deficiencias, la 1denu caI
b'
to
a
1
enU
caCl
.
,.
d
del estado gl ob a1 d e o Je , d
b
esas deficiencias el d1agnOStlco e
. d
ue en su sanar
'
1
cin de las vlttu es que p
d
.
1 estado del obJ'eto y, en genera,
1 ., n pue a mejorar e
.,
los problemas cuya so UClO
d
elve el programa. Una evaluaclOn
. ., d 1 rco en que se esenvu
d d
.
la caractenzaClOn e ma
. d
. r SI'las metas y priori a es eX1S,
b' ,
' d stma a a examma
del contexto tam len esta.e
1
'd des que deben supuestamente,
,
C1a con as neceS1 a
,
1
ten tes estan en consonan
1 b'
tral los resultados de una eva ua.
e
sea
e
o
Jeto
cen
,
1
satisfacer. Cua l qUiera qu
.
b
o'lida para el ajuste (o e estaor ClOnar una ase s
.
cin del contexto d e b en pro.P .d d
ara la designacin de los cambios
blecimiento) de metas y pnon a es, y p
necesarios.
1 . , del contexto puede incluir una gran
' de una eva. uaC10n
La meto d o1ogla
d'
,
d1'versos tipos de ana'1"1SlS.El
.
d
1
objeto
e
mteres
y
1
variedad de va 1oraClOnes e
.
los clientes del estudio con e
'd
'
n es entrevistar a
punto de partl a mas com
. t acerca de las virtudes, los defectos y
fin de tener acceso a sus puntos de VIS.a
d 1 comunidad y las consiguien.
.
las reunlones e a
los problemas. L as au d 1enC1as, . d
r hiptesis adicionales acerca
tes entrevistas deben estar destlhn.a,as ~ genedrea ser utilizadas para construir
n
.
.
Estas 1potes1s pue
. d
de los cam b lOSnecesanos.
d
l' d a una muestra ctilda osad'
e
pue
e
ser
ap!Ca
o
un instrumento d e estu 10, qu
.,
lmente para todos aquellos
'd d
l' t S Y serVir mas genera,
'1' .
mente escogl a e c len e
,
d
l' ndo finalmente un ana 151S
.
d tos de entra a, rea Iza
que deseen proporcionar
a
Los informes ya existentes deben
separado de las respuestas de ~md
bO:figruPlos. odelos de trabajOo y la informa.,
. d para 1 entl car os m
ser tamb1en examma os
.,
d' nstico
especial. y contratarg
cin previa. Puede aplicars~ ~amb1benun tdest 1a y 'Juzgue el valor y el mrito
a
visIte o serve e cerc
.
d
se a un experto para que
d' 1 estudio un comit asesor representatlvo
e
de un programa. A 10 l~rgo e d int~rvenir en la clarificacin de las cueslos diversos grupos de clientes pue e ., d los resultados Una tcnica que
.
l'
la interpretaclOn
e
.
tlOnes eva uatlvas y en
1 D 1 h'
uede ser utilizada para asegurar
tienda hacia el consenso, c~mo a .e ~ 1,. P y debe existir un taller de tra.
acuerdos acerca de las necesidades pr~ontana~:
1 resultados
bajo que ayude a los clientes a estud~r y ap lCa:c~:s utilizacio~es construeti.
Una evaluacin del contextod.pue e tener m distrito escolar se comunique
vas. Puede proporcionar un me 10 para que un
con su pblico con el fin de alcanzar una concepcin compartida de las virtudes
y defectos del distrito, sus necesidades y oportunidades y sus necesidades prioritarias. Puede ser utilizada para convencer a una agencia de subvenciones de
que el proyecto propuesto se refiere a un rea de urgente necesidad, o convencer a un electorado de la necesidad de aprobar unos impuestos. Puede ser
utilizada para formular objetivos referentes al desarrollo del personal y/o
la revisin del currculo. Puede ser utilizada para seleccionar escuelas concretas que necesiten una ayuda prioritaria. Desde luego, a menudo puede ser
utilizado para ayudar a los estudiantes y a sus padres o asesores a centrar su
atencin en las reas de desarrollo que requieren ms progreso. Tambin
puede ser utilizada para ayudar a decidir cmo interrumpir programas, con
la esperanza de ayudar a la institucin a ser ms fuerte hacindose ms pequea. Creo que stos son ejemplos importantes de cmo una evaluacin del
contexto puede ayudar a individuos y grupos a establecer prioridades en los
trabajos de perfeccionamiento. Tambin puede utilizarse ms tarde, cuando es
necesario valorar lo que se ha conseguido a travs de! perfeccionamiento del
proyecto. Una base para juzgar los resultados consiste en valorar si responden
adecuadamente a las necesidades identificadas durante la evaluacin del contexto. Finalmente, la evaluacin del contexto es un medio pertinente para defender la eficacia de las propias metas y prioridades.
Evaluacin de entrada
La principal orientacin de una evaluacin de entrada es ayudar a prescribir
un programa mediante e! cual se efecten los cambios necesarios. Esto lo realiza identificando y examinando crticamente los mtodos potencialmente aplicables. Es una anunciadora del xito, el fracaso y la eficacia de un cambio. Los
proyectos de cambio estn limitados por decisiones iniciales acerca de cmo
deben asignarse los recursos, y una solucin a un problema, potencialmente
efectiva, no tiene ninguna posibilidad de impacto si un grupo de planificacin
no identifica y valora, por 10 menos, sus mritos, cuando se est estructurando
su proyecto de cambio .
Esencialmente, una evaluacin de entrada debe identificar y valorar los
mtodos aplicables (incluyendo los que ya estn operando en el principal programa de inters) y ayudar a explicar y desmenuzar el que se ha' escogido
para su aplicacin o continuacin. Tambin debe buscar las barreras que limitan e! marco ambiental de los clientes, las limitaciones y los recursos potencialmente utilizables que deben tenerse en cuenta en el proceso de activacin
del programa. El propsito global de una evaluacin de entrada es ayudar
a los clientes en la consideracin de estrategias de programa alternativas en el
contexto de sus necesidades y circunstancias ambientales, as como desarrollar
un plan que sirva a sus propsitos; otra importante funcin que desempea
L
')
')
198
Evaluacin
Stufflebeam:
es ayudar a los clientes a evitar la infructuosa prctica que consiste en perseguir

innovaciones propuestas que, sin duda, fracasarn o, por lo menos, acabarn
;,
1-
1.
'1
(l
con sus recursos.

Los mtodos que utiliza pueden ser descritos en una serie de etapas, aunque
no existe ninguna secuencia de pasos que puedan seguirse para realizar una
evaluacin de entrada. Puede empezarse revisando el estado de la prctica
con respecto a la satisfaccin de las necesidades especficas; esto puede hacerse
mediante el estudio de la literatura ms importante, el contacto con programas
ejemplares, la consulta con expertos y representantes del gobierno a propsito
de los pertinentes servicios de informacin y la aceptacin de propuestas del
personal implicado. Esta informacin debe ser ordenada en una planificacin
especial y sometida a la profunda investigacin de un grupo especial de estudio. Su investigacin debe llevarse a cabo durante un cierto perodo de tiempo
a travs de un grupo especial de decisiones, Este grupo puede utilizar las informaciones para valorar si existen estrategias de soluciones potencialmente
aceptables. Adems, puede valorar los mtodos propuestos Y su efectividad
y viabilidad potenciales, adems de aconsejar al personal y a la facultad acerca
de la bsqueda de una nueva solucin. Si se busca una renovacin, el cliente
y los evaluadores deben definir los criterios que debe cumplir esa innovacin,
estructurar una solicitud de propuestas, obtener diversas propuestas y valorarlas segn su efectividad y viabilidad potenciales, Ms tarde, los evaluadores
pueden analizar y ordenar las propuestas potencialmente aceptables y sugerir
cmo pueden combinarse las mejores caractersticas de cada una. Adems, los
evaluadores pueden llevar a cabo un modelo de audicin en la que el personal
y los administradores estn invitados a expresar sus intereses y hacer una
estimacin realista de los recursos y barreras que, de alguna manera, necesitan
abordar durante el proceso de designacin de la solucin.
La tcnica del grupo asesor es un procedimiento relativamente nuevo para
la realizacin de evaluaciones de entrada y merece una consideracin especial.
Esta tcnica es especialmente aplicable en situaciones en las que no se dispone
de los apropiados medios efectivos para satisfacer las necesidades especficas.
Se renen dos o ms grupos de expertos, fijan los objetivos por los que es necesario un programa, proporcionan especificaciones para la planificacin de las
propuestas del programa y orientan hacia los criterios mediante los que deben
ser juzgadas las diversas respuestas, Los informes del grupo asesor son valorados por un plantel de expertos y/o mediante test pilotos, de acuerdo con criterios preestablecidos. Las siguientes etapas implican a los miembros del conjunto de usuarios para que operen con las mejores caractersticas de las dos
o ms estrategias escogidas. Las ventajas de la tcnica del grupo asesor son
que proporciona: 1) un procedimiento explcito para generar y valorar diversas estrategias programticas; 2) un informe explcito acerca de por qu ha
sido escogida determinada estrategia de solucin; 3) un tribunal que utiliza las
diversas tendencias y la competitividad para una bsqueda constructiva de
la evaluacin
199
')
alternativa~; y 4) un medio para implicar al personal en el sistema ado

ya sean miembros del grupo asesor o mi b
dI'
ptado,
tvidades de convergencia y operacional~~ci~os e gr.upo que realIza la.s acn
de las distintas estrategias. Encontrar ms info qu~, SI~Ue? al ~rdenamlento
tcnico y los resultados de cinco tests d 1 r,ma.cIOn,InCuyen o un manual
Diane REINHARD (1972).
e a tecmca, en la tesis doctoral de
.,
Sistemtica
Las evaluaciones de entrada tienen muchas a lic
')
1
)
')
~;;'~',';/j~~::';,;::;:,;';;::'
;;:;:;:,::"~:::',u~:'l:;~,~n~,
d:ut~~:::
existente y decir si se opone a lo que se h'

s va orar un programa ya
la literatura. La evaluacin de entrad
ac~en o.~:asJartes y a lo que propone
escolar independiente de Dalla
a s.e a utllza ,o ta~bin en el distrito
locales de renovacin cuyos cSosctomo sls.tema para mvestlgar las propuestas
.
'
es preVIstos podan 11
d
1
benefiCIOSprevistos. Otra utilizaci'
.egar a exce er a os
un tribunal mediante los cuales n conslS~: e~ 'proporcIOnar una estructura y
llegar a un acuerdo en algn ti o d~r~~~~ lstonc~mente. antagnicos puedan
de una evaluacin de entrada;
d
1 n. Adema\ los mformes procedentes
un tipo de accin entre otras :a~i~i7i;ad~:. responsa les autorizados a escoger
')
')
')
)
)
)
)
Evaluacin del proceso
)
En esencia, una evaluacin del .
.,
realizacin de un pIan Uno d procebs? e.s una comprobacIOn continua de la
.,
.
e sus o jetlvos es pro'
'.
1
1
porCIOnar contmua InformaCIOn a los administrativos
actividades del programa siouen y a ~erson~ acerca de hasta qu punto las
un
haba planeado y utilizan lo"'s rec
ued~ nt~bol' se desarrollan tal como se
ursas lspom es de
fi '
tro
es
proporcionar
una
gUI'a
p'
d'fi
una manera e Clente,
O
ara mo 1 cal' o expl'
1 1
sea necesario puesto que no t d
1
lcar e p an tanto como
"
o os os aspectos de
1
d
nmados de antemano y algunas de las dec' ,
, ~n. p an pue en ser determs tarde, ser infructuosas Otro b"
ls;ones mlClales pueden demostrar,
,
'
o jetlvo mas es val r
' 'd'
que punto los que participan en loar
peno lcamente hasta
ar sus funciones Finalmente
e prolgrarr:~ aceptan y son capaces de desempe,
'
, una eva uaCIOndel pro
d b
'
extenso mforme del programa
1
ceso e e 'proporCIOnar un
lo con lo que se haba planific~u: re~ ~~nte se est llevando a cabo, compararcostes de su realizacin y sab
' ,es a , ecer un recuento total de los distintos
observadores como los part' ,el' como juzgan la calidad del trabajo tanto los
IClpantes
El eje central de una evaluaci~ del
proceso. Ocurre a menudo
1
Plroceso solvente es el evaluador del
que e persona de un P
f
'
ob tener una gua para su r l'
. 'd
rograma racasa al mtentar
ea IzaClOn y ocum t ' /
,
cual se debe a un fallo en 1
'
,/ d
en aCIOnpara sus actIvidades lo
/
a aSlgnacIOn e los t b'
A
'
erroneamente que los administrativos
ra aJos.
menudo, se asume
un adecuado trabajo de evaluaci
d Ylel personal pueden y deben realizar
n e proceso como parte normal de sus
)
)
)
)
)
(
)
)
)
)
)
)
)
)
.)
\
(
(
200
Evaluacin
Stufflebeam:
sistemtica
la evaluacin
201
(
(
(
(
(
("
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
{
t
(
t
1
funciones. Aunque de actividades rutinarias, como las reuniones de~ personal,

pueden surgir algunos anlisis y docum.e,ntacin, esto no es sufiC1ent~ par~
satisfacer los requisitos de una evaluaclOn del proceso solvente. Segun IDl
experiencia, estos requisitos slo pueden satisfacerse asignando a una o ~s
personas la tarea de realizar revisiones sobre la marcha, y de encontrar informacin continua y documentacin.
El evaluador del proceso tiene mucho trabajo que hacer en un programa.
Lo que sigue est concebido como una ilustracin de lo que puede hacer. Primero el evaluador del proceso puede revisar el plan del programa y cualquier
evalu'acin anterior en la que puede basarse para identificar aspectos importantes del programa que debe ser controlado. Algunos ejemplos de 10 que
puede identificarse son las reuniones de trabajo del personal, el ~esarrollo y
la puesta en marcha del conjunto de materiales, las recomendaclOnes a los
estudiantes, la relacin con los padres, los servicios de tutoras, las sesiones
de planificacin del personal, las habilidades conjun~as de los estudi~~tes,. ,la
enseanza en las aulas, los viajes didcticos, el trabajo en casa y la UtlhZaClOn
de los tests diagnsticos. Otro medio para identificar 10 que debe investigar
es que el evaluador forme un grupo a~esor, que sea a~pl~amente repre~entativo de quienes participan en el trabaJo, y al que penodicamente le pl~a la
identificacin de problemas y cuestiones que deben plantearse. Otras cuestlOnes
importantes se le ocurrirn al evaluador observando las actividades del programa.
.
Teniendo en cuenta los problemas y cuestiones que hemos menclOnado,
el evaluador del proceso puede desarrollar un esquema general de las actividades de recopilacin de datos y empezar a llevarlas a cabo. Inicialmente, esto
debe realizarse tan discretamente como sea posible para no molestar al personal
del programa o interferir en su camino. Ms tarde, a medida que se va desarrollando, el evaluador del proceso puede utilizar ya un mtodo ms estructurado. Al principio, el evaluador del proceso puede intentar trazar un panorama acerca del funcionamiento del programa visitando y observando los centros
de actividad, revisando los documentos del programa, asistiendo a las reuniones del personal y entrevistndose con sus principales representantes.
Luego, el evaluador del proceso puede preparar un breve informe que resuma el plan de recopilacin de datos, analice lo que se est aprendiendo y
subraye los problemas clave. El informe puede entonces presentarse en una
reunin del personal e invitar al director a que presida una discusin acerca de
l y utilizarlo para una revisin del programa que el personal y l consid~ren
adecuada. Ms tarde, en la reunin, el evaluador del proceso puede anahzar,
junto con el personal, sus planes para una futura recopilacin de datos y el
consiguiente informe. Puede preguntarles qu opinan de la informacin que
pueda resultar til en un prximo encuentro, as como pedirles que le su~ieran
algo acerca de cmo obtener mejor ciertas informaciones, como observaclOnes,
diarios del personal, entrevistas o cuestionarios. Basndose en la informacin
del personal, el evaluador puede proyectar futuras sesiones informativas, modificar tanto como sea conveniente el plan de recopilacin de datos y actuar
en consecuencia. Debe demostrar continuamente que el propsito principal
de la evaluacin de un proceso es ayudar al personal a llevar a cabo su programa, a travs de una especie de proceso de cualificacin. A 10 largo de este
proceso interactivo, el evaluador debe preparar y archivar informes acerca de
su opinin sobre cmo est realizndose el plan del programa. Debe describir
las principales desviaciones del plan original, y debe especialmente tomar nota
de las variaciones experimentadas por el programa en lo que se refiere a las
distintas personas y subgrupos que llevan a cabo el plan. Tambin debe caracterizar la actividad de la planificacin y trazar la evaluacin del plan bsico
en el que se basa el programa.
La principal misin de la evaluacin del proceso es obtener continua informacin que pueda ayudar al personal a llevar a cabo el programa tal como
estaba planeado o, si se considera que el plan es inadecuado, modificarlo tanto
como sea necesario. Algunos administradores ven las reuniones informativas
regulares sobre la evaluacin del proceso como un medio de mantener al personal alerta y al corriente de sus responsabilidades. Los informes sobre la
evaluacin del proceso son tambin tiles para la contabilidad, puesto que las
agencias de subvenciones, las juntas polticas y los clientes desean saber, por
lo general, si se han realizado las inversiones que haban propuesto. Las evaluaciones del proceso pueden tambin ayudar a las audiencias exteriores a
saber qu se hace con un programa, por si tienen que realizar uno similar.
y una evaluacin del proceso es un fuente de informacin vital para interpretar los resultados de la evaluacin del producto, puesto que considerando la
realidad de los resultados del programa, se puede desear saber qu actividades
se han realizado para llevar a cabo el plan del programa.
Evaluacin
del producto
El propsito de una evaluacin del producto es valorar, interpretar y

juzgar los logros de un programa. La continua informacin acerca de estos
logros es importante tanto durante el ciclo de un programa como en su final,
y la evaluacin del producto debe, a menudo, incluir una valoracin de los efectos a largo plazo. El principal objetivo de una evaluacin del producto es
averiguar hasta qu punto el programa ha satisfecho las necesidades del grupo
al que pretenda servir. Adems, una evaluacin del producto debe ocuparse
ampliamente de los efectos del programa, incluyendo los efectos deseados y no
deseados, as como los resultados positivos y los negativos.
Una evaluacin del producto debe recoger y analizar juicios acerca del
xito del programa, procedentes de una amplia gama de gente relacionada
con el programa. A veces deben compararse los resultados del programa que
}
202
se ha estudiado con los de otros programas alternativos. Frecuentemente, el

cliente necesita saber por qu la comparacin de los logros con los objetivos
previamente fijados y el alcance de los resultados son ms importantes que lo
que ha costado alcanzarlos. Por lo general, es ms importante ofrecer interpretaciones de hasta qu punto el fracaso en la consecucin de los objetivos o la
satisfaccin de las necesidades estn relacionadas con un fracaso en la realizacin del plan del programa. Finalmente, una evaluacin del producto debe, por
10 general, examinar los resultados desde muchos puntos ventajosos: en conjunto, haciendo subgrupos de destinatarios, que pueden ser diferenciados por
las necesidades satisfechas y los servicios recibidos, y a veces por individuos.
Un resultado relacionado con un individuo puede ser clasificado como un
xito o un fracaso segn haya satisfecho o no una necesidad previamente diagnosticada del individuo; esta evaluacin del producto en el nivel individual
tambin permite que se junten los individuos para as conseguir un ndice
global del xito del programa en lo que se refiere a la satisfaccin de las necesidades colectivas y diferenciales de los individuos.
No existe una serie algortmica para realizar una evaluacin del producto,
pero hay muchos mtodos que pueden aplicarse. En general, debe utilizarse
una combinacin de tcnicas para obtener una visin amplia de los efectos
y proporcionar comprobaciones de los diversos resultados. Lo que sigue est
concebido para ilustrar la gama de tcnicas que pueden ser empleadas.
Los evaluadores del producto pueden empezar valorando el trabajo con relacin a algunas normas previamente escogidas. Estas valoraciones pueden
hacerse basndose en tests de rendimiento comparados a un perfil de las necesidades previamente valoradas, en pre-tests de rendimiento, en normas seleccionadas, estandarizando logros concretos o en el rendimiento de un grupo
de control. Los tests utilizados pueden ser tests objetivos ya publicados, especialmente tests referidos a criterios o tests de rendimiento aplicados (vase
SANDERS, 1977). Las valoraciones del trabajo pueden tambin estar basadas en
las valoraciones hechas por observadores, directivos y/o los propios destinatarios del programa. Y los expertos pueden valorar los productos del trabajo
y compararlos con los esquemas de las necesidades previamente fijadas por
los destinatarios del programa.
Para valorar el trabajo ms all de lo relacionado con los resultados buscados, los evaluadores necesitan realizar una bsqueda intensiva de resultados
inesperados, tanto positivos como negativos. Pueden organizar audiciones o
entrevistas en grupo para generar hiptesis acerca de la gama completa de
resultados y continuar con investigaciones clnicas destinadas a confirmar o
desmentir las hiptesis. Pueden realizar estudios de casos concretos basndose en experiencias de una muestra de personas cuidadosamente seleccionada
con el fin de obtener una profunda visin de los efectos del programa. Pueden
interrogar, telefnicamente o por correo, a una muestra de participantes para
enterarse de sus opiniones acerca del proyecto y sus puntos de vista acerca de
203
')
')
los resultados, tanto positivos como negativos. Pueden pedir a los participantes que r :esenten ejemplos concretos, como algo que hayan escrito, de cmo
ha influi~1 el proyecto en su trabajo. Pueden recurrir a observadores que
examinen el trabajo del programa y de los grupos de cotejo, y que desarrollen
y hagan efectivos tests que diferencien sus trabajos, ofreciendo as un punto
de vista sobre los pros y los contras de sus contribuciones (vase BRICKELL,
1976). Pueden identificar y examinar los resultados del programa con relacin
a un amplio inventario de resultados que han sido observados en programas
similares. Como ejemplo final, pueden organizar un juicio con jurado con
el fin de presentar y examinar todas las evidencias disponibles que reflejan
el xito o el fracaso del programa (vase WOLF, 1974).
El informe sobre los resultados de una evaluacin del producto puede
desarrollarse en distintas etapas. Los informes intermedios pueden ser presentados durante cada ciclo del programa para indicar hasta qu punto estn
siendo planteadas y satisfechas las necesidades fijadas. Los informes final-decido pueden resumir los resultados alcanzados e interpretarlos a la luz de las
necesidades pre-valoradas, el coste y los puntos del plan que se han cumplido.
Los informes subsiguientes pueden tambin presentarse para indicar si se han
conseguido algunos efectos a largo plazo. En estos informes, los resultados
deben ser analizados en su conjunto, por subgrupos e individualmente.
La utilizacin bsica de una evaluacin del producto es determinar si un
programa concreto merece prolongarse, repetirse y/o ampliarse a otros mbitos.
Tambin debe proporcionar una gua para modificar el programa con el fin de
que sirva mejor a las necesidades de todos los miembros interesados y resulte
ms efectivo con relacin a su coste. Desde luego, debe ayudar a quienes puedan
adoptar el programa en el futuro a decidir si merece una seria consideracin.
Las evaluaciones del producto tienen implicaciones psicolgicas, puesto que
al mostrar signos de evolucin y/o superioridad a los competidores, refuerzan
el trabajo tanto del personal como de los destinatarios del programa; asimismo,
pueden reducir el entusiasmo cuando los resultados son malos. La informacin
procedente de la evaluacin del producto es un componente esencial de cualquier informe de contabilidad y, cuando se evidencian logros significativos,
puede ayudar a conseguir apoyo financiero y poltico adicional por parte de
la comunidad y de las agencias de subvenciones. Cuando esta informacin
revela que no se ha avanzado mucho con relacin a los costes, la evaluacin
del producto puede ayudar a evitar la continuacin de inversiones infructuosas
en el programa. Adems, un informe sobre los resultados obtenidos, especialmente con relacin al mtodo utilizado y a los costes, puede ayudar a otros
evaluadores a decidir sobre la conveniencia de abor~ar una accin similar.
Los comentarios precedentes indican que la evaluacin del contexto, de
e~trada, del proceso y del producto desempean funciones nicas, pero tambl~ que e~is.te una relacin simbitica entre ellas. Ello demuestra que pueden
aplIcarse dlstlntos mtodos a cada tipo de evaluacin. Pero esto no est rela-
}
')
,
')
}
')
')
')
)
)
)
)
)
)
)
)
)
.)
)
)
(
)
)
)
)
)
)
)
)
')
204
205
('
(
(
cionado con el problema prctico del evaluador: decidir qu mtodos hay

que emplear en un estudio determinado. Trataremos este problema en el si.
guiente apartado de esta unidad.
f
(
El diseo de evaluaciones
Para saber cmo realizar una evaluacin -ya se trate de una evaluacin
del contexto, de entrada, del proceso o del producto (o algn tipo de combi.
nacin entre ellas)- el evaluador necesita, obviamente, planificar el trabajo
que debe hacer. Esto supone preparar los planes preliminares y luego modificarlos y explicarlos a medida que avance el estudio. Estos planes deben
incluir una amplia gama de elecciones referentes a la realizacin de la evaluacin, como por ejemplo las audiencias y cuestiones clave; si es ms apropiada
una evaluacin del contexto, de entrada, del proceso y/o del producto; el
objeto que debe ser valorado; el tiempo y lugar del estudio; el alcance y
naturaleza de los controles que deben imponerse; las comparaciones que deben
hacerse; las fuentes de informacin necesarias; los mtodos, instrumentos y
esquemas de la recopilacin de datos; las formas y procedimientos de designar,
archivar y conservar la informacin; los mtodos de anlisis e interpretacin;
las disposiciones para comunicar los resultados; y los criterios y acuerdos para
valorar los resultados de la evaluacin. Las decisiones acerca de estas actividades evaluativas son la base de la contratacin y financiacin del trabajo evaluativo, del trato con las instituciones implicadas, de la bsqueda de personal
para el estudio y de la programacin y direccin de las actividades de ese
personal.
Podemos desear que los evaluadores pongan fin a sus decisiones acerca de
la planificacin al principio, y luego las sigan fielmente. De cualquier forma,
las cualidades dinmicas e interactivas de muchas evaluaciones y la orientacin de su servicio hacen difcil, si no imposible, la proyeccin correcta y a
largo plazo de las necesidades informativas especficas. Como consecuencia, los
planes tcnicos para la recopilacin de datos y su anlisis anteriores al inicio
de un estudio, estn basados, a menudo, en presuposiciones errneas y resultan
ser, al final, inapropiados o incompletos. Un rgido seguimiento de la planificacin evaluativa original -especialmente
si se ha definido en trmino~ especficos- a menudo va en detrimento de la utilidad del estudio al dirigirlo
hacia cuestiones equivocadas, guiarlo mediante presuposiciones errneas y/o
convencer a los miembros de la audiencia de que el evaluador utiliza una
orientacin idealizada.
Por lo tanto, los evaluadores se enfrentan a un dilema. Por una parte,
necesitan disear cuidadosamente sus actividades evaluativas con el fin de realizarlas con eficiencia y aceptable rigor, as como para convencer a sus clientes
de que saben lo que estn haciendo. Por otra, necesitan un mtodo evaluativo
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
{
(
(
~
(
(
flexible y realizar una revisin y modificacin peridicas del diseo para que
la evaluacin siga respondiendo a las necesidades de las audiencias. Este dilema es especialmente problemtico para los evaluadores, puesto que los clientes, a menudo, esperan o exigen diseos tcnicos definitivos y ms tarde se
desilusionan cuando un rgido seguimiento de! diseo original proporciona
mucha informacin que no resulta til por demasiado tiempo. A menudo, los
clientes perciben que, de algn modo, los evaluadores deban haber sido ms
inteligentes al proyectar las necesidades informativas y ms habilidosos al
planear las actividades de recopilacin de datos.
Para enfrentarse a este dilema los evaluadores deben abordar el diseo
como un proceso, no como un producto, y necesitan conducir a sus clientes a
hacer lo mismo. Las metas y procedimientos evaluativos deben ser esquematizados de antemano, pero tambin analizados, revisados, ampliados y modio
ficados peridicamente. Fundamentalmente,
este proceso debe estar guiado
por un concepto justificable de lo que es una evaluacin solvente, por una
sensibilidad a los factores de! mundo real que a menudo interfieren en e!
trabajo evaluativo y por una comunicacin continua entre los evaluadores y
sus audiencias, acerca de la pertinencia y propiedad de la planificacin.
Al principio del proceso, creo que es importante escuchar e investigar.
Quines son los principales clientes? Qu piden de la evaluacin? Por
qu? Qu tipo(s) de evaluacin (del contexto, de entrada, del proceso o del
producto) puede(n) ser ms efectivo(s)? Cmo creen los clientes que debe ser
realizada la evaluacin? Qu perspectivas tienen en mente? Quines consideran que son la audiencia principal? Quin puede salir perjudicado a consecuencia de la evaluacin? Por qu? Qu cooperacin ser esencial? De qu
informacin se dispone? Cules son los antecedentes? Desde un punto de
vista realista, qu beneficios positivos pueden esperarse de la evaluacin?
Qu efectos nocivos pueden producirse, y cmo pueden ser evitados? Qu
cualificaciones se requieren para realizar el trabajo? Y as sucesivamente. Siempre que sea posible una eleccin, los evaluadores deben plantearse cuestiones
como stas antes de decidir si una evaluacin puede realizarse o si se dan las
condiciones apropiadas para hacerla.
Cuando haya asumido una decisin positiva para seguir adelante, e! evalua.
dor debe hacer un esquema global del plan. Este plan debe tener en cuenta
que el evaluador conoce e! marco de desarrollo y las necesidades concretas de
la ~valuacin, y que debe ajustarse a las normas generalmente aceptadas para
la realizacin de una evaluacin solvente. Adems, debe hablar, por lo menos
de un modo general, de toda la gama de tareas que debe realizar.
La tabla 6-4 proporciona una visin general de los puntos que deben ser
abordados en un diseo eval~ativo. Estos puntos son aplicables al desarrollar
el plan inicial o ms tarde, al revisarlo o explicarlo. Desde luego, slo sirven
como indicacin general de la informacin detallada que probablemente deber
ser proporcionada a la hora de operativizar el diseo.
T.,".
')
.';"
I
206
5tufflebeam:
la evaluacin del perfeccionamiento
')
207
')
TABLA
6-4.
Esquema de documentacin
de las planificaciones evaluativas
Anlisis de la tarea
Definicin del objeto de la evaluacin
Identificacin del cliente y las audiencias
Propsto(s) de la evaluacin (perfeccionamiento del programa, responsabilidad
y/ o comprensin)
Tipo de evaluacin (del contexto, de entrada, del proceso o del producto) que
va a emplearse
Principios de una evaluacin solvente (utilidad, viabilidad, propiedad y exactitud) que deben ser observados
Plan para la obtencin de informacin
Estrategia general (examen, estudio de casos concretos, grupos asesores o
experimentos)
Presuposiciones de trabajo que sirvan de gua para la valoracin, el anlisis
y la interpretacin
Recopilacin de informacin (muestreo, instrumentalizacin y recopilacin de
datos)
Organizacin de la informacin (codificacin, archivo y conservacin)
Anlisis de la informacin (tanto cualitativa como cuantitativa)
Interpretacin de los resultados (identificacin de las normas y elaboracin
de los juicios)
Plan para el informe sobre los resultados
Preparacin de los informes
Difusin de los informes
Previsin para continuar las actividades con el fin de promover el impacto
de la evaluacin
Plan para la administracin del estudio
Resumen del programa evaluativo
Plan para satisfacer los requisitos econmicos y los del personal
Previsin para la metaevaluacin
Previsin para renovaciones peridicas de la planificacin evaluativa
Presupuestos
Memorndum de compromisos o contratos
La formulacin del diseo requiere que el cliente y los evaluadores colaboren, desde el principio, cuando deban acordar la realizacin de una tarea.
El cliente necesita identificar .el objeto, por ejemplo el programa que va a
ser evaluado, y el evaluador puede ayudar conduciendo al cliente hacia una
definicin clara y realista de los lmites en los que debe desenvolverse. El
cliente es la fuente principal para identificar los distintos grupos que tienen
un inters potencial en el estudio, pero el evaluador tambin necesita basarse
en las audiencias potenciales y pensar en la evaluacin en el contexto social

correspondiente con el fin de identificar toda la gama de audiencias legtimas.
El cliente y las dems audiencias necesitan identificar el propsito del estudio
--esto es, indicar qu informacin necesitan y cmo piensan utilizarlay el
evaluador necesita conseguir cuestiones clarificadoras para clasificar los distintos (y quiz enfrentados) propsitos y dejar que el cliente asigne las prioridades. El evaluador necesita indicar qu tipo(s) general(es) de estudio(s) (del
contexto, de entrada, del proceso y/o del producto) parece necesario, y el
cliente debe confirmar esta eleccin general o ayudar a modificarla. Para terminar la tarea, el evaluador necesita dejar claro que la evaluacin estar condicionada a una serie de normas, y debe pedrsele al cliente que ayude a seleccionar y asignar las prioridades de las normas aplicables.
Bsicamente, el plan para la obtencin de informacin debe ser desarrollado por el evaluador, pero debe ser sometido a una cuidadosa revisin por
parte del cliente, que lo modificar en consecuencia. El evaluador debe proporcionar un panorama de la estrategia general que va a emplear (por ejemplo, exmenes, estudios de casos concretos, visitas, grupos asesores, bsqueda
continua de efectos, audiencias contrapuestas y experimentos) y de los planes
tcnicos para la recopilacin, organizacin y anlisis de la informacin necesaria. Aunque los clientes deben, por lo menos, reaccionar ante estos planes
tcnicos, deben ejercer una influencia mayor a la hora de decidir cmo deben
ser interpretados los resultados (por ejemplo, respecto a los objetivos, respecto
a los resultados de las valoraciones de necesidades anteriores, basndose en
el juicio profesional del evaluador o a travs de algn tipo de procesos de
grupo formales): El evaluador y el cliente deben prever que el plan para la
obtencin de informacin cambiar y se ampliar, probablemente, en el curso
de la evaluacin, puesto que aparecen nuevas audiencias y cambian los requisitos informativos.
La parte del diseo evaluativo dedicada a informar sobre los resultados
debe estar concebida para su utilizacin. El cliente y la audiencia deben participar en la proyeccin de los contenidos y el clculo de los informes necesarios.
Deben tambin ayudar ~ planear cmo deben ser difundidos los resultados
(organizados, presentados, comunicados, examinados, revisados y documentados para su utilizacin posterior). Adems, el cliente y el evaluador deben
considerar seriamente si el evaluador puede desempear un papel importante,
ms all de la comunicacin del informe final, ayudando al cliente y a la audiencia a aplicar los resultados en su trabajo. En conjunto, el plan para la
realizacin de informes debe estar destinado a promover el impacto a travs
de cualquier medio que se considere apropiado (por ejemplo, informes orales
y audiciones, informes mltiples dirigidos a audiencias especficas, conferencias de prensa, sociodramas para representar y examinar los resultados y talleres de trabajo destinados a la aplicacin de los resultados).
La parte final del diseo, el plan para la administracin del estudio, est
)
}
')
J
)
)
')
')
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
,
(
208
209
(
(
(
(
(
(
(
{
(
(
(
(
(
(
(
orientada a operar con los planes tcnicos y conceptuales. El evaluador necesita identificar y esquematizar las tareas evaluativas, de acuerdo con las necesidades del cliente y teniendo en cuenta las limitaciones prcticas. Es necesario identificar al personal que realizar el trabajo evaluativo y los recursos
especiales que se utilizarn (como el espacio de trabajo y las facilidades para
el proceso de datos); y el cliente necesita estar seguro de que el p~rso.nal
propuesto goza del necesario nivel de credibilidad exigido por las audienclas.
El evaluador y el cliente necesitan estar de acuerdo en el modo en qu.e se
valorarn, comparndolos con unas normas comunes, los planes evaluat~vos,
los procesos y los informes. Tambin deben estar de acuerdo en el mecamsmo
por el que peridicamente se revisa, actualiza y documenta el desarrollo del
diseo evaluativo. Necesitan proponer un presupuesto realista. Y, desde mi
punto de vista, deben resumir y formalizar sus acuerdos generales a~erca de
la forma y funcin de la evaluacin en un memorndum de compromlso o un
contrato.
El anterior comentario de la tabla 6-4 es, necesariamente, muy general, pero
indica que disear una evaluacin es un trabajo complejo e interminable. Se
recomienda una colaboracin continua entre el evaluador y el cliente, y se
destaca la importancia del desarrollo del diseo evaluativo con el fin de satisfacer las necesidades informativas que se presentan. Tambin se destaca la
necesidad de mantener la integridad profesional en el trabajo evaluativo.
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
Metaevaluacin
y normas
Este ltimo punto expone la necesidad de evaluar las evaluaciones. Si las

evaluaciones deben proporcionar una gua oportuna, las propias evaluaciones
deben ser solventes. Entre otras consideraciones, deben centrarse en las cuestiones adecuadas, ser exactas en sus definiciones, no ser tendenciosas, ser comprensibles y ser justas para aquellos cuyo trabajo se est examinat:do. Valorar
las evaluaciones segn estas consideraciones es adentrarse en la literatura que
trata el tema de la metaevaluacin (SCRlVEN, 1972; STUFFLEBEAM,1975), que
abarca, entre otros, los criterios, procesos y tcnicas utilizados para evaluar
evaluaciones.
Si los evaluadores y sus clientes deben emplear y utilizar los resultados de
las metaevaluaciones de un modo efectivo, deben estar de acuerdo acerca de
los criterios para la valoracin de evaluaciones. Hasta muy recientemente, la
determinacin de estos criterios dependa de las concepciones y las discusiones
de los diversos evaluadores y sus clientes. Recientemente, sin embargo, se
han desarrollado ms recursos para la adopcin de principios ms ampliamente
compartidos acerca de 10 que debe ser una evaluacin solvente. Se trata de los
Standards lor Evaluations 01 Education Program, Proiects, and Materials (Joint
Committee, 1981), ya mencionados en la unidad 1. Durante un perodo de
cI::o aos, un comit que tuve el privilegio de dirigir, representado por doce
organizaciones profesionales, desarroll estas normas (Standards).
Las metaevaluaciones que se llevan a cabo, en este pas y en otros, utilizando las Normas como criterio para los juicios, indican que los contenidos
de las Normas forman una base sustancial para la metaevaluacin. Si un evaluador (o un grupo evaluador) realiza una utilizacin sensata de las Normas,
junto con los clientes, tanto antes como despus de un estudio evaluativo, el
resultado ser una evaluacin slida y convincente. Una aplicacin as de las
Normas ayuda a asegurar que el informe final de la evaluacin ser til, viable,
exacto y vlido.
Conclusin
Michael Scriven dijo una vez que la evaluacin es una operacin tmida.
Y yo me he acordado a menudo de la advertencia bblica: No juzgues y no
sers juzgado.
Pero la evaluacin es tambin una necesaria faceta del perfeccionamiento.
No podemos mejorar nuestros programas a menos que sepamos cules son sus
puntos dbiles y fuertes y a menos de que dispongamos de mejores medios.
No podemos estar seguros de que nuestras metas son vlidas a menos que podamos compararlas con las necesidades de la gente a la que pretendemos servir.
No podemos realizar una planificacin efectiva si no conocemos bien las opciones y sus mritos relativos. Y no podemos convencer a nuestros clientes
de que hemos hecho un buen trabajo que merece un apoyo econmico continuado a menos de que les mostremos evidencias de que hemos hecho 10 que
prometimos y que ello ha producido resultados beneficiosos. Por estas y otras
razones, los servicios pblicos deben someter su trabajo a una evaluacin
competente. Debe ayudrseles a diferenciar 10 bueno de 10 malo, a marcar el
camino para el perfeccionamiento necesario, a ser responsables con sus patrocinadores y clientes, y a alcanzar una mayor comprensin de su especialidad.
Esta unidad ha insistido en la funcin perfeccionista de la evaluacin. Se
ha hablado del modelo CIPP, se ha mostrado su desarrollo, se ha contrastado
con otros mtodos, se ha demostrado cmo puede utilizarse para conducir al
perfeccionamiento y servir a las necesidades de la responsabilidad y se han
expuesto sus conceptos principales. Se ha proporcionado una gua general para
la planificacin de los estudios evaluativos. Adems, haciendo referencia al
Standards lor Evaluations 01 Educational Programs, Proiects, and Materials
(Joint Committee, 1981), la unidad ha situado el modelo CIPP dentro de 10
que parece ser un naciente consenso acerca de 10 que es una buena y beneficiosa evaluacin.
IV
"'~J
.-r'
)
')
210
211
)
... Res~uesta
correcta.
Debe usted haber seleccI'onado 1a b. Esta descrip. d
d
Clon esta e acuer o con lo que se dice en el texto.
Este test de conocimientos contiene diecisis cuestiones con mltiples respuestas posibles, para que usted elija una. El propsito de estas cuestiones es
ayudarle a saber si ha alcanzado los objetivos de conocimiento de esta unidad.
En cada cuestin, seleccione la respuesta que considere acertada. Luego compare su eleccin con la explicacin que le proporcionamos.
Cuando haya terminado de responder a todas esas cuestiones, podr calificar e interpretar (y, si se da el caso, mejorar) su trabajo global. Luego deber
intentar realizar unas cuantas cuestiones prcticas. La unidad concluye con
una serie de preguntas sin respuesta Y una lista de lecturas recomendadas.
PREGUNTA1. Con qu secuencia y sobre qu base llega Stufflebeam a los

conceptos de evaluacin del contexto, de entrada, del proceso y del producto?
Contexto, entrada, proceso y producto. El desarrollo es totalmente conceptual. Stufflebeam identifica una secuencia de estudios evaluativos necesarios para planificar y realizar un proyecto renovador.
b)
Producto, proceso, contexto y entrada. Stufflebeam empieza con la recomendacin tyleriana de comparar los resultados con los objetivos (evaluacin del producto); luego aplica la evaluacin del proceso para satisfacer las necesidades administrativas acerca del perfeccionamiento de sus
proyectos; luego aplica la evaluacin del contexto como respuesta a la
crtica de que su mtodo fracasa al proporcionar una base para juzgar
las metas; y finalmente aplica la evaluacin de entrada para subsanar lo
que los otros tres tipos han omitido respecto a los propsitos evaluativos.
e)
Proceso, contexto, entrada y producto. Stufflebeam empieza con la sugerencia de Cronbach de que las evaluaciones deben estar concebidas para
el perfeccionamiento de los currculos y concentrarse as en el proceso;
luego aplica la evaluacin del contexto para conciliar sus intereses investigativos; luego aplica la evaluacin de entrada para reflejar su experiencia en la elaboracin de propuestas junto al personal de las facultades
de Columbus; y aplica la evaluacin del producto para estimular al gobierno a que aumente su inters en la evaluacin de los resultados.
d)
En realidad, Stufflebeam desarrolla estos conceptos simultneamente despus de reflexionar sobre sus tres aos de experiencia en las facultades de
Columbus, ayudando a evaluar sus proyectos ESEA.
a)
')
)
')
a) Es incorrecta porque la secuencia es errnea y porque los cuatro conce -
e)
d)
tos los hemos desarrollado basndonos en el desarrollo conceptual

?
deTyler, nuestra experiencia prctica en Columbus, la informacin ~~;t:IO
lca
d e ~uestros colegas y la lgica.
Es lDcorrecta P?rque la secuencia es errnea y porque las cuatro razones
que. se proporClonan no coinciden con el texto.
ESdlDcorlrecta porque Stufflebeam identifica la secuencia mediante la cual
or ena os cuatro conceptos.
)
')
)
')
')
)
PREGUNTA
.
comit
PDK 2 . e'C ua,'1 dI'e as dSlgUIentesafirmaciones
no es considerada por el
como un Slntoma e la enfermedad evaluativa?
')
a) Los educadores se pre ocupan muc h o ante 1a perspectiva de que evalu'en
b)
sus programas.
Los educadores confan mucho en la capacidad dI'
zar evaluaciones solventes.
e os expertos para re ah-
e)
~i~~~~c~~:va:~tudiOShan fracasado a la hora de descubrir informaciones
.
f
d) Aunq
res g~~e:~a~~~~:~:~ on~os para eva~uar sus proyectos, los patrocinado-
la realizacin de 1
nO a~ proporclOn~do unas directrices claras para
as eva luaClOnes necesanas.
)
Respuesta
comit
PDK bcorrecta . Debe
1 us t e d h ab er sel'eCClonado la b. En realidad el
o serva que os educadore
' .
'
pertos pudieran llegar a un
d
sberan esceptIcos acerca de que los exacuer o so re qu el"
1
mucho menos dirigir estudios q
d'
d s una eva uaClOn so vente y
sus trabajos.
ue pu leran ayu ar a los educadores a realizar
)
)
)
)
Respuestas incorrectas L
sntomas mencionados po; el a;o::~u~~~
evaluativa.
'! ~ subrayan todos los

como lDdlCatIvos de la enfermedad
a, ~
)
)
)
PREGUNTA3 . e'C ua'1 d e 1as SIgUIentes

. .
afirmaciones
'1
. ,
una probable
consecuenCI'a d e l'd en ti'ficar la evalu ' .,segun e l'comIte PDK,
es
.
..
expenmental?
aClOn con a mveStIgacln
)
)
)
)
)
f
(
212
b)
e)
{
(
d)
(
(
sistemtica
8tufflebeam:
a)
b)
e)
(
(
(
b)
c)
Es incorrecta porque la planificacin experimental exige, por lo general,

que los tratamientos sean constantes durante el perodo de experimentacin, y porque los experimentos producen resultados slo al final del
ciclo del proyecto.
.
Es incorrecta porque la planificacin experimental no proporClOna valoraciones ni juicios acerca de las metas.
Es incorrecta porque la planificacin experimental se centra en ms de un
tratamiento y valora el producto oponindolo al proceso.
b)
e)
d)
PREGUNTA4. Cul de las siguientes afirmaciones, de acuerdo con el comit PDK, caracteriza mejor las limitaciones de la base lgica tyleriana enfrentndola a la evaluacin de los proyectos ESEA?
a)
(
(
(
b)
e)
d)
Ofrece pocas directrices para la definicin explcita de las normas del

xito.
Separa radicalmente la evaluacin del proceso de perfeccionamiento de la
enseanza.
Genera preocupaciones con su insistencia de evaluar la validez de los objetivos de los evaluadores.
Concentra su esfuerzo en valorar los resultados post-proyecto.
(
(
(
t
(
t
f
213
Es incorrecta porque este mtodo proporciona un plan especfico para la

definicin de los objetivos que se pretenden alcanzar en un proyecto.
Es incorrecta porque el mtodo define la evaluacin como parte del proceso de desarrollo de currculos.
Es incorrecta porque, por el contrario, el mtodo ty1eriano no atiende a
la validez de los objetivos de los evaluadores.
Los evaluadores no incluyen debidamente los datos recogidos en el micronivel de un sistema con el fin de que estos mismos datos puedan ser utilizados para ayudar en la toma de decisiones del macronivel del sistema.
Los evaluadores no determinan qu informacin es necesaria en cada nivel
del sistema antes de planificar su recopilacin de datos y las actividades
del anlisis.
Los evaluadores no controlan los niveles de inters de sus informes evaluativos.
Los evaluadores no separan adecuadamente los datos recogidos en el
macronivel de un sistema con el fin de que esos mismos datos puedan
ser utilizados para responder a cuestiones especficas en los microniveles
de ese mismo sistema.
Respuesta correcta. Debe usted haber seleccionado la b. El problema de

los niveles es que los evaluadores no saben determinar qu informacin es
necesaria para distintas audiencias antes de planificar la recopilacin de datos,
el anlisis y las actividades del informe.
a)
c)
Respuesta correcta. Debe usted haber seleccionado la d. Esencialmente,

la evaluacin tyleriana exige la valoracin de la coincidencia entre resulta~os
y objetivos, como muy bien ilustra el relato de Stufflebeam acerca de su ffitento de utilizar este mtodo para evaluar los proyectos ESEA en Co1umbus.
A menudo, la evaluacin ty1eriana no puede proporcionar la informacin continua necesaria para guiar el desarrollo de los proyectos.
PREGUNTA5. Cul de las siguientes afirmaciones caracteriza mejor el problema de los niveles?
a)
a)
la evaluacin
nados , basndose en una informacin continua procedente de la evaluacin.

La evaluacin proporcionar informacin explcita para la valoracin de
las metas del proyecto.
La evaluacin proporcionar resultados de profundos estudios de casos
concretos relativos a la operacin de planificar un solo proyecto.
La evaluacin proporcionar resultados relativamente inequvocos respecto al trabajo de aplicacin de distintas planificaciones de proyectos.
Respuesta correcta. Debe usted haber seleccionado la d, Es la nica de

las cuatro opciones que cita el comit PDK como una ventaja del mtodo
experimen tal.
(
(
Evaluacin
a) Los proyectos que se evalan son frecuentemente modificados y perfeccio-
(
(
d)
Es incorrecta porque asume incorrectamente que los datos recopilados

que sirven a las necesidades del micronivel de un sistema, si se incluyen
debidamente, sern suficientes para servir a las necesidades de niveles ms
altos de ese mismo sistema.
Es incorrecta porque trata de un problema distinto al llamado problema
de los niveles.
Es incorrecta por dos razones. Asume incorrectamente que los datos recopilados para responder a las cuestiones de un nivel pueden ser separados para responder a cuestiones ms especficas. Tambin asume incorrectamente que los requisitos informativos de un macronivel abarcan los
niveles ms bajos del sistema.
Yf.,:.-",;'
214
I
Evaluacin
Una evaluacin es un juicio sobre el valor o el mrito, esto es, una prueba.
El criterio bsico para determinar el xito o el fracaso de un programa
debe encontrarse en los objetivos del programa.
El principal prop6sito de la evaluacin educacional es proporcionar intuiciones acerca del proceso enseanza-aprendizaje.
El alcance de la informacin potencialmente til en una evaluacin es
c)
d)
')
8tufflebeam:
sistemtica
PREGUNTA6. Cul de las siguientes afirmaciones es ms coherente con

la definicin de evaluacin propuesta por Stufflebeam?
a)
b)
amplio.
Respuesta correcta. Debe usted haber seleccionado la d. La definicin

de Stufflebeam proporciona informacin tanto descriptiva como crtica acerca de las metas, la planificacin, la realizacin y el impacto de un programa;
esto abarca una gama verdaderamente amplia de informacin.
d)
la evaluacin
215
Ambos mtodos destacan la funcin econmica de la evaluacin.
.,
)
,Respuesta correcta. Debe usted haber seleccionado la a. Stufflebeam

esta de acuerdo c~n Stake en subrayar la necesidad de una amplia bsqueda
de los resultados, mcluyendo tanto los previstos como los imprevistos.
b)
c)
d)
Es ~ncorrecta porque la contraria es una afirmacin ms exacta.

Es mcorrect~ po~~ue el mtodo de Stake exige conclusiones basadas no
e~ la determm~clOn de si han sido alcanzados los objetivos del evaluador,
smo en u~ cUldadoso examen de los juicios ofrecidos por una amplia
gama de clIentes.
~s, incorrect~ p.orque, por el contrario, ambos mtodos destacan la funClan perfecclOnlHa de la evaluacin.
')
')
')
)
')
)
)
)
Es incorrecta porque la definicin describe la evaluacin no como una
prueba sino como un proceso de designacin, obtencin y aplicacin de
a)
b)
c)
la informacin.
.
Es incorrecta porque la definicin exige la descripcin y el juicio de las
metas, el diseo, la realizacin y el impacto de un programa, y porque
esto implica que el criterio bsico de los juicios debe derivarse de conceptos como el valor o el mrito.
Es incorrecta porque aunque la definicin identifica la promocin de una
mayor comprensin como un propsito legtimo de la evaluacin, el comentario relacionado con esta definicin destaca repetidamente la primaca de la orientacin perfeccionista.
PREGUNTA7. Cul de las siguientes afirmaciones contrasta con ms exactitud el modelo CIPP con el mtodo evaluativo de Stake?
a)
b)
c)
Ambos mtodos exigen la valoracin de los resultados, pero Stake fue el

primero en destacar la necesidad de localizar los efectos secundarios y los
efectos no deseados.
El mtodo de Stake est ms directamente destinado a satisfacer las necesidades de los administradores de ms alto rango, mientras que el CIPP
est ms orientado hacia las necesidades informativas del personal del
proyecto, especialmente los profesores.
En el mtodo de Stake las conclusiones se basan principalmente en si los
objetivos han sido alcanzados, mientras que el CIPP atiende ms a si
han sido satisfechas las necesidades valoradas.
f~r~GUNTA 8 .. Como consecuencia de su intercambio de ideas con Scriven

.tu e eam amph su conce~~in. ~el CIPP para demostrar que poda ser uti:
~za?~ tanto en .1,aresponsabl1lzaclOn (funcin sumativa) como en la toma de
1eClsil~~nes.
~funclOn formativa). Cul de las siguientes afirmaciones ejemplifica
a ut IzaClOn del modelo CIPP en la responsabilizacin?
El mod~lo proporciona informacin sobre las necesidades, problemas y

~portumdades de un sistema del que pueden derivarse las metas y ob'e-
a)
)
)
)
tIVOS.
b)
c)
d)
El modelo prop?:ciona un informe sobre los modelos escogidos y las bases de esa elecclOn.
El ~odelo proporciona informacin sobre si el programa debe concluir
contmuar o ser modificado.
'
~l fimodelo proporciona un ~ontrol para las actividades del programa con
e n de que puedan perfecclOnarse mientras se llevan a cabo.
l' ~~spues{a corre~ta. Debe usted haber seleccionado la b. La responsabis~~ClO~es h~ capacIdad d~ describi~ y justificar decisiones y acciones del pa~. ; a I que prop~rclOnar un mforme de los objetivos escogidos, de los
rec aza oSlY del. ~orque de todo esto sea una utilizacin de la evaluacin del
contexto a serVIClOde la responsabilizacin.
)
)
)
)
)
)
)
)
)
a) El.si~~orrdectalporque no es un ejemplo de responsabilizacin sino una utl'IzaClOn

el' a eva uaClOn
, d e1 contexto
"
ob eUvos.
que ayuda en la eleccin de los
)
)
)
)
,
f
f
216
Evaluacin
sistemtica
Stufflebeam:
e)
d)
Es incorrecta porque es una utilizacin de la evaluacin del prod~cto al

servicio de las decisiones de reciclaje, lo cual se opone a las necesIdades
de la responsabilizacin.
.
Es incorrecta porque es una utilizacin de la evaluacin del proceso que
ayuda a llevar a cabo un plan en lugar de valorar, con descripciones y
juicios retrospectivos, el proceso terminado.
d)
PREGUNTA9. Cul de las siguientes afirmaciones no es coherente con la

orientacin perfeccionista de la evaluacin CIPP?
a)
b)
(
(
e)
d)
(
(
(
(
(
(
217
E.s coherente con CIPP porque Stufflebeam define la funcin perfecciomsta como algo que supone tanto la mejora de los servicios como la distribucin de los recursos entre los programas ms valiosos y meritorios.
a) La evaluacin CIPP est considerada correctamente como un plan para
PREGUNTA10. Cul de las siguientes afirmaciones no es coherente con

la caracterizacin de la evaluacin del contexto, de entrada, del proceso y del
producto realizada por Stufflebeam en el contexto de los esfuerzos de una
institucin por mejorar sus servicios (vase figura 6-1)?
la evaluacin
(
(
Los servicios evaluativos deben estar planificados con el fin de proporcionar un suministro regular de informacin til para quienes toman las decisiones en una institucin.
Las evaluaciones deben ser utilizadas principalmente para asegurar que
los programas mejoren continuamente sus servicios.
Para ser aceptadas y utilizadas, las evaluaciones deben empezar con la
presuposicin de que el programa que va a ser examinado es bsicamente
vlido o que, en el peor de los casos, necesita una mejora.
Para ayudar al perfeccionamiento de los servicios, las evaluacio~es d:ben
ayudar a quienes toman las decisiones a distribuir los recursos dIspombles
entre los programas que mejor satisfacen las necesidades de los clientes
de la institucin.
la resolucin de problemas.
b) Para asegurar que se ha satisfecho toda la gama de necesidades informativas de una institucin, todos los programas deben ser sometidos a eval~aciones del ,co.ntexto, de entrada, del proceso y del producto, segn
Clertas bases cIchcas.
e)
d)
La r~aliza~in de c~,alquier estudio evaluativo slo estar justificada si proporClona mformaclOn necesaria que vaya ms all de la ya disponible.
Los e~alua.dores deben asumir que aunque su trabajo pueda incrementar
la raclOnahdad en la toma de decisiones de una institucin la decisin
de empezar, cont~nuar y/o terminar los trabajos de perfec~ionamiento,
~epe~den necesanamente de una amplia gama de cuestiones racionales e
IrraClonales que estn ms all de su alcance y control.
Respuesta correcta. Debe usted haber seleccionado la e. Por el contrario,

la orientacin CIPP asume que los trabajos para el perfeccionamiento de una
institucin deben intensificarse mediante la identificacin y la promocin de
la eliminacin de programas innecesarios o desesperadamente imperfectos,
puesto que esta prctica permite la distribucin de recursos entre trabajos ms
valiosos.
a)
Es coherente con la caracterizacin del CIPP que realiza Stufflebeam,

puesto que !a figura 6-1 y el comentario correspondiente analizan principalmente como pueden ser utilizadas las evaluaciones del contexto, de
entrada, del proceso y del producto para identificar y resolver los problemas.
e)
Es cohere~~e con. la concepcin de Stufflebeam porque ste asume que

l~ :valuaclOn es ~nherente a los programas institucionales y que los serVI:lOS de eval~acIn especializados se dedican ms bien a ayudar a sus
clIe~tes a satIsfacer las necesidades marginales de la informacin evaluatIva.
d)
Es. coherent~ ca?, la concepcin de Stufflebeam porgue la figura 6-1 permite la finalIzaclOn de programas y de trabajos evaluativos sobre progra-
. Respuesta correcta Debe usted haber seleccionado la b. En su comentano de la figura 6-1, Stufflebeam destaca que las evaluaciones del contexto, de
en~rada, d.el proceso y del. producto deben realizarse slo cuando puedan contribUIr a satIsfacer las necesIdades evaluativas marginales de una institucin.
a)
(
{
(
t
(
(
b)
Es coherente con CIPP porque CIPP se centra no tanto en la realizacin

de estudios individuales como en proporcionar unos servicios de evaluacin continua en el contexto de las necesidades y programas de una institucin.
Es coherente con CIPP porque aunque Stufflebeam identifica la responsabilizacin y la promocin de una mayor comprensin de los fenmenos
implicados como los propsitos ms adecuados de la evaluacin, d:staca que el principal propsito de la evaluacin debe ser ayudar a meJorar los servicios de los clientes.
218
mas en cualquier punto, independientemente

resultados.
de su necesidad o de los
PREGUNTA11. Suponga que una junta educativa ha decidido desarrollar

un nuevo tipo de escuela media y ha definido las, e~pecificaciones. ~ara su
construccin. De acuerdo con el modelo CIPP, que tIpO de evaluaclOn debe
ser llevada a cabo para ayudar en la seleccin del diseo arquitectnico ms
apropiado?
a)
b)
e)
d)
Evaluacin
Evaluacin
Evaluacin
Evaluacin
del contexto.
de entrada.
del proceso.
del producto.
Respuesta correcta. Debe usted haber seleccionado la b. Las evaluaciones de entrada identifican y valoran los mritos relativos de los planes alternativos para llev~r a cabo cualquier tipo de cambio proyectado.
Respuestas
incorrectas
a) Es incorrecta porque la evaluacin del contexto sera ms apropiada. p~ra

e)
d)
determinar la necesidad y las especificaciones deVpara el nuevo edIficIo.

Es incorrecta porque la evaluacin del proceso sera ms apropiada para
el control y el juicio de la realizacin del plan arquitectnico seleccionado
que para su eleccin.
.,
Es incorrecta porque la evaluacin no sirve para nada en la. elecclOn
inicial de un plan, aunque mejora sus efectos cuando ya ha SIdo escogido y realizado.
')
')
5tufflebeam:
d)
a)
b)
e)
Valorar los avances en la realizacin de un programa de trabajo y explicar tambin por qu los resultados del proyecto se han producido tal como
10 han hecho.
Identificar y comparar los diversos planes para la consecucin de una
determinada serie de objetivos, y a la vez responsabilizarse de escoger
un tipo de accin entre otras posibilidades.
Reformular las metas y prioridades, y tambin seleccionar escuelas y/o
. programas de atencin prioritaria.
Decidir si un trabajo de perfeccionamiento

se a otros marcos.
219
')
")
merece continuarse o ampliar-
-,
}
Respuesta correcta. Debe usted haber seleccionado la a. La principal

utilizacin de la evaluacin del proceso, segn Stufflebeam, es ayudar al personal a llevar a cabo el programa; otra de sus muchas utilizaciones es ayudar
a interpretar los resultados de la evaluacin.
}
)
')
b)
e)
d)
')
Es incorrecta porque propone utilizaciones de las evaluaciones de entrada.

Es incorrecta porque propone utilizaciones de las evaluaciones del contexto.
Es incorrecta porque propone utilizaciones de las evaluaciones del producto.
')
')
)
)
)
las recomendaciones metodolgicas de Stufflebeam respecto a la realizacin de
evaluaciones del contexto?
a)
b)
e)
PREGUNTA12. Cul de las siguientes afirmaciones es ms coherente

con las utilizaciones de la evaluacin del proceso recomendadas por Stuflebeam?
la evaluacin del perfeccionamiento
d)
)
)
)
El proceso debe suponer una interaccin continua entre el evaluador y el

cliente. Sus comunicaciones deben estar centradas en la identificacin y
examen de la realizacin de las actividades clave del programa.
Este tipo de estudio puede suponer una apropiada comparacin de los
resultados de un proyecto (como la valoracin por medio de tests, escalas
de valor o juicios sobre los productos del trabajo) con ciertas normas
(como las necesidades valoradas, las competencias definidas o los objetivos especificados).
Este tipo de estudio puede emplear adecuadamente grupos especiales encargados de preparar planes distintos para satisfacer un grupo especfico
de necesidades.
Este tipo de estudio puede empezar con entrevistas y audiciones centradas en hiptesis ,acerca de las virtudes, los defectos y los problemas, para
luego pasar a exmenes y estudios de casos concretos que diagnostiquen
las necesidades y los problemas.
)
)
)
)
)
)
)
)
)
)
)
Respuesta correcta. Debe usted haber seleccionado la d. Se trata de una

de las pocas sugerencias que pueden hacerse para centrar y llevar a cabo una
evaluacin del contexto.
)
)
)
.~
.....
........
)
,' ~ r
"J
;
r- \
'"''''\
,
f
f
220
a)
b)
(
(
c)
'1I
Es incorrecta porque estas sugerencias estn asociadas principalmente con

las evaluaciones del proceso.
Es incorrecta porque el hecho de centrarse en un proyecto determinado
identifica estas sugerencias ms claramente con las evaluaciones del producto.
Es incorrecta porque la tcnica del grupo asesor se aplica nicamente en
las evaluaciones de entrada.
PREGUNTA14. Cul de las siguientes afirmaciones no es coherente con

la descripcin de la tcnica del grupo asesor propuesta por Stufflebeam?
a)
b}
(
(
c}
(
(
d}
(
(
Se aplica principalmente cuando se han desarrollado las distintas soluciones de un problema concreto, reunindolas y dejndolas listas para
su utilizacin.
Proporciona un debate entre representantes de grupos histricamente antagonistas, donde stos pueden competir en una bsqueda y valoracin
de las diversas propuestas programticas.
Es una orientacin constructiva, puesto que los grupos asesores estn
encargados de crear nuevas soluciones para problemas especficos en lugar
de abordar las estrategias ya existentes o propuestas.
Los informes presentados por el grupo asesor estn sujetos a algn tipo
de valoracin independiente.
Respuesta correcta. Debe usted haber seleccionado la a. Por el contrario, esta tcnica est destinada especficamente a situaciones en las que las
estrategias ya existentes se consideren inadecuadas.
b)
(
(
c)
(
(
d)
,,
Es coherente con la descripcin porque la tcnica proporciona un debate

que facilita la aparicin de nuevas tendencias y de la competicin en una
bsqueda constructiva de alternativas.
Es coherente porque los grupos no se dedican a abordar las propuestas
de otros, sino a crear y desarrollar las mejores propuestas alternativas
posibles.
Es coherente porque los informes de los grupos asesores se valoran mediante una escala especial comparndolos con los criterios pre-especificados y, a veces, sometindolos a tests comparativos.
221
PREGUNTA15. Cu; de las siguientes afirmaciones es ms coherente

con el concepto de Stufflebeam acerca de la planificacin evaluativa?
a)
b)
e)
d)
La plan~cacin evaluativa supone un proceso que primero planea y luego modifica y desarrolla los procedimientos evaluativos.
Las elecciones que deben hacerse al formular una planificacin evaluativa
pueden realizarse mediante una seleccin, instrumentacin y anlisis de
muestras.
Cuando ~mpi~a a, pl.anificar una evaluacin, el evaluador debe proponer
una plam~c~Clo~ optIma, y. luego negociar slo aquellas desviaciones que
suponen limltaClOnes esencIales y concretas de tiempo y recursos.
El evaluador debe buscar desde el principio un acuerdo con el cliente
respecto de que la planificacin evaluativa, una vez determinada, debe ser
llevada a cabo de una manera tan precisa como sea posible con el fin de
asegurar que los resultados no sern interpretados ambiguamente.
Respuesta correcta. Debe usted haber seleccionado la a. Stufflebeam afir.

ma que el dilema d.el evaluador es que necesita procedimientos para el proyecto,
e:ql1emas de trabajO y recursos suficientes para llevar adelante y revisar peri~cament.e el plan evaluativo, con el fin de responder a todos los requisitos
InformatIvos que vayan surgiendo. Dice que para solucionar el dilema los eval~adores deben contemplar la planificacin evaluativa como un proceso contmuo.
b)
e)
d)
Es incorrecta porque estas caractersticas slo cubren los aspectos tcnicos de una ~lanifi~acin evaluativa y omiten otras elecciones que Stufflebeam .consIdera Importantes, a saber, la planificacin del coste, el plan
par~ el Informe de los resultados y el plan de administracin.
Es lllcorrecta porque segn sugerencia se olvida la insistencia de Stufflebe~ en una evaluacin que responda a las necesidades de la audiencia.
Es I~~or:e:t~ porque Stufflebeam dice que seguir rgidamente una planificaClon Imclal conduce, por 10 general, a satisfacer deficientemente las
necesidades del cliente.
PREGUNT~ 16. Cul de las siguientes afirmaciones no es coherente con

los com.~ntanos de Stufflebeam acerca de las normas de la metaevaluacin y la
evaluaclOn?
a)
b)
La meta evaluacin supone evaluar la evaluacin.

La ~,etaevaluacin proporciona medios tiles para asegurar que la evaluaclOn va a ofrecer unas directrices slidas.
)
')
222
e)
d)
Evaluacin
Stufflebeam:
sistemtica
Las Normas del Joint Committee suponen prinCIplOs ampliamente compartidos acerca de lo que es un buen programa educativo.
.
Las Normas del Joint Committee se desarrollaron para clarificar cuatro
condiciones bsicas de una evaluacin solvente.
Respuesta correcta. Debe usted haber sealado la e. Las Normas. del

Joint Committee no suponen una base para juzgar lo.s, programas ~ducatIvos,
sino que son principios para ser utilizados en la evaluaclOn de evaluaCIones.
a)
b)
d)
Esencialmente es as como Stufflebeam define la metaevaluacin.

Es coherente ~on la concepcin de Stufflebeam acerca de que las propias
evaluaciones deben ser evaluadas para asegurar que proporcionarn una
informacin til y solvente.
Es coherente con la concepcin, puesto que las treinta normas estn agrupadas en trminos de utilidad, viabilidad, propiedad y exactitud.
CALIFICACINDEL TEST DE CONOCIMIENTOS.Cuando haya realizado el

test de conocimientos, cuente el nmero de respuestas acertadas. Evaluaremos
su trabajo inicial como sigue: 15-16, excelente; 13-14, muy bien; 11-12, bien;
8-10, regular; y 0-7, mal. No obstante, le sugerimos que utilice el r.epaso de
su trabajo inicial para mejorar su comprensin de este mdulo. ReVIsando el
material del texto, debe ser capaz de corregir cualquier error que haya revelado la calificacin. Le recomendamos que relea todas las preguntas que no ha
acertado, y que luego revise el texto para mejorar su comprensin de los conceptos correspondientes.
Ejercicios prcticos
Este apartado contiene cuestiones prcticas destinadas a ayudarle a va~orar
si ha entendido las premisas y conceptos bsicos presentados en esta umdad.
Le recomendamos que responda a las cuestiones en hojas de papel separadas.
Cada una de las cuestiones va seguida de una respuesta-ejemplo o de una lista
de los puntos pertinentes que deben estar incluidos en su respuesta. Su revisin le ayudar a valorarla.
EJERCICIO 1. El concepto de evaluacin propuesto por el CIPP identifica cuatro tipos de evaluacin que se corresponden con cuatro tipos de decisiones. Lo que sigue es una breve descripcin de un hipottico trabajo de perfeccionamiento. Analice este ejemplo e identifique qu casos de evaluacin del
contexto, de entrada, del proceso y del producto pueden ayudar a formular
la evaluacin
223
las metas, planificar y perfeccionar el proyecto, llevarlo a cabo y decidir si

hay que continuar con l.
Un distrito escolar obtiene fondos para mejorar la enseanza musical. Un
comit de ciudadanos ha encargado a una junta escolar que ayude a los chicos
ms necesitados del distrito, que en raras ocasiones tienen oportunidades de
desarrollar sus intereses y capacidades musicales. La junta educativa nombra
un director para investigar el encargo e informar de los resultados. Un comit,
nombrado por el director, averigua que, comparado con los distritos vecinos
su distrito evidencia una gran debilidad en la educacin musical, pero espe:
cialmente en la prctica con instrumentos en el nivel elemental. Ms adelante
advierten que es un porcentaje desproporcionadamente
bajo de estudiante~
poco favorecidos el que participa en las pocas oportunidades musicales que
se ofrecen. Como consecuencia, el director y el comit deciden empezar un
proyecto de perfeccionamiento musical y dar la mayor prioridad al aumento
de .las o~ertas. ,de prcticas con instrumentos en las escuelas elementales y a
la mtensIficaclOn de los esfuerzos para incluir en ellas a los nios menos favorecidos. El director presenta el informe de los resultados a la junta y recibe
su aprobacin para comenzar un proyecto adecuado.
Luego, el comit desarrolla una propuesta relativa a la financiacin externa
del proyecto. En principio, crean dos comits de planificacin y les encargan
el desarrollo de planes independientes acerca del proyecto. Un plan se concentra en la mejora de las tcnicas de enseanza musical de los profesores
de las escuelas elementales del distrito; el otro pide la compra de instrumentos pa,ra.pre~tarlos a los nios necesitados, la contratacin de tres profesores
de practlca mstrumental que quieran trabajar todo el tiempo en las escuelas
elementales y la institucin de un programa voluntario para que los msicos
con ms talento d~ l~ ~omunidad ayuden en el programa. El comit compara
est,os. pla~es, su vIablhdad y sus posibilidades en cuanto a la mejora de las
pract:cas mstrumentales, y en cuanto a la integracin de los estudiantes ms
necesItados. Acaban consider~ndo que el segundo plan es mejor que el primero y someten sus concluslOnes a debate en una reunin de facultad. En
general, la facultad acepta la recomendacin del comit y, como consecuencia,
se lleva adelante el segundo plan, presentndolo a una fundacin privada. Con
unas pe~ueas modificaciones, la propuesta es aceptada .
.El dIrect?r c~ntrat~ a dos profesores de prctica instrumental (resulta imposlble localIzar mme.dlatamente a un tercer candidato cualificado) y les encarg~ que compren los mstrumentos necesarios, se los proporcionen a los estudlantes necesitados ms interesados y que recluten tambin a los miembros
de. l~ comunidad que muestren inters. Esta encarga al comit de planificacin
ongmal que ~ontr~le y evale la realizacin y la efectividad del proyecto.
~~ su pnmer mforme destinado al director y a los nuevos profesores, el
comIt~ hace notar que. ha res~l~ado beneficioso no contratar al tercer profesor. Plensan que ese dmero adlClonal puede ser mejor empleado en la compra
')
')
')
')
)
')
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
J
)
)
(
("
(
f
(
(
(
(
(
{
(
(
(
224
. 1 L
rofesores se muestran de acuerdo, y con
de ms instrumentos muslc~ es. oSbP
. es modifican en consecuencia el
1"
d 1 agenCIa de su venCIOn ,
f'
,
el benep aclto e a
'l'
mplo de cmo los in armes penolan
el presupuesto. Este es so o un eje
p
y
. , 'nf1
1 realizacin del proyecto.
dicos del comlte luyen
en a
.,.
f ma que el proyecto ha tenido muel comlte In or
bo d
Al ca
e tres anos,
1
1 disponen ahora de una banda. Las
cho xito. Todas las escuelas e elmenta es se imparten a todos los estudian.
d
,.
instrumenta en grupo
.
b
leCCIones e practIca
..
. 'n de todos los estudIantes es uena.
. d 1
d La partIC1paCIO
tes a partir e cuarto gra o.
1
.
clubs de apoyo activo a las bandas.
lIs
elementa es tienen
. 1 .
Dos de as tres escue a
1
'd d
han ofrecido a impartIr eCCIOnes
. b s de a comum a se
.
y unos pocos mlem ro
Basndose en este informe, la Junta
de msica gratis como parte del ~rogr~~a'd 1 proorama y proporciona fondos
de educacin recomienda la contInuaClOn e f '"
regulares para pagar los salarios de los dos pro esores.
.
Phil Anthropy
(
(
(
(
b)
(
(
c)
(
(
(
(
,t
Las respuestas al e;ercicio 2 deben presentar y desarrollar

. .. 1 deben incluir los siguientes puntos:

Las respuestas al eerCtczo
a)
d)
T
ra determinar que los chicos neceLa evaluacin del.contexto se u~~l~aJea desarrollar sus intereses y capacisitados rara vez tienen oportunl al d
brimiento de que el distrito es
dades musicales. Igualmenfte, en e :s~~cas instrumentales en la escuela
especialmente pobre en o ertas d e prac
elemental.
identificar y valorar los dos plae T
La evaluacin ~e ent~ada sd utIlIza la;a
de prcticas instrumentales del
nes de perfeCCIOnamIento e as o er as
distrito.
1 "1
r determinar que deben ser dos,
La evaluacin del proceso resu ta utI Pllaa
cabo el proyecto y que se
1
os profesores que even a
y no tres, os nuev
. .,
haba asignado para la comnecesita ms dinero del que en pnnclpIO se
pra de ins:r,umentos. d
. d'
que el proyecto, en muchos aspectos
La evaluacIOn del pro ucto In Ka
.
importantes, ha tenido xito y merece contInuarse.
ted dirige una agencia de servicios evalua. EJERCI,CldO

2. SUPonga qlueC~~p desarrolle una breve propuesta en restIvos. Basan ose en e lmo de o
puesta a la siguiente carta.
Querido director:
d'
est llevando a cabo un programa de
Actualmente, la Valley Foun at.lOn . d
l'ndependientes de nuestra
dI
cal egIOs pnva os o
tres fases para ayu ar a os . .
udar a los colegios a aumentar
regin. El programa intent~ pn~cIP~men~~:;encia
en el centro de los alumel nmero de matrculas y os ano: e pe
d"
el fomento de un rea
nos, la eficiencia del proceso enselnanza-ap~end IZ~~ :olegios el pago a plazos.
desconocida hasta el momento en a mayona e
,
225
Se ha decidido que la fundacin asigne muchos millones de dlares a los

colegios para que adapten algunos de estos programas renovadores a su situacin, con el propsito especfico de incrementar los ingresos del colegio, limitar
los gastos y aumentar y mantener la calidad del producto educativo.
Tras este breve resumen del programa de la fundacin, me gustara subrayar que estamos profundamente interesados en desarrollar un programa evaluativo que nos diga, de un modo preciso, si nuestras subvenciones han sido
efectivas. Si cree que su centro puede prestarnos algn servicio, le pido que
nos explique sus ideas y esboce una propuesta especfica acerca de cmo abordara este sugestivo problema.
Atentamente
{
(
a)
El mtodo que recomendamos responde a su principal preocupacin: determinar la efectividad de sus inversiones. Adems, supone una garanta
de calidad o una orientacin perfeccionista. Nuestra principal preocupacin es asegurarnos de que los informes que elaboremos sern tiles y
utilizados.
b)
El mtodo proporciona informacin continua acerca de cada proyecto y

del programa global con el fin de satisfacer las ms importantes necesidades evaluativas.
e)
El mtodo examina y proporciona directrices para el perfeccionamiento de

las metas, la planificacin, la realizacin y los resultados.
La planificacin de la evaluacin debe desarrollarse con relacin a las continuas comunicaciones entre nosotros, su grupo y los representantes de
cada proyecto.
d)
e)
Recopilamos y presentamos descripciones y juicios acerca de los proyectos

y del programa global.
f)
Bsicamente, valoramos su programa y cada uno de sus proyectos con relacin a las necesidades valoradas (valor) y a la calidad del trabajo y de los
resultados (mrito).
g)
Planificamos y realizamos nuestro trabajo teniendo en cuenta las razonables limitaciones de tiempo y recursos, con el fin de asegurar que nuestro
trabajo resulte tan discreto como nos sea posible.
Trabajamos con su grupo para asegurar que la evaluacin se realiza sobre
una base justa e imparcial.
h)
i)
En general, valoramos nuestros planes e informes segn su utilidad, viabilidad, propiedad y exactitud.
---_IIo..Jii1.;
)
~
226
d
dos colaboradores han sido encargaEJERCICIO 3. Suponga que usbte. Yd t s das en su especialidad, con
.
t 11r de tra a)o e re,
1 .,
dos de orgamzar un a e
d
propone emplear la eva uaClOn
s y que uste se
alrededor de sesenta persona ,
.'
S ponga adems que se propone
. , d la expenenCla. u
1
como gua y va oraClOn e
h dispondr de 300 dlares para
d 1 CIPP
que como muc o,
1h 1
utilizar el mo e o
. y
,.
L
x eriencia tendr lugar en e ate
llevar a cabo el trabajo evaluatlvo.
a e p
durante seis semanas.
. .
que cree necesarias. Luego diga los
Haga una lista de las presuposiciones . 1
ara ser empleados en la eva,
d
.
de datos esenCla es p
.
que segun
uste , son tlpOS
d l.
del producto SegUldamente,
'
d
d
e proceso y
.
.
luacin del contexto, e entra a,
h
pi'lado para cada tipo de mfor.
1 d 1 datos que a reco
d
proporcione eJemp os e os.
d
pilacin de datos. Finalmente,
es'd
'fi
1 medlOs e esa reco
h
l' d
macin e 1 entl que os.,
1
x li ue detenidamente cmo a ana iza o
criba el plan de evaluaclOn globa y e p q
sta en ha)'as de papel separaDi ponga su respue
1 d
y presentado los resu ta os.
s ,
1
ema de la figura 6-2.
das. Quiz le resulte til, como gUla, e esqu
Requisitos generales
con relacin
a los datos
')
Las respuestas al ejercicio 3 deben aproximarse al siguiente modelo:
Hiptesis de trabajo:
')
')
1.
2.
3.
4.
5.
Medios para
la recopilacin
de datos
227
Hiptesis de trabajo
Datos que deben
ser recopilados
en esta evaluacin
6.
La experiencia debe ofrecerse a los principales institutos para informarles

de los mtodos que han demostrado ser efectivos a la hora de perfeccionar la capacidad y las actitudes de los estudiantes.
La experiencia estar financiada conjuntamente por el Departamento de
Educacin y los participantes.
l
)
La audiencia de la evaluacin, en orden prioritario, incluir al personal del

taller, a la agencia de subvenciones y a los participantes.
El personal del taller ser el principal responsable de la evaluacin, pero
con la ayuda, en la recopilacin y anlisis de datos y la elaboracin del
informe final, de algn estudiante graduado que haya hecho algn curso
sobre evaluacin.
')
Con el fin de conseguir una perspectiva independiente, un representante

de la agencia de subvenciones ha decidido revisar el trabajo evaluativo
comparndolo con las Normas y responder a ciertos requisitos informativos basndose en su conocimiento de los programas estatales.
Un graduado en busca de una experiencia evaluativa ha decidido realizar
y presentar una amplia evaluacin de la experiencia totalmente gratis.
)
')
)
)
)
)
Evaluacin
del contexto
Con las anteriores hiptesis, el plan general de la figura 6-3 se ofrece

como gua del trabajo evaluativo. y ahora le proporcionamos la descripcin
narrativa del plan.
Evaluacin
de entrada
)
)
Descripcin narrativa de la figura 6-3:

Evaluacin
del proceso
Evaluacin
del producto
I
FIGURA 6-2.
Descripcin narrativa
del plan evaluativo
que destaque espe~ialmente
el anlisis y los mformes
Modelo de esquema para el ejercicio 3
El personal del taller debe coordinar la evaluacin del contexto. Bsicamente, debe incorporar las cuestiones de evaluacin del contexto en forma de
aplicaciones concretas a la experiencia: deben leer y discutir cada aplicacin
como un medio de examen y revisin de sus objetivos provisionales. Adems,
deben reunirse con uno o ms representantes de la agencia de subvenciones
para obtener una mejor comprensin de las necesidades y recursos de mbito
estatal, as como reacciones crticas a sus planes. Deben telefonear y enviar
peticiones escritas a las autoridades del estado y a los distritos escolares con el
fin de obtener documentos relativos a los programas de los institutos, y deben
encargar a su ayudante graduado que lea y haga un informe sobre estos documentos, comparndolos con los objetivos del taller. Finalmente, deben ensear
al graduado a preparar un informe sobre los antecedentes, centrado en las caractersticas y necesidades generales de los participantes seleccionados, del es-
)
)
,)
)
)
)
)
)
)
)
)
)
,r~-',.
.,.-"~-~~~-~~=tJi>.,---jIf>.;,-""-~--"'--"~_-_'_"A_-'" . -..F;
H' ., '. '!"., ~::!
'o'!' ~,'~
~::J.. l,,""",:"",'-0"'
~);' ~;J';'~ f,;,J ';,;J '",-.! J,l ,A ':'
' ..' ,," ' ',"
;".
. ,
A,
,"...,
....
.....,'
~-- . _
.:'.
lA"":.J
""",
,...,.... ~
'
r"
i"!lIi:
'1 ~7"'J. ,'~~-'-
;J:"'l~""'T:""""'"
, .. "-"""'_.--
'_
.
l\)
l\)
Requisitos generales
para los datos
Datos
que deben ser recopilados

en esta evaluacin
Medios
00
para la recopilacin
de datos
~
Evaluacin
texto
del
con-
Necesidades
Problemas
Evaluacin
de entrada
Planes
Forma de aplicacin de la experiencia (1, 3,4)
2. Descripcin de las necesidades,

problemas y oportunidades
del
mbito estatal por parte de los
representantes
de la agencia de
subvenciones
Peticiones
Reunin con los representantes

de
la agencia de subvenciones (21 3,4)
telefnicas
y escritas (4)
III
e
o;
III
()
:J
U>
;
...
ro
3
e',.'
Ci'
D>
3. Valoracin de los resultados potenciales de la experiencia por

parte de los futuros participantes y de los representantes
de
la agencia de subvenciones
Oportunidades
Objetivos
1. Informes
de ln.
.~- futur
..
_
cipantes sobre sus razones para
participar
en el taller y sobre
sus experiencias con programas
de lectura
4.
propuestos
Informes pertinentes
las escuelas locales
1. Planes e informes
cias similares
alternativos
Actividades, personal, esquemas, facilidades,

presupuestos, etctera
acerca de
y estatales
de experien-
2. El plan del personal

3.
Revisin del plan preliminar

'parte
de los representantes
la agencia de subvenciones,
por
de
de
Entrevistas
telefnicas con directores de experiencias similares (l, 3)
Reunin para discutir el plan del
personal comparndolo
con los resul tados de la entrevista telefnica
(2,3)
,,,,-",,~,,;,,,".,
~
...
....._--~:..~
..
~,
..
"
futuros partiCipantes seleccionados y de directores de experiencias similares

Evaluacin
ceso
del
pro-
Realizacin
del plan, nivel
de participacin
por temas,
nivel de satisfaccin
1. Informe de las actividades

desviaciones del plan
2.
Asistencia
3.
Valoraciones
4.
Sugerencias
y las
y participacin
del proceso
para mejoras
Reuniones
diarias con una
sentacin de los participantes
Un observador
repre(3, 4)
(1, 2, 3, 4)
Valoracin
diaria (3, 4)
Sesin
informacin
CJ)
de
diaria
....
e
( 1,
::!i
3,4)
Evaluacin
ducto
del
pro-
Efectos (buscados y no buscados, positivos y negativos,

inmediatos
y a largo plazo)
Juicios sobre los resultados
1. Valoraciones de la habilidad con

que se ha abordado cada obj~
tivo
2. Juicio acerca
cada producto
de la calidad de
de la experiencia
3. Aplicaciones
del conOCimIento
adquirido tras la experiencia
4.
Valoraciones
de la experiencia
ro
oro
Escalas de autovaloracin
y posteriores (1)
III
anteriores
3
)
ro
<
~
e
Reunin del personal para juzgar y

revisar los productos del trabajo a
travs de participantes
seleccionados (2, 3)
III
()
o;
:J
a.
~
Informe
telefnico
Valoraciones
(3)
de la experiencia
"O
(4)
ro
::.,
ro
()
()
::;.
Juicio resumido
de los representan tes de la agencia de subvenciones (4)
FIGURA
6-3.
:J
III
ro
:J
...
o
Esquema completo del plan para el ejercicio 3
''""
CD
.~
'!~
ti
f:"
;~.;.
-----))
")
230
Evaluacin
sistemtica
tado y de cualquier otra parte, as como proporcionar una valoracin de los

objetivos de la experiencia. Este informe debe ser compartido, durante la
experiencia, con los participantes, y utilizado ms tarde al preparar el informe final.
El personal del taller debe desarrollar un plan provisional para la experiencia y pedir al ayudante graduado que lo evale. El ayudante debe contactar
con directores de experiencias similares, describirles el plan propuesto e invitarlos a que realicen crticas y sugerencias. Puede tambin pedirles que le enven copias de los planes de sus experiencias. Debe preparar un informe resumiendo, comparando y contrastando las que, segn l, son las principales estrategias informativas del taller, y resumiendo las crticas y sugerencias ofrecidas con relacin al plan de sus superiores. El personal del proyecto debe
entonces reunirse con el ayudante y el representante de la agencia de subvenciones para revisar los resultados de la evaluacin y discutir cmo puede mejorarse el plan.
Seguidamente, se le pedir al ayudante que aada un post scriptum a su
evaluacin de entrada indicando cmo ha sido afectado el plan del taller por
la evaluacin que se ha hecho de l y, en general, si el plan es lo suficientemente justificable, segn las distintas alternativas y las crticas y sugerencias
obtenidas. Este informe ser archivado para incorporarlo en el informe final
de la evaluacin.
Bsicamente, el graduado ayudante debe realizar la evaluacin del proceso.
Debe utilizar la evaluacin del contexto y sus datos como base para reclutar
un pequeo grupo de participantes, que sern tan representativos como sea
posible del conjunto del grupo, con los que se reunir durante tres noches
para obtener sus reacciones y sugerencias. Deber observar las actividades del
taller e informar de las principales desviaciones del plan, y, al final de cada
da, deber buscar una forma para que los participantes puedan valorar el proceso. En la noche del primero y el segundo da, deber reunirse con el personal
del programa para ofrecerles informacin y ayudarles a perfeccionar el plan de
trabajo de los das siguientes. Cada maana, el personal del taller deber revisar la informacin procedente de la evaluacin del proceso del da anterior
con los participantes, identificar cualquier modificacin del plan y, en un perodo de tiempo limitado, provocar comentarios y sugerencias. Al final de la
experiencia, el ayudante graduado debe escribir el informe de un caso resumiendo el proceso real, destacando las desviaciones del plan original y, en
general, valorando la calidad del trabajo. Este informe ser archivado para
incorporarlo en el informe final de la evaluacin.
El ayudante graduado debe coordinar la evaluacin del producto. Debe
desarrollar una escala segn la cual cada participante pueda valorar su capacidad respecto a los conocimientos y las tcnicas relacionados con cada objetivo del taller y administrarla de forma annima al principio y al final del
programa. Debe informar de los medios utilizados antes y despus del test
Stufflebeam:
la evaluacin
231
Y analizar las diferencias utilizando un test t par 1

b
.
pondientes. Debe buscar una forma en la
a as. ~ servaclOnes corresdistintos aspectos del taller y ma's ta d que cada partIcIpante pueda valorar
.
'
r e esquematIzar y resu . 1
1
ClOnes.
..
d eb e con ocmlr 1as va ora-1
. Inmediatamente despus de la expenenCla
y pedules que intercambien puntos de vista acerc'a d 1
v lar a persona
'd
d
. .
e os resu tados que h
o b'b'
tem1 o ca a partICIpante' ' esta reunl'o'n d eb e ser gra b ad a para d
a
'
crJ Ir a y analizar su contenido P d
l'
.
espues trans,.
d
'
. ue e rea Izar una sene de entrevi t
1
'bl
b s as ~e efomcas espues de la experiencia y, en la medida de lo
~~~:~e~~r:~a~~lIe:~li~:e P~~t~~se:aurnticipanl
tes ~~e reflej~;SIsue~r~d~e~:r i~~~~
a
va oraClOn resumIda de 1
tan tes d e la agencia de subvenciones Deb h
1b
d
os represenevaluacin del producto
enviarlo'
e acer e. orra or de una posible
a agencia de s b
. y
para que lo reVIsen los representantes de
u ven clOnes la repre
t' , d
. .
l
n
borado en la evaluacin del' proceso ;e~ ~~~~na~ de~r:IC{tan~s que dhab col~sar la evaluacin del producto para tener
1 . a ero ~:go, e e reVIF 1
presente a lil formaClOn
lila mente, la evaluacin debe concluir con u
.;
de los representantes de la agencI'a de
b
. na meltaevaluaclOn por parte
. f
su venclOnes y a pr
., d 1
III ormes finales . El ayudante grad ua d o d e b'e pnmero re'
esentaclon
e os
l'
y argumentos teniendo en cuent h
'
sumIr sus va oracIOnes
cada una de las 30 normas del ]oa ' acsta q~e punto la evaluacin ha seguido
I nt ommIttee y debe en i
l'
,
a los representantes de la agencia de subvenc"
.. , v ar esta va oraClOn
presenten su informe metaevaluativo. Enton~~~esi PldI~ndoles que finalicen y
hacer el borrador de un inform
d
e ayu ant: graduado puede
resultados de la metaevaluacl'o'n e eln os parteds: en la pnmera incluir los
de contexto
e ent d d 1
producto, y en el segundo un ape'nd'
,.'
E
ra a, e proceso y del
,
Ice tecmco
ste inf
d b
.
para su revisin a la representacin d
. '.
orme e e ser envIado
para colaborar en la evaluacin El
e artlClpantes previamente reclutados
una reunin de los representant~s d ~yu ante. graduado debe luego convocar
e
del taller para revisar los borradore ; arn~l~ de subvenc!ones y el personal
participantes. Debe colaborar en la fis 1: o~,In dor~es y la Informacin de los
llo de planes para su difusin L na IzaClOn e os informes y en el desarrociones y el personal del taller d' bOS rlepresedntantes de la agencia de subven,
e en uego ar las gr'
1
d
mas experimentado ayudante y e
d 1
aClas a agota o pero ya
ncargarse e a presentacin final y 1a d'fl USlOn.
.,
")
.,
.,
)
1
)
')
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)

En este apartado proporcionamos
cuatro
r
.
puesta. Las preguntas pueden t"1"
p eguntas, pero nInguna rescomo fuentes de traba]' . d' ~dI Izlarse como temas para discusiones de grupo
.
o In IVI ua y como guas p
f d'
'
CtItos de Stufflebeam.
ara pro un Izar en los es-
j
)
j
)
)
)
f
f
(
(
(
(
(
(
232
(
(
1. Responda a la crtica acerca de que el CIPP es ideolgicamente tendencioso

en favor de algn grupo ya poderoso, a saber, quienes toman las decisiones. El argumento, resumidamente, es que el CIPP est al servicio de
quienes toman las decisiones y as convierte a los poderosos en ms pode.
rosos. Dado que las evaluaciones cuestan dinero, slo los poderosos pueden permitrselas. Quin protege a los subordinados?
2. Stufflebeam desarroll el modelo CIP? y coordin el desarrollo de las
Standards for Evaluation of Educational Programs, Projects, ando Materials. Son las Normas, por lo tanto, tendenciosas, en favor del modelo
CIPP y en contra de otros mtodos? Si no lo son, existen incoherencias
bsicas entre estos dos grupos de recomendaciones?
3. SCRIVEN(1970) adverta que en el modelo CIPP, las evaluaciones del
contexto, del proceso y algunas de entrada son principalmente descriptivas y, por lo tanto, no deben ser llamadas actividades evaluativas. Cul
4.
es su respuesta?
Guba ha afirmado que el modelo CIPP es til principalmente para los
programas de largo alcance y slo es aplicable en situaciones en las que
existe un alto nivel de labor administrativa, mucho dinero para financiar
el trabajo evaluativo y un alto nivel de perfeccin tcnica. Cmo respondera usted?
(
(
AnAMS,J. A. 1971. A study o/ the status, scope and nature o/ educational evaluation in Michigan's public K-12 school districts. Tesis doctoral indita, Universidad del Estado de Ohio.
BRICKELL,B. M. 1976. Needed: Instruments as good as our eyes. Centro de Evaluacin, Universidad de Western Michigan, Occasional Paper Series, nmero 7,
Kalamazoo, Michigan, julio.
CRONBACH,1. J., y colaboradores. 1980. Toward re/orm of program evaluation,
San Francisco, Jossey-Bass.
FINDLAY,
D. 1979. Working paper for planning an evaluation system. Indito, The
Center for Vocational and Technical Education, Universidad del Estado de
(
(
(
(
(
(
(
(
(
(
Ohio.
GUBA,E. G. 1969. The failure of educational evaluation, Educational Technology,
9, pgs. 29-38.
Joint Committee on Standard s for Educational Evaluation. 1981. St~ndards for
Evaluations o/ Educational Programs, Projects, and Materials. Nueva York,
McGraw-Bili.
NEVO,D. 1974. Evaluation priorities o/ students, teachers, and principals. Tesis
doctoral indita, Universidad del Estado de Ohio.
PATTON,M. Q. 1978. Utilization-/ocused evaluation, Bevetly Bilis/Londres, Sage
Publications.
233
REINHARD,D. 1. 1972. Meth~dology development /ar input evaluatin using advocate and deszgn teams. TeSIS doctoral indita, Universidad del Estado de Oh
ROOT,D. 1971.. The. evaluation training needs o/ superintendents o/ sehool T ?
doctoral, UmversIdad del Estado de Ohio.
s. eSIS
SANDERS,
J R. Yl SACHSE, T. P. 1977. Applied performance testing in the classj
~~~:' 92~~;~~
o/ Research and Development in Education (primavera), 10,
SCRI~N, M. 1966..The metho~ology ?f evaluation. Publicacin n. 110 de la Social
~cIdendce
pEdudcatl0Ln
fConsortlum: DIrector ejecutivo: Irving Norrissett, Universia e ur ue, a ayette, IndIana .
-. 1~70. Critique of the PDK Book, Educational Evaluation and Decision Makzng.P~esenNtadaen el congreso anual de la American Educational Research
AssocIatIon, ueva York.
-.1972. An introduction to metaevaluation. En P A TAyrOR D M C
(comp) R d'
.
. l
..
y . . OWLEY
., ea zngs zn currtcu um evaluation Dubuque Iowa W C B
STAKE'dR 1967. T~e countenance of educatio~al evaluation, T~ach~rs .Co~~;mge
.Recor,
8, 7 (abril).
STUFFLEBEAM
.
~ D " L 1966 . A d ept h stu dy of the evaluatlon
requirement Theory
1nto P ractlce, 5, n. 3, pgs. 121-133.
'
-.1969.
Evaluatian as enlightenment for decisian making. En A. WALCOTT
(comp.), Improvmg educ.ational assessment and an inventory o/ measures o/
affectlVe behavlOr, Washmgton, D.C., ASCD.
-. 19?~. The re1evance of the CIPP evaluation model for educational accountabllity, Journal o/ .Research and Development in Education (otoo).
-.1975.
Met.aevaluatlOn. Oceasional Paper Series. Kalamazoo MI' hi
de
1
' U'
'd
'
c gan Centro
eva uaClOn, nrverSI ad de Western Michigan 3.
'
STUFFLEBEAM
'.
' D .. L Y ot ros. 1971 . Ed.ueatlOnal evaluatlon
and decision making
I tasca, 111., Peacock.
'
TYLER,R . 3W, 1~42. General statement on evaluation, Journal o/ Educational Researc, h 5, pags. 492-501.
WE~ST~R,
1975. The.oranization and functions of research and evaluation
m a~ge lit an s~hool dIstncts. Texto presentado en el congreso anual de la
Amencan EducatlOnal Research Association Washington. D C
WOLF R L 1974 Th
r'
'
, .. , marzo .
. ' T' : d .
~ a?~ Icatlon of select legal concepts to educational evaluatlOn. eSIS octoral medIta, Universidad de Illinois.
6'
W'l'
-~)-
.J
')
")
STAKE: EL METODO EVALUATIVO

CENTRADO EN EL CLIENTE
")
')
")
,)
,)
)
,)
J
)
,)
,)
"
Los exigentes requisitos federales para la evaluacin que se impusieron en
la educacin americana en la dcada' de los sesenta estimularon el desarrollo
de algunos nuevos mtodos evaluativos. Uno de estos mtodos fue introducido por Robert Stake en 1967 con lo que se dio en llamar modelo de la
figura (countenance) para la evaluacin educacional, Este mtodo est construido sobre la nocin de Tyler acerca de que los evaluadores deben comparar
los resultados deseados y las observados, pero ampla el concepto de evaluacin pidiendo un examen de los antecedentes, del proceso, de las normas y
de los juicios, adems de las resultados. S,ke desarroll su filosofa de la evaluacin durante los ltimas aos sesenta y los primeras setenta, y en 1975
present su concepcin ya ampliada con el nombre de evaluacin respondente. Esta presentacin conserv el nfasis en el mtodo de la figura examinando toda figura de un programa, pero rompi totalmente con la tradicin
tyleriana al recoger datos con el fin de discutir si se haban realizado las intenciones originales. En cambio, la evaluacin r~spondente asuma que las intenciones pueden cambiar y peda una comunicacin continua entre el evaluador
y la audiencia con el fin de descubrir, in'vestigar y solucionar los problemas.
En general, Stake es el lder de una nueva escuela de evaluacin que exige
un mtodo pluralista, flexible, interactivo, holstico, subjetivo y orientado hacia el servicio.
El juicio racional de la evaluacin es una decisin que dice cunta atencin
hay que prestar a las normas de cada grupo de referencias a la hora de decidir
si se emprende alguna accin administrativa.
Agradecemos la ayuda del doctor Stake, que corrigi y clarific un borrador previo
y proporcion ejercicios de estudio. Cualquier distorsin o ambigedad, relativa a los
conceptos evaluativos, que permanezcan en esta versin son, desde luego, responsabilidad de los autores.
.
)
~
)
)
:)
,)
,:)
,)
,)
,)
,)
)
,)
'J
',)
:J
)
:,)
:.J
~)
.-....".~r~'
,
f
(
(
(
(
(
(
(
{
(
(
(
(
(
(
(
(
(
(
l
(
(
(
(
(
(
(
(
t
(
236
Robert Stake ha contribuido especialmente al desarrollo filosfico y terico

de la evaluacin educacional. En 1967 public un artculo histrico titulado
The Countenance of Educational Evaluation, que atrajo mucho inters hacia la educacin. Basndose en la reaccin de la gente ante el mtodo Contenido en este artculo y en los trabajos realizados con l, Stake, en 1975, public su concepcin ampliada de la evaluacin con el nombre de evaluacin
respondente. En general, Stake haba desarrollado una particular filosofa evaluativa, con una metodologa de apoyo, que nosotros hemos decidido comentar
bajo el nombre de evaluacin centrada en el cliente.
Hemos escogido esta denominacin porque uno de los temas omnipresentes en los escritos de Stake es que el evaluador debe trabajar con y para
ayudar a aquellos educadores que desarrollan e imparten servicios de educacin primaria. Potencialmente, contempla al evaluador al servicio de una amplia gama de clientes, incluyendo profesores, administradores, elaboradores de
currculos, contribuyentes, legisladores, patrocinadores financieros y el pblico
en general. Los distintos clientes tienen distintas prioridades, y el personal
del programa debe a menudo prestarles la mayor atencin. Pero hay otros que
tambin la necesitan, incluso cuando los principales clientes se oponen a que
se les atienda. Stake recomendaba a los evaluadores trabajar .continuamente
con las distintas audiencias y responder a sus necesidades evaluativas. Ellas
son los clientes en el sentido de que son precisamente ellas, las audiencias,
las que apoyan, administran o directamente operan con los programas que se
estn estudiando y buscan el consejo y los planes del evaluador para comprenderlos y mejorarlos.
Para entender las contribuciones de Stake, resulta muy til tener en cuenta
sus antecedentes y experiencias profesionales. En la dcada de los cincuenta
daba clases de matemticas en la U.S. Naval Academy Preparatory School, y
ms tarde termin su tesis doctoral sobre psicometra en la Universidad de
Princeton. En 1963, ingres en la facultad de la Universidad de Illinois,
donde dio clases en el departamento de psicologa educativa y fue director
adjunto del Center for Institutional Research and Curriculum Evaluation
(CIRCE) bajo la direccin de Thomas Hastings. Hastings le haba trado a
Illinois para que investigara sobre la enseanza, pero el inters de Stake pronto se concentr en el nuevo trabajo que estaban realizando Hastings y Cronbach acerca de la evaluacin de currculos. Cuando el doctor Hastings se
retir en 1978, Stake se convirti en el director de CIRCE y an estaba en
ese puesto cuando se escribi esta unidad.
Su pensamiento parece haber sido influido por muchos factores notables.
Su primera preparacin y sus experiencias en matemticas, estadstica y valoracin, le convirtieron en un experto en la aplicacin de los conceptos y m.
todos de estas reas prcticas de la evaluacin educacional. A medida que
creca su escepticismo acerca de la concepcin clsica de la medicin y de su
empleo en la evaluacin, su condicin de experto en estas reas dio credibi-
5take: el mtodo evaluativo y el cliente
237
lidad a sus ataques y contrapropuestas, y condujo a sus audiencias a considerar

seriamente sus puntos de vista.
A media~~s de los aos sesenta (STAKE, 1967), atac el clsico concepto
de la evaluacIOn como algo estrecho, mecnico y que no ayudaba en nada. Su
desencanto parece haber estado influido y fomentado por Lee Cronbach, que
hasta 1964 fue profesor en la Universidad de Illinois. CRONBACH(1963) ha
afirmado que la funcin bsica de la evaluacin en educacin debe ser servir
d~ gua al perf~:cionamiento de los currculos, y no juzgar currculos ya termmados. T.ambIen ha afirmado que las evaluaciones comparativas de currculos alternatIVOS basados en promedios de calificaciones de post-tests no resultan
ni informativas ni de ninguna' ayuda. Ms tarde, Stake insiste en ello cuando
ataca los experimentos comparativos, exige descripciones completas de los programas y subraya la importancia de la informacin subjetiva.
La influencia de Ralph Tyler, que haba definido la evaluacin como la
deterl'?inacin de hasta qu punto haban sido alcanzados los objetivos valorados, resulta evidente, tambin, en los primeros escritos de Stake. En su texto
Coun!~nance recomendaba comparar los resultados deseados y los reales, pero
t~bIen que los evaluadores valoraran los antecedentes y las continuas operacIOn.es, tanto las propuestas como las reales. En otras palabras, ampli el pensamIento ~e 'Tyler. Esta conexin entre el trabajo de Stake y el de Tyler parece
comprenSIble, puesto que la conceptualizacin de TYLER (1942) ha sido el
punto d: vista domina~~e sobre la evaluacin desde los aos cuarenta (y quiz
lo ,s~a aun hoy). TambIen Lee Cronbach y Tom Hastings, que influyeron muchlSl.mo en el ~esarr.ollo. ?rofesional de Stake, estudiaron con Ralph Tyler. En
pa.r~lcular, la mvestIgacIOn de Hastings demostr a Stake que los profesores
uuhzan muy poco las valoraciones y los conceptos valorativos apoyados por
los tests profesionales.
Stake tambin estuvo obviamente influido por el argumento de Michael
SCRIVEN(1967), segn el cual los evaluadores deben juzgar. Stake est de
acuerdo en que los juicios deben estar incluidos en las evaluaciones pero
afirma, basndose en algunas razones, que los evaluadores deben rec~pilar
procesar e infor~ar de los juicios de otras personas y no revelar los suyos.
'
Otro factor Impo:;ante que influy obviamente en las concepciones de Stake
acer:a .de la :valuaclon, fue su participacin en los proyectos de CIRCE de
los ulumos anos sesenta, muchos de los cuales tuvieron lugar en universidades. Los. proyectos eran progresistas por naturaleza y, aunque estaban abiertos
al estudIO, a la. observacin y a la informacin perfeccionista de los evaluador.es, no permItan la intervencin controladora ni la manipulacin de las
vanabl:s por parte de los investigadores. Muchos de estos proyectos estaban
conce?,ldos para ,los ms inteligentes o para profesores que aprendan la elabora~IOn de cu~ncul?s. Stake y sus colegas descubrieron que los tests entonces
p~bhcados y dIspon:~les resultaban totalmente inadecuados para evaluar estos
p oyectos. Los reqUISItOs federales para la evaluacin eran esencialmente tyle-
)
238
rianos, y se dedicaban a comprobar si los proyectos patrocinados haban alcanzado sus objetivos mediante su valoracin por los tests ms adecuados. En su
texto Cauntenance, Stake recomendaba ayudar a los proyectos a satisfacer los
requisitos federales de una manera aceptable para el gobierno y til para el
personal y otros interesados. Su mtodo de la figura refleja un intento de adaptar la evaluacin tyleriana a las necesidades de la poca, y presenta un amplio
concepto de los muchos datos que pueden ser utilizados para responder a las
preguntas de los distintos clientes. Su principal propsito era ayudar al lector
a comprobar la amplia gama de datos que pueden utilizarse en una evaluacin.
Tras su publicacin en 1967, el textoCauntenance
fue muy citado en los
debates sobre evaluacin educacional. Al presentarlo, Stake no pretenda ofrecer un modelo (aunque muchos lectores pensaron que sus recomendaciones
formaban parte de uno), de ah que utilizara frecuentemente la denominacin
modelo de la figura. En cambio, intentaba proporcionar un panorama de
la evaluacin. Por figura, l entenda el rostro de la evaluacin, su imagen
total, una capa. Pensaba que los distintos modelos (u opiniones) se podan
adaptar aqu o all, y que la figura era como una red o mapa para poder
localizarlos.
Los aspectos principales atribuidos a la concepcin de Stake son los siguientes:
Las evaluaciones deben ayudar a las audiencias a observar y mejorar lo
que estn haciendo (de ah nuestra denominacin de evaluaciones centradas en el cliente).
Los evaluadores deben escribir programas con relacin tanto a los antecedentes y las operaciones como a los resultados.
Los efectos secundarios y los logros accidentales deben ser tan estudiados
como los resultados buscados.
Los evaluadores deben evitar la presentacin de conclusiones finales resumidas, pero en su lugar deben recopilar, analizar y reflejar los juicios de una
amplia gama de gente interesada en el objeto de la evaluacin.
Los experimentos y los tests regularizados son a menudo inadecuados o
insuficientes para satisfacer los propsitos de una evaluacin, y deben frecuentemente ser sustituidos o completados con una variedad de mtodos,
incluyendo los soft y los subjetivos.
A principios de la dcada de los sesenta, STAKE desarroll estos conceptos y los public (197 5b) en un texto titulado Program Evaluation, Particularly Responsive Evaluation. La evaluacin respondente, como consecuencia, sustituy a la evaluacin figura como denominacin popular del mtodo
de Stake. De todas formas, su nueva formulacin conservaba mucho de lo que
haba incluido en su artculo Cauntenance. La principal desviacin fue su gran
distanciamiento de la orientacin tyleriana, dirigida hacia los objetivos. De
239
)
)
hecho, present la evaluacin respondente tendiendo ms a sus diferencias

con la evaluacin tyleriana (que l denomin evaluacin preordenada) que
a su propia unidad, totalidad e integridad. En esencia, pues, el texto Cauntenance sirvi como puente entre la evaluacin tyleriana o preordenada y un
nuevo y relativamente distinto concepto de evaluacin llamado de evaluacin
respondente. En realidad, este concepto refleja la ya veterana pr.ctica de la
evaluacin informal e intuitiva un tanto formalizada.
Pero Stake aport otras contribuciones notables. Para facilitar el perfeccionamiento de su mtodo, ayud a desarrollar la tcnica de contraposicin
(STAKE y GJERDE, 1971) en la que equipos distintos ideaban y presentaban
los casos ms positivos y los ms negativos a favor y en contra del programa.
Con Tom Hastings, dirigi la tesis doctoral de Robert Wolf,el cual, en respuesta a la peticin, por parte de Stake, de nuevos mtodos para la recopilacin y proceso de juicios, adapt los procedimientos judiciales para utilizarlos
en la evaluacin educacional (WOLF, 1973). Tambin trabaj intensamente
para incorporar la metodologa del estudio de casos concretos a su mtodo
evaluativo. Edit la famosa serie de monografas AERA sobre valoracin de
currculos. Junto con Len Cahen y Garley Forehand, fund el May 12th
Group on Evaluation, que ha sobrevivido como un importante centro de discusiones y debates sobre las teoras, metodologas y prcticas evaluativas. Y
ayud a establecer canales de comunicacin y relaciones de colaboracin entre
los evaluadores de Suecia, Gran Bretaa, Australia, la OCDE, la CEE y los
Estados Unidos. La productividad de este intercambio internacional queda explicada en el libro Beyond the numbers game (HAMILTONy otros, 1977).
El material precedente ha sido proporcionado como informacin sobre los
antecedentes para ayudarle a estudiar las contribuciones de Robert Stake. En
el resto de esta unidad encontrar ms informacin acerca del texto Cauntenance, de la evaluacin respondente y, en general, de la filosofa evaluativa
de Stake. Los objetivos didcticos alrededor de los cuales se estructura la
unidad, aparecen consignados ms adelante. Examnelos, lea el material correspondiente y luego realice el test de conocimientos y los ejercicios prcticos
que hayal final de la unidad. Valore sus respuestas comparndolas con las
correctas, y si alguna es incorrecta revise las secciones pertinentes del texto.
Puede profundizar en la investigacin realizando las Preguntas sin respuesta
(o discutindolas con otras personas), y consultando otras fuentes de informacin acerca del trabajo de Robert Stake que aparecen en la bibliografa que
pone fin a la unidad.
J
')
)
')
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
\
(
240
Evaluacin
sistemtica
Stake:
el mtodo
241
~1'~US:Tr:I.-;,...,:":
!"1-'!;:''.
r",',!
evaluativo
y el cliente
(
(
Objetivos
Los objetivos de este captulo son los siguientes:
(
(
1.
2.
3.
(
(
4.
5.
(
(
(
6.
7.
8.
(
(
9.
10.
(
(
11.
12.
(
(
13.
(
(
14.
15.
(
(
16.
17.
18.
19.
(
(
(
I
Identificar los factores clave que han influido en las concepciones evaluativas de Robert Stake.
Identificar las principales maneras en que las conceptualizaciones evaluativas de Stake se acercan y se alejan del concepto de evaluacin tyleriano.
Identificar las objeciones de Stake a las concepciones y utilizaciones tradicionales de los tests regularizados.
Definir el propsito del mtodo de la figura.
Identificar los significados y aplicaciones de los siguientes conceptos identificados con el texto Countenance: base lgica, antecedentes, operaciones, resultados, normas absolutas, normas relativas, efectos secundarios,
anlisis de la contingencia, anlisis de la congruencia y juicio.
Describir el concepto de Stake del papel del evaluador.
Analizar el concepto de Stake del papel del juicio en la evaluacin.
Identificar las presuposiciones bsicas subyacentes a la evaluacin respondente.
Identificar las caractersticas esenciales de la evaluacin responden te.
Identificar las diferencias ms importantes entre la evaluacin preordenada y la evaluacin responden te.
Identificar lo que Stake considera utilidades relativas de la evaluacin
preordenada y de la evaluacin responden te.
Examinar las opiniones de Stake acerca de cmo los evaluadores respondentes pueden distribuir su tiempo entre las tareas evaluativas, en
relacin a los evaluadores preordenados.
Identificar las recomendaciones de Stake referentes a cmo los evaluadores deben escoger los propsitos, las cuestiones y los criterios para
sus evaluaciones.
Proporcionar el punto de vista de los autores acerca de la concepcin
de Stake sobre las responsabilidades ticas y sociales del evaluador.
Presentar el punto de vista de los autores acerca de la filosofa educativa
de Stake.
Describir e ilustrar cada tarea de la evaluacin reloj.
Identificar las recomendaciones generales de Stake para la utilizacin de
la evaluacin reloj.
Presentar los comentarios del autor acerca de la orientacin epistemolgica de Stake.
Identificar e ilustrar las principales partes de la estructura sustancial de
la evaluacin responden te.
La condicin de la figura de la evaluacin

\'
',_
El artculo de Stake de 1967, titulado The COUmt:.l;Ifl~r.Qf:E4tl~?ti9n~t ~;:~~=-!~f,,

Evaluation, no pretenda ser una gua especfica para liaiplailficacin *.~D.i,~"~:):;',;'~
e
evaluacin, sino una base general para todos los que se enfrentaran a una
..
tarea de este tipo. En este artculo, Stake esbozaba su naciente filosofa evaluativa.
Escogi un ttulo as para su artculo con el fin de transmitir un mensaje
concreto a los especialistas en evaluacin y educadores en general. En l dice
que hay pocos. evaluadores que contemplan la educacin al completo. En
particular, afirma que, a menudo, las evaluaciones formales se centran slo en
unas pocas variables de un programa (como por ejemplo la relacin entre resultados y objetivos) y que las evaluaciones informales reflejan a menudo las
opiniones de un grupo de gente reducido (pero no datos empricos cuidadosamente recopilados). Urge a los educadores y a los evaluadores a reconocer la
estrechez de sus prcticas evaluativas y a prestar ms atencin a todo el conjunto de la evaluacin.
Este, segn l, incluye 1) la descripcin y el juicio de un programa, 2) distintas fuentes de datos, 3) anlisis de la congruencia y las contingencias, 4)
identificacin de las normas pertinentes y a menudo opuestas, y 5) las mltiples utilizaciones de la evaluacin. Fundamentalmente, afirma que evaluar un
programa supone describirlo y juzgarlo por completo, y trata con cierto detalle estos conceptos antes de presentar su mtodo global.
La descripcin
Al considerar la descripcin como un acto bsico de la evaluacin, hace
referencia a los trabajos anteriores de Tyler y Cronbach. Los partidarios del
mtodo de Tyler han concentrado sus esfuerzos descriptivos en discernir hasta
qu punto han sido alcanzados los objetivos. Se han limitado a la utilizacin,
principalmente, de tests regularizados para recopilar sus datos. Stake critica
esta estrechez de miras y apoya la sugerencia de Cronbach acerca de que los
educadores deben ampliar su concepto de lo que significa conseguir un objetivo y de los modos de valorar esto. STAKE(1967) aconseja a los educadores
que supliquen a los especialistas en valoracin que desarrollen una metodologa que refleje la totalidad, la complejidad y la importancia de sus programas.
Ms especficamente, afirma que la tradicional preocupacin de los especialistas en valoracin educativa por la exactitud de las calificaciones de los estudiantes y el pronstico de su validez es un recurso cuestionable. En la evalUcin de currculos, la atencin prestada a las diferencias individuales entre los
estudiantes debe desplazarse hacia las contingencias de los antecedentes, las
l...
')
)
242
Evaluacin
sistemtica
8take:
ltados escolares, Como se comentar ms adeactividades de clase y los redsu k

ndo' a los educadores que descnSta e recome
.
ida
.
.
lante en esta mlsma un
,
d
estos y reales las operaczones dl.
1
t los antece entes supu
,
"
bleran comp etamen e
.
us congruencias y contmgenclas,
dcticas y los resultados, y que exammaran s
El
juiciO
1 ' .,
S ake est de acuerdo con la posicin de
Al abordar el problema de JUlClO, tI l"n no tiene sentido hasta que se
de
que
una
eva
uac o
967)
SCRIVEN(1
acerca
.
lo acertado de asignar la responsa.
. .,
P otra parte cuestlona
, li
emlte un JUKlO. or
, . 1
parcialmente) a los espeCla stas en
bilidad del juicio slo (o a veces mc uso
evaluacin. "
, n l pue d e resu lt ar poco realista por una serie . de raEsta practlca, segu
'd
1
aluadores pueden convertlrse en
zones. Los educadores, intuyen o qUJ os e~tirse a cooperar en sus trabajos
nicos jueces de sus programas, pue en res adores pueden ser censurados o
'1 ., d d tos Ademas l os eva lu
,
de recopl aClOn e a.
,
que los evaluadores que actuan
. .
.
legas suyos que crean
.
cntlcados por clertos co
.
. d
bJ'etl'vos- convierten a las Clen,
1 r de mvestlga ores o
1
como Jueces --en. uga.
.,
1 om ortamiento en algo sospechoso, Iguacias sociales y a la mvestlgaclOn de c PI dores pueden sentirse cualificados
fi
e muy pocos eva ua
.
S k
mente, . ta . e arma
qu
. para una escue la o comunidad poco conoCldas.
,
1
mejor
,
d
para lscutlr que .e,s o
dil ma Stake sugiri una posicin de compromISO.
Para dar soluclOn a este
e d'
d'
debl'eran actuar como jue1
valua ores pu leran o
d ha d
Aunque du a
e que os e , de los programas que evalan, pensaba que
ces nicos o nales de la mayona
il
rocesar objetivamente las opinioeran los nicos cualificados para ~ecop ar
que las evaluaciones de progra-
nes y juicios de ~t,ras p~s?na:l

~~~i~Oe~ ~o: defectos percibidos por grupos
d
mas escolares e lan re e!ar,
.
l'mportantes opiniones que exponer
'd
'fi dos y menClOno cmco con
1
b.
len 1 entl ca
,
dI'
d d en general expertos en e
acerca de la educacin: portavoces e a sOCle a
,
f
adres y estudiantes.
,, d S k
tema, pro esores, P .,
.'
elimin la preocupaClOn e ta e
Esta recomendaclOn ?e comp:oml;~ual los evaluadores deben emitir los
acerca del sistema de Scnven, segun e
,
e su recomendacin obviaba
juicios nales. Especialmendte, Stake a~r~o qsuma's cuestionables del sistema
'1
'd
b las os presupOSlClone
las que e conSl era a
,
d el mejor puede resultar ser
de Scriven: 1) que un progra~a que s;a J~:g~n~ opcin local no es vlida si
el mejor para todos los estudlantes, lY d) q no pueden hacer ninguna presu. 1 b'
mn Los eva ua ores
.
es contrana a len co
.
. icios procedentes de una ampha
posicin si recogen, procesan y presentan JU
gama de grupos de referencia.
el mtodo
evaluativo
y el cliente
243
')
)
Esquema para la recopilacin
de datos
Con esta informacin sobre los puntos de vista de Stake acerca de la

descripcin y el juicio, ya podemos proporcionar un amplio panorama de su
mtodo global, representado en la figura 7-1. La figura presenta los principales
tipos de informacin que debe ser recopilada para realizar cualquier evaluacin de programas. Advierte que Stake no ha concebido esas cajas para que
sean rellenadas. Las cajas representan nicamente una clasificacin de datos
que pueden o no resultar tiles.
Los conceptos de antecedentes, transacciones y resultados son de importancia primordial. Stake comenta que si los evaluadores pueden recoger, analizar
y presentar informacin acerca de todo eso basndose en diversas fuentes,
podrn aproximarse con ms xito al objetivo de abordar la totalidad 1 de la
evaluacin, que si persisten en sus intentos de determinar si los objetivos han
sido alcanzados. Cada uno de estos tres conceptos es complejo y requiere una
explicacin,
Los antecedentes se refieren a la informacin ms relevante sobre el historial. En concreto, Stake consideraba este tipo de informacin como algo que
inclua alguna condicin ya existente antes de la enseanza y el aprendizaje,
y quiz relacionada con los resultados: por ejemplo, si un estudiante se ha
comido un buen desayuno antes de ir a la escuela, si ha hecho los deberes o
si ha dormido bien; igualmente, si el sindicato del profesor se opone a que
participe en la preparacin de los servicios. Para describir y juzgar totalmente
un programa o un episodio del aprendizaje, Stake afirma que los evaluadores
deben identificar y analizar los pertinentes antecedentes.
El segundo tipo de informacin propuesto por Stake, las transacciones de
la enseanza, incluye los innumerables encuentros de los estudiantes con otras
personas, como los profesores, los padres, los miembros del consejo, los tutores y otros estudiantes. Stake recomienda a los evaluadores que realicen
una especie de proceso evaluativo continuo con el fin de discernir los trabajos
reales del programa,
Los resultados se refieren a lo que se consigue a travs de un programa.
Esto incluye las capacidades, los logros, las actitudes y las aspiraciones. Incluye
tambin el impacto que causa en todos los participantes (profesores, padres,
1. En su correspondencia personal, Stake indicaba que se senta confuso ante el
asunto de la totalidad. Reconoca que las exigencias de figura acerca de la totalidad
de la descripcin y el juicio, no eran para conseguir unos informes ms largos, sino
para desviar la atencin de lo que se estaba haciendo (de ser menos total en ello)
y situarla en otros aspectos del objeto. Reconoca la necesidad de delimitar, de concentrarse. En la evaluacin responden te solucion esta necesidad de una cobertura y delimitacin ms amplias, aconsejando al evaluador que buscara y solucionara los problemas clave.
.)
')
')
')
')
')
')
')
')
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
\
(
(
244
Evaluacin
Stake:
sistemtica
el mtodo
evaluativo
y el cliente
245
(
(
Intenciones
(lo que
pretende
la gente)
Normas
(lo que
la gente
generalmente
aprueba)
Observaciones
(lo que
percibe
la gente)
Juicios
(lo que la
gente cree que
debe ser el
programa
principal)
(
(
Base lgica
que ellos entiendan (no necesariamente en forma de objetivos de compor~lmiento). Las observaciones se refieren a qu antecedentes, transacciones y cesultados han sido observados y anotados, los cuales pueden haber sido recopilados a travs de distintas fuentes e instrumentos de recopilacin de datos.
Stake aconseja a los evaluadores que realicen una amplia bsqueda de la existencia de acontecimientos, tanto los que se haban pronosticado como los
que no.
La siguiente lista ilustra los tipos de informacin que un evaluador puede
recopilar desde la perspectiva de la matriz de descripcin de Stake:
1.
(
2.
Transacciones
3.
(
(
4.
Resultados
(
(
5.
Matriz de descripcin
Matriz de juicio
(
(
rIGURA
7-1.
Esquema de Stake para la recopilacin de datos en la evaluacin

de un programa educativo
STAKE, Robert E., 1967, The Countenance of Educational Evaluations, Teachen

College Record, 68:523-40.
FUENTE:
(
(
(
(
(
,
(
(
(
~
t
(
I
administradores, educadores, estudiantes y otros). E incluye finalmente los

resultados evidentes y los confusos, los buscados y los no buscados, los de
largo y los de corto alcance.
.
Stake utilizaba los antecedentes, las transaCClOnes y los resultados como
conceptos centrales para estructurar su concepcin de lo que debe hacerse al
describir y juzgar un programa. Esta estructura aparece representada en las
matrices de descripcin y juicio de la figura 7-1. Los antecedentes, las t.ransacciones y los resultados son las dimensiones ~er.t~cales de ~mbas. matnces.
La dimensin horizontal de la matriz de descnpclOn son las mtenclOnes. y las
observaciones. Con intenciones Stake se refiere a todo lo que se planea, mcluyendo los antecedentes, las actividades de enseanza y apre~dizaje, y los resultados deseados; recomienda a los evaluadores que estudien tan.to l.~ que
los educadores excluyen como lo que incluyen, todo bajo la denommaClon ~e
intencin, y que expresen los propsitos de los educadores en un lenguaje
6.
El profesor dice que los estudiantes se inscriben en la clase de apreciacin

musical porque quieren (antecedente propuesto).
Sin embargo, el 40 % de los estudiantes se quejan de que sus padres les
han obligado a inscribirse (antecedente observado).
.
El currculo de apreciacin musical especifica que los estudiantes pasan
40 minutos a la semana oyendo msica y 20 discutiendo sobre ella (transacciones propuestas).
Por regla general, los estudiantes dicen pasar 19 minutos a la semana
oyendo msica, 3 minutos discutiendo, 20 minutos estudiando y el resto
del tiempo haciendo otras cosas (transacciones observadas).
Al final del curso, los estudiantes esperan, entre otras cosas, ser capaces
de conocer los nombres de los compositores de obras musicales seleccionadas para su audicin (resultado propuesto).
Por regla general, los estudiantes conocen correctamente los nombres de
los compositores de dos piezas de las diez que han escuchado; igualmente, y de una forma inesperada, el padre de uno de los estudiantes contribuye con una gran suma de dinero a la ampliacin de la biblioteca'
musical de la escuela (resultados observados).
Aunque el ejemplo es simplista, ilustra muy bien uno de los mensajes

bsicos de Stake: a travs del estudio de los antecedentes propuestos y de los
reales, de las transacciones y de los resultados, debe estimularse a los evaluadores para que describan los programas de una forma ms completa que si se
limitaran a relacionar los objetivos con los resultados. Stake reconoca que los
lmites entre los elementos de la matriz de descripcin eran vagos. Pero, segn
l, esto no tena importancia, porque el propsito principal es estimular a los
evaluadores a reflexionar ampliamente y proporcionarles una gua para que lo
hagan.
Adems de describir el programa de inters con relacin a la matriz de descripcin, Stake recomendaba a los evaluadores que investigaran cuidadosamente la base lgica del programa. En efecto, cules son los antecedentes e intenciones filosficas del programa? Una vez que se haya informado de la base lgica del programa, el evaluador puede utilizarla como punto de partida para juz-
)
')
246
gar las intenciones del programa. Por ejemplo, constituye el programa planificado un paso lgico en la realizacin de las intenciones bsicas? Stake tambin
observ que la base lgica es til para la eleccin de grupos de referencia que
luego pueden ser usados para identificar las normas y aprobar los juicios.
Al concluir su comentario sobre la base lgica, Stake advierte a los evaluadores que no sobrerracionalizen un programa. Deben evitar imponer su
filosofa y su lgica por encima del programa. Los evaluadores deben caracterizar cualquier base racional que encuentren, en el lenguaje del personal del
programa, y no necesariamente en el suyo. Aunque l no lo diga, nosotros
presumimos que Stake quiere llamar la atencin de los evaluadores sobre los
problemas que ellos mismos perciben en la base lgica de un programa (como
la ambigedad, la incoherencia, la ilegalidad o la inmoralidad).
Tras sus explicaciones sobre la matriz de descripcin y la base lgica, Stake
se dedica a comentar las maneras en que se puede analizar la informacin
descriptiva. Identifica el anlisis de la congruencia y el anlisis de la contingencia como los dos tipos bsicos de anlisis, representados en el paradigma
de la figura 7-2.
El anlisis de la congruencia se dedica a averiguar si los propsitos se han
cumplido. Son congruentes los antecedentes observados con los pronosticados?
Los profesores deben proporcionar las directrices del currculo? Se han alcanzado los objetivos propuestos? Existen efectos secundarios? El anlisis
de la congruencia es idntico, en esencia, a la recomendacin de Malcolm
PROVUS acerca de que los evaluadores deben buscar discrepancias entre los
propsitos y 10 que realmente sucede (1971).
Al citar el anlisis de la contingencia, Stake afirma que dado que la evaluacin es la bsqueda de relaciones que permitan el perfeccionamiento de la
educacin, la tarea del evaluador consiste en identificar los resultados contingentes a antecedentes concretos y transacciones didcticas. Ms adelante, explica que es importante investigar las contingencias existentes entre las intenciones y entre las observaciones?
Como aparece en la figura 7-2, el criterio apropiado para identificar y
valorar las contingencias entre los antecedentes propuestos y las transacciones,
y las transacciones propuestas y los resultados, es lgico. Es razonable asumir
que los antecedentes propuestos permiten el ejercicio de la enseanza propuesta? Y que esta ltima puede conducir a los resultados propuestos? Stake
advierte que, al realizar anlisis lgicos, los evaluadores deben confiar en su
experiencia previa con poblaciones y programas similares, y que pueden obtener intuiciones tiles estudiando la bibliografa de investigacin ms importan2. En su crtica del borrador previo, Stake indica que estos conceptos analticos no
resultan productivos y, por lo tanto, no deben ser recomendados. NosottoS los hemos
examinado porque pensamos que proporcionan un adecuado panorama de los mtodos
de anlisis que los evaluadores, por lo general, intentan aplicar, incluso aunque a menudo
resulten infructuosos.
8take:
el mtodo evaluativo y el cliente
247
')
Datos descriptivos
")
~
')
")
Congruencia
')
)
')
Contingencia
lgica
Contingencia
emprica
)
)
)
)
Congruencia
)
)
)
Contingencia
lgica
Contingencia
emprica
)
)
)
Congruencia
)
)
)
FIGURA
7-2.
Esquema de Stake del procesamiento de datos descriptivos
FUENTE:STAKE,Robert E., 1967, The Countenance of Educational Evaluations, Teachers

College Record, 68:523-40.
)
)
)
te y, segn deducimos nosotros, informes evaluativos de programas similares.

Un anlisis lgico de la contingencia entre las intenciones resulta importante,
como observa PROVUS(1971), como gua de los juicios acerca de la solvencia
terica y adecuacin estructural del programa.
Los anlisis de la contingencia de las condiciones observadas, segn Stake,
deben estar basados en criterios de evidencia emprica. Existen correlaciones
entre los antecedentes reales y las actividades didcticas observadas? Y entre
)
)
)
)
)
)
~.
i
(
248
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
,
t
t
(
t
(
Stake: el mtodo evaluativo y el cliente
estas ltimas y ciertos resultados (ya sean o no buscados y deseados)? Puede

justificarse como causal alguna de las correlaciones? Stake advierte que los
anlisis de la contingencia requieren datos procedentes del programa que se
est investigando y pueden suponer un examen de los datos presentados en
los informes investigativos.
Stake finaliza diciendo que los requisitos relacionados con el anlisis de
la contingencia implican cualificaciones especiales para los evaluadores de determinados programas. Todo ello incluye la familiaridad con la literatura
terica e investigativa ms importante y experiencia previa en el estudio de
programas similares. Dado que un solo evaluador no suele poseer todas estas
cualificaciones especficas, adems del dominio de los mtodos analticos, tcnicos, comunicativos, polticos y administrativos que requiere una evaluacin,
Stake afirma que una evaluacin solvente exige un trabajo de equipo.
La recopilacin y el anlisis de la informacin descriptiva y de la descripcin de base lgica del programa, proporciona el fundamento de la tercera
caracterstica principal del mtodo de la figura: la identificacin de normas y
la formulacin de juicios acerca del mrito del programa. Esta parte est representada en la matriz de juicio de la figura 7-1. Su dimensin vertical incluye
los tres conceptos centrales llamados antecedentes, transacciones y resultados.
La dimensin horizontal de la matriz est dividida entre las normas y los
juicios.
Stake define las normas como criterios explcitos para valorar la excelencia de una oferta educativa. Advierte que la calidad de las escuelas, los tests
calificativos regularizados y las opiniones de los profesores no son buenos
indicadores de la excelencia de los estudiantes; y, en general, afirma que las
evaluaciones en boga no poseen amplios valores de referencia. Advierte que
en una sociedad sana, sus distintas partes deben disponer de distintas normas.
Tambin cita y apoya la afirmacin de CLARK y GUBA (1965) acerca de que
las distintas etapas de la realizacin de un currculo suponen la utilizacin de
distintos criterios. Con relacin a la complejidad del problema de los criterios,
advierte a los evaluadores que digan, con tanta amplitud y claridad como les
sea posible, qu normas adopta cada uno, y que tengan en cuenta las normas
generales y los juicios emitidos por individuos y grupos acerca de un programa
concreto.
El concepto de Stake acerca de los juicios est inextricablemente ligado
con su concepcin de las normas. Dice: El juicio racional en la evaluacin
educacional es una decisin sobre la atencin que hay que prestar a las normas
de cada grupo de referencia (punto de vista) a la hora de decidir si hay que
emprender o no alguna accin administrativa. Adems, identifica dos tipos
de normas que sirven de base para los juicios: las normas absolutas (convicciones personales acerca de 10 que es bueno y deseable para un programa)
y las normas relativas (caractersticas de los programas alternativos que se creen
satisfactorios) .
249
Comparacin
absoluta
Propuestas observadas
An teceden tes
Transacciones
Resultados
(Datos
descriptivos
del programa
en cuestin)
Normas
de
calidad
Comparacin
relativa
Datos
descriptivos
de otros
programas
J
U
1
C
1
O
S
FIGURA 7-3.
FUERNTE:
Esquema de Stake del proceso del juicio del mrito

de un programa educativo
STAKE,Robert K, The Countenance of Educational Evaluation Teachers College
ecord, 1967, 68:523-540.
'
Su representacin de las operaciones implicadas en la emisin de juicios

aparece en la figura 7-3. Aunque Stake no contempla la evaluacin como un
proceso metdico, la siguiente tarea se desarrolla ms o menos segn el proceso descrito en la figura 7-3.3
. 3. En una carta personal,. Stake subraya que las flechas no indican el paso del
tIempo. Las dobles flechas sugIeren que las distintas actividades son interactivas, y l
contempla. el proceso como algo, en gran parte, inconsciente, simultneo y no necesaria.
mente racIOnal.
250
1.
Evaluacin
sistemtica
El evaluador recopila y analiza la informacin descriptiva
(y describe la
base lgica del programa).

. .
El evaluador identifica las normas absolutas (las conv1cc10n~s formales e
2.
informales, conducidas por importantes grupos de referencla, acerca de
qu normas de calidad deben utilizarse).
El evaluador recoge los datos descriptivos de otros programas.7 extrae
3.
las normas relativas para compararlas con el programa en cue::lOn.
4. El evaluador valora hasta qu punto el programa en cuesuon cumple
las normas absolutas y relativas.
.
En solitario o en colaboracin con otros, el evaluador Juzga el programa,
5.
esto es, decide qu normas tomar en consideracin. Ms especficamente,
asigna un peso, una importancia, a cada grupo de normas.
8take:
el mtodo
evaluativo
y el cliente
J
251
sofa, etctera. Tambin pide el desarrollo de nuevos y mejores modos de

procesar los juicios y de que las evaluaciones sean menos intrusivas. Con
relacin al ltimo punto, dice que la figura de una evaluacin debe ser una
de las recopilaciones de datos que conduzca a la toma de decisiones, y no a
la bsqueda de problemas.
A pesar de las dificultades de llevar a cabo este mtodo, Stake urga a
los educadores para que sus evaluaciones fueran ms meditadas y formales.
Recomendaba que clarificaran sus responsabilidades respecto a las evaluaciones
individuales respondiendo a cinco preguntas:
")
")
J
J
')
')
')
")
1.
2.
Contraponiendo las normas relativas y las absolutas, Stake cita un desa~

cuerdo que se produjo entre Scriven y Cronbach. CRONBAC~ (l9.~3) afirmo
que los estudios comparativos de currculos eran una mala mverS10n ?o.rque
no generalizaban adecuadamente sobre la situacin local y porque, los d~st~ntos
programas servan a las necesidades de distintos grupos y tem~n distmtos
propsitos. En general, recomend a los evaluadores que no reahzaran es~udios comparativos, pero que, en su lugar, trabajaran ~n ~r?fundos estudios
del proceso destinados a perfeccionar los prog~~mas. mdiv1duales. SCRIVEN
(1967), por otra parte, recomienda la compa::aclOn d1recta ~e un progr,ar.na
con sus competidores crticos como la mejor ~ase para Juzgar el :nento
del programa. Reconoca la necesidad de los estudlOs. del proceso d~l Upo de
los recomendados por Cronbach {Scriven los denommaba .evaluac1~nes formativas), pero deca que eran (por lo menos entonces) de 1m~ortancla se;~ndaria, comparados con los estudios comp~rativos dest~nados a Juzgar el mento
del programa (l las denomin evaluaclOnes .sumauvas). .
,
Stake consideraba la necesidad de ambos tlpOS de estudios y observo que
su importancia relativa poda variar, de acuerdo con el propsito de la evaluacin, para ser comprendida. Esto es, afirmab~ que la figura ~otal de ~a
evaluacin implica distintas utilizaciones de los mformes evaluatlvos. Cre1a
que las evaluaciones sumativas comparativas eran necesarias para un educad?r
enfrentado a la decisin de qu programa adoptar, pero no para los espeClalistas en currculos enfrentados a la tarea de planificar y desarrollar un nuevo
programa o a la responsabilidad de mejora: uno 'ya existente. E.sta ltima n~cesidad de un servicio evaluativo queda mejor satlsfecha con el upo de estudlO
formativo recomendado por Cronbach.
.
..
Al terminar el texto Countenance, Stake reconoce la d1ficultad de uuhzarlo
literalmente. Dice que un trabajo de equipo es lo que, por 10 gene~a1, ?e~e
utilizarse. Las especializaciones del equipo puede? inc.l~ir la teCn?~O~la.d1da~tica, los tests y las escalas psicomtricas, la plamficaCl?n y el anahs~s lnvestlgativo, la difusin de informacin, la antropologa soc1al, la econom1a, la 10-
")
3.
4.
5.
La evaluacin debe ser descriptiva, orientada hacia el juicio o ambas

cosas?
La evaluacin debe destacar los antecedentes, las transacciones, los objetivos o sus contingencias funcionales?
La evaluacin debe destacar la congruencia?
La evaluacin debe centrarse en un solo programa o ser comparativa?
La evaluacin est concebida como gua del desarrollo o para elegir entre
varios currculos?
')
.)
)
)
')
Finalmente, Stake mira al futuro y afirma que las evaluaciones deben ser
utilizadas para desarrollar un conocimiento bsico sobre la educacin. Urge
a los educadores a que desarrollen bancos de datos que documenten las causas
y efectos, la congruencia entre los propsitos y su consecucin, y un panorama
de juicios de todos aquellos que tengan algo que ver con los programas que
se evalan.
)
)
)
)
)
)
Evaluacin respondente
Trataremos ahora de la ampliacin que hace el propio Stake de su filosofa
evaluativa bajo la denominacin de evaluacin respondente. Esta ampliacin
apareci en el texto titulado Program Evaluation: Particularly Responsive
Evaluation, que STAKE (l975b) present en la Conference on New Trends
on Evaluation de Gotemburgo, Suecia, en 1973.
Al presentar la evaluacin respondente advierte que su atencin se centra
en la evaluacin de programas, que pueden ser estricta o libremente definidos,
grandes o pequeos, y, segn deducimos nosotros, continuos o ad hoc. Al
considerar este mtodo, pide a su audiencia que suponga que alguien ha sido
encargado de evaluar un programa y que el programa en muchas ocasiones
es algo subyacente. Subraya que pueden existir clientes especficos o audiencias que satisfacer y que, por lo general, incluyen responsables para la realizacin del programa. El evaluador, segn Stake, debe ser el responsable de
comunicar con estas audiencias especficas. Estas presuposiciones a modo de
)
)
)
)
)
(
)
)
J
)
)
)
)
-..
(
(
252 I
253
{
(
(
(
(
(
(
(
{
(
(
(
(
(
(
(
(
(
(
,,
,,
(
t
~
(
<
gua coinciden claramente con los princlplOs del texto Countenance: a saber,
que el punto en el que empieza a actuar el evaluador est situado, por lo general, despus de que el programa ya ha empezado, y que el principal papel
del evaluador es, comnmente, proporcionar informacin evaluativa til a
aquellas personas que estn operando con el programa.
Stake identifica la evaluacin respondente como una alternativa frente a
otros ocho mtodos evaluativos: 1) el modelo pre-test y post-test (preferido
por muchos investigadores); 2) el modelo acreditativo, que supone un autoestudio y la visita de expertos exteriores (les gusta a los educadores, segn
Stake, si pueden escoger los visitantes, pero no les gusta a los investigadores,
puesto que confa en informacin de segunda mano); 3) la investigacin aplicada al modelo didctico (recomendada por CRONBACH, 1963, 1980); 4) la
evaluacin orientada hacia el consumidor (recomendada por SCRIVEN, 1967,
1974); 5) la evaluacin orientada hacia la decisin (propuesta por STUFFLEBEAM,1966, 1971); 6) la metaevaluacin (introducida por SCRIVEN,1976);
7) la evaluacin sin metas (desarrollada por SCRIVEN, 1974); y 8) la evaluacin contrapuesta (recomendada por OWENS, 1973, y WOLF, 1973). Stake
consideraba que los dos primeros eran los principales modelos de la evaluacin
de un programa y decidi especficamente presentar la evaluacin respondente
como una alternativa bien definida al modelo pre-test y post-test, que l llamaba evaluacin preordenada.
Stake identificaba la evaluacin respondente como un mtodo que ya haba
sido recomendado por PARLETT y HAMILTON(1972), McDoNALD (1975),
SMITH y PAHLAND(1974) Y RIPPEY (1973). Fundamentalmente, segn l, el
mtodo subraya marcos para el desarrollo del aprendizaje, las transacciones
didcticas, los datos para los juicios, el informe holstico y la asistencia a los
educadores.
Al ampliar el mtodo, suscribi una definicin general de evaluacin que
l atribua a Scriven. De acuerdo con esta definicin, la evaluacin es un
valor observado comparado con alguna norma. Stake representaba esta definicin en la siguiente proporcin:
Toda la constelacin de valores de un programa
Evaluacin
= ---------------------
Complejo de expectativas y criterios que distintas

personas tienen sobre el programa
Stake advierte que la tarea bsica del evaluador no es resolver la ecuacin numricamente ni, como dice que recomend Scriven, obtener un resumen descriptivo del programa. En cambio, Stake advierte al evaluador que
realice un amplio informe de lo que se ha observado acerca del programa y
de la satisfaccin o insatisfaccin que siente un grupo de personas adecuadamente seleccionado ante el programa. Este sistema es claramente reminiscen-
te del texto Countenance, en el que Stake afirma que las dos principales tareas
de la evaluacin son la descripcin y el juicio de un programa. Al comentar la
evaluacin responden te Stake no contempla al evaluador recopilando normas,
clasificndolas segn su importancia y reduciendo estas escalas a un juicio
global. Por el contrario, el evaluador debe hacer referencia, simplemente a las
opiniones de la gente acerca del programa y no juzgarlas, clasificarlas o sintetizarlas.
El tema dominante en la evaluacin respondente es proporcionar un servicio a personas especficas (clientes). Stake subraya que las evaluaciones probablemente no sern tiles si los evaluadores no conocen el lenguaje y los
intereses de su audiencia y si no realizan sus informes con ese lenguaje.
Evaluacin preordenada
contra evaluacin respondente
A lo largo de su presentacin, Stake contrasta en repetidas ocasiones la

evaluacin respondente y la evaluacin preordenada. Nosotros hemos intentado reflejar las principales distinciones de Stake en el resumen de la tabla 7-1.
Como puede verse, destacamos once distinciones clave. La primera, y quiz
ms expresiva, distincin se refiere al propsito de la evaluacin. El propsito
de una evaluacin preordenada es; por lo general, centrarse estrechamente en
responder una pregunta clsica: hasta qu punto han sido alcanzados los
objetivos preestablecidos? Por otra parte, una evaluacin respondente est
destinada a ayudar al cliente a comprender los problemas y a descubrir las
virtudes y los defectos del programa (segn distintos grupos).
La segunda distincin se refiere al alcance de los servicios que el evaluador debe proporcionar. En una evaluacin preordenada el evaluador debe recopilar, analizar y presentar los resultados de acuerdo con un plan estrictamente preespecificado. El evaluador responden te, por otra parte, debe buscar
los problemas y cuestiones pertinentes a lo largo de todo el estudio e intentar
responder de manera oportuna, recopilando y presentando informacin til,
incluso si no se ha anticipado la necesidad de esta informacin al principio del
estudio. En general, el alcance de las evaluaciones preordenadas resulta estrecho comparado con la amplia gama de problemas que pueden ser considerados en una evaluacin responden te.
Otra distincin se basa en la formalidad y especificidad de los acuerdos escritos que gobiernan la evaluacin. A menudo, las obligaciones formales de
las partes principales deben acordarse por escrito al principio del estudio, en
cualquier tipo de evaluacin. De cualquier forma, los contratos de las evaluaciones preordenadas deben ser formales, especficos, amplios y obligatorios,
mientras que los de las evaluaciones responden tes tienden a ser generales, flexibles y sin lmites fijos.
Una cuarta diferencia entre los dos tipos de evaluacin consiste en su
...=.c .._ ...-,...__
. --_~.~
77,'
~~
TABLA
7-1.
Principales
distinciones
..
entre la evaluacin preordenada
I\J
y la evaluacin respondente
Evaluacin preordenada
Evaluacin responden te
Determinar hasta qu punto han sido alcanzadas

las metas
Ayuda a los clientes a distinguir las virtudes y

los defectos
2. Alcance de los servicios
Satisfacer los requIsItos informativos tal como se

haba acordado al principio del estudio
Responde a los reqUlSltOSinformativos de la

audiencia a lo largo de todo el estudio
3. Contratos
Las obligaciones de las partes formales de la

evaluacin se negocian y definen tan especficamente como sea posible al principio del
estudio
Los propsitos y procedimientos se esbozan de

una manera muy general al principio y se desarrollan durante el estudio
4. Orientacin principal
Propsitos del programa, indicacin de las variables
Problemas y actividades del programa
5. Planificaciones
Preespecificadas
Se van haciendo a s mismas
6. Metodologa
Reflejo del Modelo investigativo: intervencin

y observacin
Reflejo de lo que la gente hace naturalmente:

observa, interpreta y especifica
7. Tcnicas preferidas
Diseo experimental, objetivos de comportamiento, hiptesis, muestreo al azar, tests objetivos,

estadsticas de resumen e informes investigativos
Estudio de casos concretos, objetivos expresivos,

muestreo intencionado, observacin, exmenes
de programas opuestos e informes expresivos
8. Comunicaciones entre el evaluador y el cliente
Formales e infrecuentes
Informales y continuas
Distincin
~
!.'?.
e
1. .Propsito
'(5;"
(')
::J
en
j'
...
m
3
~
o'
'"
",
Referencias a los objetivos preestablecidos, a los

grupos de reglas y a los programas competitivos
Referencias a las distintas perspectivas de valor

de la gente que se tiene a mano
10. Diferencias fundamentales
Sacrifica el servicio directo a los que toman parte

en el programa por la produccin de informes
investigativos objetivos
Sacrifica cierto grado de precisin en la valoracin para que pueda aumentar la utilidad
11. Previsiones para evitar la tendenciosidad
Utiliza procedimientos objetivos y perspectivas

independientes
Reproduccin y definicin operacional de los trminos ambiguos
9. Bases para la interpretacin de

los valores
CJl
...
'm"
"
~
3
m,
ooo
'"
'<"
o
'<
~
(')
m
::J
...
I\J
01
01
OG~0UGGG~0UGU00uuu0uU0u000UU0~~UJ~U
256
Evaluacin
sistemtica
(
(
(
(
(
(
(
(
(
(
(
(
(
I
(
(
(
(
(
(
(
(
(
(
{
{
{
{
~
~
(
orientacin. Los evaluadores preordenados deben examinar los proposltos del

programa -incluyendo
especialmente los objetivos, los procedimientos y la
oportunidad de la propuesta del programapara decidir qu informacin
debe recoger. En efecto, deben estar predispuestos a recoger aquellos datos
necesarios para determinar si sus objetivos han sido alcanzados y, en ocasiones,
si el programa se ha realizado tal como se haba planificado. Los evaluadores
responden tes no deben dejar que la retrica de la propuesta sea tan determinante. Guindose por ciertas expectativas de lo que ser importante, deben
examinar las actividades y problemas del programa, pero quedar libres de
decidir acerca de ciertas actividades o cuestiones de mayor importancia. Deben
preocuparse por las propuestas del programa que pueden poner de relieve
puntos ciegos.
Los dos tipos de estudios deben estar conducidos por planificaciones considerablemente distintas. Las planificaciones de las evaluaciones preordenadas
deben ser preespecificadas tanto como sea posible, puesto que los objetivos
del estudio deben establecerse y los controles, las definiciones y las estructuras comunes a este tipo de estudio deben quedar determinados al principio.
Las planificaciones de las evaluaciones responden tes deben ser ms abiertas y
libres, tendiendo hacia la descripcin narrativa, ms que hacia la valoracin
de los casos. Los controles y las intervenciones en el programa rara vez se
planifican. El evaluador debe intentar, a lo largo de todo el estudio, descubrir
y responder aquellas cuestiones importantes para distintos clientes.
Coincidiendo con la diferencia entre los dos tipos de clasificacin, existe
una marcada diferencia en los mtodos utilizados por las dos evaluaciones.
Las evaluaciones preordenadas, en general, deben emplear el modelo investigativo. En l, el evaluador suele intervenir con dos o tres tratamientos,
observa su impacto relativo sobre los estudiantes o clientes valorndolo por
medio de unos pocos criterios y comprueba las hiptesis acerca de los distintos efectos. De acuerdo con Stake, la evaluacin preordenada refleja ms un
modelo de estmulo y respuesta y la evaluacin respondente invierte la secuencia. La evaluacin respondente es una evaluacin de respuesta y estmulo, en el sentido de que el evaluador responde primero, esto es, observa el natural discurrir de un programa evitando cualquier tipo de intervencin y luego
lo estimula o interviene en l, de modo parecido a como lo hace el cliente.
Por lo general, podra decirse que las metodologas de ra evaluacin preordenada y de la evaluacin respondente son, respectivamente, experimental y naturalista.
De acuerdo con esto, las tcnicas preferidas por ambos mtodos son tambin distintas. En la evaluacin preordenada las tcnicas elegidas son las planificaciones experimentales, los objetivos de comportamiento, las hiptesis,
los muestreos al azar, los tests regularizados, las estadsticas deductivas y los
informes investigativos. Las tcnicas preferidas por los evaluadores respondentes son el estudio de casos concretos, los objetivos expresivos, los mues-
8take:
el mtodo
evaluativo
y el cliente
257
treos intencionados, la observacin, los exmanes de programas opuestos y

los informes narrativos.
Las comunicaciones entre el evaluador y el cliente, en los dos tipos de
estudios, desempean distintos papeles. En los estudios preordenados la comunicacin se emplea para alcanzar acuerdos previos acerca de cmo y por qu
debe ser realizado el estudio, para controles peridicos a lo largo del estudio
para asegurar que los participantes estn cumpliendo con sus responsabilidades, y para presentar el informe final. En general, el evaluador preordenado
intenta comunicarse formal e infrecuentemente con el cliente. Y a la inversa,
las comunicaciones entre el evaluador respondente y el cliente tienden a ser
informales y frecuentes. Dado que se opone a las preorganizaciones, la comunicacin en la evaluacin respondente debe ocurrir de una manera natural.
Un intercambio ms relajado y continuo entre el evaluador y el cliente resulta,
segn Stake, esencial, puesto que el propsito es efectuar una bsqueda continua de cuestiones clave y proporcionar al cliente toda la informacin til
que le sea posible.
Los dos tipos de evaluacin tambin difieren en su aproximaclOn a la
interpretacin de los valores. Al conceder un significado de valor a los resultados observados, el evaluador preordenado remite a los objetivos preestablecidos o al nivel de elaboracin de un grupo de reglas o estudiantes de un
programa competidor. El evaluador respondente no debe excluir necesariamente estas fuentes, pero debe estar seguro de remitir a las distintas perspectivas de valor de toda aquella gente implicada realmente en el programa especfico que se est estudiando. Adems, el evaluador respondente no debe
perseguir una sola conclusin acerca de la buena o mala calidad del programa,
sino intentar reflejar todas las opiniones obtenidas de los grupos de referencia.
Stake reconoce, como consecuencia, en sus escritos, que las evaluaciones
sirven para una amplia gama de propsitos y deben seguir, legtimamente,
distintos mtodos. Aunque explica por qu prefiere, por lo general, la evaluacin respondente, tambin advierte que deben existir intercambios con otros
mtodos. Dice concretamente que las evaluaciones preordenadas deben sacrificar el servicio directo a los componentes del programa por la produccin
de informes investigativos ms rigurosos y objetivos. Las evaluaciones respondentes, por otra parte, deben sacrificar cierta precisin en la valoracin por
el aumento de la utilidad de sus informes para todos aquellos que intervienen
en un programa concreto.
Nuestra distincin final, la nmero once, entre la evaluacin respondente
y la evaluacin preordenada se refiere a las previsiones para evitar la tendenciosidad. Obviamente, este tema es importantsimo en la evaluacin preordenada. Los procedimientos objetivos y las perspectivas independientes se emplean para asegurar que la informacin obtenida satisface ciertos niveles de
adecuacin tcnica. La evaluacin responden te tambin emplea tests de educacin tcnica, pero no los verifica con tanta facilidad. La evaluacin res pon-
c_
'>
')
258
. l'a lmpor t an Cl'ade la informacin

, ' subjetiva y resta 'importancia a
d ente d estaca
la utilizacin de tcnicas regularizadas y obJetlvas, dando paso aSl; u?a ayor
tendenciosidad. Stake sostiene que existen otras maneras de re UCl! a tendenciosidad, Concretamente, pide a los evaluadores respondentes que com'
'de
resultados estables y coherentes empleando la reprue b en 1a eXlstencla
dundancia en sus actividades de recopilacin de, ?atos y respuesta,s, a sus esde sus
tu di os d e casos, Tambl'n les aconseJ'a que faciliten la comprenSlOn
,.
b'
informes presentando definiciones operacionales de los terr:rlln~s an:: 19uOS,
Pero, con todo, Stake es partidario de que sea el lector qUlen ldentlfique e
interprete la posible tendenciosidad.

..'
, ,
En la tabla 7-1 presentamos nuestra visin de las pnnClpa1es dlstmclOnes
,'
preordenada y la evaluacin respondente, 1 La
entre 1a eva 1uaClOn
1 tabla 7-2
'
t'
dl'stl'nto de comparacin. En ella, Stake calcu a os porcentacontlene un lPO
d d'
jes de tiempo que los evaluadores preordenados y los respond~ntes
e lcan a
las distintas actividades evaluativas en un caso normal. El cal~~lo ~~ Stake
refleja, por 10 que sabemos, slo .su opinin y puede ser conSl era emente
opuesto a otras visiones de la reahdad.
De acuerdo con comparaciones hipotticas, tanto l~s eva1uadore,s preordenados como los responden tes dedican el diez por Clento de su tlempo a
identificar organizadores previos. Pero este tiempo, ~ara los evaluadores ~reordenados, debe ser una bsqueda de las metas, mlentras que para los .esTABLA
Clculo de Stake sobre la distribucin del tiempo

en los evaluadores preordenados y los responden tes
7-2,
Tareas
Identificacin de problemas y metas
Preparacin de los instrumentos
Observacin del programa
Administracin de tests, etc.
Recopilacin de juicios
Identificacin de las necesidades del cliente
Proceso de datos formales
Preparacin de informes informales
Preparacin de informes formales
S
R b rt E 1975b Program Evaluation: Particularly Responsive Evalu~tion,
FUE~~~~Sio::~Epap~r eSerie;, n, 5, Centro de Evaluacin, Universidad de Western Michlgan;
Kalamazoo, Michigan,
259
pondentes debe ser una bsqueda de problemas y cuestiones. Los evaluadores

preordenados pueden pasar el treinta por ciento de su tiempo seleccionando
y creando instrumentos con el fin de asegurar la suficiencia tcnica, mientras
que los evaluadores respondentes pueden invertir slo el quince por ciento en
esta actividad.
La mayor discrepancia se refiere a la observacin del programa: el quince
por ciento en la evaluacin preordenada contra el treinta por ciento en la
evaluacin responden te.
Segn Stake, los evaluadores respondentes deben dedicarse ms a las
actividades de observacin para descubrir y estudiar todos los problemas y
para saber cmo opera en realidad el programa, mientras que la identificacin
de los problemas y la descripcin de las operaciones del programa rara vez
conciernen a los evaluadores preordenados.
Stake estima que el diez por ciento del tiempo de un evaluador preordenado puede ser utilizado para la administracin de tests, actividad que ocupa
muy poco tiempo al evaluador responden te, que puede realizar su recopilacin de datos principalmente a travs de la observacin naturalista y el examen
de los informes ya existentes, Adems, Stake estima que el quince y el cinco
por ciento del tiempo del evaluador respondente puede dedicarse a recopilar
juicios y a satisfacer los requisitos' informativos del cliente, respectivamente;
el evaluador preordenado, que est ms interesado en la valoracin objetiva
de los resultados relacionados con los objetivos de quienes realizan el programa, puede utilizar este tiempo en cualquier otra actividad. El evaluador
preordenado no necesita averiguar las necesidades de los clientes, puesto que
las evaluaciones preordenadas estn firmemente destinadas a descubrir si han
sido alcanzados los objetivos del programa,
A causa del mucho tiempo que invierten en la recopilacin de datos objetivos, Stake calcula que los e~aluadores preordenados de un programa normal
pueden dedicar el veinticinco por ciento al anlisis de los datos formales,
mientras que los evaluadores respondentes pueden dedicar el cinco por ciento.
y a la inversa, los evaluadores responden tes pueden invertir el diez por ciento de su tiempo en preparar y presentar informes informales para cumplir la
misin de proporcionar continua informacin, mientras que los evaluadores
preordenados no tienen una obligacin comparable y pueden utilizar muy
poca cantidad de tiempo para este tipo de comunicaciones informales.
Finalmente, los evaluadores preordenados pueden invertir mucho tiempo
en preparar informes formales -alrededor
del veinte por ciento de su tiempo- puesto que ste es su principal medio de recopilar y comunicar los resultados, Los evaluadores responden tes, que ya han invertido un tiempo y
esfuerzo considerables en proporcionar continua informacin a su cliente,
pueden dedicar slo alrededor del diez por ciento de su tiempo a los informes
formales,
Al comentar su comparacin entre la evaluacin preordenada y la evalua-
')
'>
.,
')
')
')
')
')
')
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
TI
('
260
cin respondente, Stake subraya que la principal diferencia temtica reside

en los propsitos, cantidad y clases de las comunicaciones establecidas con
el cliente. El evaluador preordenado comunica con su cliente antes de que
empiece el estudio para establecer las condiciones necesarias para llevarlo a
cabo; lo hace poco o nada durante el estudio, ya que estas comunicaciones
pueden influir en el desarrollo de las operaciones del programa; y 10 hace
de una manera formal al final del estudio, a travs de un informe impreso
con una descripcin detallada de lo que se ha hecho y descubierto. En contraste con esta caracterizacin de una comunicacin artificial y bsicamente
unilateral, Stake describe al evaluador responden te enfrascado continuamente en una comunicacin bilateral, con el fin de aprender de los importantes
problemas que el cliente necesita investigar y, cuando la informacin sea aprovechable, proporcionar informacin til a ese cliente.
Stake afirma que los informes de los evaluadores preordenados son demasiado estrechos y limitados. Dice que su apariencia formal y tcnicamente
compleja provoca que su cliente confunda, con demasiada facilidad, su mensaje con la verdad. Dice que, a causa de su dependencia de las ecuaciones
matemticas y la prosa formalista, no resulta adecuado para contarle al cliente
cmo es el programa.
Para evitar los peligros de los informes preordenados Stake aconseja a
los evaluadores responden tes que desarrollen sus poderes de comunicacin.
Dice que deben utilizar cualquier tcnica comunicativa que sea efectiva para
ayudar a sus audiencias a sentir algo acerca de la naturaleza del programa.
Sugiere que se utilice la narracin de historias (ver DENNY, 1978) para re.
flejar toda su complejidad y afirma que sus informes deben tener ms ambigedad. En general, segn l, los informes evaluativos deben revelar la
mltiple realidad de la experiencia educativa, esto es, los diferentes puntos
de vista y opiniones que los distintos participantes y observadores mantienen
respecto a la experiencia.
Para finalizar su comparacin de los dos mtodos, Stake dice que la evaluacin respondente puede ser criticada por errores de muestreo, pero que la
envergadura de estos errores resulta pequea comparada con los progresos
experimentados en el perfeccionamiento de las comunicaciones con la audiencia. Sin embargo, tambin reconoce que el mtodo preordenado resulta a
veces necesario y realiza un trabajo ms efectivo.
(
(
{
(
(
(
(
(
(
(
(\
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
Estructura sustancial de la evaluacin respondente

Despus de contrastar la evaluacin preordenada y la evaluacin respondente Stake ampla su concepto de evaluacin respondente. Y 10 hace, especialmente, describiendo sus estructuras sustanciales y funcionales.
Stake identifica los organizadores previos como la primera parte de la
Stake: el mtodo evaluativo
y el cliente
261
estructura sL:_stancial.En 1~ evaluacin responden te, segn l, stos son los

probler~as. l';os.otros dedUCImos que quiere decir reas de desacuerdo, dudas
y cuestlOnes. DIce que un problema es un organizador previo til puesto que
refleja una sensacin de complejidad, urgencia y valoracin. Aunque proporciona directrices para la investigacin, se muestra en contra de las recopilaciones de datos cuantitativos demasiado limitadas. Para identificar y solucionar
los problemas, Stake aconseja al evaluador que se familiarice con el programa
hablando con la gente, para alcanzar una comprensin mutua acerca de la existencia de ciertos problemas, y luego que utilice esos problemas como estructura de futuras discusiones y para desarrollar planes de recopilacin de datos.
Subraya que el evaluador debe identificar y dar solucin a los problemas a 10
largo de toda la evaluacin.
Stake afirma que la segunda parte de la estructura sustancial de la evaluacin responden te consiste en un esquema para la recopilacin de datos.
Adems de los problemas, dice que este esquema debe proporcionar una estructura adicional para la recopilacin de datos. A travs de la utilizacin
de este esquema, que debe proceder del modelo de la figura, el evaluador
pued~ intentar identifi~ar perspectivas mltiples e incluso contradictorias y
examrnar las congruencIas y las contingencias. Las observaciones ms importantes incluyen la base lgica del programa; sus antecedentes previstos y los
o?s~rvados, las transacciones y los resultados; las diversas normas que los
dIstrntos grupos creen que deben cumplirse; y sus distintos juicios acerca de
ellas.
Stake identifica los observadores humanos como la tercera parte de la estructura sustancial de la evaluacin respondente. Subraya su importancia y
anrma que son los mejores instrumentos de investigacin para muchos problemas evaluativos.
La parte cuarta y final de la estructura sustancial de la evaluacin respondent~ es la valida~in. Stake responsabiliza al evaluador respondente de proporClOnar la sufiCIente cantidad de informacin, procedente de numerosas
fuentes independientes y crebles, como para que pueda representar efectivamente ~l estado ya ~bservado del programa, de cualquier forma complejo.
De]and? ya atras la estructura sustancial de la evaluacin responden te
Stake conSIdera su estructura funcional. Al comentar cmo evaluar de manera respondente dice que el mtodo requiere una gran cantidad de observacin. Tambin dice que no existen fases lineales: la observacin y la informacin continua son importantes a 10 largo de toda la evaluacin.
LA EVAL~ACINRELOJ. Expuestas estas condiciones, Stake presenta la estruc:ura funclOnal de la evaluacin responden te bajo la forma de la evaluacin
reloJ, tal como aparece en la figura 7-4. Subraya que no se trata de un reloj
normal; se mueve en la direccin de las agujas del reloj, en sentido contrario
y en cualquier otro sentido que pueda satisfacer mejor las necesidades del clien-
.T.....
262
12
10
Hablar con los clientes,

el personal del programa
y las audiencias
Iden tificar el alcance
del programa
Reunir los informes

formales, si los hay
2
Panorama de las actividades
del programa
Esquema para uso

de la audiencia
9
3
Descubrir los propsitos
e intereses
Validacin: confirmacin,
bsqueda de evidencias
para la no confirmacin
8
4
Conceptualizar las cuestiones
y problemas
Desarrollar temas, preparar

descripciones y estudiar
casos concretos 7
Observar los antecedentes,

las transacciones y los
resultados propuestos
Identificar los datos

necesarios para investigar
los problemas
Seleccionar observadores,
jueces e instrumentos,
si los hay
F IG URA 7-4.
')
11
')
La estructura funcional de la evaluacin respondente

.,
l'
segn Stake: la evaluaclOn re 01
.
FUENTE'STAKERobert E., 1975b, Program Evaluation: Par~icul~rly Resp;;nstve E:u;::lOn:

Oce~sional Papers Series, n. 5, Centro de Evaluacin, Umversldad de estern
c gan,
Kalamazoo, Michigan.
te Nosotros creemos que concibe el reloj slo como algo heurstico, y no .com~
u~a serie de directrices tcnicas, puesto que en el artculo. nunca e.xphca 111
'1 t
tl'lizacin A riesgo de tomarnos demasiado en seno el reloJ en cues1 us ra su u.
f
1"
t . tertin y malinterpretar el pensamiento de Stake, o recemos a SlgUlen e ID
pretacin.
.
lId
1 pr
Las doce en punto: el evaluador habla con el cltente, e persona
e
0grama y las audien'Cas. Estos intercambios ocurren a men~do ~ur~nte la evaluacin y abordan una amplia gama de temas, que pueden .1llc1Ulr~I ~s necesaria una evaluacin y por qu; cules creen que son las cuestlOnes mas Importan-
263
tes; qu opinan respecto de las representaciones que ha hecho el evaluador

sobre las cuestiones de valor, las actividades, el contenido del currculo y los
resultados de los estudiantes; y cosas parecidas. Aparentemente, esta etapa es
un medio de completar muchas, si no todas, de las otras tareas identificadas
en el reloj. Una sugerencia general que ofrece Stake es que el evaluador puede
llevar un informe de estos intercambios y de las acciones de las audiencias basadas en ellos; un informe de este tipo puede resultar til en tareas como
clarificar los problemas, centrar las observaciones y preparar los informes definitivos.
La una en punto: el evaluador, en colaboracin con el cliente, examina
el alcance del programa que va a ser evaluado. A menudo, lo que est dentro
o fuera de un programa se discierne ambiguamente y de diversos modos. Nosotros creemos que el evaluador debe intentar, de alguna manera, apreciar y
clarificar la complejidad que implica definir lmites geogrficos, perodos
y duraciones de tiempo, caractersticas de la poblacin, reas de contenido, etctera. En efecto, esto supone poner algunos lmites a lo que se est observando y centrar la investigacin. Nosotros deducimos que, en la evaluacin
respondente, estas decisiones deben ser flexibles y revisadas peridicamente
durante el curso del estudio.
Las dos en punto: el evaluador hace un panorama de las actividades del
programa, Nosotros creemos que sta es la actividad menos estructurada, ms
exploratoria y caracterizadora, puesto que la etapa de las siete en punto exige
observaciones estructuradas mediante la utilizacin de ciertos grupos de datos
proporcionados por el texto Countenance. Pensamos que el principal punto de
observacin de las dos en punto es examinar y empezar a conocer el programa
sin imponer una estructura sustancial demasiado rpidamente.
Las tres en punto: el evaluador pretende descubrir los propsitos de la
evaluacin y los intereses que tiene la gente acerca del programa. (Los propsitos fijados por ciertos grupos puede que no sean los propsitos que realmente tienen en la cabeza.) Probablemente, los distintos grupos contemplarn distintos propsitos para la evaluacin. Un modo de descubrir los distintos propsitos de una evaluacin es hacer una lista de los intereses de los
distintos grupos y luego averiguar cules les preocupan ms.
Las cuatro en punto: el evaluador analiza las cuestiones y problemas, y los
sintetiza con el fin de proporcionar una base para determinar los datos que
se necesitan. Para realizar esta conceptualizacin, el evaluador puede recoger
distintos puntos de vista acerca de lo que es o no es til para el programa
y lo que debe aadirse. Tambin puede resultar enormemente prctico estudiar las reacciones de las audiencias ante cada nueva conceptualizacin de los
problemas. Stake previene a los evaluadores para que no se rindan fcilmente
a los deseos de los que piden informacin slo favorable o desfavorable. Y
tambin les advierte que no crean que slo los problemas expuestos por los
evaluadores o las autoridades externas son vlidos para la discusin.
)
)
}
)
)
")
)
')
')
")
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
,)
)
(
,
f
(
(
(
(
(
(
(
(
'(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
264
Las cinco en punto: el evaluador identifica los datos necesarios para investigar los problemas. Se trata de una derivacin ms interactiva de la conceptualizacin de los problemas, trabajando de una parte a otra, entre los datos
potenciales y los contextos de problemas. Se pretende. ase~urar que los datos ligados a los problemas ms importantes para las audIenclas v.an a ser recopilados. Ms tarde es necesario, claro est, c?mprobar la amplitud de estos
datos, y el evaluador volver al punto de pawda.
..
. .,
Las seis en punto: el evaluador plamfica las actiVldades de recoptlaclOn
de datos: traza un plan de observaciones, selecciona los observadores (si los
hay), identifica los informes que deben ser exami.nados (quiz), ~ele.c,ciona
muestras y organiza las observaciones y otras activldades de recoptlaclon de
datos.
Las siete en punto: el evaluador observa los antecedentes, las transacciones y los resultados. Nosotros creemos que el evaluador pue~~ ~xamina: tambin la base lgica del programa y recopilar las normas y UlC10Srelativos a
los antecedentes las transacciones y los resultados del programa.
Las ocho en' punto: el evaluador analiza la informacin obtenida desarrollando temas que haya localizado en esa informacin, utilizndolos para preparar descripciones del programa y quiz realizando estudios de casos concretos. Con la ayuda de los observadores, el evaluador puede desarrollar breves
narraciones, presentaciones del producto, grficas, exposiciones fotogrficas,
esquemas, un sociodrama, presentaciones audiovisuales, etctera. De acuerdo
con los procedimientos superiores en el texto Counten~nce el evalu~dor p.uede
realizar tambin anlisis pertinentes de la congruenoa entre las lntenclones
y las observaciones, as como de las contingencias entre los antecedentes, las
transacciones y los resultados.
Las nueve en punto: el evaluador comprueba la validez de los resultados
y los anlisis .. Se realizan diversos tests de la calidad de los informes. El personal del programa opina sobre la calidad de las descripciones. El evaluador
puede hacer que diferentes personas desar~o~en informes a favor y .e~ ~ontra
respecto a los mritos del programa, y qUlza someterlo t~do a. un U1C10con
jurado. Y puede alejarse de sus funciones buscando eVldenclas que contradigan sus resultados, as como su triangulacin y confirmacin.
Las diez en punto: el evaluador esquematiza la informacin con el fin de
que resulte de la mxima utilidad ?ara sus audiencias. D,ebe i.nformar:e a las
audiencias acerca de los datos reumdos y preguntarles cuales tienen mas valor
para ellos. Tambin deben obtenerse opiniones de a~toridades y otr?s ~iembros de la audiencia. Luego, el evaluador debe plamficar las comumcaClOnes,
concediendo ms importancia a la informacin ms til, con el fin de satisfacer las distintas necesidades de las diferentes audiencias.
Las once en punto: el evaluador prepara, si se los piden, los informes
formales. Puede que un informe impreso no sea necesar.io, segn los ac~erd?s
previos que se hayan realizado con el cliente y las necesldades de la audIencla.
265
El evaluador puede presentar un video de un juicio con jurado sobre el programa o el guin de un sociodrama que describa sus resultados. En general,
deben escogerse los medios de comunicacin que resulten ms accesibles para
las audiencias y que puedan intensificar la comunicacin y asegurar la fidelidad
del mensaje.
La descripcin de la etapa informativa completa nuestro comentario de la
evaluacin reloj. Sospechamos que su mensaje principal no se encuentra en
estas doce etapas, sino en su estrategia general. Stake elabor esta estrategia
en trminos de utilidad y legitimidad, comparndolos con los de la evaluacin
preordenada.
.
Observ que la explicitud no es esencial para indicar el valor y que, de
hecho, el tipo de explicitud recomendada en la evaluacin preordenada incrementa el peligro de equivocacin. Al decidir cuntas cosas y de qu forma
comunicarlas, Stake considera que 10 ms importante son los propsitos de
la audiencia. Dice que los diferentes estilos de evaluacin sirven a distintos
propsitos y admite que el evaluador puede necesitar descubrir qu es 10 que
legitima el buen nombre de la audiencia. Pero afirma que la evaluacin respondente puede ser til tanto en la evaluacin formativa (cuando el personal
necesita ayuda para controlar su programa) como en la evaluacin sumativa
(cuando las audiencias necesitan comprender las actividades del programa, sus
puntos fuertes y sus defectos, y cuando el evaluador cree que debe realizarse
una experiencia ajena). Reconoce que la evaluacin preordenada es el mtodo
preferido cuando se busca la valoracin de la consecucin de las metas, el
cumplimiento de las promesas y la comprobacin de las hiptesis. Tambin
est de acuerdo en que las valoraciones de la evaluacin preordenada son ms
objetivas y exactas. Sin embargo, Stake concluye diciendo que toda evaluacin debe ser adaptable y, obviamente, cree que la evaluacin respondente es
claramente superior en el cumplimiento de esta norma.
Observaciones generales
Para concluir esta unidad, hemos querido dar nuestra opinin general sobre las contribuciones de Robert Stake. En algunos casos, estas observaciones
son resultado del estudio de sus escritos y, en otros, se basan en encuentros
que mantuvimos con l en el pasado. Deseamos destacar que stas son nuestras impresiones personales y que pueden no coincidir con sus propios puntos
de vista acerca de su filosofa, su mtodo y sus contribuciones.
En conjunto, queremos subrayar que Stake ha sido uno de los lderes ms
atrayentes y creativos de la evaluacin. Ha llamado la atencin de los evaluadores con sus corteses ataques a algunas de sus vacas sagradas (por
ejemplo, los tests estandarizados, el diseo experimental y los contratos de
trabajo). Les proporcion nuevas estructuras para sus reflexiones acerca de la
-~.-~
,
!
266
)
8take:
Evaluacin
el mtodo
evaluativo
nicacin personal).
Stake tambin estimul a sus estudiantes -Dennis
Gooler, Steve Kernmis, Barry McGaw, Nick Smith, Peter Taylor y Bob Wolfpara que realizaran contribuciones sustanciales en el campo de la evaluacin. Ejemplos de
ello son la adaptacin de los procedimientos judiciales a la tarea de recopilar
y analizar juicios y su introduccin en la evaluacin de museo, realizada por
Wolf, o la exploracin de distintas metforas evaluativas por parte de Nick
Smith. Adems, Stake pidi a sus colegas que reflexionaran seriamente acerca
de sus responsabilidades ticas y sociales, y que no sobreestimaran la importancia de sus servicios.
El mtodo evaluativo de Stake, desde luego, est influido por su filosofa
de la educacin. Cree que la educacin es orgnica, no producida. Considera
que todo el mundo se esfuerza por superarse, aunque no necesariamente en
el campo de la educacin prescrita por el estado. Cree que la educacin formal modifica en muy poco la educacin informal, que el contexto es lo que
ms influye y que los profesores son ms una parte del contexto que verdaderos creadores de educacin. Dice que las metas de la educacin no pueden ser otras que la variacin de las aspiraciones incluidas en los ideales y
convicciones de las distintas comunidades, familias y estudiantes. Est totalmente a favor de la autonoma local en el gobierno bsico de las escuelas. Pide
regularmente al evaluador que identifique el orden de los resultados reales, y
que descubra las normas que mejor convienen a las caractersticas del programa que se est estudiando y de la comunidad circundante. Dice que son
muy pocas, si es que hay alguna, las etapas del aprendizaje que sean verdaderamente esenciales para tener xito en la vida, que el xito y el fracaso
se han sobrevalorado y que, en cualquier caso, es mejor, por lo general, no
pensar en el valor instrumental de la educacin como base para evaluarla.
Como consecuencia, afirma que el evaluador debe atender tanto a la calidad
intrnseca como a la extrnseca de las prcticas educativas. Ms concretamente,
recomienda al evaluador que advierta si las experiencias de aprendizaje tienen
un buen contenido y estn bien estructuradas, y que averige qu piensan una
serie de personas adecuadamente seleccionadas acerca de los costes y beneficios
de estas experiencias. Dice que los profesores, los padres, los estudiantes, los
directivos y los lderes de la opinin pblica son quienes emiten los juicios
267
')
crticos ms relevantes, :i su criterio es ms o menos explcito, y afirma que

el ev~~uador debe recopIlar y analizar sus juicios. Finalmente, sostiene que la
solucIon de los pro,ble~as de la enseanza deber proceder, probablemente,
de l~ gente que esta mas en contacto con ellos. Recomienda al evaluador que
consIdere a. l~s profesores y otros educadores relacionados con el programa
corno el prmcIpal grupo de clientes, que se centre -al menos en parteen
la~ cosas qu~ n:s les preocupan y que les demuestre que la evaluacin est
onentada ?~mcIpa1mente hacia el tratamiento de sus propsitos, se trate o no
de una cntIca de su trabajo.
,Los escritos de, Stake tambin reflejan una epistemologa relativista, que,
segun ~r~err,r0s,esta e.n la base de todas sus sugerencias metodolgicas. Todo
ello. qUIza tiene su ongen en su estudio de graduacin sobre la filosofa transaccIonal de Cantril, y l dice que los evaluadores son buscadores de la verdad, ~ que algunos de ellos se tornan su papel demasiado en serio, puesto
que eXIsten muy. pocas verdades objetivas en la evaluacin, si es que existe
alg~na. En cambIO, observa que existen realidades mltiples, 10 cual quiere
deCIr que la verdad, corno la belleza, reside en los ojos del observador. Como
cons:cuencia, .re~omienda a los evaluadores que recopilen y presenten las perspectivas de dIstmtas personas y grupos. Les advierte que no crean que slo
lo~ resultados valorables p~~den hablar del valor de un programa; dice que
eXIsten muy pocos datos cntIcos en un estudio y que los resultados deben ser
valorados. a .veces, pe~o otras veces no. Destaca que los evaluadores pueden
escog~r distmtos c~mmos para revelar la utilidad de un programa y aade
que III los tests escntos ni otros datos concretos deben ser contemplados como
absolutamente esenciales, aunque tampoco deben ser automticamente excluidos. Cr:e que la ev~lu~c~n interna es ms til que la externa y que las autoevalua.clOnes son mas utIles que las evaluaciones centralizadas. En conjunto
reco:?Ienda a los evaluadores que utilicen cualquier tcnica y fuente de infor:
m~CI?n que les parezcan relevantes para describir la complejidad y la realidad
multIple de un progr.ama y para comunicar esa complejidad, aunque el resultado sea dudoso y dIficulte la torna de decisiones. La metodologa de Stake
en 10 que se refiere a la recopilacin y presentacin de datos es pues e~
muchos aspectos, ms divergente que convergente.
",
En cuanto al papel del evaluador, Stake dice que una tarea fundamental
en cualquier eva!uacin es. determinar su propsito y los criterios que deben
ser valorad~s,' DIce que eXIsten, por lo menos, siete propsitos legtimos para
una evaluaclOn:
')
sistemtica
evaluacin, y muchos evaluadores consideraron seriamente y aplicaron sus

ideas. Ayud a desarrollar una nueva tcnica (el informe a favor y en contra)
y adapt algunas ya existentes que no solan utilizarse en la evaluacin (como
el estudio de casos [1978] y el sociodrama) para ayudar a la gente a ensayar
su mtodo. Contribuy sustancialmente al desarrollo de la evaluacin naturalista y fue uno de los primeros en responder a la pregunta sobre qu consti.
tuye una evidencia. Aunque tambin contribuy sustancialmente a la conceptualizacin y operacionalizacin de la evaluacin, consideraba que el planteamiento de cuestiones conceptuales era probablemente ms importante (comu-
y el cliente
')
')
')
)
')
')
')
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
1.
2.
3.
4.
5.
Documentar los acontecImIentos.

Informar del cambio del estudiante.
Determinar la vitalidad institucional.
Localizar la raz de los problemas.
Colaborar en la torna de decisiones administrativas.
)
)
)
)
/
f
(
268
(
(
6.
7.
,
(
{
(
(
(
(
(
(
(
(
(
Proponer una accin correctiva.

Intensificar nuestra comprensin de la enseanza y el aprendizaje, o combinaciones entre los propsitos anteriores.
Subraya que todos los propsitos no pueden ser satisfechos mediante una
sola recopilacin de datos y que slo unas pocas cuestiones, en cualquier estudio, pueden ser objeto de la atencin principal. As, cada evaluador debe tomar su propia decisin sobre estos problemas, y ser, en este' aspecto, reduccionista y convergente.
Stake recomienda a los evaluadores que no trabajen con nociones de xito
preconcebidas. En lugar de eso, les sugiere que, en primer lugar, presten
mucha atencin al hecho de por qu ha sido encargada la evaluacin, luego
echen un vistazo a 10 que sucede en el programa y, finalmente, negocien y
escojan las cuestiones de valor y los criterios. Ms adelante comenta los requisitos de estas elecciones:
1.
2.
3.
Deben conducir al descubrimiento de las mejores y peores actividades del

programa.
Deben centrarse en 10 que ms interese a la gente implicada.
No deben preocuparse de realizar una lista de los objetivos ni de escoger
los instrumentos de recopilacin de datos.
(
(
(
(
(
,
(
(
(
t
(
,
,
(
En muchos aspectos, Stake transmite un mensaje sobre las responsabilidades sociales y ticas del evaluador. Parece aconsejar a los evaluadores que
promueven la igualdad y la justicia en la educacin, que ayuden a los menos
poderosos, que se aprovechen de los poderosos y les prohban abusar de su
poder, que pongan en evidencia a los charlatanes, que acobarden a los confiados, que animen a los inseguros y que ayuden siempre a la gente a ver las
cosas desde distintos puntos de vista. (Este plan parece inspirado en las Bienaventuranzas.) Stake recomienda tanto a los evaluadores como a los clientes
que eviten la utilizacin burocrtica, parasitaria o explotadora de las evaluaciones. Finalmente, recomienda que la evaluacin formal sea llevada a cabo
slo cuando sea necesario, porque cree que muchas evaluaciones formales no
resultan productivas y agotan en lugar de proporcionar energa, y porque piensa que la evaluacin informal es una parte integrante del comportamiento
personal e institucional y es capaz de informar y perfeccionar regularmente
la evaluacin formal.
Quizs este ltimo punto sea el que proporcione ms informacin sobre
la escptica reaccin de Stake ante las recientemente aparecidas Standards for
Evaluations of Educational Programs, Projects, and Materials Ooint Committee, 1981). Reconoce que el plan contenido en este documento es, por 10
general, coherente con su punto de vista sobre la evaluacin, segn el cual
sta debe proporcionar un servicio til a los clientes, debe emplear valora-
269
ciones mltiples, debe ejercer como censura, debe ser compatible con las condiciones del mundo real y puede emplear legtimamente distintos paradigmas
y mtodos. Por el contrario, expresa sus temores acerca de que la adopcin
de normas formales (procedimientos) por parte de los evaluadores pueda
1) tender a legitimar su servicio profesional en mayor medida que un informe
de sus logros, 2) implicar un concepto normativo y convergente de la evaluacin y, posiblemente, ahogar la creatividad en el desarrollo de la especialidad, 3) focalizar la atencin sobre aspectos metodolgicos relativamente triviales, mientras no hace ningn caso a los mayores despropsitos, y 4) pueda
fomentar las malas prcticas no especficamente condenadas en las Normas.
Por 10 visto, Stake cree que la evaluacin formalizada es inevitable en el
sistema social nor:teamericano, aunque su valor sea limitado y necesite ser perfeccionada. Aunque advierte a los educadores que sean muy cautos y selectivos
a la hora de contratar servicios evaluativos, tambin ofrece a los evaluadores
una amplia serie de ideas destinadas a ayudarlos a mejorar su servicio.
Caracterizar el trabajo y la obra de alguien a 10 largo de una dcada o
ms, es una tarea atrevida y puede que imposible. Nosotros hemos recibido
y respondido a un detallado texto del doctor Stake, respecto a un anterior
borrador de esta unidad, y creemos que este artculo es un fiel, aunque ciertamente no muy amplio, resumen de cmo contempla l su propio trabajo. De
cualquier manera, creemos que su valoracin global de la anterior versin proporciona una advertencia til para su examen y quizs una caracterizacin de
su propio mensaje mejor que la nuestra. De ah que terminemos con la valoracin que ha hecho el doctor Stake del borrador previo de esta unidad:
Han realizado ustedes un buen trabajo acerca de una difcil tarea: tratar de
dar coherencia a lo que yo he dicho. He hecho algunos comentarios y he
sugerido cambios (sin duda, muchas de las cosas que he dicho no debera
haberlas dicho nunca).
Como crtica general, quiero decir que sus esfuerzos por ser fieles al detalle
disminuyen el sentido global que se refiere al aprovechamiento de la experiencia y de la evaluacin informal ya en marcha, y que es lo que se supone
que debe ser la evaluacin respondente -en honor al contexto y al pluralismo-- no slo como ideal, sino como una limitacin para el evaluador que
b~sca la ilustr~cin. Ustedes han hecho uso de ella, pero la encuesta, por
ejemplo, comumca al lector que los relojes y las redes son ms importantes
que acomodarse a la situacin y a la historia local.
~
270
)
Evaluacin
sistemtica
Stake:
Respuestas
el mtodo
evaluativo
y el cliente
271
incorrectas
')
a) Es incorrecta porque Stake no obtuvo ninguna preparaClOn formal en

Este test de conOCImIentos contiene 19 preguntas con muchas posibles
respuestas, para que usted escoja una. El propsito de estas preguntas es ayudarle a determinar si ha alcanzado los objetivos de conocimiento de esta unidad. En cada caso, seleccione la que usted considere la mejor respuesta y
luego compare su eleccin con la explicacin que sigue sobre las respuestas
correctas y las incorrectas.
Cuando haya respondido ~odas las preguntas, se le dir cmo calificar e interpretar (y, si es necesario, mejorar) su trabajo global. Entonces deber realizar
una serie de ejercicios prcticos.
PREGUNTA 1. Cul de las siguientes afirmaciones identifica con ms

exactitud los antecedentes que los autores creen que han influido en el penS2miento evaluativo de Robert Stake?
d)
e)
d)
Respuesta correcta. Debe usted haber seleccionado la b. Dos de los mentores de Stake fueron Tom Hastings y Lee Cronbach, que haban estudiado
con Tyler; Stake particip en CIRCE, en proyectos destinados a ayudar a que
los proyectos de currculos satisficieran los requisitos evaluativos federales
(en su mayor parte tylerianos por naturaleza) y la investigacin de Tyler influy en sus puntos de vista acerca de la valoracin.
')
')
')
')
)
PREGUNTA2. Por qu recomienda Stake a los evaluadores que pidan
a los. especialistas e~ valoracin que desarrollen una metodologa que refleje la
totahdad, la complepdad y la importancia de los programas?
')
Dice, en efecto, que los especialistas en medicin han desarrollado una

tecnologa basada en tests estandarizados que ofrecen una perspectiva
sobre las diferencias entre los estudiantes, pero han ignorado muchas de
las variables importantes para la descripcin de programas educativos.
Dice que los especialistas en medicin se han dedicado muy poco a pronosticar la- validez.
Dice que los tests estandarizados son totalmente inadecuados para satisfacer los requisitos informativos de la evaluacin de un programa y deben
ser reemplazados por un mtodo naturalista que emplee tcnicas como
e~ estudio de casos concretos, la observacin y los procedimientos judiCIales.
Destaca, ~ue el campo de la psicometra ofrece, potencialmente, la mejor
base teonca para desarrollar una metodologa evaluativa.
a)
a) Su tesis doctoral fue sobre antropologa
b)
cultural, asumi el punto de

vista de Scriven acerca de que la evaluacin supone juicio y comprob
direw\mente
algunas de las dificultades que supone la aplicacin del
modelo Tyler para la evaluacin de modelos federales.
Dos de los estudiantes de Tyler estn entre los mentores de Stake. Tuvo
su primera experiencia en la evaluacin de proyectos federales a travs
de su trabajo en el Center for Instructional Research and Curriculum
Evaluation (CIRCE), y la investigacin de Hastings le revel dudas acer'
ca de la utilidad de los tests regularizados.
Suscribi la preferencia de Cronbach por las evaluaciones comparativas,
sigui la sugerencia de Tyler acerca de que los evaluadores deben comparar los resultados deseados con los observados y suscribi la concepcin
de Scriven acerca de que los evaluadores deben describir y no juzgar.
Se form con estadsticas y valoraciones, estudi Derecho y Filosofa
Social con Robert Wol y fue influido por Tom Hastings.
e)
')
antropologa cultural, aunque actualmente est muy interesado en los estudios de casos etnogrficos. Su tesis doctoral vers sobre psicometra.
Es incorrecta porque Cronbach no recomendaba la utilizacin de evaluaciones comparativas y porque Scriven insista en que un evaluador debe
juzgar.
Es incorrecta porque Stake fue el director de la tesis doctoral de Bob
W 01 y no al revs.
b)
e)
d)
)
)
)
)
)
)
)
)
)
)
)
Respuesta correcta. Debe usted haber seleccionado la a. Stake afirma

que el mtodo de los tests, que incluye tanto tests basados en normas como
tests basados en criterios, es demasiado limitado como para servir de base
adecuada para la descripcin y el juicio de un programa.
)
)
Respuestas
b)
e)
incorrectas
Es incorrect~ ~orque, muy al. ~ontrario, Stake dice que la preocupacin

de los especlahstas en valoraclOn por la exactitud de las calificaciones de
cad~ estudiante y la prediccin de la validez es un recurso muy dudoso.
Es. ~ncorrecta porque Stake recomendaba una amplia metodologa (para
~tlhz~rla en la descripcin y el juicio-de programas) que a menudo poda
tnclulr los tests regularizados.
)
.'
)
)
)
)
)
.~--f
f
f
(
272
posibles reas para el desarrollo de la metodologa. ~valuativa ~e un programa, Stake urge a los evaluadores para que utihcen, otras areas ta~bin, como la historia, la crtica de arte y la etnografla, cuyo lenguaje
y conceptos resultan ms familiares a los clientes.
(
(
(
PREGUNTA
3.
El principal propsito del mtodo de la figura es ayudar
a los evaluadores que intentan
(
(
a) decidir qu cosas convertir en datos,

b) establecer los objetivos de comportamiento,
e)
d)
esbozar los procedimientos para identificar, recopilar y analizar las descripciones y juicios ms relevantes,
encontrar la proporcin entre el coste y los beneficios.
(
(
(
(
(
(
Respuesta correcta. Debe usted haber seleccionado la a. Stake subraya

que el propsito del texto Countenance es describir la serie de .datos que pueden ser recopilados en una evaluacin (mientras que el propSito de su texto
respondente es proporcionar una gua para obtener esos datos).
b) Es incorrecta porque Stake dice que esta prctica --que
(
(
,
,
e)
d)
dimientos.
PREGUNTA
4. Cul de las siguientes afirmaciones es coherente con la
reaccin de Stake ante la conceptualizacin evaluativa de Tyler, tal como queda reflejado en el texto Countenance?
(
(
a)
b)
e)
(
(
(
ha sido recomendada por Tyleres demasiado limitada.

Incorrecta. Describe bien el propsito del texto respondente.
Es incorrecta porque el texto Cauntenanee es mucho ms amplio en su
concepcin de los datos ms importantes y porque no explica los proce-
d)
Est de acuerdo con la deduccin de Tyler acerca de que los evaluadores

no deben juzgar las metas propuestas.
Comparte el desinters de Tyler por las aspiraciones de estudiantes y
padres.
Est de acuerdo con la concepcin de Tyler segn la cual los evaluadores
deben valorar si las metas han sido alcanzadas, pero tambin realizar una
amplia bsqueda de otros tipos de datos sobre los resultados.
No se adhiere a la recomendacin de Tyler acerca de que los objetivos
273
Respuesta correcta. Debe usted haber seleccionado la e. La preVlSlon

que hace Stake en su texto Countenance para valorar la congruencia entre los
resultados deseados y los obtenidos es coherente con la concepcin de Tyler
acerca de que la evaluacin supone determinar si los objetivos han sido alcanzados; a pesar de todo, Stake pide una investigacin ms amplia que incluya
la observacin de los antecedentes previstos y los no previstos, de las transacciones y los resultados.
Respuestas
a)
b)
d)
el mtodo evaluativo y el cliente
deben ser expresados en el lenguaje de la audiencia y pueden ser presectados, aceptablemente, tanto como objetivos expresivos como de compo.tamiento.
d) Es incorrecta porque, aunque no rechaza la psicometra como una de las
Stake:
incorrectas
Es incorrecta porque Stake asume el juicio de las metas recomendado

por Scriven y otros.
Es incorrecta porque tanto Stake como Tyler ahogan por el inters eva'luativo por las aspiraciones de estudiantes y padres.
Es incorrecta porque las recomendaciones de Tyler son contrarias a la
utilizacin de los objetivos expresivos, y tambin porque Tyler piensa
que los objetivos de este estilo pueden proporcionar guas tiles y aceptables para la recopilacin de informacin evaluativa.
PREGUNTA
5. Cuando los planes indican que el cuarenta por ciento del
tiempo de clase debe ser utilizado en la discusin y slo se utiliza de esta
manera el veinticinco por ciento, usted debe, de acuerdo con el texto Cauntenance
a)
b)
e)
d)
provocar ms debate,
cambiar los planes,
recopilar datos acerca de los juicios aparecidos en la discusin,
comparar la discusin con los resultados.
Respuesta correcta. Debe usted haber seleccionado la e. Stake subraya

que la evaluacin supone esencialmente una descripcin completa de una situacin que incluye tanto informacin sobre los juicios como descriptiva.
Respuestas
a)
b)
incorrectas
Es incorrecta porque Stake rechaza el concepto segn el cual deben aceptarse los propsitos sin discusin.
Es incorrecta porque ni Stake ni ningn otro autor evaluativo han emi-
-~-===~-)
)
274
Evaluacin
Stake:
sistemtica
el mtodo
evaluativo
y el cliente
J
275
")
tido la ridcula sugerencia de que los planes deban siempre adaptarse a

7. Qu aspecto del texto Countenance ha intervenido cuando un evaluador valora hasta qu punto el programa del servicio ha sido la
causa aparente de la mejora de la actitud observada en los estudiantes hacia
los ms desaventajados?
PREGUNTA
10 observado.
d)
No es la mejor respuesta, puesto que aunque Stake sugiere que las contingencias empricas entre las transacciones y los resultados observados
deben, a menudo, ser examinadas, los datos necesarios sobre los resultados tardan ms tiempo en obtenerse que los datos sobre los juicios,
accesibles de inmediato, y tambin porque, por lo general, cree que sus
sugerencias sobre el anlisis de la contingencia no estn demasiado bien
elaborados.
6. Cul de las siguientes preguntas ilustra mejor el anlisis

de la congruencia entre los antecedentes supuestos y los reales?
PREGUNTA
a)
b)
c)
d)
Qu porcentaje de estudiantes alcanza satisfactoriamente

al menos el
setenta y cinco por ciento de los objetivos del curso antes de empezar
el curso y despus de haberlo acabado?
Qu porcentaje de profesores se estima que realizarn el plan del proyecto?
Hasta qu punto son coherentes las razones de los estudiantes para entrar en el programa con las necesidades e intereses que el personal del
programa esperaba de los estudiantes?
Hasta qu punto dedican los estudiantes al programa la cantidad de
tiempo que se les pide?
Respuesta correcta. Debe usted haber seleccionado la c. Se refiere a si los

antecedentes observados (las razones de los estudiantes para entrar en el programa) son congruentes con los antecedentes supuestos (las expectativas de los
profesores acerca de las necesidades e intereses de los estudiantes al entrar
en el programa).
a)
b)
d)
Es incorrecta porque esta alternativa pide una comparaCIOn pre-test y

post-test (una comparacin entre los antecedentes y los resultados).
Es incorrecta porque esta opcin pide una comprobacin de la congruencia entre las transacciones supuestas y las observadas (aunque los antecedentes pueden tambin formar parte del plan).
Es incorrecta porque esta opcin tambin pide una comprobacin de la
congruencia entre las transacciones supuestas y las reales.
a)
b)
c)
d)
El
La
El
El
anlisis de la congruencia.
investigacin de la base lgica del programa.
anlisis de las normas absolutas.
anlisis de las contingencias empricas.
, ~~spuesta correcta. Debe usted haber seleccionado la d. Segn Stake, el

anallSls de las contingencias empricas supone la identificacin de correlaciones entre grupos de observaciones (entre transacciones y resultados observados
o entre antecedent~s y transacciones observados) y la valoracin de hasta qu
punto las correlacIOnes pueden ser justificadas como causales. En esta pregunta, el eval~ador ha observado ciertas transacciones (las operaciones del
programa).y CIertos resultados (valoraciones de las actitudes de los estudiantes) y ha mtentado determinar si las ltimas han sido causadas por las primeras.
)
')
')
')
')
)
)
')
)
)
)
)
)
a)
b)
c)
Es incor~e~ta porque el anlisis de la congruencia supone comparar ciertas con~I~IOnes supuestas con una condicin observada, y las dos series
de condICIOnes de este ejemplo son observadas.
Es incorrecta p~rque la investi?acin de la base lgica de un programa
no cont~mpla nI !as congruencIas entre las condiciones supuestas y las
reales, nI las. contIn~encias ,entre.l?,s antecedentes, las transacciones y los
re~ultados, SInO que filosofIa, mISIon y/o principios bsicos son los que
gUIan el programa.
Es incorrecta porque la referencia a las normas absolutas (convicciones
pers~nales acerca de lo que es bueno y deseable en un programa) no est
relaCIOnada con la bsqueda de correlaciones y relaciones causales.
)
)
)
)
)
)
)
)
8:
E~ una informacin de prensa, el doctor Howard Benjamm, secretarIO eecutlv?de la National Schoolmasters Association, dijo: Los
rofesores no deben utIlIzar materiales didcticos que resulten ofensivos para
os padres. En el texto Countenance este comentario est tratado como
. PREGUNT~
a)
b)
un rumor,
una norma,
)
I )
')
(
{)
276
e)
d)
un dogma de fe,
una base lgica.
Evaluacin
Stake:
sistemtica
el mtodo
evaluativo
y el cliente
277
{
(
(
(
{
{
b)
Respuesta correcta. Debe usted haber seleccionado la b. Este es un

ejemplo de lo que Stake llama una norma absoluta (una conviccin personal
acerca de lo que es bueno y deseable en un programa).
d)
a)
(
(
e)
(
(
d)
Es incorrecta porque el rumor es una SupOSlClOn,un relato de segunda

o tercera mano o simplemente un chisme, pero nunca una conviccin
acerca de lo que es bueno.
Es incorrecto porque lo que cree una persona acerca de lo que es justo,
sin tener en cuenta su posicin social, no es, en modo alguno, algo parecido a un mandato divino.
Es incorrecta porque esta afirmacin se presenta como la creencia de una
persona (de ah que se trate de una norma absoluta), no como una afirmacin procedente de los antecedentes filosficos y el propsito general
de un programa.
(
(
(
PREGUNTA
9. Cul de las siguientes afirmaciones refleja mejor la postura de Stake respecto al papel del juicio en una evaluacin?
(
(
a)
b)
e)
f
4
,
,
d)
Un programa no estar satisfactoriamente evaluado hasta que haya sido

totalmente descrito y juzgado.
La principal prueba del profesionalismo de un evaluador es su capacidad
y buena voluntad para presentar un juicio final acerca de un programa.
Los evaluadores estn especialmente cualificados para recopilar, analizar
y comunicar informacin descriptiva, pero no demasiado para proporcionar informacin acerca de juicios respecto al mrito y valor de una
amplia serie de programas relativos a la educacin.
Los miembros de la audiencia de una evaluacin no estn cualificados
para juzgar el programa que se est investigando porque, invariablemente, sus juicios se decantan hacia sus intereses creados.
<
t
(
e)
f
{
Respuesta correcta. Debe usted haber seleccionado la a. Stake adopta

la posicin de Scriven acerca de que una evaluacin no tiene lugar hasta que se
produce un juicio. Sin embargo, mientras Scriven dice que el evaluador debe
presentar su propio juicio, Stake recomienda al evaluador que recopile, analice
y presente los juicios de un amplio grupo de referencia interesado en el programa.
Es incorrecta porque Stake piensa que el evaluador, ms que caracterizar

sus propios juicios, debe recopilar, procesar y destacar los juicios de otras
personas.
Es incorrecta porque Stake afirma que los evaluadores deben tener cualificaciones especiales para recopilar y procesar tanto los juicios como la
informacin descriptiva.
Es incorrecta porque Stake destaca que la mejor fuente de conocimiento
acerca de un programa es, a menudo, el grupo ms implicado en l, y
recomienda especficamente al evaluador que recoja y analice sus juicios.
PREGUNTA
10. Un profesor informa que todos los estudiantes han escrito
unas redacciones excelentes sobre La contaminacin del aire. De acuerdo con
el texto Countenanee estos juicios del profesor
a)
b)
e)
d)
deben ser ignorados,

deben ser sustituidos por tests regularizados,
son datos valiosos,
se denominan transacciones.
Respuesta correcta. Debe usted haber seleccionado la e. Stake recomienda firmemente a los evaluadores que utilicen juicios recogidos de una
amplia gama de personas que conozcan, de distintas maneras, el objeto que
se est estudiando. A menudo, estos juicios reflejan intuiciones que no pueden
obtenerse slo con datos descriptivos.
a)
b)
d)
Es incorrecta porque Stake recomienda a los evaluadores que recopilen

y analicen juicios de una amplia gama de partes interesadas.
Es incorrecta porque Stake recomienda firmemente la utilizacin de los
datos descriptivos y procedentes de juicios, y porque critica duramente
la excesiva confianza de los programas evaluativos en los tests regularizados.
Es incorrecta porque las transacciones se refieren a las actividades que
se desarrollan en un programa y porque este punto significa mucho ms:
el juicio-de un resultado de una actividad escrita.
PREGUNTA
11. Cul de las siguientes afirmaciones es ms coherente
con las presuposiciones que esboza Stake en torno a la evaluacin res pon.
dente?
)
278
a)
b)
c)
d)
)
Evaluacin
sistemtica
Por lo general, las evaluaciones responden tes estn destinadas a los profesores en general, puesto que son los nicos que pueden llevar a cabo
los programas que adopten sus sistemas escolares.
Por lo general, las evaluaciones responden tes se inician cuando los programas que deben ser estudiados estn ya en uso.
Las evaluaciones respondentes estn concebidas para ser autoevaluaciones, y esto, por lo general, no es necesario para un evaluador.
La evaluacin respondente es una denominacin que slo caracteriza las
actividades evaluativas formales y externas.
Respuesta correcta. Debe usted haber seleccionado la b. Stake dice, en

efecto, que el punto de entrada del evaluador respondente ocurre, por lo general, cuando el programa ya ha empezado. Curiosamente, esta presuposicin
es coherente con la nocin del texto Countenance segn la cual el evaluador
debe atender a las transacciones, adelantarse a los resultados y remontarse a
los antecedentes.
8take:
c)
d)
Es incorrecta porque, por el contrario, Stake dice que la evaluacin respondente sirve a clientes especficos, generalmente a la gente responsable
de llevar a cabo el programa.
Es incorrecta porque Stake centra su comentario de la evaluacin respondente en las personas que han sido encargadas, formal o informalmente,
de evaluar un programa.
Es incorrecta porque, aunque el comentario de Stake sobre la evaluacin
respondente supone que la evaluacin de un programa ha sido encargada,
intenta principalmente caracterizar y proporcionar ciertas directrices para
formalizar acontecimientos normales de una autoevaluacin informal.
Igualmente dice, en su texto Countenance, que la figura completa de la
evaluacin abarca tanto las actividades informales como las formales.
PREGUNTA12.
a)
b)
c)
d)
La evaluacin responden te
sacrifica cierta precisin valorativa para intentar intensificar la utilidad

de los resultados,
rechaza la tecnologa de los tests regularizados a causa de su limitado
alcance,
confa insistentemente en la utilizacin de tests publicados a causa de su
validez establecida y de la necesidad de responder rpidamente a los nuevos requisitos informativos,
utiliza principios de valoracin para desarrollar los necesarios planes de
evaluativo
y el cliente
279
")
recopilacin de datos, pero rechaza la utilizacin de los tests ya existentes, de las guas para entrevistas y de las normas de observacin porque
los instrumentos ya existentes no suelen reflejar los requisitos informativos especiales de los clientes especficos.
J
")
')
)
Respuesta correcta. Debe usted haber seleccionado la a. Stake identifica ese intercambio como una de las principales distinciones entre la evaluacin preordenada y la evaluacin respondente.
')
)
b)
c)
a)
el mtodo
d)
Es incorrecta porque aunque Stake describe los tests regularizados como

una actividad de alcance limitado, los incluye entre una amplia serie de
otras tcnicas, en el repertorio del evaluador responden te.
Es incorrecta porque Stake aconseja a los evaluadores que utilicen mltiples tcnicas de recopilacin de datos y fuentes de informacin como
medios de obtener una informacin vlida; de ningn modo quiere decir
con esto que la evaluacin respondente sea fuertemente dependiente de
la utilizacin de instrumentos publicados.
Es incorrecta porque Stake afirma que el evaluador debe utilizar cualquier
cosa que sea relevante.
')
)
)
)
)
)
)
)"
PREGUNTA13. Cul de las siguientes afirmaciones no supone una base

para distinguir la evaluacin preordenada de la evaluacin respondente?
)
)
a)
b)
c)
d)
La primera cree que las planificaciones son estticas, mientras la segunda

cree que son dinmicas.
La primera es ms subjetiva que la segunda.
La primera pide que se informe al cliente a intervalos discretos, mientras que la segunda proporciona informacin ms o menos continuamente.
L~ primera se interesa sobre todo por las perspectivas de valor simples,
mientras que la segunda supone perspectivas de valor pluralistas.
)
)
)
)
)
)
Respuesta correcta. Debe usted haber seleccionado la b. Stake caracteriza la evaluacin preordenada como algo limitado a la utilizacin de tcnicas
rigurosas a causa de su inters fundamental por la objetividad, mientras que
los evaluadores respondentes utilizan algunos de los puntos de vista subjetivos
de los participantes.
)
)
)
)
)
)
,
(
f
(
(
(
280 I
a)
e)
(
d)
Esta es una de las diferencias esenciales mencionada.s por Stake.

Es ta es tambin verdadera, porque las evaluaciones preordenadas, por 10
general, proporcionan informacin slo al final del estudio, mientras que
los evaluadores responden tes estn en continuo contacto con sus clientes
y audiencias.
Esta es otra de las distinciones esenciales mencionadas por Stake.
PREGUNTA
14. Cul de las siguientes afirmaciones no coincide con el
clculo de Stake acerca de cmo reparten su tiempo los evaluadores preordenados y los respondentes?
a)
b)
(
(
e)
d)
(
(
(
(
(
(
PREGUNTA
15. Cul de las siguientes afirmaciones no es coherente con
el consejo que da Stake a los evaluadores sobre cmo decidir los propsitos
a los que deben dedicarse, las cuestiones que deben resolver y los datos que
'deben obtener?
a)
b)
(
(
Invierten el mismo porcentaje de tiempo identificando problemas y metas.

El evaluador preordenado concentra sus esfuerzos en la observacin del
programa, la administracin de tests, el aprendizaje de las necesidades
de sus clientes y la preparacin de informes informales.
El evaluador responden te dedica la mayora de su tiempo a observar el
programa, recoger informacin subjetiva y elaborar informes.
La diferencia principal es que el evaluador preordenado pasa mucho ms
tiempo preparando instrumentos que el evaluador respondente.
Respuesta correcta. Debe usted haber seleccionado la b. Stake calcula

que el evaluador preordenado puede dedicar, por 10 general, slo el quince por
ciento de su tiempo a todas estas tareas combinadas. La mayora del tiempo
de los evaluadores respondentes, por 10 general, debe dedicarse a actividades
asociadas con la obtencin, anlisis y presentacin de datos formales.
e)
d)
Respuestas
a)
a)
(
(
e)
(
(
(
(
(
d)
Esto coincide con el clculo de Stake porque l estima que ambos pueden
invertir el diez por ciento de su tiempo en la identificacin de problemas
y metas.
Esto coincide con el punto de vista de Stake porque l estima que el evaluador respondente puede dedicar el sesenta y cinco por ciento de su
tiempo a estas actividades.
Esto est de acuerdo con el anlisis de Stake porque ste calcula que el
evaluador preordenado puede dedicar el treinta por ciento de su tiempo
a preparar instrumentos, mientras que el evaluador respondente puede
dedicar a esta actividad el quince por ciento.
El evaluador debe escoger las cuestiones y criterios de valor slo despus

de haber averiguado por qu ha sido encargada la evaluacin y de haber
descubierto 10 que ocurre en el programa.
El evaluador debe centrarse en cuestiones y criterios que le conduzcan
a descubrir 10 mejor y 10 peor de las actividades del programa y en las
cosas que ms interesan a la gente implicada.
El evaluador no debe limitar el alcance de su estudio, sino plantearse toda
la gama de propuestas y cuestiones que interesan a la audiencia.
El evaluador debe considerar que existe una variedad de propsitos que
pueden satisfacerse en una evaluacin, pero, en cualquier estudio concreto, debe limitar su atencin a uno o algunos de los propsitos de inters
para la audiencia.
Respuesta correcta. Debe usted haber seleccionado la e. Stake observa

que no todos los propsitos potencialmente relevantes de una evaluacin
pueden satisfacerse con una sola recopilacin de datos, que slo unas pocas
de estas cuestiones potencialmente interesantes pueden obtener la atencin
principal de cualquier estudio y que el evaluador, por 10 tanto, debe ser selectivo al especificar propsitos y cuestiones.
I 281
(
(
b)
d)
incorrectas
En esencia, ste es el plan que Stake facilita a los evaluadores respecto

a cmo deben escoger los propsitos, las cuestiones y los criterios que
deben utilizarse en un estudio concreto.
Estos son los criterios ofrecidos por Stake para valorar las cuestiones y
criterios alternativos que un evaluador puede escoger como directrices
de un estudio concreto.
Aunque Stake aconseja a los evaluadores que busquen y solucionen problemas continuamente durante el curso del estudio, tambin les recomienda que pongan lmites realistas a los propsitos que debe satisfacer cualquier estudio concreto.
PREGUNTA
la caracterizacin que hace el autor de las concepciones de Stake respecto a las
responsabilidades sociales y ticas del evaluador?
)
'
..
'
-1':'
282
Evaluacin
Stake:
sistemtica
a) Los evaluadores deben ser muy sensibles a las cuestiones de igualdad y

b)
e)
d)
justicia en la educacin.
Los evaluadores deben adoptar y seguir las normas formales de la prctica evaluativa ms solvente.
El evaluador debe atender y describir las mltiples perspectivas de valor
de las personas y grupos que estn implicados e interesados en el programa que se est estudiando.
Los evaluadores deben ayudar a sus clientes a evitar una evaluacin
formal.
b)
e)
el mtodo
evaluativo
y el cliente
283
generalmente admitido es la calidad. Cree que los principales objetivos de

la educacin son el servicio y la adquisicin del respeto y la integridad
personal.
Es incorrecta porque Stake dice que esta postura incluye la dudosa presuposicin de que un programa que sea juzgado el mejor resultar ser
el mejor para todo el mundo. En oposicin a esta postura, Stake recomienda un mtodo p1uralista para la evaluacin.
Es incorrecta porque Stake dice que no siempre es mejor evaluar un programa basndose en su valor instrumental; quiere decir que en algunos
casos puede ser ms apropiado atender a su valor intrnseco.
Respuesta correcta. Debe usted haber seleccionado la. ;<b. Stake est en
contra de la adopcin de normas formales para la evaluaclOn.
con el consejo general que ofrece Stake para llevar a cabo la evaluacin reloj?
a) Stake considera que sta es una de las responsabilidades

e)
d)
sociales del
evaluador.
Los escritos de Stake reflejan intensamente una filosofa pluralista.
Esta afirmacin es coherente con la recomendacin de Stake acerca de
que las evaluaciones formales deben ser llevadas a cabo slo cuando se
puede justificar claramente su coste y las molestias que representan.

con la caracterizacin que hace el autor de la filosofa educativa de Stake?
PREGUNTA
.,
')
')
')
')
')
')
')
PREGUNTA
')
a)
b)
e)
d)
El evaluador debe esforzarse para que sus mensajes resulten explcitos

para sus distintas audiencias.
La evaluacin puede y debe ser un proceso muy sencillo, realizado paso
a paso.
El evaluador debe emplear mtodos subjetivos para recopilar, analizar y
presentar la informacin, y debe evitar la utilizacin de tcnicas limitadas,
artificiales y presuntamente objetivas, como los tests regularizados y las
escalas de valor.
Los propsitos de las audiencias deben tenerse muy en cuenta a la hora
de decidir cuntas cosas y de qu forma hay que comunicar.
')
)
)
)
)
)
)
)
)
)
a)
b)
e)
d)
El propsito de la educacin, por lo general, es transmitir la cultura y

ayudar a conservar la identidad nacion~l.
. .
.,
Los intereses locales deben ser determmados y limltados por el mteres
comn.
La educacin debe ser siempre considerada como un medio para conseguir algn fin prctico.
.
Los .prob1emas de la enseanza sern mejor resueltos por la gente dlrectamente implicada en ellos.
Respuesta correcta. Debe usted haber seleccionado la d. Stake dice que

estas personas ejercen los juicios ms crticos, son las nicas dispuesta~ a solucionar los problemas de la enseanza y, por 10 tanto, deben ser conslderadas
por los evaluadores como sus clientes principales.
Respuestas
a)
1
i'
incorrectas
Es incorrecta porque Stake dice que el propsito
de la educacin ms
Respuesta correcta. Debe usted haber seleccionado la d. Stake dice que

los propsitos de las audiencias son 10 ms importante para las decisiones
del evaluador.
)
)
)
)
a)
b)
e)
Es incorrecta porque, por el contrario, Stake dice que la explicitud no es

necesaria para indicar el valor y que, en muchas de las evaluaciones
preordenadas, aumenta el peligro de error.
Es incorrecta porque Stake dice que la evaluacin no es un proceso lineal
y advierte a los lectores que no sigan esta evaluacin reloj en el sentido
de las agujas del reloj.
Es incorrecta porque Stake recomienda la utilizacin de cualquier tcnica
que pueda ser relevante en una situacin dada; tambin recuerda al evaluador que debe descubrir y seguir los que su audiencia considere modos
legtimos de recopilacin de datos.
)
)
)
.)
)
)
)
)
,
(
(
((
(
(
284
a)
(
b)
(
(
c)
{
(
d)
El evaluador debe recopilar y presentar mltiples opiniones acerca de lo

que es un programa y de lo que est consiguiendo, para que la audiencia
pueda comprobar si sus concepciones son falsas y enfrentarse a la realidad objetiva del programa.
El mrito de un programa viene determinado por sus resultados (buenos
y malos). Si existen, deben ser valorados. Pero el evaluador fracasar,
seguramente, en el descubrimiento y valoracin de los resultados si primero no ha obtenido una gran cantidad de informacin subjetiva.
La evaluacin supone la bsqueda de la verdad, y los evaluadores deben
tomarse este aspecto de su trabajo mucho ms en serio de lo que lo
hacen.
En general, los evaluadores deben pretender ayudar a sus audiencias a
observar una amplia serie de preguntas y posibles respuestas relativas a un
programa, y no ayudarles a desarrollar un juicio acerca del programa.
(
(
(
(
(
Respuesta correcta_ Debe usted haber seleccionado la d. Stake dice que
b)
(
(
,
(
c)
Es incorrecta porque Stake dice que existen realidades mltiples, no una

sola realidad objetiva.
Es incorrecta porque recomienda a los evaluadores que no crean que slo
los resultados valorables hablan acerca del valor de un programa. Les
aconseja que recopilen cualquier cosa que pueda ayudar a la gente a comprender el programa, incluyendo sus juicios subjetivos.
Es incorrecta porque Stake dice que muchos evaluadores se toman su
papel de buscadores de la verdad demasiado en serio. Les recomienda
que busquen verdades mltiples acerca de un programa, ayudando as
a cada lector a descubrir su propia comprensin del programa.
(
(
(
\
\
,
\
INTERPRETACINDEL TEST DE CONOCIMIENTOS.Cuando haya realizado

el test, cuente el nmero de respuestas correctas e incorrectas. Idealmente,
debe usted haberlas acertado todas. Respecto a cada una de las que haya errado, le recomendamos que vuelva a leer la pregunta, y luego revise el texto
para mejorar su comprensin de los correspondientes conceptos.
285
Este apartado contiene cuestiones prcticas destinadas a ayudarle a valorar

si ha comprendido la estructura sustancial de la evaluacin respondente y las
etapas de la evaluacin reloj.
EJERCICIO 1. Defina y ejemplifique cada uno de los elementos principales de la estructura sustancial de la evaluacin respondente.
La respuesta al e;ercicio 1 debe ser aproximadamente como sigue:

Ejemplificaciones
Elementos
1. Organizadores previos: los problemas son los ms tiles puesto que
reflejan la complejidad, la urgencia
y la valoracin.
Conducir a los estudiantes hacia otras formas de

in tegracin_
Tratamiento de la evolucin y creacin de los
libros de texto cientficos en las escuelas.
2. Estructura de la figura.
Utilizarla como gua para recopilar datos ampliamente descriptivos y crticos acerca del programa
de un distrito escolar para la integracin de los
estudiantes.
3. Observadores humanos.
Conseguir que un investigador residente realice

el estudio de un caso concreto sobre la enseanza
de las ciencias en una escuela durante un perodo
de seis meses.
4. Validacin: asegurar
macin obtenida es
cantidad y refleja la
mltiples fuentes de
Comprobar si se ha obtenido informacin acerca

de los ms importantes propsitos, cuestiones y
problemas seleccionados para el estudio.
Comprobar hasta qu punto la informacin obtenida cubre todos los aspectos de la estructura
de la figura.
Comprobar si cada cuestin se plante mediante
varios datos.
a)
Ejercicios prcticos
existen mltiples realidades y que el evaluador debe ayudar a sus audiencias

a comprobar la complejidad de un programa y las mltiples interpretaciones
de su valor.
(
(

la caracterizacin que hace el autor de la orientacin epistemolgica de Stake?
(
(
que la inforsuficiente en
utilizacin de
datos.
')
')
286
8take: el mtodo evaluativo
EJERCICIO
2. .Describa y ejemplifique cada una de las tareas de la evalua-
Tarea
dos ms compartidos y caractersticos; sintetizar la informacin en una lista de

problemas que pueden ser
estudiados; definir cada problema con la mayor claridad
posible; y dejar al cliente y
a los representantes de otras
audiencias que valoren la
importancia de los problemas definidos, para luego
interpretarlos.
cin reloj.
La respuesta al ejercicio 2 debe ser aproximadamente

Tarea
1. Identificar el alcance del
programa.
2. Panorama del programa.
3. Descubrir los propsitos

e intereses.
4. Conceptualizacin de
problemas y cuestiones.
Elaboracin
como sigue:
Ejemplificacin
Determinar las limitaciones

definiendo los lmites geogrficos, la poblacin que
debe ser estudiada, el tiempo disponible, el rea de
contenidos, las principales
localizaciones, etctera.
El evaluador y el cliente
estn de acuerdo en que la
evaluacin debe considerar
el Arts Impact Program
de la Cranbrook School, desde sus principios en 1966
hasta el momento actual.
Explorar el programa para

desarrollar una idea general
de sus principales caractersticas.
Examinar el presupuesto del.'

programa; revisar los recortes de prensa; hablar
algunos de los profesores,"
estudiantes, personal especia- .
lizado, padres y administradores que han intervenido;
observar las actividades del
programa; y examinar algunos de los trabajos de los
estudiantes.
Propsitos : distintas razones

por las que se desea la evaluacin; intereses: preocupaciones acerca oel programa.
Identificar las perspectivas

ms importantes; .examinar
las preocupaciones y esperanzas expresadas por cada grupo; enumerar las dudas, esperanzas, miedos y desacuer-
Preguntar a diversas
nas si piensan que puede
perderse algo dando fin ahora a la
y si
as, identificar los
potenciales de la
del estudio; y, ms an, que
emitan su juicio acerca de
estos beneficios pueden
pensar el probable coste.
Pedir igualmente a estas personas que identifiquen
quier inters especial que
puedan tener acerca del pro- :'.
grama.
Escuchar.
En la evaluacin del presupuesto de una universidad,,,
el evaluador identifica muo"~
chos puntos de vista impor~
tantes:
la administracin'
central, los decanos, el sin-{
Elaboracin
5. Identificacin de los datos necesarios para la

identificacin de los problemas.
Los resultados ms sencillos

de los requisitos informativos asociados con la investigacin de los problemas
previamente identificados.
y el cliente
287
Ejem plificacin
dicato de profesores, el consejo de estudiantes, la junta
de administradores, los catedrticos, el personal relacionado con los servicios de
enseanza, el departamen to
de investigacin educativa,
el departamento de becas,
el departamento de contabilidad, los estudiantes en general, la junta estatal de
educacin, la oficina del gobernador, la legislacin del
estado y los auditores federales. Se entrevista con representantes de cada grupo,
toma nota de su valoracin
del presupuesto, consigue y
estudia los documentos pertinentes, hace una lista de
problemas y consulta con
personas interesadas en cada
problema para que lo ayuden
a describirlo. Luego rene
un grupo asesor, representativo de los distintos puntos
de vista, para que aborden
los problemas y lo ayuden
a decidir cules deben recibir ms atencin.
Habiendo asignado un orden
de prioridad a los problemas
tal corno sigue: 1) eficiencia
de la estructura actual del
departamento; 2) obstculos
para reducir o eliminar las
inversiones en programas improductivos; 3) fiabilidad y
validez de las frmulas utilizadas para pronosticar los
ingresos y los gastos; 4) regularidad de los incrementos
del precio de la matrcula,
y 5) lo razonable del incremento de salarios proyectado, el evaluador enumera las
preguntas, las fuentes de informacin y las tcnicas de
recopilacin de datos que
pueden resultar adecuadas
:)
)
')
')
')
')
.)
)
)
)
)
,)
)
.)
)
.)
~.).
)
~
:J
,)
J
J
.J
',J
'J
.:J
~.)
)
.)
.)
(
(
(
288
Tarea
Stake: el mtodo evaluativo

Elaboracin
(
(
(
(
(
{
(
6. Seleccionar observadores, jueces e instrumentos, si los hay.
Basndose en los datos necesarios identificados, el evaluador debe desarrollar yI o

seleccionar los instrumentos,
los observadores y los jueces
que sean necesarios.
El evaluador puede seleccio,

nar especialistas que le ayu_
den a realizar los estudios de
casos concretos, a crear v
aplicar los instrumentos d~
investigacin y a organizar
audiciones.
7. Observar los antecedentes, las transacciones y

los resultados propuestos.
Aqu el evaluador debe utilizar el rexto Countenance

para sistematizar y probablemente ampliar sus actividades de recopilacin de datos.
El evaluador puede analizar

su plan de recopilacin de
datos comparndolo con los
requisitos del texto Countenance tanto para identificar
los huecos (p.ej., que no se
haya previsto el estudio de
la base lgica del programa)
como para planificar los anlisis de contingencias y congruencias.
(
(
(
(
~
(
Ejemplificacin
para la investigacin de cada
problema. Entonces se rene
con U? grupo asesor, repre_
sentatIvo de todas las a
diencias,
para examinar u.,.
y
qUlza meJorar este primer
plan de recopilacin de datos.
(
(
(
(
(
8. Desarrollar los temas,

preparar descripciones y
estudios de casos concretos.
Puede desarrollar breves panoramas del programa, presentaciones del producto, videos, etctera.
Habiendo estudiado el sistema utilizado por el distrito

escolar para seguir la pista
de los estudiantes, el grupo evaluativo prepara un video destinado a investigar
los resultados y el debate
provocado.
9. Validacin:
confirmar
los intentos de rechazo.
Realizar diversos tests sobre

la calidad de la informacin
obtenida, y dejar que distintas personas examinen y juzguen los procedimientos y
los datos.
Triangular.
Dejar que las crticas de los
colegas abran grietas en la
interpretacin.
Habiendo estudiado el Programa Estival para el perfeccionamiento de los estudios el evaluador encarga
a las partes independientes
que utilicen los resultados
para 1) atacar el programa
y 2) apoyarlo. Encarga a
una tercera parte que me.
taevale el estudio completo. Los informes correspondientes a estas tres acti-
e
e
,
(
,,
~
Tarea
Elaboracin
y el cliente
289
Ejemplificacin
vidades pueden ayudar a las
audiencias a interpretar los
resultados de la evaluacin.
10. Esquemas para uso de

la audiencia.
Preparar comunicaciones especiales que saquen el mximo provecho de la informacin disponible, con el fin
de responder directa y distintamente a las diferentes
audiencias.
En un estudio de tres aos

del programa educativo de
los profesores de una universidad, disrintos miembros del
grupo evaluativo han sido
encargados de reunirse peridicamente con el consejo
de .la universidad, 1(1- jUnta
de decanos, el comit de
currculos y el departamento de educacin de los profesores. Cada miembro del
grupo evaluativo est encargado de convocar reuniones
regulares de estos grupos
para estar continuamente al
corrien te de sus intereses y
necesidades informativas y
presentar los resultados de
la evaluacin que puedan
resultar aprovechables y demostrar ser tiles.
11. Preparar, si lo piden, el

informe formal.
Estos deben ser impresos,

filmados en video, dramatizados o presentados oralmente.
Habiendo realizado un profundo estudio del Programa sobre dificultades de

aprendizaje de un distrito
cualquiera, el evaluador dramatiza los resultados presentanda y ayudando a los
grupos de la Asociacin de
Padres y Profesores que estn interesados a actuar en
un sociodrama basado en los
resultados.
12. Hablar con los clientes,

el personal del programa y las audiencias.
A lo largo de una evaluacin, el evaluador debe mantener comunicacin con una

amplia gama de partes interesadas, con el fin de comprender y estimular sus in.
tereses acerca de la evaluacin, y desarrollar su plan
como mejor convenga a la
realizacin de la evaluacin.
Al prinCIpIO de una evaluacin sobre el programa de

educacin bilinge de un distrito escolar, el evaluador
organiza un grupo asesor,
representativo de toda la
gama de grupos interesados,
y mantiene debates con este
grupo ms o menos una vez
al mes.
~
~
~
290 I Evaluacin sistemtica

En este apartado proporcionamos cuatro preguntas y ninguna respuesta.
Las preguntas pueden ser utilizadas como temas para debates, como bases
para trabajos individuales o como guas para profundizar en las obras de Stake.
1.
2.
3.
4.
Responda a la afirmacin de GLASS (1980), segn la cual la recomenda_

cin que hace Stake de un mtodo respondente para la evaluacin se
opone a su recomendacin de una postura pluralista a la hora de juzgar
programas educativos.
Hasta qu punto es coherente la evaluacin responden te con las recomendaciones incluidas en las Standards far Evaluations
of Educational
Pragrams, Projects, and Materials (1981)?
.
Comente la conveniencia de las siguientes denominaciones de Stake: res.
pondente, reflejo de full cauntenance
(figura completa) de la evaluacin, centrado en el cliente, revelador y ,naturalista.
Responda a la insistencia de Stake en que los conceptos y el plan contenidos en su texto Cauntenance no constituyen un modelo de o para evaluaciones.
CLARK,D. 1. Y GUBA,E, G. 1965. An examination of potentia1 change roles in
education. Texto presentado en el Seminar on Innovation in P1anning Schoo1
Curricu1a, Airliehouse, Virginia, octubre.
CRONBAC
H, L. J. 1963. Course improvement through eva1uation, T eachers College
Record, 64, pgs. 672-683.
CRONBACH,1. J. y otros. 1980. Toward a re/orm o/ program evaluation, San
Francisco, Jossey-Bass.
DENNY,T. 1978. Story telling and educationa1 understanding. Ka1amazoo: Centro
de Evaluacin, Universidad de Western Michigan, Occasional Paper n. 12, noviembre.
GLASS,G. V. 1980. Eva1uation research, Annual Review o/ Psychology, 31, pginas 211-228.
HAMILTON,D, y otros. 1977. Beyond the numbers game, Berkeley, McCutchan.
Joint Committee on Standars for Educationa1 Evaluation, 1981. Standards for
luations o/ educational programs, projects, and materials, Nueva York,
Hill.
MAcDoNALD,B. 1975. Eva1uation and the control of education. En D.
(comp.), Evaluation: The state o/ the art, Londres, Schoo1s Co,:ncil.
OWENS,T. 1973. Educationa1 eva1uatian by adversary proceedmg. En E. HOUSE
(comp.), School evaluation: The politics and process, Berkeley, McCutchan.
Referencias bibliogrficas I 291
PARLETT,M. Y HAMILTON,D. 1972. Evaluation as iilumination: A new approach

to the study of innovatory programs. Edimburgo: Centro de investigacin sobre Ciencias Educativas, Universidad de Edimburgo. Occasional Paper n. 9.
PROVUS,M. 1971. Discrepancy evaluation, Berke1ey, McCutchan.
RIPPEY, R. M. (comp.). 1973. Studies in transactional evaluation, Berkeley, McCutchan.
SCRIVEN,M. 1967. The methodology of evaluation. En R. TYLERY otros, Perspectives o/ curriculum evaluation. (AERA Monograph Series on Curriculum
Evaluation), Chicago, Rand McNally.
-.1973. Goal-free evaluation. En E. HOUSE(comp.), School evaluation: The po.
litics and process, Berkeley, McCutchan.
-.1976. Evaluation bias and its control. Kalamazoo: Centro de Evaluacin Universidad de Western Michigan, Occasional Paper n. 4.
'
SMITH, 1. M. Y PAHLAND,P. A. 1974. Educationa1 technology and the rural
highlands. En 1. M. SMITH, Four examples: Economic anthropological, narra.
tive, and portrayal (AERA Monograph on Curriculum Eva1uation), Chicago,
Rand McNaily.
SMITH, E. R. Y TYLER,R. W. 1942. Appraising and recording student progress,
Nueva York, Harpe! and Row.
STAKE,R. E. 1967. The countenance of educational evaluation, Teachers College
Record, 68, pgs. 523-540.
-.1975a. Evaluating the arts in education: A responsive approach, Columbus,
Ohio, Merril.
-. 1975b. Program evaluation: Particularly responsive evaluation. Ka1amazoo: Ceno
tro de Evaluacin, Universidad de Western Michigan, Occasional Paper n. 5,
noviembre.
-.1976. A theoretica1 statement of responsive eva1uation, Studies in Educational
Evaluation, 2, pgs. 19-22.
-.1978. The case study method in social inquiry, Educational Researcher 7, pginas 5.8.
-.1979. Shou1d educational evaluation be more objective or more subjective?,
Educational
Evaluation
and Policy Analysis.
STAKE,R. E.; EASLEY,J. A., Jr. (comp.), 1978. Case studies in science education,
vol. 1, 2, Rep. NSF Proj. 5E-78-74, Urbana, I11.,CIRCE, Universidad de I11i.
nois, Facultad de Educacin.
STAKE,R. E. Y GJERDE,C. 1971. An evaluatian of TCITY: The Twin City Institute for Talented Youth. Ka1amazoo: Centro de Evaluacin, Universidad de
Western Michigan, Paper n. 1, Evaluation Report Services.
STUFFLEBEAM,
D. 1. 1966. A depth study of the evaluation requirement. Theory
into Practice, 5, pgs, 121-133.
STUFFLEBEAM,
D. 1. Y otros. Educational evaluation and decision making Itaska
m., Peacock.
'
,
TYLER,R. W. 1942. General statement on eva1uation, Journal o/ Educational Re.
search, 35, pgs, 492-501.
WOLF,R. 1. 1973. The application of se1ect legal concepts to educationa1 evalua.
tion, Tesis Doctoral de Filosofa, Universidad de I11inois,Champaign.
')
~
)
')
~
')
')
)
)
)
)
)
)
)
)
)
,)
)
)
)
)
)
)
)
)
1)
)
)
)
)
J
\.
j
l.
;.
T. R. OWENS y R. 1. WOLF: UN METODO

CONTRAPUESTO DE EVALUACION
La evaluacin contrapuesta representa un gran paso hacia el final de una

etapa que empez con el mtodo orientado hacia los objetivos de Tyler. Desarrollado a principios de los aos setenta, el mtodo contrapuesto intenta
iluminar los aspectos ms importantes del programa que se est evaluando.
Estos aspectos explorados pueden ir ms all de los objetivos originalmente
propuestos para el programa. Casi leg'timo en sus mtodo y estructura, el
modelo de contraposicin sigue un proceso dialctico. Dos grupos de evaluadores investigan los pros y los contras de un programa con el fin de clarificar
honesta y abiertamente sus principales problemas.
La intencin final del mtodo contrapuesto es proporcionar a quienes toman las decisiones evidencias slidas para actuar en consecuencia. Lo ms
importante es perfeccionar la toma de decisiones en el campo de la educacin.
Por esta razn, el mtodo contrapuesto, segn uno de sus ms tempranos
representantes, T homas Owens, puede funcionar conjuntamente con los modelos propuestos por Scriven, Stufflebeam y Provus. Se ha dicho "que el modelo de contraposicin es ms competente que los modelos anteriores a la hora
de satisfacer las necesidades informativas de quienes toman las decisiones.
An estamos lejos de una aceptacin universal de la evaluacin contrapuesta. La literatura especializada incluye posturas tanto a favor como en
contra del mtodo.
El modelo de contraposicin para la evaluacin educacional fue desarrollado en los primeros aos setenta. Segn uno de sus ms tempranos representantes, Thomas Owens, el mtodo contrapuesto posee la metodologa necesaria para proporcionar informacin a quienes toman las decisiones con el fin
de que elaboren proyectos y juzguen los resultados previstos y los no previstos
cuando ya hayan sido realizados.
294
Evaluacin
'1
sistemtica
Bsicamente, el mtodo supone un proceso dialctico y legtimo. Intenta

examinar abiertamente los problemas relativos a una proposicin mediante
la presentacin de casos a favor y en contra de esa proposicin. El propsito
es clarificar. Con los procedimientos realizados y las muchas facetas relacionadas con el objeto aclaradas, quienes toman las decisiones ya disponen de
una evidencia suficiente y slida para tomar decisiones racionales.
El modelo de contraposicin ha tomado diversas formas. Una de las ms
notables es el modelo judicial desarrollado por Robert Wolf en 1973 y los
aos sucesivos. Este aporta a la evaluacin educacional las tcnicas de un
tribunal. No se trata, sin embargo, de presentar una decisin del tipo culpable!
inocente. La esencia del concepto de juicio es el establecimiento de un acuerdo
en el contexto de un desacuerdo. De nuevo, lo importante es perfeccionar la
toma de decisiones en el campo de la educacin.
Usted puede seguir y comprender el mtodo de evaluacin contrapuesta
mediante el estudio de esta unidad. Como en las primeras unidades, los ejercicios aparecen al final para comprobar lo que ha aprendido. A continuacin
proporcionamos la lista de objetivos de esta unidad. Estdielos, lea la unidad
y luego realice el test de conocimientos, comparando sus respuestas con las que
proporcionamos nosotros. Finalmente, realice los ejercicios prcticos, compare
sus respuestas con los aspectos ms destacados de las que le facilitamos nosotros y aborde el apartado de Preguntas sin respuestas.
Objetivos
Los objetivos del captulo son los siguientes:
1.
Facilitar la comprensin
a)
b)
e)
d)
e)
2.
del modelo de contraposicin
mostrando las deficiencias del modelo de tests psicolgicos para las

tomas de decisiones,
examinando los procedimientos de contraposicin en su contexto
legtimo,
considerando la aplicabilidad de los procedimientos de contraposicin a la evaluacin educacional,
considerando la puesta en prctica del modelo sugerida por Owens,
investigando las dimensiones de los procedimientos de contraposicin sugeridos por Owens.
Dar un ejemplo de una forma de modelo de contraposicin,

el modelo judicial de Robert Wolf,
a)
b)
por ejemplo
')
')
T. R. Owens
3.
y R. L. Wolf
295
Examinar la condicin de la evaluacin contrapuesta

a)
b)
comentando argumentos a su favor,

comentando argumentos en su contra.
')
')
')
')
)
Intencin del modelo de contraposicin
En 1973, Owens afirm que durante la dcada anterior la evaluacin educacional haba experimentado una expansin que la condujo ms all del juicio
de los resultados finales. Cada vez se pona ms el nfasis en proporcionar
informacin para la toma de decisiones. Sin embargo, gran parte de la metodologa evaluativa no ha estado a la altura de la ampliacin del concepto y la
funcin administrativa.
A pesar de que los autores ms tempranos fueron muy crticos con la
limitada funcin de la evaluacin basada en tests psicolgicos, siguieron preocupndose por el hecho de que un proyecto alcanzara o no los objetivos propuestos. SCRIVEN,en concreto, destac (1967) la necesidad de examinar muy
de cerca tanto las metas como las presuposiciones propuestas en las que se
basaba un programa. Si las presuposiciones vinculaban el valor de un programa
a cada estudiante o a la sociedad, no exista casi ningn mtodo que pudiera
obtener este tipo de informacin.
Otra limitacin del modelo de tests psicolgicos que ya advirti Owens
consista en que era ms adecuado para la investigacin que para la toma de
decisiones prcticas. Aunque una evaluacin comparativa puede demostrar
que un programa es superior a otro, esta informacin no significa necesariamente que deba adoptarse el programa superior. Su utilidad prctica no ha
sido aprobada. As pues, existe un hueco entre los resultados empricos y las
decisiones administrativas en la realizacin de ciertas prcticas. Adems, el
modelo de tests psicolgicos limita, por lo general, el nmero de variables
examinadas. En concreto, las variables ms fcilmente cuantificables y tangibles suelen ser examinadas, mientras que las ms sutiles y menos tangibles,
suelen ser rechazadas. Por ejemplo, los tests hechos a estudiantes para la realizacin de un nuevo currculo son slo una parte del panorama general. T ambin deben ser tenidas en cuenta otras variables que influyen en el programa,
como las relaciones personales (por ejemplo, estudiante-profesor, maestro-administracin), las actitudes del estudiante y la aceptacin de la comunidad. El
modelo de la contraposicin para la evaluacin educacional se desarroll para
superar este tipo de problemas.
')
!
)
)
)
)
)
)
)
)
)
)
)
)
,
,
)
)
)
)
)
I )
)
( )
explicando brevemente su base lgica,

esbozando las cuatro etapas de su desarrollo.
')
I
.j.
'.
(
(
296
Evaluacin
'
sistemtica
T. R. Owens
(
(
Los procedimientos
de contraposicin
en su contexto
legal
(
(
(
(
(
En un contexto legal, los procedimientos de contraposicin se desarrollan

como una audiencia administrativa destinada a juzgar los mritos de un caso
en el que estn implicadas dos partes opuestas.
OWENS(1973, pgs. 296-297) ha identificado las siguientes caractersticas
de los procedimientos de contraposicin como las adecuadas para la toma de
decisiones en educacin:
l.
(
(
2.
(
(
3.
(
(
4.
(
(
5.
6.
7.
(
(
8.
Las reglas establecidas para manejar los procedimientos de contraposicin

son totalmente flexibles.
Las complejas reglas de la evidencia son sustituidas por una evaluacin
libre de la evidencia basada nicamente en si la evidencia es considerada
relevante por el director de la audiencia.
Puede pedirse a ambas partes, antes del juicio, que informen al director
de la audiencia sobre todos los hechos relevantes, de las pruebas y de los
nombres de los testigos.
Debe proporcionarse una copia de los cargos al director de la audiencia y
al defensor, antes de que empiece el juicio, teniendo el defensor la opcin
de admitir por anticipado ciertos cargos y recusar otros.
Los testigos declararn libremente y podrn ser interrogados.
A menudo, los expertos son llamados a testificar, incluso antes del juicio.
Las entrevistas previas al juicio entre el director de la audiencia y las dos
partes suelen convertir el juicio ms en una bsqueda de hechos relevantes que en una batalla de talentos.
Adems de las dos partes implicadas, puede permitirse la participacin
de otros grupos interesados.
(
(
(
(
(
(
(
(
(
(
La aplicabilidad
en la evaluacin
educacional
Los diversos autores estn, por lo general, de acuerdo en que los procedimientos de contraposicin para la toma de decisiones en educacin no deben
necesariamente sustituir a las planificaciones ya existentes para la recopilacin
y el anlisis de datos. Los procedimientos proporcionan un mtodo alternativo de presentar, interpretar, sintetizar e informar sobre evidencias. Se considera que los datos presentados son ms equilibrados que los obtenidos nicamente mediante tests psicolgicos.
Trasladados a un medio educativo, muchos de los procedimientos esbozados para el contexto legal pueden suponer una consideracin estructurada de
los aspectos importantes del programa y de su evaluacin. Las presuposiciones , las metas , los mtodos de recopilacin de datos y su anlisis, y la preci-
y R. L. Wolf
297
sin y suficiencia de los informes evaluativos a~r:~ nuev~s posibilidades.

Owens y Wolf afirman que el mtodo de contrapOS1CIon conVlerte una evaluacin en intelectualmente honesta.
.,
El modelo de contraposicin legal es tambin aplicable a la evalua.clOn
educacional por otras razones. Permite que un amplio espec~ro de g~nt~ mteresada en el programa exprese su punto de vista, ya sea dlt:c.t~ o llldlrectamente (por medio de abogados de una parte o la otra). Los JUlClOSno. se ~asan en las metas iniciales del programa, sino ms bien en .la combl~a:lOn
entre stas y los problemas ms importantes planteados por qUIenes partlclpa~
en la audiencia. Tambin ofrece un' mtodo para facilitar una toma de de~lsiones justa y abierta. Y, lo que es ms importante, pres.enta una concepclOn
amplia y completa del programa, clarificando tanto su~ vlttude~ corr:o sus defectos. Las alternativas de la decisin y sus potenClales ramificaclOnes son
aireadas pblicamente.
Realizaciones
prcticas
Owens sugiere siete modos principales en los que puede llevarse a cabo
el modelo de la contraposicin para satisfacer los propsitos de una eval.uacin educacional. Esbozaremos brevemente estas tiles y prcticas sugerenClas.
Explorar los valores de un currculo nuevo o ya existente. A menudo, las
evaluaciones comparativas fracasan al especificar e investigar la teora, la base
lgica y las presuposiciones de un currculo. Un debate abierto sobre la importancia de un currculo concreto que. satisfaga .las n~cesida~e~ ~resentes y
futuras de los nios, las necesidades soclales o la mtegndad dlsclplinar puede
resultar un paso til antes de decidir si es conveniente.o no desarrollar o llevar a cabo el currculo.
Seleccionar nuevos libros de texto. Los libros de texto de un distrito escolar se escogen, demasiado a menudo, de una manera fortuita o precipitada.
Una audiencia contrapuesta formada por profesores de un comit de seleccin
puede informar y aclarar cosas a los profesores sobre el valor de los libros de
texto, basndose en argumentos a favor y en contra.
Estimar la congruencia entre una innovacin y el sistema existente. Las
innovaciones pueden introducirse sin comunicrselo al ms amplio contexto
escolar. En una audiencia contrapuesta la evidencia puede producirse mencionando el probable efecto nocivo que puede producir una innovacin en el sistema como totalidad, revelando as las barreras potenciales que pueden frenar
el xito de un programa. Luego, se pueden tomar decisiones para frenar o
superar las posibles dificultades.
-~
i,
298
T. R. Owens y R. L. Wolf
')
Dimensin 1: Marco
)
)
Formal
El que toma las decisiones
como juez
de los procedimientos
Dimensin 3:
Resultados
')
')
')
Varios jueces o un jurado
Dimension 2:
Jueces
)
La audiencia como juez
Ningn juez
)
)
FIGURA
Dimensiones
)
.
Resolver las disputas acerca de los contratos de trabajo. Continan producindose disputas sobre la realizacin de los contratos de trabajo. Los procedimientos de contraposicin pueden ayudar a resolver las disputas basndose en testimonios de expertos procedentes de una amplia gama de fuentes.
Llegar a la decisin que debe ponerse en prctica. Quien toma las decisiones educativas puede servir como director de la audiencia, en cuyo caso su
veredicto es la decisin. O puede pretender implicar a los jurados, como los
representantes de los profesores y de los estudiantes, en la toma de decisiones.
O considerar el veredicto del jurado como una parte de la informacin que
debe ser utilizada en combinacin con otras, como por ejemplo los argumentos expuestos en la audiencia o los datos recopilados mediante tests.
Owens considera que los procedimientos de contraposicin pueden ser especialmente relevantes para la aplicacin de los mtodos evaluativos desarrollados por Daniel Stufflebeam, Robert Stake (su modelo de la figura, 1967)
y Malco1m Provus.
299
.,
Revelar las distintas interpretaciones hechas por distintos representantes

sobre los mismos datos. Owens afirma que un jurado puede comprender representantes de los estudiantes, profesores, administradores, padres y la comunidad. Diversos miembros del jurado pueden interpretar los mismos datos de
diferente manera. Estas diferencias, comunicadas a quienes toman las decisiones, pueden mejorar mucho su comunicacin con los grupos. Una toma de
decisiones colectiva puede ser tambin un resultado.
1nformar a los profesores, directores y administradores. Como observadores o participantes, los educadores pueden adquirir nuevos conocimientos
sobre el programa de la audiencia.
8-1.
Aplicaciones y dimensiones de los procedimientos contrapuestos
formal, cualquier aspecto de la dimensin de los jueces excepto Muchos

jueces o un jurado y una decisin real como resultado.
)
)
Una forma del mtodo de la contraposicin:

el modelo judicial de Wolf
El modelo judicial fue desarrollado por Robert Wolf en 1973, y luego

fue puesto a prueba evaluando un programa educativo de la Universidad de
Indiana. Con el testimonio de distintas personas, pudo recopilarse rpidamente
la informacin y obtenerse un balance equilibrado del programa destinado
a la toma de decisiones.
)
)
)
)
de contraposicin
La base lgica
La figura 8-1 expone las aplicaciones y dimensiones de los procedimientos

de contraposicin tal como sugiere Owens. Un examen del modelo indica claramente que puede ponerse en funcionamiento de un modo muy flexible. El
mtodo de la contraposicin resulta particularmente til cuando est en juego
una decisin poltica que suponga grandes cantidades de recursos. En una
evaluacin de este tipo es posible que puedan entrar en funcionamiento los
siguientes aspectos del cubo de Owens: el marco formal, el juez (o jueces)
y el jurado, y la informacin que servir de gua para la decisin. Si la evaluacin consiste en descubrir cul es el mejor libro de texto para un curso
determinado, pueden utilizarse los siguientes aspectos del cubo: el marco in-
WOLF (1975) afirm que las evaluaciones educacionales se han convertido en un elemento cada vez ms complejo para el incremento de la responsabilidad evaluativa. Esto quiere decir que los evaluadores deben justificar
sus decisiones en todos los aspectos, deben comprender la complejidad de los
programas de enseanza y la importancia de la comunicacin efectiva con
el pblico acerca de estos problemas.
Wolf mantiene que la evaluacin convencional no satisface estas necesidades recientemente reconocidas. La solucin a estos problemas no est en
la recopilacin de grandes cantidades de datos tcnicos, sino en la clarifica-
)
)
')
)
(
)
)
')
I
300
Evaluacin
(
(
(
(
(
(
(
(
(
(
(
cin de todos los aspectos de las alternativas del programa. Esto puede beneficiar tanto al educador como al consumidor. La evaluacin judicial de Wolf
est concebida para clarificar e informar.
El modelo adapta y modifica conceptos tanto de los juicios con jurado
como de las audiencias administrativas. La metodologa legal ofrece un til
sistema de procedimientos destinados a producir deducciones alternativas a
pa~tir de datos, antes de emitir los juicios. Los evaluadores pueden centrarse
claramente en un grupo de problemas, contar con el testimonio de distintas personas, investigar diferentes aspectos de los problemas utilizando
dos equipos evaluativos, permitir el desarrollo de un punto de vista equilibrado y estructurar las deliberaciones de quienes toman las decisiones.
Adems, el modelo (como cualquier mtodo basado en la contraposicin)
investiga mu~has de las presuposiciones y bases lgicas de los programas,
as como tambin los mtodos mediante los cuales se recopilan y analizan los
datos de la evaluacin. En breve, la evaluacin se convierte en algo intelectualmente honesto y justo.
(
(
Las cuatro etapas del modelo judicial
Antes de que se produzca cualquier evaluacin contrapuesta, es posible

que las actividades evaluativas ya hayan tenido lugar. Por ejemplo, puede realizarse una evaluacin formativa continua para facilitar el desarrollo del programa. Cualquier informe acerca de los datos evaluativos que surja de esta
actividad puede servir de ayuda para el proceso de la evaluacin contrapuesta,
que se producir cuando resulte til para una importante toma de decisin.
Wolf ha definido cuatro etapas para la realizacin del modelo judicial.
La etapa que propone los problemas. Inicialmente, se identifica una amplia gama de problemas relativos a la evaluacin del programa, desde el punto
de vista de todo el personal implicado que resulte posible. Estos problemas
deben coincidir con los objetivos iniciales del programa. A travs de entrevistas y otros medios, deben identificarse los problemas que se consideren ms
importantes.
La etapa que selecciona los problemas. Durante esta etapa, se reduce el
nmero de problemas hasta dejarlo en una cantidad apta para una audiencia.
El personal del programa y otras personas relacionadas con l pueden ayudar
a establecer un orden prioritario de problemas. Un grupo especial de investigaCin, formado por representantes de los grupos ms importantes del programa,
decide luego la importancia de cada problema, hace las modificaciones necesarias y lo pone todo por escrito.
La etapa de preparacin de los argumentos. Los dos equipos evaluativos
preparan entonces los argumentos formales. Se desarrollan, a partir de cada
problema, los aspectos especficos del enfrentamiento. Los argumentos desa-
(
(
(
(
(
(
(
(
(
(
(
,
(
(
(
{
T. R. Owens
sistemtica
y R. L. Wolf
301
rrollados proceden a menudo de los datos recopilados acerca de las virtudes

y defectos del programa. Las afirmaciones que apoyan un aspecto u otro del
problema pueden proceder de testigos implicdos en el programa o afectados
por l. Adems, los informes evaluativos ms importantes (por ejemplo, acerca de las primeras evaluaciones formativas), los documentos y los informes
formales son estudiados para su posible utilizacin en los argumentos finales.
La etapa de la audiencia. Esta etapa tiene dos partes. En la sesin previa a
la audiencia, ambos equipos examinan sus principales argumentos y, junto
con el presidente de la audiencia, desarrollan las reglas y procedimientos de la
audiencia. Cosas como el nmero de testigos que deben ser convocados, el
alcance de los interrogatorios y los criterios para determinar la admisibilidad
de la evidencia (por ejemplo, la relevancia) deben surgir de un acuerdo mutuo.
Finalmente, se hace un borrador de las cuestiones ms especficas que sirve
como guia para las deliberaciones.
La audiencia propiamente dicha, que puede ocurrir tras meses de preparacin a travs de las tres primeras etapas, puede constar de ms de una
sesin, dependiendo de la naturaleza de la evaluacin. Tras la presentacin de
los argumentos y los interrogatorios, el jurado delibera. Si el propio jurado no
es el que toma las decisiones, recomienda qu decisiones deben tomarse.
Wolf ha afirmado que el modelo judicial ofrece un foro para la comunicacin y la difusin, tanto como para la evaluacin. Ciertamente, el proceso
puede clarificar las alternativas y las consecuencias de una decisin, que casi
nunca pueden conocerse antes de la audiencia.
Los pros y los contras de la evaluacin contrapuesta

Probablemente es cierto
tantos comentarios a favor
Les proporcionamos ahora
darios de ambos puntos de
que ningn otro modelo evaluativo ha provocado

y en contra como el mtodo de contraposicin.
los comentarios
vista.
ms caractersticos
de los parti-
El argumento a favor
En su articulo An adversary Model for Educational Evaluation, Mari.
KOURILSKY (1973) enumera algunas ventajas del modelo.
Alcance de la informacin. El que toma las decisiones suele recibir una
amplia gama de informacin, que representa (por definicin) a los dos lados.
La confrontacin entre las dos posturas opuestas provoca una completa justificacin de la posicin adoptada.
Calidad de la evidencia. La relacin contrapuesta provoca recomendaciones para el desarrollo de una mejor calidad de las evidencias para las tomas
1yn
)
')
302
de decisiones. Los abogados saben muy bien que sus afirmaciones sern comprobadas y, por lo tanto, deben buscar buenas pruebas que las apoyen. Las
afirmaciones de gran alcance del tipo las investigaciones indican que ... son
muy poco corrientes en los procedimientos de contraposicin.
Disminuye la tendenciosidad inconsciente. El proceso disminuye la posibilidad de ideas preconcebidas tanto por parte del personal del programa como
del evaluador, referentes a aspectos de la educacin, que puedan influir y
entrometerse en las conclusiones. Es posible que el evaluador y quien toma
las decisiones no sepan que existen realmente mtodos tendenciosos. Los informes evaluativos, de cualquier modo, pueden fcilmente contener puntos
de vista inconscientemente tendenciosos del evaluador y de aquellos que participan en el programa que se est evaluando. La evaluacin contrapuesta
proporciona el incentivo de presentar el mejor proceso posible para ambas
partes.
Disminuye el sndrome del S, seor. A menudo ocurre que el evaluador
conoce la predileccin de quien toma las decisiones por ciertos resultados posibles de una evaluacin. Inadvertidamente, es incapaz de resistirse a la tentacin de satisfacerla, pero los procedimientos de contraposicin ayudan a
eludir este tipo de situaciones.
.
Se exponen las presupasiciones ms ocultas. El mtodo de contraposicin
ayuda a exponer, clarificar y finalmente cambiar las presuposiciones que subyacen en un desacuerdo. Cuando aparece una prueba empricamente verificable, las premisas de valor relativas a la recopilacin de datos son expuestas y
discutidas. Cuando las presuposiciones y los criterios de valor (y los juicios)
han sido claramente demostrados, pueden clarificarse sus incoherencias. Se establece as una slida base para la futura toma de decisiones.
Todos los aspectos tratados en esta seccin subrayan que las ventajas del
mtodo de contraposicin proceden de su inevitable franqueza en los procesos
dialctico y legal. Como consecuencia, pueden tomarse decisiones mejores y ms
racionales.
El argumento en contra
En los ltimos aos, y desde distintas direcciones, se han venido expresando ciertas inquietudes acerca de algunos aspectos del mtodo de contraposicin. Una de ellas es la que han hecho pblica W. James POPHAM y Dale
CARLSON(1977) tras su participacin en una evaluacin contrapuesta en Hawai, en la primavera de 1976. Popham y Carlson enumeraron los defectos que,
segn ellos, presentan la mayora de las evaluaciones contrapuestas; tambin
ofrecieron, cuando pudieron, sugerencias para mejorar esas deficiencias.
Diferencias entre las tcnicas de los participantes. Es ms fcil suponer
que las dos caras de un problema van a ser satisfactoriamente presentadas
T. R. Owens Y R. L. Wolf
')
303
ante la consideracin de quien(es) toma(n) las decisiones qu: v~rlo realmente

Es tambin probable que las diferencias entre las tecmcas
de dlos dos
eump l'd
1 o.
.
valuadores (o equipos) sean muy acusadas. Como consecuenCla, pue e que
~a defensa convierta el lado malo del caso en el ms atractivo. Cuando se toma
una decisin incorrecta sobre esta base, decisi? ~ue puede. afectar a un gran
nmero de nios, se est realizando algo autentlcame.nt~ mtolerable:> ..
Popham y Carlson recomiendan la utilizacin de dlstmtos procedImIentos
para remediar esta deficiencia del modelo. Proponen un proceso en el .q~e
los dos adversarios expongan las dos caras del problema. ~s, se producuan
dos grupos de argumentos positivos y dos grupos de negatIvos par~ .someter
a la consideracin de quien tome las decisiones. As podr ser mItIgado el
efecto de la disparidad de tcnica entre los participante~.
. .
.,
Jueces falibles. La capacidad de los jueces e~ m~y vanable. DeclSlones JUdIciales imprudentes y mal concebidas pueden mflulr des~~nestamente en los
resultados de una audiencia. Esto ocurre con mayor faCIlIdad en las nuevas
reas evaluativas, donde no existen reglas para su realizacin.
Excesiva confianza en la bondad del madela. Dado que puede atribuirse
una injustificada bondad a especialidades que no se comprenden. ~~l t?do,
existe una cierta tendencia a suponer que el mtodo de contrapOSlClOn sle~pre conduce a decisiones perfectas. El desconocimi~nto de la ley e.s la razon
ms frecuente para depositar una confianza exceSIva en la efi~aCla de este
modelo. Aunque el modelo de contraposicin pued~, en ocas~~nes, ser ~e
mucha utilidad en el desarrollo de los planes evaluatlVos, tamblen pue~e Ignorar ciertas consideraciones polticas, lo cual puede dar al traste con CIertas
decisiones que hubieran podido ser resultados del proceso.
. .
El nico remedio ofrecido por Popham y Carlson para mltlgar el entusiasmo de los nuevos conversos es asegurarse de que la realidad del programa que se evala no va a verse oscurecida por fastidiosas utilizaci?nes de
procedimientos legales (que a menundo no se comprenden del to~o bIen).
Dificultades para construir la proposicin de manera convemente para la
resalucin. Los problemas educativos no siempre pueden plantearse .~e manera que los resultados de la dialctica partidario-a~v~rsario sean utIlIzables
en las tomas de decisiones. Quienes toman las declSlones sacan a menudo
conclusiones sobre la: base de una informacin compleja interrelacionada. Una
estructura que produzca resultados slo en trminos de ganador I pe~~edor
puede estar evitando la naturaleza compleja y sutil de las buenas declSlones
acerca de los problemas planteados por programas educativos y sociales.
Como solucin, Popham y Carlson recomiendan aplicar la evaluacin. contrapuesta slo en aquellas situaciones educativas en que las dos opClOnes
decisorias se opongan directamente a otra.
. .
.
Sin embargo, no puede asegurarse que quien toma las declSlones, dISP~niendo de una amplia gama de informacin como resultado de los procedImientos de contraposicin, seleccione la informacin que considere ms im-
)
)
')
')
')
')
')
')
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
}
)
)
)
)
304
Evaluacin
sistemtica
T. R. Owens
y R. L. Wolf
305
(
(
(
(
(
(
(
(
(
(
(
(
portante para cada rea de decisin. Puede surgir de cualquiera de las presen.
taciones opuestas.
Excesivo coste. Es probable que la evaluacin contrapuesta cueste ms
que una evaluacin convencional de un programa similar. La principal razn
es que el coste de dos equipos y del personal de coordinacin/arbitraje
requeridos para una evaluacin contrapuesta es mayor que el de otros mtodos
evaluativos, que slo necesitan un personal especializado muy reducido.
Si una evaluacin contrapuesta debe ser llevada a cabo, debe invertirse
una gran cantidad de tiempo en clarificar las normas de trabajo y los procedimientos operativos. Popham y Carlson aconsejan el empleo de este tipo de
mtodos slo cuando pueden ser financiados.
Aunque las ventajas del mtodo de la contraposicin, pueden ser considerables, est claro que debe considerarse cuidadosamente su utilidad potencial para la toma de decisiones antes de emplearlo. En trminos generales,
debe ser tenido muy en cuenta como posible mtodo evaluativo cuando est
en juego una decisin poltica que exija grandes cantidades de recursos.
{
(
(
(
(
{
(
,e
Este test de conocimientos tiene dos partes: cinco preguntas que pueden
responderse con un verdadero o un falso y dos preguntas con varias respuestas para elegir. En la primera parte, cuando haya decidido si una afirmacin
es verdadera o falsa, debe usted responder otra pregunta basada en esa decisin. Las respuestas correctas se facilitan despus de cada pregunta.
El apartado de preguntas con varias respuestas posibles debe tambin determinar si ha adquirido el suficiente conocimiento sobre los objetivos del
modelo de contraposicin. En. cada caso, seleccione la que usted considere la
mejor respuesta. Luego, comprela con la explicacin de las respuestas correctas e incorrectas que siguen a cada pregunta.
(
(
(
(
(
PREGUNTA1. El modelo de la contraposicin supone una mejora en la

toma de decisiones mediante la clarificacin de los problemas inherentes a una
proposicin.
Verdadero
Falso
(
~
(
(
Si es verdad, identifique el mtodo bsico en el que se basa el modelo.

Si es falso, cul es el verdadero propsito de la evaluacin contrapuesta?
Respuesta correcta. La afirmacin es verdadera. El modelo de la contraposicin ha sido desarrollado pan clarificar las facetas ms importantes de un
programa (o un programa propuesto) con el fin de que qui~~es toma~ las
decisiones tengan pruebas suficientes y slidas para tomar deC1S~onesra~lOn~les. Supone un alejamiento de la funcin evaluativa basada en el test pSlCologico y un acercamiento al mtodo dialctico empleado por el modelo legal.
PREGUNTA2. Los procedimientos de contraposicin destinados a la toma

de decisiones sustituyen a las planmcaciones ya existentes para la recopilacin
y el anlisis de datos.
Verdadero
Falso
Si es verdad, d su opinin acerca de la conveniencia de sustituir los diseos y mtodos evaluativos ya existentes por los procedimientos de contraposicin. Si es falso, diga cul es la posicin de las primeras planificaciones evaluativas respecto a los procedimientos de contraposicin.
Respuesta correcta. La afirmacin es falsa. Aunque los datos procedentes de un mtodo de contraposicin se consideran ms equilibrados que los
obtenidos nicamente mediante tests psicolgicos, estos ltimos son pruebas
admisibles en una audiencia. Hasta qu punto deben ser utilizados estos resultados en las pruebas finales, debe decidirse en las sesiones previas a la
audiencia.
PREGUNTA3. Owens insiste en que quien toma las decisiones no debe

desempear las funciones de presidente de la audiencia, puesto que su veredicto puede convertirse en la decisin.
Verdadero
Falso
Si es verdad, diga cul considera usted que es el verdadero papel de quien

toma las decisiones durante una audiencia. Si es falso, comente el papel de
quien toma las decisiones con respecto al juicio de las pruebas, incluida la posibilidad de que implique a otros en la emisin de los juicios.
Respuesta correcta. La afirmacin es falsa. El que toma las decisiones en

educacin puede desempear el papel de presidente de la audiencia, en cuyo
caso su veredicto es la decisin. Owens afirma que jurados como los profesores
o representantes de los estudiantes pueden tambin participar. Sin embargo,
el veredicto del jurado puede ser slo una forma de juicio que debe utilizarse
."..-.~.>-
r.
')
.....
')
306
Evaluacin
T. R. Owens
sistemtica
PREGUNTA4. El mtodo de Wo1 incluye procedimientos

que presentan los pros y los contras de un programa.
Falso
cuasilegales
Si es verdad, mencione las necesidades recientemente reconocidas que,

segn Wo1, debe satisfacer el modelo. Si es falso, diga cul es el verdadero
propsito del modelo judicial de Wo1.
Respuesta correcta. La afirmacin es verdadera. Wo1 cree que la evaluacin debe desempear un papel cada vez ms importante en lo que a la responsabilidad se refiere. Los educadores y otros profesionales deben justificar
sus decisiones. Y para hacerlo, deben conocer a fondo la complejidad de los
programas de enseanza: la evaluacin resulta de mucha ayuda en este aspecto.
PREGUNTA5. Segn Wo1, durante una sesin previa a la audiencia, ambos

equipos examinan sus principales argumentos y, conjuntamente con el director
de la audiencia, desarrollan reglas y procedimientos para ella.
Verdadero
Falso
Si es verdad, mencione alguna de las probables reas de discusin en una

sesin previa a la audiencia. Si es falso, diga qu procedimientos, si es que
existe alguno, preceden a la audiencia real.
c)
d)
a la audiencia es posible que se llegue a un acuerdo en reas como las siguientes: nmero de testigos que deben ser llamados, alcance de los interrogatorios, criterios para determinar la admisibilidad de pruebas y el esbozo de
cuestiones especficas que sirvan de gua para las deliberaciones del jurado.
PREGUNTA6.
Para mitigar las diferencias que pueden existir entre las
tcnicas de los participantes, Popham y Carlson recomiendan:
Asegurarse de que los evaluadores seleccionados tienen idnticos antecedentes y experiencia evaluativa.
Realizar un proceso en el que los dos adversarios presenten las dos caras
del problema.
Aclarar a quienes toman las decisiones que el veredicto de una audiencia

no es definitivo y que slo presenta una parte de las pruebas (aunque
una gran parte) acerca del objeto de la evaluacin.
Organizar ms audiencias para que quede claro que las tcnicas de los
participantes no estn bien equilibradas.
}
)
')
)
...,
generarse dos grupos de argumentos positivos y dos de negativos, con el fin

de ponerlos a disposicin de quien toma las decisiones.
}
")
a)
c)
d)
Es incorrecta: una proposicin as roza lo imposible.

No es la mejor respuesta: aunque la afirmacin puede ser correcta, no
existe garanta de que una accin como sta pueda necesariamente mitigar las diferencias entre las tcnicas de los participantes.
Es incorrecta: una accin como sta slo puede empeorar una situacin
ya de por s desafortunada (a menos que se produzca la accin recomendada en b).
")
")
)
)
)
)
)
PREGUNTA7.
de acuerdo?
a)
b)
Respuesta correcta. La afirmacin es verdadera. Durante una sesin previa
b)
307
Respuesta correcta. Debe usted haber seleccionado la b. Si es as, pueden
c)
a)
conjuntamente con otras informaciones cuando quien toma las decisiones llegue
a una conclusin acerca del destino del programa.
Verdadero
y R. L. Wolf
d)
Con cul de las siguientes afirmaciones no estara W 01
El modelo judicial modifica conceptos tanto de los juicios con jurado como
de las audiencias administrativas.
La metodologa legal ofrece un til sistema de procedimientos destinados
a producir deducciones alternativas a partir de los datos y antes de que'
se emitan los juicios.
Los evaluadores no necesitan centrarse en un grupo de problemas; de
esta manera, podrn recoger una informacin flexible y equilibrada que les
ayude a aclarar la verdad acerca del programa.
El modelo judicial investiga muchas de las presuposiciones y bases lgicas de los programas.
Respuesta correcta. Debe usted haber seleccionado la c. La postura de

Wo1 consiste en que los evaluadores deben delinear un grupo de problemas;
dos equipos evaluativos deben proporcionar un punto de vista equilibrado para
desarrollar y estructurar las deliberaciones de quienes deciden.
)
)
)
)
)
)
)
)
)
)
)
)
)
a)
Es incorrecta: es una afirmacin exacta acerca de la naturaleza casi legal

del modelo judicial.
)
)
)
'\
f
(
T. R. Owens
308
b)
Es incorrecta: esta descripcin es un retrato correcto de la meto'J[oga

del modelo judicial.
Es incorrecta: una de las virtudes del modelo judicial es la capaciad de
investigar las presuposiciones y bases lgicas de los programas que se
estn evaluando.
d)
Evaluacin
sistemtica
(
(
b)
INTERPRETACIN
DEL TEST DE CONOCIMIENTOS.
Cuando haya realizado las
dos secciones del test, le recomendamos que revise su trabajo y su comprensin
de las respuestas correctas, as como las secciones de la unidad.
Ejercicios prcticos
Este apartado contiene dos ejercicios prcticos que pueden determinar su

grado de comprensin del mtodo de contraposicin. Ambos ejercicios requieren haber entendido bien las implicaciones de la aplicacin del modelo a situaciones reales o hipotticas.
Despus de cada ejercicio hay una lista de aspectos que deben estar incluidos en su respuesta. Examinarlos puede ayudarle a valorar su trabajo.
Puede tambin releer las partes ms importantes de la unidad, cuando termine
cada ejercicio, para valorar mejor su respuesta.
(
(
(
(
(
(
(
(
(
(
(
EJERCICIO 1. Seleccione un programa, real o hipottico, para evaluarlo.

Imagine que intenta organizar la evaluacin utilizando el modelo judicial de
W.olf. Si 10 desea, incorpore algunas ideas de Owens (por ejemplo, puede
utillzar su cubo dimensional). Escriba un ensayo esbozando los procedimientos que pueden emplearse. Su respuesta debe incluir estos elementos principales:
a)
b)
d)
e)
La
La
La
La
etapa
etapa
etapa
etapa
de
de
de
de
bsqueda de los problemas.

seleccin de los problemas.
preparacin de los argumentos.
la audiencia.
(
(
t
t
t
t
t

a)
La etapa de bsqueda de los problemas:

1. Identificacin de una amplia gama de problemas relativos a la evaluacin del programa.
2. Los resultados de cualquier proceso de evaluacin formativa pueden
utilizarse para ayudar a identificar los problemas.
3. ~e in.vita al personal que interviene en el programa a que ayude a
ldentlficar problemas evaluativos.
y R. L. Wolf
309
4.
Los problemas pueden ser distintos de los objetivos originales del
5.
programa.
Para identificar los problemas, pueden utilizarse entrevistas
medios.
y otros
La etapa de la seleccin de los problemas:

1. Los problemas deben reducirse a unas dimensiones adecuadas para
la audiencia (deben ser especificados).
2. Debe esbozarse el papel que deben desempear el personal del programa y los dems tipos de personal en el establecimiento del orden
3.
de prioridad.
Un equipo de investigacin especial (que debe ser descrito) comprueba la importancia de cada problema y 10 pone todo por escrito.
e)
La etapa de preparacin de los argumentos:

1. Se seleccionan dos equipos de evaluadores, que preparan argumentos
formales opuestos.
2. Se desarrollan argumentos especficos sobre cada uno de los problemas.
.3. Se recopilan, a partir de distintas fuentes, argumentos y retos relativos a los programas.
4. Se utilizan datos de cualquier otra evaluacin (o evaluaciones) de
los problemas seleccionados.
d)
La etapa de la audiencia:
1. En una sesin previa a la audiencia, ambos equipos examinan los
argumentos especiales.
2. Conjuntamente con el presidente de la audiencia, se determinan las
reglas del debate.
3. Se esbozan cuestiones especficas que sirven de gua para las deliberaciones del jurado.
4. Se determinan los detalles de la composicin del jurado, del grupo
de quienes toman las decisiones y del nmero de sesiones que tendr
la audiencia.
5. Se realiza la audiencia y el jurado delibera.
6. Sobre las recomendaciones resultantes se toman las decisiones.
EJERCICIO 2. Comente en un ensayo los pros y los contras de la evaluacin contrapuesta. Complete su respuesta con un breve prrafo que contenga opiniones equilibradas acerca de la utilidad del mtodo de contraposicin a la luz de sus comentarios sobre sus pros y sus contras.
)
)
)
310
Evaluacin
La respuesta
a)
b)
,.
,
sistemtica
al ejerciclO 2 debe
Referencias
e)
incluir
los siguientes
puntos:
Las ventajas de la evaluacin contrapuesta.

1. El alcance de la informacin: ambas partes proporcionan una gran
cantidad de informacin, mientras que su confrontacin facilita la
justificacin de las posturas adoptadas.
2. Calidad de las pruebas: la constante posibilidad de recusacin provoca que las pruebas se presenten con una precisa documentacin
y que las afirmaciones de largo alcance se hagan con mutha precaucin.
3. Disminuyen las ideas preconcebidas tanto del personal del programa
como del evaluador: el mtodo de contraposicin hace que las pruebas no sean tendenciosas.
4. Disminuye el sndrome del S, seor: el mtodo evita que el evaluador est siempre de acuerdo con las inclinaciones de quien toma
las decisiones.
5. Salen a la luz las predisposiciones ms ocultas: el mtodo ayuda a
revelar, clarificar y finalmente cambiar las presuposiciones subyacencentes en los puntos de vista opuestos; salen a la luz las premisas
de valor y se clarifican las incoherencias.
6. Es de una inevitable franqueza: como resultado, se toman mejores
decisiones.
Las desventajas de la evaluacin contrapuesta.
1. Las diferencias entre las tcnicas de los partIcIpantes: la defensa
puede conseguir que el lado malo de un caso aparezca ms atractivo.
2. Jueces falibles: la capacidad de los jueces es muy variable y las malas
decisiones pueden influir en los resultados de una audiencia.
3. Excesiva confianza en la bondad del modelo: el desconocimiento de
la ley puede provocar inmerecidos elogios de la eficacia del modelo.
4. Se presta muy poca importancia a los problemas polticos: los evaluadores pueden prescindir de las consideraciones polticas, pero
stas seguirn existiendo sea cual sea la decisin que se tome, lo
cual puede desbaratar futuros planes.
5. Tiene dificultades para estructurar la proposicin de modo conveniente para la resolucin contrapuesta: los problemas no siempre son
tratados de manera que sirvan de ayuda para una toma de decisin
provisional, puesto que las decisiones se toman a menudo sobre la
base de una informacin completa e interrelacionada.
6. Excesivo coste: casi sin excepciones, la evaluacin contrapuesta cuesta ms que una evaluacin convencional de un programa similar.
bibliogrficas
311
Un argumento equilibrado:
1.
2.
3.
4.
Pueden proponerse soluciones para muchos de los argumentos expuestos en contra del modelo.
Cuando puede conseguirse financiacin, la evaluacin contrapuesta resulta recomendable, sobre todo si van a evaluarse programas muy
amplios.
Cualquier estudio que utilice el mtodo de contraposicin debe abordarse con muchas precauciones.
La utilizacin de un mtodo abierto y honesto, con la tendenciosidad
reducida al mnimo, convierte al modelo en algo nico entre todos
los dems modelos evaluativos.
']
}
)
)
')
')
')
)
)
)

En este apartado se proporcionan tres preguntas pero ninguna respuesta.
Las preguntas pueden ser utilizadas como temas para deb~te~ o com~ base
para un trabajo personal. Quiz prefiera obtener un conOCImIento mas profundo del modelo de contraposicin leyendo los artculos y libros recomendados en la bibliografa. De cualquier manera, debe responder a las preguntas
basndose en el material contenido en esta unidad y en las precedentes.
1.
2.
3.
En qu se diferencia el modelo de contraposicin de los primeros mtodos evaluativos?

Hasta qu punto el modelo de contraposicin puede funcionar en armona con los mtodos propuestos por Stufflebeam, Scriven y Stake?
Describa tres o cuatro situaciones en las que el mtodo de la contraposicin puede ser empleado provechosamente. Basndose en el coste, decida si otro mtodo evaluativo resultara ms til en cada caso.
)
)
)
)
)
)
)
)
)
)
)
)
AUERBAC
H, c.; GARRISON,L. K.; HURST,W.; y MERMIN,S. 1961. The adversary
system. En The legal pl'Ocess, San Francisco, Chandler.
FRANKH. N. 1949. Courts on trial. Princeton, N.]., Princeton University Press.
KOURI~SKY,M. 1973. An adversary model for educational evaluation, Evaluation
Comment 4, 2, junio.
LEVlNE,M. 1974. Scientific method and the adversary model, American Psyehologist (septiembre), pgs. 666-677.
OWENS,T. R. 1973. Educational evaluation by adversary proceedings. En HOUSE,
E. R. (comp.), School evaluation: The politics and process, Berkeley, McCutchan.
POPHAM, W. James y CARLSON,
Dale. Deep dark deficits of the Adversary Eva-
)
)
)
)
)
)
)
312
luation Model, Educational Researcher (junio 1977), American Educational

Researeh Association, Washington, D.C.
S~RlVEN: M. 1967. The methodology of evaluation. En R. E. STAKE (comp.), Perspectzves o/ curriculum evaluation, Chicago, Rand MeNally.
.
STAKE, R. E. 1967. The eountenance of educational evaluation, Teachers College
Record 68 (abril), pgs. 523-540.
.
STUFFLEBEAM,D.; FOLEY, W.; GEPHART, W.;GUBA, E.; HAMMOND, R.; MERRI. MAN,H.; Y PROVUS,M. 1971, Educational evaluation and decision making, Itsca, m., Peacock.
WOLF, R. L. 1974. The citizen as jurist: A new mode of edueational evaluation'
Citizen Action in Education (invierno), 4.
~
~. 1975. Trial by jury. A new evaluation method, Phi Delta Kappan, 57 (noviembre), pgs. 185-187.
LA EVALUACION ILUMINATIVA:
EL METODO HOLISTICO
Para responder a la pregunta de si existen alternativas al modelo evaluativo de Tyler (basado en los objetivos), un grupo de catorce hombres celebr
una conferencia en el Churchill College de Cambridge, en diciembre de 1972.
La meta de la conferencia era investigar modelos no tradicionales de evaluacin de currculos y establecer algunas directrices para futuros desarrollos
de esta especialidad. Los participantes, que incluan a Robert Stake por los Es- tados Unidos y a David Hamilton, Malcolm Parlett y Barry MacDonald por
Gran Bretaa, fueron escogidos por sus conocidas reservas acerca de las prcticas evaluativas establecidas o porque haban sugerido o experimentado nuevos
mtodos.
El resultado de la conferencia fue un manifiesto de objetivos que recomendaba un replanteamiento total de las bases lgicas y las tcnicas de los
programas evaluativos existentes. Estos conceptos bsicos condujeron al desarrollo de lo que se dio en llamar evaluacin iluminativa.
De un modo caracterstico, los mtodos evaluativos convencionales han seguido las tradiciones experimentales o psicomtricas dominantes en' la inves-.
tigacin educativa. Los evaluadores iluminativos creen que mtodos como aqullos son de un alcance limitado e inadecuado para dilucidar los complejos problemas con que se enfrentan los evaluadores.
La evaluacin iluminativa se presenta vinculada a un paradigma de investigacin antropolgica opuesto. Los intentos de valoracin de los productos
educativos dejan paso a un estudio intensivo del programa como totalidad:
su base lgica, su evolucin, sus operaciones, sus logros y sus dificultades.
La crtica principal que se hace al modelo basado en objetivos es que
valora sin explicar, mientras que la metodologa iluminativa, contemplando
el programa como un todo, utiliza ms la descripcin que los nmeros.
}
')
314
Evaluacin
Al final de la conferencia de Cambridge a la que nos hemos referido ms

arriba, los miembros decidieron hacer pblico el resumen de sus conclusiones.
Los puntos de este resumen, aunque hoy en da tienen una resonancia histrica, han resistido y dirigido los senderos seguidos por los evaluadores que
estn a favor del mtodo iluminativo. Ahora resumimos las principales caractersticas de los objetivos y procedimientos de la prctica educativa sobre los
que se lleg a un acuerdo en la conferencia:
1.
La evaluacin
sistemtica
4.
b)
e)
2.
Los esfuerzos futuros para la evaluacin de estas prcticas deben satisfacer los siguientes criterios:
a)
b)
e)
d)
3.
Se ha prestado muy poca atencin a las prcticas educativas, incluyendo las del aprendizaje.
Se ha prestado demasiada atencin a los cambios psicomtricamente
valorables en el comportamiento de los estudiantes.
La existencia de un clima investigativo que recompensaba la exactitud de la valoracin y la vaguedad de las teoras, mientras pasaba
por alto, sin relacionarlos, los problemas escolares y las cuestiones
investigativas, y toleraba una comunicacin ineficiente entre los investigadores y los que no participaban en ella.
Responder a las necesidades y puntos de vista de las distintas audiencias.

Clarificar los complejos procesos de la organizacin, la enseanza y
y el aprendizaje.
Servir a las futuras decisiones pblicas y profesionales.
Estar expresados en un lenguaje accesible para sus audiencias.
e)
deben utilizar datos de observacin cuidadosamente verificados;

las evaluaciones deben ser diseadas con la suficiente flexibilidad
como para poder reaccionar ante acontecimientos inesperados;
la escala de valores del evaluador, ya la destaque l mismo o venga
reflejada en el diseo, debe hacerse evidente para los patrocinadores
y las audiencias de la evaluacin.
')
a) El a veces conflictivo papel del evaluador, como gua y maestro
')
e)
e)
d: quienes 'toman las decisiones, por una parte, y como especialista

tcnico y ayudante de las mismas personas, por otra.
El grado en que el evaluador, sus patrocinadores y s~s ay~dan.t~s,
deben especificar con anterioridad los lmites de una lDvestlgaclOn.
Las ventajas y desventajas de intervenir en las prctica~ e~~cativas
con el propsito de recopilar datos o controlar ~a vanabihdad. de
ciertas caractersticas, con el fin de aumentar el mve,l de generahzacin de los resultados.
La complejidad de las decisiones educativas, que, inevitablemente,
tienen implicaciones polticas, sociales y econmicas.
.
El grado en que el evaluador debe interpretar sus observaclOnes, en
lugar de dejar que las interpreten las distintas audiencias.
Es interesante advertir que la conferencia adopt una postura muy similar a la que promulgaba Cronbach, a saber, que los distintos diseos evaluativos sirven a propsitos distintos y que, incluso para un solo programa educativo pueden utilizarse muchas planificaciones distintas.
D~be usted ser capaz de conocer profundamente el mtodo iluminativo
a travs del estudio de esta unidad. Al final encontrar ejercicios para comprobar sus conocimientos. Ahora le proporcionaremos la lista de obj~ti~os de
la unidad. Estdielos, lea la unidad y luego realice el test de conOCimientos,
comparando sus respuestas con las correctas. Finalmente, haga los ejercicios
prcticos, comparando sus respuestas con los puntos principales que ~e proporcionamos, y responda, para terminar la unidad, a las preguntas SlD respuesta.
')
)
')
)
)
')
)
)
)
)
)
)
)
)
)
)
)
)
Objetivos
Por lo que, cada vez ms,

a)
b)
315
."
d)
a)
Los que diseen los estudios evaluativos deben prestar mucha atencin
a lo siguiente:
b)
Los esfuerzos previos para la evaluacin de los programas educativos no

han servido adecuadamente, en trminos generales, a las necesidades de
quienes exigen pruebas de los efectos de estas prcticas. Las razones son
las siguientes:
iluminativa
Los objetivos del captulo son los siguientes:
)
)
)
1.
2.
3.
Esbozar algunas dudas acerca de ciertos aspectos de la evaluacin tradicional, poniendo el nfasis en los procesos o valoraciones del aprendizaje,
el paradigma agrcola-botnico, el mtodo holstico de MacDonald y el
concepto de Stake de la evaluacin como representacin.
Entender la evaluacin iluminativa como un paradigma socio-antropolgico, teniendo en cuenta el contexto de los programas educativos, el sistema de enseanza y el medio del aprendizaje.
Estudiar la organizacin y los mtodos de la evaluacin iluminativa por
)
)
)
)
)
)
)
316
f
(
(
4.
(
(
(
5.
medio de la consideracin de sus principales caractersticas, la observacin,

las entrevistas, los datos procedentes de tests y cuestionarios, y la informacin documental y los antecedentes.
Considerar la elaboracin de informes y la toma de decisiones: a quin
va destinado el informe, comunicacin del espritu del programa y dilerencias entre los informes.
Plantear ciertos problemas sobre la evaluacin iluminativa mediante la
consideracin de las reservas de Stenhouse, las tendencias de los experimentadores y la relacin de la evaluacin iluminativa con los estudios
a gran escala.
(
(
(
(,
(
(
(
(
(
(
(
(
(
(
(
l
(
La evaluacin iluminativa
La evaluacin tradicional: semillas de duda

La importancia del proceso de aprendizaje de la valoracin
Ya en 1969, Weiss y Rein, interesados por las relaciones del juego de
los nmeros con la evaluacin, afirmaron que, segn ellos, una metodologa que pretendiera ser ms efectiva, deba ser ms descriptiva e inductiva.
Describiendo la forma ms abierta de la intervencin experimental, la reaccin de los individuos e instituciones sujetos a su impacto y las consecuencias (hasta el punto que les permitieran sus entrevistas y observaciones), se
poda aprender mucho acerca de la totalidad del programa. As, deba ponerse
ms nfasis en los procesos de aprendizaje que en la valoracin por s misma.
Estas afirmaciones, repetidas desde entonces por muchos otros, indican que
exista una preocupacin por el hecho de que las evaluaciones convencionales
basadas en los objetivos no se dedicaron a comprender el proceso educativo.
Hablaban en trminos de xito o fracaso, mientras que un programa es ms
bien la mezcla de ambos, y una mezcla que cambia en cada caso.
CRONBACH(1963) pensaba de un modo similar cuando escribi:
Los viejos hbitos de pensamiento y las tcnicas establecidas no son buenas
directrices para la evaluacin que requiere el perfeccionamiento de un curso.
Tradicionalmente, la valoracin educativa se ha preocupado sobre todo de
producir calificaciones exactas y precisas para poder comparar a los individuos. La experimentacin educativa se ha preocupado de comparar las calificaciones medias de los distintos cursos. Pero la evaluacin de un curso exige
una descripcin de los resultados. Esta descripcin debe hacerse con la escala
ms amplia posible, incluso a costa de la exactitud y precisin, ms bien superficiales.
(
(
317
El paradigma agrcola-botnco
:Parlett y Hamilton han comparado el mtodo evaluativo de Tyler, bas.a~~
en los objetivos, con un paradigma agrcola-botnico. (T. S. Kuhn descnblO
en 1970 un paradigma como un superconcepto que incluye reas de problemas, mtodos de investigacin y normas aceptables para su solucin.) Los
estudiantes -como
si fueran cultivos -son sometidos a pre-tests (la planta
joven que es pesada o valorada) y luego sometidos a distintas experiencias
(condiciones de tratamiento). Como consecuencia, despus de un cierto per~od?
de tiempo, los resultados (el crecimiento o la cosecha) se valoran para m~car la relativa eficiencia de los mtodos (fertilizantes) utilizados. Los estudios
de este tipo estn destinados a proporcionar datos de tipo numrico y objetivo
que permitan la realizacin de anlisis estadsticos. Variables aisladas como
el coeficiente de inteligencia, la clase social, los resultados de los tests, las
caractersticas personales y la valoracin de su actitud, son codificadas y procesadas para indicar la eficiencia de los nuevos currculos, medios o mtodos.
Estos autores afirmaban, sin embargo, que este paradigma tena muchos
defectos:
1.
2.
3.
4.
Las situaciones educativas estn caracterizadas por numerosos parmetros

que no pueden ser estrictamente controlados. Si se intenta estimular las
condiciones de trabajo por medio de la manipulacin, se dar una situacin que no slo ser ticamente equvoca, sino que tambin puede conducir a grandes molestias administrativas y personales.
Los diseos previos y posteriores a la evaluacin demuestran que los programas renovadores experimentan pocos o ningn cambio durante el
perodo de estudio. Una premisa raramente asumida en la prctica. De
cualquier manera, es algo fundamental para el diseo, puesto que obliga
a los investigadores a adaptarse a las circunstancias cambiantes que tan
frecuentemente aparecen.
Los mtodos utilizados en las evaluaciones tradicionales imponen restricciones artificiales y arbitrarias al alcance del estudio. Parlett y Hamilton
afirman, por ejemplo, que concentrarse en la bsqueda de informacin
cuantitativa por medios objetivos puede conducir a descuidar otros datos,
quiz ms importantes para la innovacin pero que son rechazados como
subjetivos, anecdticos o impresionistas. El evaluador, sin embargo, puede necesitar utilizar informacin de este tipo si quiere explicar
satisfactoriamente sus resultados y darles la importancia que tienen en
la totalidad del contexto.
La investigacin de este tipo ms reciente, que emplea amplios muestreos
y busca generalizaciones estadsticas, suele ser insensible a las pertur-
318
5.
Evaluacin
sistemtica
baciones locales y a los efectos desacostumbrados. Como consecuencia

rara vez se estudian con detalle los resultados atpicos.
'
A menudo, este tipo de evaluacin fracasa al intentar responder a las
distintas preocupaciones y cuestiones de los participantes, patrocinadores
y otras partes interesadas. Dado que los evaluadores clsicos creen en la
verdad objetiva igualmente relevante para todas las partes, sus estudios raramente reflejan la diversidad de cuestiones planteadas por los distintos grupos interesados.
Como afirmaron Par1ett y Hamilton, la evaluacin basada en los objetivos

es vctima de su propia exigencia de ser exacta, controlada e inequvoca. En
el caso concreto de las innovaciones, el programa es vulnerable a mltiples
influencias externas, puesto que la definicin del evaluador de la realidad
emprica es muy limitada. Como consecuencia, el evalUdor puede muy bien
desviar la atencin de las cuestiones de la prctica educativa y trasladarla a
aquellas que son ms de la incumbencia de patrocinadores y otros con preocupaciones burocrticas.
MacDonald
y el mtodo holstco
Al facilitar un mtodo holstico para la evaluacin, MacDona1d ofreci

una respuesta al paradigma agrcola-botnico. Su postura consisti en que
la evaluacin no debe empezar por la presuposicin de que ciertos datos
(como las calificaciones de los alumnos) deben constituir su rea de preocupaciones, sino que el evaluador debe aceptar como potencialmente relevantes
todos los datos relativos al programa y sus contextos. Afirma que la accin
humana en las instituciones educativas difiere ampliamente a causa del nmero de variables que influyen en ella. Esto se opone a la presuposicin
adoptada por muchos, segn la cual .ocurre realmente lo que se quiere que
ocurra, y 10 que ocurre vara muy poco en cada caso.
El mtodo holstico tambin implica que la innovacin de un programa
no consiste en una serie de efectos discretos, sino en un modelo de actos y
consecuencias orgnicamente relacionados. As, un solo acto puede estar situado funcionalmente en la totalidad de un contexto. MacDona1d afirma que,
segn esta proposicin, las intervenciones en los currculos tienen ms efectos
inesperados de los que normalmente se supone. Adems, si un programa se
desarrolla en distintos marcos, las diferencias histricas y evolutivas convierten
a la innovacin en una variable de gran importancia para la posterior toma
de decisiones. Finalmente, el mtodo holstico implica que las metas y los
propsitos de quienes desarrollan el programa no deben ser necesariamente
compartidas por sus usuarios.
MacDonald tambin se interesa por las audiencias que reciben un informe
La evaluacin
iluminativa
)
319
')
evaluativo y, particularmente, por aquellas que deben tomar decisiones a

partir de l. Considera que el estilo evaluativo tradicional no puede facilitar
el conocimiento de las consideraciones implicadas en una accin relacionada
con los currculos. Se decanta ms hacia el desarrollo de un modelo emprico
que por el de un modelo normativo para las tomas de decisiones educativas
y sus consecuencias. Esto, lgicamente, es una consecuencia del nfasis que
pone MacDona1d en lo que puede ser descrito como un mtodo antropolgico
para la iluminacin de un programa educativo.
I
')
)
')
)
')
El concepto de 5take de la evaluacin como representacin
')
Existen claras semejanzas entre la postura de MacDona1d y la de Stake,

particularmente en 10 que se refiere a su concepto de la evaluacin como representacin y su evaluacin respondente, respectivamente. De un modo
similar, en su figura de la evaluacin educacional, Stake aspira a una evaluacin orientada hacia la compleja y dinmica naturaleza de la educacin, que
preste la debida atencin a las diversas propuestas y juicios de todos los que
intervienen en su prctica. Despus de subrayar las deficiencias de una evaluacin basada en los tests tradicionales, que insiste en la exactitud de las
calificaciones de cada estudiante y en la previsin de la validez, sugiere que
1a atencin prestada a las diferencias individuales entre los estudiantes debe
dejar paso a una atencin puesta en las contingencias entre los antecedentes,
las actividades de clase y los resultados escolares.
El concepto de Stake de la evaluacin como representacin anticipa la
nocin de iluminacin de Parlett y Hamilton. Se trata, igualmente, de una
reaccin contra la tradicin de intentar imponer un frreo control experimental sobre la situacin innovadora. Describe la evaluacin tradicional como preordenada, puesto que confa en la preespecificacin y destaca la fijacin de
las metas, la utilizacin de tests objetivos, normas asumidas por el personal
del programa e informes investigativos. Al recomendar la evaluacin respondente, Stake explica su postura:
')
La evaluacin educativa es una evaluacin responden te si se orienta ms

directamente a las actividades del programa que a sus propsitos, si satisface
los requisitos informativos de la audiencia y si las distintas perspectivas de
valor presentadas estn destinadas a dar cuenta del xito del programa.
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
Stake pone el nfasis, pues, en la presentacin de los resultados. Si la evaluacin debe estar ms dirigida a quienes toman las decisiones que a los
investigadores, el evaluador debe intentar describir el progra~--d~,manera
que se comunique con la audiencia de un modo ms na~!i!t.y':"~a;"'dectivo
que en el caso del informe investigativo.
'_ .
'
)
)
)
:.::
\f"
(
(
(
(
(
320
Evaluacin
sistemtica
La evaluacin
La unidad sobre el trabajo de Robert Stake, desde luego, explica con

mucho mayor detalle los mtodos de figura y respondente de evaLacin.
Lo que se quiere destacar aqu, en el contexto de la evaluacin ilum:1ativa,
es la advertencia de Stake acerca de que la informacin investigativa puede
no ser la clase de informacin til para quienes toman las decisiones.
f
(
(
(
La evaluacin iluminativa: un paradigma socio-antropolgico

Este apartado y el siguiente tratan extensamente de PARLETTy HAMILTON
(1977). En estos dos apartados, los autores comentan un modelo alternativo
a las. formas tradicionales de evaluacin. Ellos lo han llamado evaluacin
iluminativa, un trmino que surgi de una investigacin en el Massachusetts
Institute of Technology, en 1969,
,(
El contexto de los programas
educativos
Iluminativa
321
EL SISTEMADE ENSEANZA.Los programas e informes educativos, por

lo general, contienen distintos planes y normas formalizadas relativos a acuerdos concretos sobre enseanza. Cada uno de ellos puede estar concebido para
constituir, o definir, un sistema de enseanza y para incluir una serie de presuposiciones pedaggicas, un nuevo programa de estudios (muy probablemente) y detalles acerca de las tcnicas y el material. Un catlogo es una
especificacin idealizada del esquema, una serie de elementos que forman un
plan optimista y coherente.
Parlett y Hamilton afirman que el evaluador tradicional se dedica a estudiar las innovaciones definidas. Despus de haber examinado el anteproyecto
o plan formalizado y haber deducido las metas del programa, los objetivos o
los resultados deseados, el evaluador realiza los tests y los inventarios de actitudes que sern aplicados. Su meta es evaluar el sistema de enseanza examinando si se han alcanzado los objetivos o se han cumplido los criterios de
trabajo.
Este mtodo tecnolgico, sin embargo, fracasa al intentar saber para qu
sirven el programa o el informe:
La evaluacin iluminativa tiene en cuenta el amplio contexto en el que

funcionan los programas educativos; as, su principal preocupacin es la descripcin y la interpretacin, ms que la valoracin y la prediccin. Parlett
y Hamilton afirman: Es indiscutible que en el paradigma alternativo antropolgico no pueden ser ignorados los efectos histricos, culturales y sociales.
Las metas de la evaluacin iluminativa son las siguientes:
1.
(
(
<.
(
(
(
(
{
(
(
,
(
t
t
t
(
2.
3.
Estudiar el programa innovador: cmo opera, cmo influye en las distintas situaciones escolares a las que se aplica, sus ventajas y desventajas,
y cmo se ven afectadas las tareas intelectuales y las experiencias acadmicas de los estudiantes.
Descubrir y documentar qu significa participar en el esquema, ya sea
como profesor o como alumno.
Discernir y comentar las caractersticas ms significativas de la innovacin,
las concomitancias recurrentes y los procesos crticos.
De esta manera se intenta plantear y clarificar una compleja serie de cuestiones, ayudando al innovador y a otras partes interesadas a identificar aquellos procedimientos y aspectos del programa que pueden conseguir los resultados deseados.
Como afirman Parlett y Hamilton, la adopcin de una evaluacin iluminativa requiere algo ms que un intercambio de metodologas (con las tradiciona1es); implica tambin nuevas suposiciones, conceptos y terminologa para
comprender la evaluacin iluminativa de dos aspectos: el sistema de enseanza y el medio de aprendizaje.
Ignora el hecho de que un sistema de enseanza, cuando es adoptado, realiza

modificaciones que raras veces son triviales. El sistema de enseanza puede
quedar como una idea compartida, un modelo abstracto, un slogan o un apunte, pero adopta una forma distinta en cada situacin. Sus elementos constitutivos son subrayados o ignorados, ampliados o eliminados, puesto que los
profesores, los administradores, los tcnicos y los estudiantes interpretan y
reinterpretan el sistema de enseanza para su propia utilizacin. En la prctica, los objetivos se reordenan muy frecuentemente, se redefinen, se abandonan o se olvidan. La formulacin ideal inicial ya no resulta la ms adecuada, ni siquiera tiene ya demasiada importancia. Pocos se toman las descripciones del catlogo y las listas de objetivos en serio, salvo -al parecerel evaluador tradicional.
El paso del comentario del sistema de enseanza en su forma idealizada
a la descripcin de su realizacin prctica puede muy bien representar un
paso hacia un nuevo reinado. Esto nos conduce al segundo concepto, el medio
del aprendizaje.
EL MEDIODEL APRENDIZAJE. El medio del aprendizaje es el ambiente
socio-psicolgico y material en el que trabajan conjuntamente estudiantes y
profesores. Representa una red de variables culturales, sociales, institucionales y psicolgicas que interactan de modos muy complicados para producir,
en el interior de los grupos o de los cursos, un nico modelo de circunstancias (por ejemplo, presiones, opiniones, conflictos) que cubre todas las actividades de enseanza y aprendizaje que se dan all.
Segn Parlett y Hamilton, la configuracin del medio del aprendizaje, en
)
')
')
322
cualquier aula concreta, depende de la interaccin de muchos factores distintos. Por ejemplo, existen numerosas limitaciones (legales, administrativas y
financieras) para la organizacin de la enseanza en las escuelas; existen
siempre presuposiciones operativas (sobre los acuerdos acerca de los temas
los mtodos de enseanza y la valoracin de los estudiantes) propuestas po;
el profesorado; estn las caractersticas individuales de cada profesor (experiencia, actitud ante los estilos de enseanza y aprendizaje y expectativas personales); y estn los puntos de vista, necesidades y motivaciones de los estudiantes.
Es importante que la diversidad y complejidad de los medios del aprendizaje sean contempladas como una base para un estudio serio de los programas educativos. Cualquier programa, y en particular una innovacin, no puede
verse como un sistema independiente y autosuficiente. La introduccin de
una innovacin desencadena una serie de repercusiones a lo largo de todo
el contexto del aprendizaje. Y muy probablemente, pueden surgir consecuencias inesperadas que afecten a la propia innovacin, cambiando su forma y
moderando su impacto.
Parlett y Hamilton insisten en que intentar relacionar los cambios en el
medio del aprendizaje y las experiencias intelectuales de los estudiantes es
una de las preocupaciones bsicas de la evaluacin iluminativa. Como ellos
mismos dicen, los estudiantes no deben enfrentarse a un conocimiento desnudo; sino que ste les debe llegar vestido con textos, lecturas, grabaciones, etctera. Por su parte, la estructura administrativa est incrustada en estructuras institucionales y de departamentos mucho ms amplias, cada una con sus
propios procedimientos y sus dependencias profesionales y sociales. Estos
aspectos del aprendizaje, aunque aparentemente alejados de la asimilacin
del conocimiento en las aulas, no deben ser ignorados. As, el concepto del
medio del aprendizaje es necesario para analizar la interdependencia entre el
aprendizaje y la enseanza, puesto que relaciona la organizacin y las prcticas de la enseanza con las respuestas de los estudiantes a corto y largo plazo.
Adems, existen fenmenos de significativa influencia educativa, como el
inters del estudiante, la concentracin y el aburrimiento, que debilitan la
distincin psicolgica tradicional entre 10 cognitivo y 10 afectivo. Esto,
por lo general, surge en respuesta a la totalidad del medio del aprendizaje,
y no a uno solo de sus componentes. Los estudiantes responden tanto al currculo oculto como al visible: asimilan las costumbres, convenciones, cultura
y modelos de la realidad de la situacin del aprendizaje.
323
)
)
Organizacin y mtodos de la evaluacin iluminativa
')
)
Caracteristicas
principales
de la evaluacin
iluminativa
')
La evolucin iluminativa no es un mtodo regularizado, sino una estrategia de investigacin general. Pretende ser adaptable para descubrir las dimensiones, metas y tcnicas de la evaluacin, y eclctica para proporcionar al evaluador una serie de tcticas investigativas. Las decisiones acerca de la estrategia
que debe ser utilizada en cada caso concreto surgen del pr9blema que debe
investigarse. Ningn mtodo se utiliza exclusiva o aisladamente; se combinan
distintas tcnicas para arrojar un poco de luz sobre un problema comn. Inicialmente, como afirman Parlett y Hamilton, la preocupacin del evaluador
es familiarizarse con la realidad cotidiana del marco en el que est investigando. Este propsito es similar al de los antroplogos sociales o los historiadores naturales. No intenta manipular, controlar o eliminar las variables situacionales, sino abarcar toda la complejidad de la escena:
')
)
')
')
)
)
)
)
Su tarea principal es desenmaraarla, aislar sus caractersticas ms significativas, esbozar los cidos causa-efecto y comprender las relaciones entre las
creencias y las prcticas y entre los modelos de organizacin y los -modelos
de los individuos.
)
)
)
Dado que las evaluaciones iluminativas subrayan el examen del programa

como una parte integrante del medio del aprendizaje, se pone mucho el nfasis tanto en la observacin en las aulas como en las entrevistas con los profesores y estudiantes participantes. Parlett y Hamilton afirman que existen tres
etapas caractersticas de una evaluacin iluminativa:
1.
2.
3.
La .fase de observacin, en la cual se investiga toda la amplia gama de

vana bIes que afectan al resultado del programa o la innovacin.
La etapa de investigacin, en la cual el inters se desplaza desde el reconocimiento (de la fase de observacin) hacia la seleccin y planteamiento
de cuestiones de una manera coherente y ecunime, con el fin de realizar
una lista sistemtica y selectiva de los aspectos ms importantes del programa en su contexto.
La etapa de la explicacin, en la que los principios generales subyacentes
a la organizacin del programa son expuestos a la luz del da y se delinean
los modelos causa-efecto en sus operaciones.
Dentro de esta estructura de tres etapas, se recogen informaciones utilizando datos recopilados de cuatro reas: la observacin las entrevistas los
cuestionarios y los tests, y las fuentes documentales y sob~e antecedentes.'
)
)
)
)
)
)
)
)
)
)
)
)
)
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
l
(
(
(
(
,
(
324
Evaluacin
La evaluacin
sistemtica
LA OBSERVACIN.La fase de la observacin ocupa un lugar central en la

evaluacin iluminativa. El investigador recopila informacin continua acerca
de las actividades, las transacciones y los comentarios informales. Los datos
deben ser organizados all donde surjan y luego aadirse comentarios interpretativos sobre las caractersticas de la situacin, tanto manifiestas como
latentes. Adems de documentar estas actividades, el evaluador puede tambin
documentar otras muchas, incluyendo reuniones entre el personal, los estudiantes y los padres, las jornadas de la comunidad escolar, etctera.
Esta observacin supone grabar discusiones con y entre los participantes
para proporcionar informacin adicional que, de otro modo, debera obtenerse
mediante ms entrevistas formales. Las convenciones y metforas del lenguaje
que caracterizan las conversaciones de cada medio de aprendizaje pueden revelar presuposiciones tcitas, relaciones interpersonales, diferencias de rango y
currculos secretos.
Parlett y Hamilton tambin dicen que existe un lugar para la observacin
codificada, mediante la utilizacin de planes para controlar la asistencia, el uso
del tiempo y de las facilidades disponibles, las interacciones interpersona1es,
etctera. El evaluador iluminativo debe ser precavido, de todas formas, al utilizar estas tcnicas, puesto que no pueden descubrir las caractersticas intrnsecas del programa.
LAS ENTREVISTAS.Descubrir los puntos de vista de los participantes es
muy importante para la valoracin de! impacto de un programa. En este proceso, los estudiantes y los profesores son interrogados acerca de su trabajo,
comparndolo con su experiencia previa, y tambin acerca de la utilizacin
y el valor del programa (o innovacin). Disponen de una amplia gama de mtodos para las entrevistas, pero deben escogerse los ms apropiados para obtener el tipo de informacin o comentarios necesarios. Las entrevistas breves
y estructuradas son convenientes para obtener informacin biogrfica o demogrfica, mientras que las formas ms abiertas y discursivas suelen ser de mucha
utilidad para temas menos sencillos. Si la insuficiencia de tiempo y dinero
imposi?i1ita entrevistar a cada participante (y esto ocurre con frecuencia), puede. reahzarse una muestra de entrevistas escogidas al azar, teniendo un especial
culdado de asegurarse de que los informantes o grupos particulares que mantengan una posicin especial o cuyo punto de vista resulte notable estarn
incluidos en la muestra
'
Los DATOSDE CUESTIONARIOS
Y TESTS. Aunque e! evaluador iluminativo
se concentra en la observacin y la entrevista, no deben olvidarse las tcnicas de lpiz-y-pape! que demuestran ser tiles. Sus ventajas en los estudios
a gran escala son especialmente evidentes, aunque tambin pueden utilizarse
de manera provechosa en los estudios ms reducidos. Cuando se utilicen cuestionarios investigativos en las ltimas partes de un estudio para apoyar o cali-
Iluminativa
325
ficar algunos resultados tempranos, pueden incluirse preguntas abiertas, junto

con preguntas cerradas, con el fin de obtener tanto datos cuantitativos como
comentarios inesperados.
Los cuestionarios slo deben utilizarse despus de haberlo pensado mucho.
Parlett y Hamilton afirman que existen objeciones vlidas para ciertos aspectos de los cuestionarios. Su principal preocupacin, sin embargo, es que los
cuestionarios no se utilicen de forma exclusiva. Par1ett y Hamilton afirman
que adems de realizar cuestionarios, los participantes pueden tambin preparar comentarios escritos acerca del programa, elaborar y utilizar listas de
controlo recopilar diarios de trabajo por un perodo de tiempo determinado.
Los evaluadores pueden tambin utilizar tests de actitud, personalidad y
logros, aunque stos no gocen de una condicin privilegiada en e! estudio.
Las calificaciones de los tests nunca deben ser utilizadas aisladamente. Para
dar cuenta de los propsitos, no deben comparar las distintas escalas de los
tests, sino utilizar esta comparacin en una presentacin de los resultados del
estudio en su contexto total.
INFORMACINDOCUMENTAL
Y SOBRELOS ANTECEDENTES.Los antecedentes histricos de un programa deben ser considerados, puesto que no estn
ah por azar. Pueden utilizarse las fuentes principales, como los datos confidenciales archivados, junto con relatos autobiogrficos y de testigos oculares
del programa. Las grabaciones de reuniones y los ejemplos del trabajo de los
~studiantes pueden tambin resultar tiles, as como la informacin que puede
proporcionar una perspectiva histrica acerca de cmo contemplaron la innovacin distintos tipos de gente antes de que empezara la evaluacin. Puede
tambin indicar reas para despus investigar o subrayar temas en una discusin ms profunda. Igualmente, puede sacar a la luz aspectos de la innovacin
que de otra manera hubieran quedado ocultos.
El informe y la toma de decisiones
Quin recibe un informe?

Ya en 1971, MacDonald haba desarrollado su mtodo holstico para la
evaluacin, que estaba basado en la toma de decisiones. Todos los autores y
practicantes del estilo iluminativo estn de acuerdo en que el propsito principal de los estudios evaluativos es contribuir a la toma de decisiones. El informe del evaluador est dirigido a tres grupos, distintos pero relacionados entre
s, de personas que toman decisiones: los participantes del programa, los patrocinadores o administradores de! programa y los grupos externos interesados, as como investigadores y comits escolares.
)
')
326
del espirltu
del programa
Como se ha afirmado al principio, Stake subraya que la tarea del evaluador es comunicarse con una audiencia de una manera ms natural y, adems,
ms efectiva que en el informe investigativo tradicional. Esto quiere decir
que un informe formal escrito no siempre es necesario y que, de hecho, siendo
demasiado formal, puede traicionar sus propios propsitos. Una sobrecarga
de datos es, por lo tanto, algo que debe ser evitado en un informe. En cambio, segn Stake, necesitamos describir la complejidad. Necesitamos transmitir la impresin holstica, el modo, incluso el misterio, de la experiencia.
La lucha entre el deseo natural del evaluador de reflejar 10 que ve y, por
contra, explicarlo o relatarlo es, a veces, muy duro. Por una parte, el evaluador puede querer capturar el aroma ntimo, la complejidad y la idiosincrasia
del programa en la vida real, pero tambin inclinarse hacia una interpretacin
con el fin de generalizar o buscar modelos o incluso capturar la esencia de 10
que se est estudiando.
Las diferencIas
')
327
')
Cada grupo acudir al informe para que le ayude a tomar decisiones distintas. Por esta razn, el evaluador no puede, incluso aunque se 10 pidan,
proporcionar un simple juicio del tipo funcional no funciona acerca del futuro
del programa (o la innovacin). Puede suceder que una decisin basada en
el criterio evaluativo de un solo grupo sea discutida por otros grupos con
distintas prioridades.
La comunicacin
entre los Informes
Una de las principales virtudes de la evaluacin iluminativa es su versatilidad. Las diferencias entre los informes es una inevitable y deseable consecuencia de este mtodo. Las evaluaciones tradicionales estn construidas sobre
requisitos metodolgicos, mientras que las evaluaciones iluminativas destacan
mtodos construidos sobre definiciones de problemas y contratos entre el evaluador y el patrocinador. Estos estudios, por 10 tanto, suelen estar dirigidos
a grupos especficos para que puedan ser discutidas las cuestiones y problemas, incluso polticos, que afectan a estos grupos. En el caso de las audiencias
mltiples, la tarea del evaluador puede estar dirigida a distintos grupos por
medio de secciones especficas del informe. No importa qu forma adopte el
informe, con tal de que sea legible, breve e interesante.
La evaluacin iluminativa, as, destaca ms la recopilacin de informacin
que la toma de decisiones. La tarea del informe, para quienes toman las deci.
siones, es proporcionar un amplio espectro de complejas realidades acerca del
programa. De ah deben surgir discusiones que conduzcan a desenmaraar las
complejidades y aislar lo trivial de lo significativo.
)
Problemas relacionados con la evaluacin iluminativa
')
)
Las reservas de Stenhouse
Aunque simpatiza totalmente con la crtica del viejo estilo, el de la evaluacin del producto, de la que surge el estilo iluminativo, Laurence Stenhouse
expresa algunas reservas acerca de este mtodo. Su preocupacin es el problema de los criterios, puesto que cree que la postura general asumida por
algunos evaluadores iluminativos puede bloquear el progreso de la innovacin
basada en la investigacin.
A Stenhouse le parece que los evaluadores iluminativos se preocupan del
valor o el mrito de un currculo o una prctica educativa, pero que sus
criterios no son claros y su preocupacin por las audiencias y la presentacin
de los resultados no es ms que un enmascaramiento del problema:
Aspiran a contarlo tal como es, y a menudo escriben como si fuera posible
a condicin de que puedan hacer alguna distorsin de acuerdo con sus propios valores. Pero esto no es contarlo tal como es. Es slo una creacin de
significado a travs de la utilizacin de criterios y estructuras conceptuales.
La tarea de informar a quienes toman las decisiones en un lenguaje que puedan entender fcilmente puede conducir, con demasiada facilidad, a la importacin casual de presuposiciones y criterios sin examinar. La respuesta de la
audiencia puede ser seductora, especialmente si la audiencia es polticamente
poderosa. Y es demasiado fcil para la evaluacin que aspira a ser una novela
degenerar en una novelucha.
Stenhouse viene a sugerir que un elemento importante en una evaluacin
adecuada de un currculo es la crtica filosfica. El objeto de esta crtica debe
ser revelar el significado del currculo, ms que calcular su valor, aunque,
naturalmente, la revelacin del significado invita a la valoracin. De ah que
su preocupacin acerca de la evaluacin iluminativa se centre en que presta
demasiada. atencin a las dimensiones polticas de un estudio y a la presentacin de los resultados en una forma vvida y aceptable, pero a menudo parcial, 10 cual puede convertir la discusin de estos criterios en parte de la
privacidad de los evaluadores. Afirma que estos problemas son demasiado
importantes para que sean contemplados como ~<problemas domsticos de la
familia evaluativa.
)
")
')
)
)
)
)
)
)
)
)
)
)
)
)
)
(
)
)
)
)
! )
)
I )
)
)
, )
:)
(
(
328 I
(
(
(
(
(
(
(
(
(
(
(
(
(
La tendenciosidad
experimental
. Parlett. '! Hamilton plantean esta pregunta: puede ser cientfica una
~ter?!etaclOn ~~r~onal? Ellos saben muy bien (como Stenhouse) que la recopI1~cl0n, el anahsIs y la presentacin de los datos por un evaluador iluminativo parecen se~ discretos. Los autores argumentan, sin embargo, como
hace St~k~, que mnguna forma de investigacin es inmune al prejuicio, la
tend~nC1~sl.d~dy :rror humano. Cualquier estudio investigativo, segn ellos,
reqUler~ JUlC10Stecmcos y, por lo tanto, es vulnerable; incluso en los estudios
evalu.atIvo~ ~~e manejan automticamente datos numricos procesados, es necesano el JUlCIOen todas las etapas.
, ~in em~argo, como admiten Parlett y Hamilton, la amplia utilizacin de
t~:m~as a~ler:as, d~ progresiva concentracin y datos cualitativos en la evaluac~on IlummatIva, Slgu~ permitiendo una gran parcialidad por parte del investigador: Enton:es sugIeren una serie de tcticas de precaucin. Los asesores
evaluativos es~an encargados de poner en duda las interpretaciones preliminares, y los ~Ien:bros del equipo investigativo pueden encargarse de desarrollar sus prop~as. mterpretaciones. Incluso con estas precauciones, persiste el
elemento subJetiVO. Parlett y Hamilton afirman que esto es inevitable:
;1
(
(
(
(
(
(
(
(
,
(
Cuando el inves.tigador abandona el paradigma agrcola-botnico, su papel

debe. ser neces?namente redefinido. La utilizacin de las tcnicas e intuiciones Interpretauvas es entonces ms estimulada que desaprobada.
De un modo similar, debe decirse que la presencia del evaluador, inevitablemente, causa su efecto en el desarrollo y evolucin del programa. El eva1ua~or debe: por 10 tanto, intentar ser discreto, mantenerse en segundo plano
y, SI es pOSIble, n? ser doctrinario. Esto conduce al importante hecho de que
el ev~lu~dor .no solo debe tener capacidad intelectual, sino tambin dominar
las tecmcas I?terpersonales. Un evaluador iluminativo busca la cooperacin
pero, ~o la pId.e. Dado que el evaluador iluminativo recibe datos ms ricos
y mas mformatIvos que el evaluador tradicional, debe estar alerta para asegurar
que las normas profesionales se cumplen constantemente.
(
{
t
(
(
(
(
f
Estudios a gran escala
..
!ambi~ pued~ resp~nderse
S~CI?nespecIal
hmltarse a las
ment~ que la
ampha. Basan
a la pregunta de si, teniendo en cuenta la podel mvestIgador, la evaluacin iluminativa debe necesariamente
innovaciones a pequea escala. Parlett y Hamilton creen firmeevaluacin iluminativa puede ser aplicada a una escala ms
su presuposicin en una serie de puntos, el ms importante
'329
de los cuales es que el medio del aprendizaje, a pesar de su diversidad, comparte muchas caractersticas. As, la enseanza se ve a menudo limitada por
convenciones similares y los profesores se encuentran con similares grupos de
problemas; existe una amplia gama de fenmenos sociales y del comportamiento solapados que son inherentes a todos los programas de enseanza,
aprendizaje e innovacin. La evaluacin iluminativa puede contribuir a concretar y describir adecuadamente estos fenmenos mediante resmenes extractados, terminologa compartida y conceptos tiles.
Para ayudarle a determinar si ha alcanzado usted los objetivos de conocimiento de esta unidad, este apartado contiene seis preguntas con muchas
posibles respuestas y explicaciones de las respuestas correctas e incorrectas.
Debe usted seleccionar la letra que considere la mejor respuesta y luego compararla con las que le proporcionamos nosotros. Cuando haya contestado a
las preguntas, podr interpretar su trabajo siguiendo nuestras indicaciones.
PREGUNTA1. Cul de las siguientes afirmaciones describe mejor el mtodo iluminativo de evaluacin?
a)
b)
e)
d)
Una investigacin en la que los resultados de un programa se corresponden con las metas y objetivos expuestos.
Un estudio centrado en proporcionar informacin para los principales
tipos de decisiones educativas.
El descubrimiento del alcance del xito de un programa mediante la recopilacin de todos los detalles admisibles relacionados con l y el debate
sobre los mritos de esos detalles.
Una investigacin de un programa adaptable y eclctica, en la que el
investigador, habindose familiarizado con el marco, observa, investiga
y luego intenta explicar.
Respuesta correcta. Debe usted haber respondido d. Aunque no es una

definicin completa de la evaluacin iluminativa, la afirmacin contiene los
cuatro elementos principales requeridos para una evaluacin que utilice ese
mtodo, esto es, familiarizarse con el contexto, observar, investigar y explicar.
"';'.'.
-,
')
330
Evaluacin
a)
b)
e)
Es incorrecta: esta afirmacin se corresponde ms con el mtodo utilizado por la escuela evaluativa tyleriana, esto es, el mtodo de los objetivos. Es casi la anttesis de las metas de la evalucin iluminativa.
Es incorrecta: sta es la definicin de evaluacin a la que se adhieren
los partidarios de las evaluaciones basadas en las decisiones. Es parecida
a la evaluacin iluminativa en que la informacin debe ser presentada a
quienes toman las decisiones, pero difiere de ella metodolgicamente en
muchas y significativas maneras (como indicar una lectura de la unidad
dedicada a Stufflebeam).
Es incorrecta: esta afirmacin se aproxima al mtodo utilizado en la evaluacin contrapuesta, segn el cual la metodologa y el propsito de la
investigacin difieren marcadamente del mtodo iluminativo.
PREGUNTA2. Dado que la evaluacin iluminativa no es un paquete de

normas metodolgicas sino una estrategia de investigacin general, es preciso
que el evaluador
a)
b)
e)
d)
La evaluacin
sistemtica
sea flexible en su mtodo, tanto para la planificacin como para los procedimientos utilizados en el estudio,
intente controlar las variables situacionales,
tome decisiones tempranas sobre la naturaleza de las investigaciones que
deben ser llevadas a cabo,
sea cauto a la hora de formar (o conjeturar) modelos de causa-efecto para
las operaciones del programa que se est estudiando.
Respuesta correcta. Debe usted haber seleccionado la a. Esta afirmacin

est de acuerdo con el propsito declarado de que una evaluacin iluminativa
debe ser adaptable y eclctica. La eleccin de las estrategias investigativas
no debe hacerse a partir de la doctrina investigativa, sino de las decisiones
acerca de las tcnicas ms apropiadas que hay que utilizar en cada caso concreto.
iluminativa
')
331
e)
Es incorrecta porque el evaluador iluminativo acta ms como un antroplogo, cuando se ha familiarizado con el marco que est estudiando; ni
siquiera intenta manipular las variables.
Es incorrecta: el evaluador iluminativo inspecciona el campo con la mente abierta en toda su amplitud antes de seleccionar los temas o aspectos
de un programa para estudiarlos ms detenida y documentadamente.
d) Es incorrecta: el evaluador iluminativo debe esforzarse en descubrir m:delos de causa-efecto en la operacin de un programa Y; una v.ez hec o
')
esto, situar los resultados individuales en un contexto mas amplio y acla-
'\
ratorio.
')
acerca del papel y

P REGUNTA3. <.'Cul de las siguientes afirmaciones,
'1 .,
,
aeta?
la importancia de la observacin en la evaluacin 1 ummatlva, es mas ex
.')
, ')
e)
El investigador puede o no desarrollar una infor~aci~ continua acerca

de todas las actividades, transacciones Y observaclOnes mformales.
El valor de la observacin consiste en proporcionar una base para organizar la recopilacin de datos por otros medios.
. .
Las observaciones in situ no deben ser influidas por las opmlOnes de los
d)
participantes en el programa.
. , '1 .
La fase de la observacin ocupa un lugar central en la evaluaclOn 1 uml-
a)
b)
)
)
)
)
)
nativa.
Respuesta correcta. Debe usted haber seleccionado la d. La ta~ea principal del evaluador es observar las comp1ejidad.es de la escena Y alslar sus
caractersticas ms significativas, incluyendo los Clclos de causa Y efecto.
)
)
)
a)
b)
e)
No es la mejor respuesta porque la afirmacin no subraya la funcin central de la observacin.

No es la mejor respuesta, y slo es parcialm.ente exacta por~ue, :n la.s
evaluaciones iluminativas, los datos observaclOnales son de mteres pnmordial.
1 . , il . .
Es incorrecta porque el dossier de datos de la eva_Ua~l?n ummatlva
se realiza a partir de las discusiones con y entre los partlClpantes. -
)
)
)
)
I
)
PREGUNTA4. En lo referente a la recopilacin de datos (con tcnicas
de papel-y-lpiz), cul de las siguientes opiniones respaldan Parlett y Hamilton?
b)
a) Estas tcnicas y su inclusin pueden resultar ventaj.osas.

b) Estas tcnicas deben ser utilizadas slo en los estudlos a gran esc~la..
e)
d)
Estas tcnicas no deben incluir cuestionarios porque existen objeCIOnes

vlidas a este mtodo de recopilacin de datos.
Estas tcnicas, como los cuestionarios y los tests, no deben ser empleadas, pero a cambio debe pedirse a los participantes que preparen comentarios escritos y diarios de trabajo.
)
)
~)
-t )
I ./
)
)
,)
~)
~
(
.
.~f-~
332
Respuesta correcta. Debe usted haber respondido a. Aunque se ca centra en la observacin, el evaluador iluminativo puede utilizar tcnI'c n
l' .
1
.
as e
aplZ-y-pape ventajosamente, en particular porque sus resultados analizad
pueden apoyar o calificar los resultados de las observaciones y las entrevist as.
os
(
(
(
c)
No es la mejor respuesta, puesto que esta afirmacin puede tambin ser

asumida por muchos evaluadores que utilicen modos de evaluacin distintos al iluminativo. Padett y Hamilton, sin embargo; afirman que la
evaluacin evaluativa, en particular, necesita normas y comportamientos
profesionales.
PREGUNTA6.
b) Es, i~c~rrecta: aunque !as tcnicas de lpiz-y-papel son probablemente
(
(
c)
(
(
d)
c)
el enfrentamiento' entre el deseo del evaluador de reflejar 10 que ve, por

una parte, y de explicarlo, por otra, es a menudo muy real,
todos los informes deben tener en cuenta la respuesta de la audiencia,
que puede conducir a una revisin del informe,
el informe final debe ser simple y fcilmente comprensible para las
. d)
audiencias.
una diversidad entre los informes es una consecuencia inevitable y de-
a)
b)
seable.
PREGUNTA5. Cul de las siguientes es la principal reserva expresada

por Stenhouse acerca de la evaluacin iluminativa?
a)
(
(
b)
(
(
(
c)
d)
(
(
(
(
,
(
Las informaciones estn abiertas a distintas interpretaciones (polticas)

puesto que las conclusiones no estn basadas en datos frreos.
'
Los ~esultados deben ser cuestionados, puesto que la planificacin del
e~tudlo no es una norma (como, por ejemplo, ocurre en el modelo tylenano).
Las opiniones, presuposiciones y experiencia del evaluador pueden influir
muy marcadamente en el informe y las subsiguientes decisiones.
Est?s evaluadores aspiran a contarlo tal como es, pero esto no es
pOSIble.
Respuesta correcta. Debe usted haber seleccionado la d. Stenhouse afirma: ~<~o se ~u~de contar tal como es. Esto slo puede ocurrir mediante la
creaCIOn de SIgnificado a trav~s ~e la utilizacin de criterios aceptados y estructuras conceptuales. Los criterios no examinados y las presuposiciones ca'
sualment: adoptadas por el evaluador, conducen a dudas acerca de la validez
del estudlO y sus resultados.
a)
(
(
Si es verdad que una de las virtudes de la evaluacin ilu-
minativa es su versatilidad, de: ello se deduce que
mas utIles en los estudIOs a gran escala, pueden tambin ser utilizadas
de una manera prove.hosa en los estudios ms reducidos.
Es incor~ect~; aunque teniendo en cuenta los defectos de este mtodo
de r:copl1acIOn de datos, el evaluador puede utilizar cuestionarios, pero
no aIsladamente.
Es i~co~recta: los comentarios escritos y cosas por el estilo, junto con
las teclllcas de papel-y-lpiz, ayudan a completar el banco de informacin
del evaluador iluminativo.
(
(
333
(
(
b)
Es incorrecta porque este punto no constituye una de las crticas de

Stenhouse.
Es incorrecta por las mismas razones de la respuesta a.
Respuesta correcta. Debe usted haber seleccionado la d. Esta afirmacin

es un importante ejemplo de la versatilidad de la evaluacin iluminativa. Los
informes, y los consiguientes resultados, estn dirigidos a grupos especficos.
As, los diversos informes relativos a un estudio concreto contienen cuestiones, problemas y asuntos polticos importantes para los diversos grupos interesados.
i
Respuestas
a)
b)
e)
incorrectas
Aunque es una afirmacin exacta acerca de la evaluacin iluminativa, no

es la mejor respuesta, porque no explica la versatilidad del mtodo, que es
la marca de fbrica de este tipo de evaluacin.
No es la mejor respuesta: es dudoso que los evaluadores iluminativos
estn dispuestos a cambiar uno de sus informes finales, incluso aunque
unos pocos esperan una aceptacin universal de sus resultados.
Es incorrecta: aunque el informe (o informes) debe ser un escrito que resulte inteligible y atractivo para las audiencias, debe evitarse una simplificacin exagerada. Como dice Stake: La supersimplificacin ofusca.
INTERPRETACIN
DEL TEST DE CONOCIMIENTOS.Cuando haya realizado el
test de conocimientos, cuente el nmero de respuestas correctas e incorrectas.
Le sugerimos que utilice este examen como gua para revisar y perfeccionar
su dominio del material presentado en esta unidad.
f
334
3.
4.
5.
EJERCICIO l. Con referencia

fi
lett y Hamilton MacDonald
Stskespec ~basa autores como Cronbach, Par'
y a e, escn a un ensa
bo
d 1
vas y d u d as acerca de los mt d
d' .
.
yo es zan o as resera su reevaluacin y al
. ~ os tdra IClOnales evaluativos que condujeron
consIgUIente esarrollo d 1
l'
,
1
u
respuesta
debe
incluir
esto
1
. . e a eva uaClOn i uminativa.
S
s e ementos pnnclpales:
a)
b)
e)
d)
6.
7.
La preocupacin de Cronbach acerc dI'

Parlett y Hamilton y 1
d'
a e Juego de los nmeros.
MacDonald
1 ' de par~ I~ma agrcola-botnico.
El
Y e meto o hohsttco.
concepto de Stake de la evaluacin como descripcin.
e)
La respuesta al ejercicio 1 debe incluir los srguzentes

. .
puntos:
a)
La preocupacin de Cronbach acerca del juego de los nmeros:

~a descripcin pretende capturar 1
.,
..
.
tltuciones sujetos a un . t
a. ;-eacclOn de los IndIVIduos e insa In ervenClOn experiment 1
d
que pueda de la totalidad d 1
a, y apren er lo
2
P . dIe
programa
.
omen o e nfasis en los procesos d'
"
deben estar destinadas
d el aprendIzaJe, las evaluaciones
3. Cronbach expresa su pa compre.~ er e proceso educativo.
.
reocupaclOn acerca de 1
d"
1
tanoa que se da en la el"
a tra IClOna imporva uaClon a la valor .,
d
.
produccin de calificaci
aClOn e ucacIOnal y a la
individuos.
ones exactas y precisas para comparar a los
l.
4.
Cronbach insiste en que la descri cin d b

escala posible incluso . 11
p.
e e hacerse a la ms amplia
'
SI e o ocasIOna la prdid d
en el f ondo superficial.
a e una precisin
b) Parlett y Hamilt on y e1 paradIgma

.
agrcola-botnico:
l.
2.
Parlett y H amI'1ton comparan los est d' .

l'
con un paradigma agrcol b ,.
U lOS eva uatlvos tradicionales
P
a- otamco
or esta razn, los estudios eval '.
. .
datos de tipo objetivo y n
,. uat1vos tradlclOnales proporcionan
umenco para permitir anlisis estadsticos.
335
Los autores afirman, sin embargo, que las situaciones educativas

estn caracterizadas por numerosos e importantes parmetros que
no pueden ser controlados estrictamente.
Otra crtica es que las planificaciones investigativas anteriores y posteriores asumen que los programas innovadores experimentan pocos
o ningn cambio durante el perodo de estudio, aunque esta premisa
Ejercicios prcticos
Esta seccin contiene dos ejercicio
,.
ha comprendido los dos
.s ?racttcos que deben indicar si usted
Tras cada ejercicio hay
aSl~ectodspnnclpales de la evaluacin iluminativa
una Ista e puntos que
t d d b h b
.
su respuesta. El examen d
us e
e e a er incluido en
e estos puntos le ayudar a valorar su trabajo.
3.
4.
5.
')
)
')
')
programa educativo.
Parlett y Hamilton tambin afirman que la evaluacin tradicional ha
sido vctima de sus propias exigencias de control y exactitud, puesto
que los programas son vulnerables a un gran nmero de influencias
exteriores.
El mtodo holstico ofrece una respuesta al paradigma agrcola-bo-
2.
1
1
raramente se confirma en la prctica.

Adems, las evaluaciones tradicionales imponen restricciones artificiales y arbitrarlas al alcance del estudio, puesto que las ancdotas
subjetivas o los datos impresionistas no son tenidos en cuenta.
La evaluacin tradicional no puede responder a las distintas preocupaciones y cuestiones de los participantes y otros interesados en el
MacDonald y el mtodo holstico:

l.
tnico.
Los evaluadores deben aceptar como potencialmente relevantes todos los datos concernientes al programa y su contexto.
El mtodo holstico es un modelo de actos y consecuencias orgnicamente relacionados, de manera que un simple acto puede ser situado
funcionalmente en la totalidad de un concepto.
MacDonald afirma que los programas pueden tener ms efectos inesperados de lo que normalmente se supone, y que los programas desarrollados en distintos marcos pueden evolucionar de manera diferente.
MacDonald se orienta ms hacia el desarrollo de un modelo emprico que hacia el de un modelo normativo, en lo que se refiere a la
toma de decisiones educativas y sus consecuencias.
')
')
")
)
)
)
)
)
)
)
)
)
)
)
)
)
)
d) El concepto de Stake de la evolucin como descripcin:

1. En su semblanza de la evaluacin educativa, Stake propone un estu-
)
)
dio que describa la naturaleza compleja y dinmica de la educacin,

y preste mucha atencin a los diversos propsitos y juicios de los
2.
practicantes.
Criticando el excesivo nfasis que se le da a la valoracin en la educacin, Stake sugiere que se debe prestar ms atencin a las contin-
)
)
)
)
~~
..
f
f
f
336
gencias entre los antecedentes, las actividades de clase y los resultados escolares.
3. El concepto de Stake de la evaluacin como descripcin anticipa la
nocin de iluminacin de Parlett y Hamilton; igualmente, destaca
la influencia limitadora de la preespecificacin y la concentracin en
unas pocas metas prefijadas del programa.
4. La evaluacin responden te se orienta ms directamente hacia las actividades del programa que a sus propsitos, y saca a la superficie
perspectivas de valor que influyen en el programa.
5. El programa debe comunicar con la audiencia tan natural y eficazmente como sea posible.
6. La advertencia de Stake es que la informacin investigadora no puede ser el tipo de informacin til para quienes toman las decisiones.
(
(
(
(
(
(
{
(
(
{
(
EJERCICIO 2. Escriba un ensayo acerca de las principales caractersticas

de la evaluacin iluminativa y sus procedimientos (con excepcin del informe). Su respuesta debe incluir estos elementos principales:
(
a)
b)
e)
d)
e)
La evaluacin iluminativa es una estrategia de investigacin general.

La fase de observacin.
La fase de las entrevistas.
Los datos de cuestionarios y tests.
La informacin documental y de antecedentes.
{
(
1.
2.
3.
4.
(
(
(
(
,
(
3.
4.
5.
e)
5.
La evaluacin iluminativa pretende ser adaptable para satisfacer las

dimensiones, objetivos y tcnicas de la evaluacin, y eclctica para
poner a disposicin del evaluador diversas tcticas de investigacin.
La eleccin de la estrategia que deber utilizarse surge del problema
que debe investigarse.
Ningn mtodo deber utilizarse exclusiva o aisladamente.
El evaluador no intenta manipular, controlar o eliminar las variables
situacionales, sino que abarca tal cual toda la complejidad de la
escena.
337
La fase de observacin ocupa un lugar central en la evaluacin iluminativa.

El investigador recopila continuamente informes de actividades, transacciones y comentarios informales.
El evaluador tambin documenta una amplia variedad de otros acontecimientos, como las reuniones.
.
.
Se graban las discusiones con y entre los participantes, y se Identifican las convenciones y metforas del lenguaje.
.,
Parlett y Hamilton creen que hay tambin lugarpar~ la o~serVaCl~?
codificada, que utiliza planes para el control de la aS.IstencIa,.l~ uuhzacin del tiempo y las facilidades, etctera. Esta mformaclOn, Sltl
embargo, debe ser usada con precaucin, puesto que no es probable
que descubra las caractersticas subyacentes del programa.
La fase de las entrevistas:

1.
2.
La evaluacin iluminativa es una estrategia de investigacin general:
2.
4.
1.
3.
a)
b) La fase de observacin:
(
(
La evaluacin Iluminativa
Descubrir los puntos de vista de los participantes resulta crucial para

la valoracin del impacto del programa.
.
Los que participan en el curso son interrogados acerca de su trabajO
y tambin acerca de su punto de vista sobre la utilidad y el valor del
programa.
.
El tipo de entrevista escogida debe ser la ms apropIada para obtener el tipo de informacin o comentarios deseados.
Las entrevistas estructuradas y breves son convenientes para obtener
informacin biogrfica o demogrfica, mientras que las formas ms
abiertas y discursivas se utilizan para temas menos sencillos.
d) Los datos de cuestionarios y tests:

1. Aunque se concentre en la observacin y las entrevistas, el evaluador
2.
3.
El evaluador se esfuerza por delinear ciclos de causa-efecto y relaciones entre las creencias y las prcticas.
4.
5.
iluminativo no debe rechazar las tcnicas de papel-y-lpiz que demuestren ser tiles.
Su ventaja para los estudios a gran escala es evidente (aunque tambin pueden ser utilizados en estudios reducidos).
Los resultados de los cuestionarios pueden ser utilizados ms tarde
en un estudio para justificar o calificar los resultados provisionales
ms tempranos.
Los cuestionarios slo deben ser utilizados despus de haberlo pensado mucho (y nunca en exclusiva).
Adems de contestar los cuestionarios, los participantes pueden tam-
")
338
6.
e)
Evaluacin
Referencias
sistemtica
2.
3.
bin preparar co~e~tarios escritos

trabajo de. s.us actIvIdades durante
~uede~ .utI~Izarse tests. ~~ actitud,
SIDpnvIleglar su condlClOn dentro
ladamente).
acerca del programa o diarios de

cierto perodo de tiempo.
de personalidad y de logros (pero
del estudio, y tampoco nunca ais-
Los antecedentes histricos de un programa deben ser registrados,

pues no estn ah por azar.
P.ueden utilizarse las fuentes principales, como los datos confidenCIales archivados, junto con los relatos autobiogrficos y de testigos
oculares acerca del programa.
Las g.rabaciones de las reuniones y los ejemplares del trabajo de los
estu?iant~s ?~eden tambin ser tiles para proporcionar una perspectIVa hIstonca.

En esta seccin proporcionamos tres preguntas y ninguna respuesta. Las
preg~nta~ p~e.den ser utilizadas como temas para debates o como base para
tr~baJos IndIVIduales. Antes de abordar estas preguntas, quiz desee estudiar
~as a fondo la evaluacin iluminativa leyendo ciertos apartados del tercer
lIbro. de la bibliografa, Beyond the Numbers Came, recopilado por David
HamIlton. y otros.~in embargo, las preguntas deben responderse sobre la base
del matenal contenIdo en esta y otras unidades.
1.
2.
Los evalua~ores de la tendencia tyleriana, como Hammond y Michael

y Metfe.ss~l, Informan de los resultados de los estudios evaluativos de un
mod.~ dIstInt.o a los evaluadores del estilo iluminativo. Discuta esta af1rmaClOn, p~Dl~~do un nfasis especial en la comparacin de los mtodos
de comUDlcaClOn.
~ul~s son algunos de los problemas relacionados con la evaluacin ilumInatIVa? Existen mtodos satisfactorios para solucionar estos problemas, o acaso la evaluacin iluminativa est condenada al fracaso por su
causa?
3. iroponga
339
")
")
La informacin documental y de antecedentes:

1.
bibliogrficas
un, pro~~ama hipottico e innovador para evaluarlo. Compare

b~ metodologIa ut~lIzada por un evaluador tradicional con la que probaemente emplean a un evaluador iluminativo. Diga por qu un mtodo
puede resultar ms convincente que otro para la toma de decisiones.
")
CRONBACH,1. J. 1963. Course improvement through evaluation. Teachers College
Record, 64 (8), pgs. 672-683.
HAMILTON,D. F. Y DELAMONT,S. 1974. Classroom research: A cautionary tale,
Research in Education, 11 (mayo), pgs. 1-16.
HAMILTON,D. y otros (comp.). 1977. Beyond the numbers game, Londres, MacMillan Education.
HASTINGS,
J. T. 1966. Curriculum evaluation: The why of the outcomes, Journal
o/ Educational Measurement, 3 O), pgs. 27-32.
HOUSE,E. R. 1972. The conscience of educational evaluation, Teachers College
Record, 72 (3), pgs. 405-414.
MAcDoNALD,B. 1971. The evaluation of the Humanities Curriculum Project: A
holistic approach, Theory into Practice, 10 (3), pgs. 163.167.
-.1973.
Humanities curriculum project. En Evaluation in currculum development: Twelve case studies (Schools Council Research Studies), Macmillan Education.
PARLETT,M. R. 1972. Evaluating innovations in teaching. En H. J. BUTCHERy
E. RUDD (comp.), Contemporary problems in research in higher education,
Nueva York, McGraw-Hill.
PARLETT,M. R. Y HAMILTON,D. 1977. Evaluation in illumination: A new approach to the study of innovative programmes. En D. HAMILTONy otros
(comp.), Beyond the numbers game, Londres, MacMillan Education.
SCRlVEN,M. 1967. The methodology of evaluation. En R. W. TYLER,R. M. GAGNE, Y M. SCRlVEN,Perspectives o/ curriculum evaluation (American Educational Research Association Monograph on Curriculum Evaluation n. 1), Chicago,
Rand McNal1y.
STAKE,R. E. 1974. Responsive evaluation. New Trends in Evaluation, 35 (enero),
pgs. 41-73 (Instituto de Educacin, Universidad de Goteborg).
STUFFLEBEAM,
D. 1. Y GUBA,E. 1968. Evaluation: The process of stimulating,
aiding and abetting insightful action. Conferencia para el Segundo Simposio
Nacional de profesores de Investigacin Educativa, celebrado el 21 de noviembre, en Boulder, Colorado, Centro de Educacin, Facultad de Evaluacin,
Universidad del Estado de Ohio.
STUFFLEBEAM,
D. 1. y otros (Phi Delta Kappa National Study Committee on Evaluation). 1971. Educational evaluation and decision making, !tasca, m., Peacock.
SUCHMAN,E. A. 1967. Evaluative research, Nueva York, Russel1 Sage Foundation.
TAWNEY,David (comp.). 1976. Curriculum evaluation today, Londres, MacMillan
Educaton.
")
')
')
')
')
')
')
')
')
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
r:
e
e
f;
(f
e
("
(
(
(
(
(
(
(
(
(
(
(
(
(
(
,
(
(.
1
1
!l'
10
EL METODO EVALUATIVO DE SCRIVEN

ORIENTADO HA.CIA EL CONSUMIDOR
.-r
l'
l'
:
I
1<
!
f
l.
El verdadero papel del evaluador, segn Michael Seriven, es el de un

sustituto informado del consumidor. Provisto de tcnicas para obtener una
informacin pertinente y exacta, y con un punto de vista profundamente razonado acerca de la tica y el bien comn, el evaluador debe ayudar a los profesionales a proporcionar productos y servicios de alta calidad y gran utilidad
para los consumidores. y lo que es an ms importante, el evaluador debe
ayudar a los consumidores a identificar y valarar los bienes y servicios alternativos. Scriven ha sido muy crtico con las ideologas evaluativas que se centran en alcanzar los objetivas de las participantes en lugar de satisfacer las
necesidades de los consumidares. Par ello ha prapuesta ciertas canceptas Y
mtadas destinados a desplazar a la evaluacin desde los objetivos hasta las
necesidades.
La evaluacin sumativa puede servir para que los administradares decidan
si el currculo completa, terminado, pulida por la utilizacin del praceso evaluativo en su primera forma (formativa), representa un avance lo suficientemente significativa sobre las alternativas disponibles, como para justificar los
gastos de su adopcin por parte de un sistema escolar.
(;.
(
,
(.
(t.
".
(.
,
(.
Michael Scriven es un filsofo cientfico que ha contribuido ampliamente

al desarrollo de la profesin evaluativa. Ha criticado duramente tanto las clsicas como las ms recientes conceptua1izaciones de la evaluacin. Desarroll
su concepcin de la evaluacin sobre una postura filosfica bsica y ha desarrollado conceptos y mtodos para ayudar a articular y aplicar sus conceptos. Tambin ha sido uno de los pioneros en el esfuerzo de profesionalizar el
trabajo evaluativo.
Naci y creci en Victoria (Australia). Se licenci en matemticas aplicadas
'l
)
342
y lgica simblica en la Universidad de Melbourne y comp>t su doctorado

en Filosofa de la Ciencia en la Universidad de Oxford. De,,;--;npe funciones
profesionales en la Universidad de Minnesota desde 1952 a 1956, en el
Swarthmore College de 1956 a 1960, en la Universidad de Indiana desde
1960 a 1965, en la Universidad de California en Berkeley de 1965 a 1975
y en la Universidad de San Francisco desde 1975 a 1982. En el momento de
escribir estas pginas es profesor titular en la Universidad de Western Australia, en Perth.
Hemos decidido designar el mtodo del doctor Scriven como evaluacin
orientada hacia el consumidor con el fin de caracterizar su mtodo filosfico
bsico. Ha definido la evaluacin como la valoracin sistemtica del valor o
el mrito de las cosas, y ha subrayado que los evaluadores deben ser capaces
de llegar a juicios de valor justificables ms que de medir cosas o determinar
si las metas han sido alcanzadas. En lugar de aceptar las metas propuestas, un
evaluador, segn Scriven, debe juzgar si el hecho de alcanzar las metas puede
contribuir al bienestar de los consumidores. Independientemente
de las metas, el evaluador debe identificar los resultados reales y calcular su valor desde
el punto de vista de las necesidades del consumidor. Para Scriven, la funcin
profesional del evaluador es la de un sustituto informado del consumidor,
y la piedra angular de la tica profesional en el trabajo evaluativo es funcionar como una conciencia social informada. Su mtodo evaluativo prctico,
por lo general, consiste en identificar y ordenar los programas y productos
opcionales disponibles para los consumidores, basndose en su coste relativo
y en la consideracin de las necesidades de los consumidores. A menudo ha
declarado que la revista Consumer Reports es un ejemplo de lo que debe
hacer la evaluacin profesional.
En esta unidad, resumimos y comentamos las contribuciones tericas, metodolgicas y profesionales del doctor Scriven. Su valoracin crtica de los
mtodos alternativos tambin se define y comenta. Hablamos de su conceptualizacin formativa-sumativa y definimos sus principales conceptos de trabajo. Su ataque de 1983 a las ideologas evaluativas establecidas y algunas
de sus sugerencias metodolgicas tambin son comentados aqu. Concluimos el
captulo mencionando sus logros mediante la fundacin de la Evaluation Network y de Evaluation News.
Ahora researemos los objetivos de la unidad. Por favor, revselos, lea el
texto correspondiente, y realice el test de conocimientos y los ejercicios prcticos que aparecen al final de la unidad. Valore sus respuestas comparndolas
con las correctas y, si alguna de ellas es incorrecta, revise las secciones pertinentes de la unidad. Quiz desee investigar por su cuenta realizando las Preguntas sin respuesta (o discutindolas con sus estudiantes o colegas) y consultando las fuentes de informacin acerca del trabajo del doctor Scriven que
proporcionamos al final de la unidad.
El mtodo evaluativo de Scriven
\ 343
")
"'l
Objetivos
Esta unidad pretende ayudarle a alcanzar los siguientes objetivos:
1.
2.
3.
4.
5.
Identificar y explicar la definicin de evaluacin de Scriven:

Identificar y valorar sus crticas sobre los conceptos evaluatIVOs de Tyler
y Cronbach.
.,
Explicar su postura acerca del papel del juicio e~ la evaluaclOn.,
Explicar la funcin de la valoracin de las ~~cesIdad:s e~ ,su metodo.
Explicar sus diferenciaciones entre evaluaclOn y. ~stImacIon de~, logro de
las metas, la meta y las funciones de la evaluaCIon, l~ ~valuaclOn for~,ativa y la sumativa, la evaluacin intrnseca y la deCISIVa,.~a evaluaclOn
basada en las metas y la evaluacin sin metas, y la evaluaclon y la meta-
evaluacin.
. , 'd
ifi
6. Comentar la lista de control de los indicadores de la evaluaclOn I ent cando la base lgica que le sirve de gua, enumerando y de~niendo ~us
etapas, y explicando cmo se relaciona la concepcin ~?rmatlva-sumatlva
con la lista de control de los indicadores de la evaluaclOn.
7. Explicar sus valoraciones de las ideologas valorativas denominadas separatismo, positivismo, administracin y relativismo.
.,.
,
8. Definir su papel y sus principales contribuciones en la profeslOnalIzaoon
de la evaluacin.
Pueden alcanzarse estos objetivos con la simple lectura del material de
esta unidad. Para enriquecer su comprensin de las ideas de Scriv:n, sin embargo, estudie sus escritos originales, especialmente los ~ue menclO~amos a~
final de esta unidad. Buena parte del material que publIcamos aqUl no esta
disponible en la literatura publicada y refleja la relacin laboral que el autor
mantuvo con el doctor Scriven durante ms de diez aos.
)
)
")
")
")
")
")
")
)
)
)
)
')
)
)
)
)
)
)
)
)
La definicin de evaluacin
A 10 largo de los aos, el doctor Scriven ha ido des~rrollando su d~finicin
de evaluacin, pero su mensaje bsico sigue siendo el mIsmo. En un a~t~culo ya
clsico (l967), defina la evaluacin como una actividad metodologlca q~e
consiste simplemente en la recopilacin y combinacin de datos de tra~aJo
mediante la definicin de unas metas que proporcionen escalas comparatlvas
o numricas con el fin de justificar 1) los instrumentos de recopilacin de
datos, 2) las' valoraciones y 3) la seleccin de las metas. Al discutir la evolucin de su definicin de evaluacin, le hemos odo decir a menudo que la evaluacin, esencialmente, es la determinacin sistemtica y objetiva del valor o
)
)
)
)
)
)
)
,
(
344
(
(
(
{
(
(
(
(
el mrito de algn obj~to, y qu~ las evaluaciones se realizarn mejor contra ..

ta~do a u~ evaluador mdependlente para que emita un juicio sobre algn
objeto b~sando~e .en pruebas acumuladas procedentes de su comparacin con
otro,s objetos dIstIntos ~ la hora de satisfacer las necesidades del consumidor.
Se?un est~ punto de vIsta, la evaluacin es preferentemente comparativa: de
ah que a~enda ta.nto a los ~ostes comparativos como a los beneficios, se preocupe ~e como satIsfacer mejor las necesidades de los consumidores sea -en
e! meJ~r. de los casos- un~ actividad profesional que incluye proc~dimientos
sIste~atlcos, . d.e~a ser realIzada tan objetivamente como sea posible y deba
culmmar en JUICIOSy recomendaciones.
(
(
(
(
(
(
{
(
(
(
(
(
(
(
(
,
(
(
(
t
~
,
t
Crtica de otras tendencias

Teniendo en cuenta la definicin precedente, Scriven ha criticado durament~ otros co~ceptos de evaluacin y ha utilizado su anlisis crtico para
ampliar su propIa p.~stura. Ha afirmado que la tradicin tyleriana -que considera que la evaluaclOn debe determinar si los objetivos han sido alcanzadoses fundamenta~mente imperfecta, porque esencialmente no tiene valor. Cree
que las evaluaCIOnes basadas en este mtodo son potencialmente intiles, puesto qu: las metas pro~uestas pueden ser inmorales, poco realistas, no representatIvas de las necesIdades de los consumidores o demasiado limitadas como
para prever efect~s sec~ndarios posiblemente cruciales. En lugar de utilizar
las me~as para gUlar y Juzgar los efectos, Scriven afirma que los evaluadores
deben J~zgar las metas y no dejarse limitar por ellas en su bsqueda de resultados. SI el p.rograma est guiado por metas meritorias, segn l, los evaluadores deben Juz.gar las metas y no dejarse limitar por ellas en su bsqueda
de resultados. SI el programa est guiado por metas meritorias segn l los
evalu~dores deben identificar todos los resultados de un progra~a, valora~ las
necesldad.es de los consumidores y utilizar series de valoraciones para llegar
a concl~slOnes a~~rca del mrito y el valor de los programas.
Scn~~n, tambI~n. se enfrent~ al plan ofrecido por CRONBACH(1963). Cronbach C~I~ICO
la practica predommante de la evaluacin de programas utilizando
tests tIpIficados pa~~ comparar el trabajo de los grupos de control y experimentales, y acon~eJo el uso de un mtodo ms orientado hacia el desarrollo.
Cron~ach advertIa en contra de la utilizacin exclusiva de las planificaciones
e~penmentales co~parativas y sugera que deban utilizarse distintas valoraClOnes para estudIar un programa concreto en profundidad mientras se iba
desarrollando, .Y que. los resultados deban ser utilizados como gua para el
~es~r,rollo. Scnven dIce que este plan de Cronbach olvida la importante distmclOn en~~e la meta y las funciones de la evaluacin, y, de hecho, identifica
la e~~luaclOn ~on una sola de sus funciones, lo que Scriven denomina evaluaclOn formatIva. Apoyndose en su crtica, SCRIVENampli el concepto de
evaluacin en otro de sus artculos clsicos, The Methodology

tion (1967).
345
of Evalua-
Evaluacin formativa y sumativa

En este artculo, Scriven afirma que la principal responsabilidad del evaluador es emitir juicios bien informados. Insiste en que la meta de la evaluacin es siempre la misma: juzgar el valor. Pero, contina, las funciones de la
evaluacin son enormemente variadas. Pueden formar parte de la actividad
de la enseanza, del proceso de elaboracin de currculos, de algn experimento
relacionado con el perfeccionamiento de la teora del aprendizaje, de una
investigacin preliminar a la decisin acerca de la compra o rechazo de los materiales ... , etc. Dice que el fracaso de distinguir entre la meta de la evaluacin (juzgar el valor de algo) y sus funciones (utilizaciones constructivas de
los datos evaluativos) ha conducido a la adulteracin de 10 que se ha dado en
llamar evaluacin, para que ya no vuelva a alcanzar la meta de calcular el
valor. En otras palabras, dice que, demasido a menudo, los evaluadores, al intentar ayudar a los educadores a mejorar sus programas, se han convertido
en cooperadores y han fracasado al juzgar los programas. Para Scriven, una
valoracin objetiva del valor es la condicin sine qua non de la evaluacin.
Con la importancia suprema de la meta de la evaluacin firmemente establecida, Scriven procede a analizar las funciones de la evaluacin. Concluye
que existen dos funciones principales: la formativa, que ayuda a desarrollar
programas y otros objetos; y la sumativa, que calcula el valor del objeto una
vez que ha sido desarrollado y puesto en el mercado.
La evaluacin formativa es una parte integrante del proceso de desarrollo.
Proporciona informacin continua para ayudar a planificar y luego producir
algn objeto. En la elaboracin de currculos soluciona ciertos problemas
acerca de la validez del contenido, el nivel del vocabulario, la utilidad, la
propiedad de los medios, la durabilidad de los materiales, la eficiencia, la eleccin del personal y otras cuestiones. En general, la evaluacin formativa se
realiza para ayudar al personal a perfeccionar cualquier cosa que est operando
o desarrollando.
En su funcin sumativa, la evaluacin puede servir para ayudar a los
administradores a decidir si todo el currculo ya finalizado, pulido mediante la
utilizacin del proceso evaluativo en su primera forma: (formativa), representa
un avance sobre las otras alternativas disponibles lo suficientemente significativo como para justificar los gastos de su adopcin por parte de un sistema
escolar. La evaluacin sumativa, por 10 general, debe ser realizada por un
evaluador externo para que aumente la objetividad, y los resultados deben
hacerse pblicos. Este tipo de evaluacin investiga todos los efectos de los
objetos y los examina comparndolos con las necesidades de los consumidores.
)
")
346
Compara los costes y efectos del objeto con los de aquellos que Scriven ha
llamado competidores crticos, especialmente las alternativas ms econmicas.
En caso de que la audiencia est predispuesta a juzgar slo los resultados
comparndolos con las metas propuestas, la evaluacin sumativa proporciona
juicios acerca de hasta qu punto las metas reflejan, de una manera vlida, las
necesidades valoradas. En conjunto, la evaluacin sumativa sirve a los consumidores proporcionndoles valoraciones independientes que comparan los costes, los mritos y los valores de los distintos programas o productos.
')
347
')
en el trabajo o el estado de salud. Scriven reconoce la impo~tancia de. la evaluacin intrnseca, pero destaca que tambin deben determma.rse y Juzgarse
los resultados, puesto que las relaciones causales entre las vanables del proceso y las de los resultados es rara, o ninguna, la v~z ~n que se conocen a
ciencia cierta. Explica que ambos tipos pueden contnbult, ~anto a la e:,aluacin formativa como a la sumativa. Es particularmente cnUco con las Juntas
acreditadas, a causa de su preocupacin por los criterios intrnsecos,. como el
nmero de libros de una biblioteca, y su fracaso al valorar el trabajO de los
graduados.
Evaluacin intrnseca y evaluacin final

Scriven tambin distingue entre evaluacin intrnseca y evaluacin final.
La evaluacin intrnseca valora las cualidades de una mediacin, sin tener en
cuenta los efectos sobre los clientes, juzgando ciertas caractersticas como las
metas, la estructura, la metodologa, las cualificaciones y las actitudes del
personal, las facilidades, la credibilidad pblica y los informes previos. La
evaluacin final no se preocupa de la naturaleza del programa, de los libros
de texto, de la teora o de cualquier otro objeto, sino ms bien de sus efectos
sobre los clientes. Estos efectos pueden incluir escalas de tests, rendimiento
)
)
')
'>
'>
')
Evaluacin amateur contra evaluacin profesional

En las primeras etapas de la elaboracin de un currculo, Scriven prefiere
la evaluacin amateur (autoevaluacin) a la evaluacin profesional. Quienes han desarrollado un programa, cuando actan como sus propios evaluadores, pueden ser un poco sistemticos y subjetivos, pero tambin son solventes, tranquilizantes, dedicados a la consecucin del xito y tolerantes con
los objetivos vagos y los procedimientos de desarrollo investigativo. Los evaluadores profesionales, si intervienen demasiado pronto, pueden ahogar los
fuegos creativos de un grupo productivo, retardar el proceso de desarrollo
urgiendo a la clarificacin de los objetivos o perder su punto de vista objetivo
alinendolo demasiado con el esfuerzo productivo, entre otras cosas. Los evaluadores profesionales son necesarios, sin embargo, para llevar a cabo las
evaluaciones formativa y sumativa durante las ltimas etapas del desarrollo.
Ambos tipos de evaluacin requieren un alto nivel de habilidad tcnica y
una objetividad que raramente posee el personal que interviene en el desarrollo, pues no est especialmente preparado en la teora y metodologa evaluativas. Scriven recomienda que un evaluador profesional sea incluido en el personal que interviene en el desarrollo para llevar a cabo la evaluacin formativa, y aconseja muy a menudo que los evaluadores profesionales externos sean
los encargados de realizar y presentar las evaluaciones sumativas.
')
La evaluacin sin metas

Dando un paso ms en su amplia preocupacin por la evaluacin .bas~~a
en las metas, Scriven presenta una propuesta contraria bajo la denommaclOn
de evaluacin sin metas. Segn este mtodo, el evaluador p~rman~ce a propsito ignorante de las metas fijadas para el programa. e .mvesuga t~os
los efectos de un programa, independientemente de sus obJetlvos. No exlsten
efectos secundarios que examinar, puesto que los datos acerca de todos l~s.efectos, cualquiera que sea el propsito del programa, son igual~ente adm1S1bles.
Si un programa se realiza como se supone que debe reahzarse, la evaluacin debe confirmar esto, pero el evaluador, a la vez, podr descubrir los
efectos inesperados que los evaluadores que se bas~n en las metas. pueden
olvidar a causa de su preocupacin por las metas prefijadas. En cualqUIer.caso,
Scriven dice que la evaluacin sin metas es reversible y complementana: se
puede empezar sin metas, con el fin de investigar todos los efectos." y luego
cambiar el mtodo basado en las metas para asegurar que la evaluacl0n determinar si las metas han sido alcanzadas. O incluso pueden realizarse simultneamente ambos tipos de evaluacin por diferentes evaluadores. Las ventajas de la evaluacin sin metas, segn Scriven, consisten en que es me~os
intrusiva que la evaluacin basada en metas; ms adaptable a los camblOs
de metas repentinos; ms solvente a la hora de encont.rar efecto~ .secund~ros; menos propensa a la tendenciosidad social, percepttva o cogntttva; mas
estimulante profesionalmente; y ms equitativa a la hora de tener en cue?;a
una amplia gama de valores. En general, nosotros creemos que la evaluaClon
sin metas' es una tcnica renovadora -no un modeloque puede ayudar a
llevar a cabo el mtodo evaluativo orientativo hacia el consumidor.
'>
'>
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
Valoracin de las necesidades
)
)
Una de las dificultades de utilizar la evaluacin sin metas se refiere a cmo

asignar un significado valorativo a los resultados. Si los objetivos se identi-
)
)
,
(
f
(
(
(
(
{
(
(
(
(
{
{
{
(
(
(
(,
(
(
(
(
(
(
348
hcan sin hacer caso de 10 que se est tratando de lograr, cmo se puden
separar las consecuencias deseadas de las indeseadas? La respuesta de SC[~ven
es que deben compararse los resultados observados con las necesidades valoradas de los consumidores. Pero si una necesidad es una discrepancia entre
algo real y algo ideal, y si un ideal es una meta, no estn las valoraciones
de las necesidades basadas en metas, y, por 10 tanto, no estn tambin las
evaluaciones sin metas basadas en metas? Scriven dice que no. Para empezar las metas no deben coincidir necesariamente con cualquier grupo de ideales
co~o los incluidos en una democracia. En cualquier caso, afirma que la concepcin clsica de la necesidad, como discrepancia entre algo real y algo ideal,
es errnea, puesto que los ideales a menudo son ilusorios. Dado que las necesidades de los consumidores son un concepto fundamental en este mtodo,
sus estudiantes y l conceptualizaron ampliamente e investigaron este concepto.
Para Scriven, una necesidad es cualquier cosa que sea esencial para un
modo satisfactorio de existencia, cualquier cosa sin la cual este modo de existencia o nivel de trabajo no puede alcanzar un grupo satisfactorio. Los ejemplos que utiliza, por lo general, son la vitamina C y la alfabetizacin. Cuando
no dispone de esto, una persona puede estar fsicamente enferma o social e
intelectualmente debilitada; de ah que la persona 10 necesite. Para Scriven, la
valoracin de las necesidades es un proceso para descubrir hechos acerca de
si no proporcionar o arrebatar ciertas cosas puede tener funestas consecuencias, todo ello basado en normas razonables sobre lo que es bueno y 10 que
es malo. Dados los resultados de una valoracin de necesidades, pueden juzgarse los resultados de un programa concreto como buenos, malos o indiferentes, dependiendo de si contribuyen o no a satisfacer las necesidades identificadas. Segn nuestra experiencia, este argumento es, actualmente, ms
convincente en el terreno filosfico que en el prctico. Se necesita un alto
grado de desarrollo en el nivel tcnico antes de que la valoracin de las necesidades pueda producir significados factibles y apropiados para juzgar los
resultados.
La lista de control de indicadores de la evaluacin
(
(
(
(
,
l
La lista de control de indicadores sintetiza las primeras ideas de Scriven.

Refleja su concepto de que la evaluacin supone mltiples dimensiones, debe
emplear mltiples perspectivas, introducir mltiples niveles de valoracin y
utilizar mltiples mtodos. De ah que se haya referido a veces a la lista de
control de indicadores como el multimodelo de evaluacin. Sus dieciocho
puntos son los siguientes:
1.
349
Descripcin. Qu hay que evaluar? El evaluado, descrito tan objetivamente como sea posible. Cules son sus componentes? Cules son
sus relaciones?
2. El cliente. Quin ha encargado la evaluacin? El cliente evaluativo, que
puede o no ser el iniciador de la investigacin evaluativa, puede o no
ser el instigador del evaluando -por ejemplo, su fabricante, o la agencia
subvencionadora, o su padrino legislativo-- y puede o no ser su inventor -por ejemplo, el planificador de un producto o programa.
3. Antecedentes y contexto de a) el evaluando y b) la evaluacin. Incluye
la identificacin de los mantenedores (incluyendo los no-clientes enumerados en el punto 2, el patrocinador, los representantes de la comunidad, etc.); la presunta naturaleza del evaluando; las expectativas acerca
de la evaluacin; el tipo deseado de evaluacin (formativa o sumativa;
esquemas organizativos; esfuerzos prioritarios, etc.).
4. Recursos ({sistema de ayudas o ({valoracin de los efectivos) a) disponibles para la utilizacin del evaluando, b) disponibles para la utilizacin
de los evaluadores. No se trata de lo que se utiliza, por ejemplo, en las
compras o el mantenimiento, sino de 10 que puede utilizarse. Incluye
el dinero, la habilidad, la experiencia previa, la tecnologa y las consideraciones sobre la flexibilidad. Esto es lo que define el nivel de viabilidad.
5. Funcin. Qu hace el evaluando? Distinguir entre 10 que se supone
que hace -funcin
o papel propuesta o declarada- y lo que de hecho
hace (funcin real, tanto para el evaluador como para el consumidor);
ambas cosas pueden incluirse en la descripcin, pero, por 10 general, es
mejor tratarlas aparte. Existen dimensiones, aspectos o componentes
obvios de estas funciones?
6. Sistema de distribucin. Cmo llega al mercado el evaluando? Cmo
se mantiene (en servicio)? Cmo se perfecciona (se pone al da)?
Cmo son sus usuarios? Cmo se lleva a cabo su realizacin, control
y perfeccionamiento? Quin hace todo esto?
7. El consumidor. Quin utiliza o recibe (los efectos de) el evaluando?
Distinguir las poblaciones o consumidores escogidos -mercado
desead()---- de las poblaciones de consumidores directamente afectadas de una
manera real o potencial -el verdadero mercad()---- o consumidores o receptores (o clientes del evaluando, a menudo llamados clientela); esto
debe distinguirse de la 'poblacin receptora total directa o indirectamente
afectada, que constituyen los verdaderos consumidores. Advierte que el
instigador y otras figuras de los puntos 2 y 3 tambin resultan afectados,
por ejemplo, por tener un trabajo, pero eso no les convierte en consumidores en el sentido estricto. Sin embargo, debemos considerarlos a la
hora de investigar los efectos totales y podemos describirlos como parte
de los afectados, impactados o implicados.
)
')
350
8.
Evaluacin
El mtodo
sistemtica
Las necesidades y valores de los afectados y potencialmente impactados.

Esto incluye tanto los deseos como las necesidades, y tambin los valores
como las normas sobre el mrito y los ideales juzgados o supuestos (vase punto 9); las metas definidas del programa, cuando se lleve a cabo
una evaluacin basada en metas; y las necesidades, y otras cosas, del
instigador, el controlador, el inventor, ete., puesto que estn indirectamente afectados. La importancia relativa de estas consideraciones, a menudo opuestas, depende de las consideraciones ticas y funcionales.
9. Normas. Existen normas preexistentes y objetivamente valoradas, acerca del mrito o el valor, que deban aplicarse? Procede alguna de ellas
del cliente y el consumidor, de la funcin y de las necesidades/valores?
(Esto incluye los ideales asignados; vanse los ideales del punto 8.) Si se
tienen en cuenta las metas, y si pueden ser valoradas como apropiadas
(por ejemplo, por una valoracin de las necesidades), legales/ticas y todo
lo dems, debe comprobarse si han aparecido en el nmero 8 para ser
aceptadas, como una norma relevante, aqu en el punto 9.
10. El proceso. Qu limitaciones/costes/beneficios
se aplican a la operacin
normal del evaluando (no a sus efectos o resultados del punto 11)? En
particular:
legales / tico-morales / poli ticas / administrativas / estticas /hednicas/ cientficas. Un proceso administrativo tiene limitaciones especialmente significativas en lo que se refiere al grado de realizacin, esto
es, hasta qu punto la operacin real cumple las estipulaciones del programa o las suposiciones del patrocinador acerca de su operacin. Un
proceso cientfico debe utilizar indicadores de los resultados finales cientficamente reconocidos; tambin material cientficamente (o histricamente ... ) solvente de un libro de texto o curso. Puede constituir un
problema tico la relativa importancia concedida a la satisfaccin de las
necesidades de la poblacin escogida y las necesidades de carrera o condicin de otra gente afectada, como por ejemplo el personal del programa.
11. Resultados. Qu efectos ha producido el evaluando (deseados o indeseados)? Resulta til una matriz de efectos: poblacin afectada X tipo
de efecto (cognitivo/afectivo / psicomotor / sanitario / social! ambiental) X
por la puntuacin de las Z de tiempo de reaccin (inmediata/al final
del tratamiento/ms
tarde) X duracin X cada componente o dimensin (si se requiere la evaluacin analtica). Para algunos propsitos, los
deseados (por ejemplo, control del programa, responsabilidad legal), para
otros, no debe hacerse distincin (la evaluacin del producto orientada
hacia el consumidor).
12. Posibilidad de generalizacin a otras personas/lugares/tiempos/versiones. <~Personas significa tanto el personal como los receptores. Esto
tambin puede denominarse posibilidad de distribucin, posibilidad de
venta/ exportacin/ duracin/ modificacin.
13.
14.
15.
16.
17.
18.
evaluativo
de Scriven
351
Costes. En dlares-psicolgico-de personal; inicial-repeticiones (incluyendo preparacin, mantenimiento y perfeccionamiento); directo/indirectoinmediato/ retardado/ rebajado; si conviene, por componentes.
Comparaciones con opciones alternativas, incluyendo las opciones reconocidas y las no reconocidas, las disponibles y las que se pueden crear.
Los principales contendientes en este campo son los competidores crticos y se identifican en trminos de coste ms efectividad. Normalmente
incluyen a aquellos que producen efectos similares o mejores por un
precio menor, y mejores efectos por un coste extra razonable (recursos).
Significado. Una sntesis de todo lo anterior. La validacin del procedimiento sinttico es, a menudo, una de las tareas evaluativas ms dificultosas. Normalmente, no puede dejarse al cliente, que, por lo general,
est mal equipado en experiencia y objetividad; y las frmulas -por
ejemplo, los clculos de coste-beneficiorara vez resultan adecuadas.
Lo ms til es una flexible suma ponderada.
Recomendaciones. Esto puede o no ser requerido, y puede o no desprenderse de la evaluacin; aunque sean requeridas, puede que no sea
posible proporcionar ninguna puesto que los nicos tipos que pueden resultar apropiados no disponen de pruebas cientficas especficas en el
campo de la investigacin. (Los recursos disponibles para la evaluacin
resultan cruciales aqu.)
El informe. El vocabulario, la extensin, el diseo, el medio, la localizaCin y el personal para su presentacin necesitan un cuidadoso exa.
men, igual que la proteccin/ privacidad/ publicidad y la investigacin
previa o la circulacin de los borradores finales o preliminares.
La metaevaluacin. La evaluacin debe ser evaluada preferiblemente antes de a) su realizacin, b) la difusin final del informe. La evaluacin
externa es deseable, pero primero el evaluador principal debe aplicar la
lista de control de indicadores a la propia evaluacil'Sn. Los resultados de
la metaevaluacin deben ser utilizados formativamente pero tambin pueden ser incorporados al informe o transmitidos (resumidamente) al cliente
y otras audiencias adecuadas. (Las audiencias aparecen en el metapunto 7, puesto que son el mercado y los consumidores de la evaluacin.)
)
')
')
')
1
)
')
')
')
)
)
)
)
)
)
.)
)
)
)
)
)
)
)
)
)
Estas etapas no estn concebidas para ser aplicadas en una secuencia concreta, pero deben ser planteadas antes de que se lleve a cabo la lista de control de indicadores. Igualmente, un evaluador puede recorrer la lista de control
muchas veces durante la evaluacin de un programa. Los primeros recorridos
constituyen la evaluacin formativa; los ltimos son lo que Scriven llama
evaluacin sumativa.
La base lgica de la lista de control de indicadores es que la evaluacin es
esencialmente un proceso de reduccin de datos en el que se obtienen grandes
)
)
)
)
)
)
)
f
f
(
352
353
cantidades de datos para luego valorarlos y sintetizarlos en un juicio de valor

g:obaL Al describir este proceso de reduccin de datos, Scriven sugiere que las
primeras etapas ayuden a caracterizar un programa o producto, mientras que
las ltimas pueden ayudar a valorar su validez.
su anlisis de las ideologas alternativas. Por lo tanto, vamos a intentar definir

sus aspectos ms sobresalientes con relacin a las cuatro ideologas. Estas ideologas son la separatista, la positivista, la administrativa y la relativista.
la meta evaluacin
La ideologia separatista
El punto final de la lista de control de indicadores pide la evaluacin de

la evaluacin. Scriven introdujo este concepto en 1968, cuando public un
artculo respondiendo a las preguntas de cmo se evaluaban los instrumentos
de la evaluacin. Dice que sta es una de las muchas preocupaciones de la evaluacin y destaca que los evaluadores tienen la obligacin profesional de que
las evaluaciones propuestas o finalizadas estn sujetas a una evaluacin competente. Su base racional es que la evaluacin es un tema particularmente
autorreferente puesto que se aplica a todos los esfuerzos humanos serios y, en
consecuencia, a la propia evaluacin. Advierte que la metaevaluacin puede
ser formativa, si ayuda al evaluador a planificar y realizar una evaluacin
solvente, o sumativa, si proporciona al cliente pruebas independientes acerca
de la competencia tcnica del evaluador principal y de la solvencia de sus informes. Las sugerencias metodolgicas de Scriven para la realizacin de metaevaluaciones incluyen la utilizacin de su lista de control de indicadores de
la evaluacin, para valorar una evaluacin como producto, de otras listas de
control o de otras normas evaluativas profesionales.
Scriven contempla la ideologa separatista como enraizada en la negacIon

o el rechazo de la proposicin que asegura que la evaluacin es una actividad
autorreferente. Esta ideologa est perfectamente reflejada en las propuestas
evaluativas que requieren la participacin de evaluadores totalmente independientes de lo que se est evaluando. El establecimiento y mantenimiento de
esta independencia del evaluador respecto al evaluando es, a menudo, esencial
para asegurar que los informes evaluativos no van a ser tendenciosos. Adems,
los evaluadores que practican esta ideologa, segn Scriven, no reconocen casi
nunca la necesidad de evaluar su propio trabajo. Muy posiblemente, muchos
de ellos, en cualquier caso, contemplan esta metaevaluacin como un asunto
ajeno, puesto que los evaluadores, segn su concepcin separatista, no pueden
ser objetivos al evaluar su propio trabajo. De ah que Scriven exponga la paradoja de que un evaluador puede tener derecho a evaluar el trabajo de otros,
pero no interesarse por evaluar sus propios servicios, e incluso resistirse a ello.
En esta especie de parasitismo profesional, Scriven ve una imperfeccin
humana bsica: la valorfobia, un intenssimo miedo a ser evaluado. Se
manifiesta cuando los evaluadores, que estn en estrecho contacto con las personas cuyo trabajo estn evaluando, se convierten en cooperantes, pierden su perspectiva crtica y elogian 10 que quiz deberan criticar si se mantuvieran a
mayor distancia del evaluando. La valorfobia puede tambin presentarse cuando los evaluadores se resisten,
por 10 menos evitan, evaluar sus evaluaciones.
y tambin cuando los evaluadores, al valorar los programas, tienen cuidado de
no evaluar al personal del programa.
En oposicin. a esta postura separatista, Scriven afirma que los profesionales, incluyendo a los evaluadores profesionales, necesitan reconocer y tratar
honradamente con la naturaleza autorreferente de la evaluacin. La marca de
fbrica de un profesional es someter su propio trabajo a evaluacin. El hecho
de que todas las evaluaciones sean propensas a la tendenciosidad no debe desalentar a nadie en la evaluacin de su propio trabajo o de encargar a otro que
haga el trabajo. En cambio, se debe responder realizando la evaluacin 10
menos tendenciosamente posible y sometindola a un examen, mediante su
comparacin con normas reconocidas para una evaluacin solvente. En las
llamadas evaluaciones de un programa se debe examinar de un moclo..realista
tanto el personal como otros aspectos del programa, puesto que, invariablemente, el xito y el fracaso son inseparables del trabajo del personal y porque
(
(
(
{
{
(
(
(
(
(
(
(
(
(
(
(
(
(.
(
l
(
f.
(
(
(
,
I
Ideologas
evaluativas
Como se ha visto en el material precedente, Scriven es uno de los crticos

ms reflexivos y expresivos de los conceptos evaluativos predominantes. En coherencia con esta postura crtica, ha destacado que la evaluacin es un tema
particularmente autorreferente, lo cual est de acuerdo con su recomendacin
de la metaevaluacin. En un texto reciente, clasifica los conceptos evaluativos
establecidos en cuatro grupos y critica cada uno de ellos extensamente, con la
esperanza de convencer a los evaluadores de que reconozcan y renuncien a
ci~r.tas tende~~i~s que, se?n l, han debilitado el trabajo evaluativo. Luego
utIlIza su anahsIs de las VIrtudes y defectos de cada mtodo para perfeccionar
la base lgica de su lista de control. Describe este modelo como algo que
abarca las mejores caractersticas de las dems proposiciones serias acerca de
cmo hacer una evaluacin, evitando al mismo tiempo las imperfecciones que
l identifica en las otras propuestas. Creemos que esto puede ayudarle a conocer ms ~ f~ndo la filosofa evaluativa de Scriven, en general, y la lista de
control de llldIcadores de la evaluacin en particular, si examina con cuidado
l
354
1
habr pocas posibilidades de perfeccionamiento a travs de la evaluacin si

no se proporciona una gua para el perfeccionamiento del personal.
La ideologa positivista
Scriven contempla una segunda ideologa, la del positivismo lgico, como
otra reaccin exagerada ante la va10rfobia. En sus intentos de alejar la tendenciosidad de los trabajos cientficos, Scriven piensa que los positivistas
reaccionan exageradamente hasta el punto de intentar convertir la ciencia del
siglo xx, en general, y la evaluacin, en particular, en algo sin valores. Mientras los separatistas rechazan la naturaleza autorreferente de la ciencia o la
evaluacin, los positivistas rechazan la naturaleza evaluativa de la ciencia.
Scriven aporta una serie de casos contradictorios. Por ejemplo, los psiclogos
educativos que aseguran que no pueden hacerse juicios evaluativos con objetividad, producen, sin embargo, juicios evaluativos acerca del trabajo de los estudiantes. Desde luego, la respuesta de Scriven a las imperfecciones del positivismo consiste en conceder una importancia central a la prctica de asignar
significados de valor a los resultados obtenidos en los estudios evaluativos.
La ideologa administrativa
Para Michael Scriven, la evaluacin bien administrada va mucho ms
all de la que simplemente se gua por un administrador competente. Puede,
en cambio, esta ltima, suponer una verdadera indulgencia hacia la valorfobia tanto por parte de los administradores del programa como de los evaluadores. Los administradores del programa pueden imponer controles rgidos
sobre la evaluacin que han encargado para que as no hayan sorpresas. Pueden
desear que slo se evale su programa y no el personal que participa en l
ni, especialmente, el administrador. Y pueden insistir en que la evaluacin
se limite a determinar si han sido alcanzadas las metas fijadas para el programa y a juzgar su trabajo basndose en los deseos de otro acerca del programa.
Para el punto de vista del administrador, esta ideologa administrativa
incluye claramente una tendencia a producir informes favorables. Segn Scriven, muchos evaluadores estn dispuestos a cumplir los deseos del administrador acerca de unos informes favorables y predecibles a causa de una serie
paralela de razones autosatisfactorias. Necesitan futuros contratos o conservar
su posicin evaluativa en la institucin, y proporcionar un informe favorable,
o al menos uno que no ponga nervioso al cliente o al patrocinador, es 10 mejor
que pueden hacer para obtener ms trabajo. A menudo estn incluso dispuestos a evitar cualquier inters por la evaluacin del personal porque esto ayuda
"'
355
')
a hacer que la evaluacin sea ms independiente de las distintas y, a menudo,

opuestas posturas de \lar que puedan mantener las diferente~ ~ersonas implicadas en el programa. y la peticin del administrador de limitar la valoracin a lo que se ha fijado es especialmente simptica, puesto que entonces
los evaluadores no slo evitarn valorar la aplicacin de un programa y especialmente la actuacin de los miembros del personal, sino tambin tratar
con valores, ya que presumen que estn incluidos en las metas del programa
fijadas por el administrador.
En la ideologa administrativa podemos, entonces, ver la posibilidad de
una confluencia de las ideologas separatistas, positivistas y administrativas,
todo ello con efectos negativos. Evitando la evaluacin del administrador y
del personal (lo cual coincide con la ideologa separatista), considerando la
evaluacin como un servicio tcnico desprovisto de determinaciones de valor
(mtodo positivista) y ayudando a los administradores a conseguir el buen
informe que necesitan sobre el logro de sus metas (ideologa administrativa),
el evaluador convierte, efectivamente, la evaluacin en un perjuicio y no en
una contribucin a la sociedad.
Con lo esbozado hasta ahora, el estudio, segn Stake, excluye muchos de
los aspectos vitales de una evaluacin solvente. Puede desalentar, ms que
ayudar, a los clientes, a la hora de examinar crticamente sus metas y servicios. Concentrndose en las metas prefijadas, no puede asegurar que el servicio tenga valor para satisfacer las necesidades de los consumidores. Puede
tambin ser miope y no tener en cuenta si el servicio, el programa o el producto son la mejor compra, cuando podra servir para que los clientes identificaran y compararan mejor las alternativas. Y puede tambin evitar problemas
relativos a la tica y a la prudente utilizacin de los escasos recursos. Para
Scriven, un amplio xito de la ideologa administrativa y sus re1aciories con
otras malas prcticas evaluativas supondra un engao para la sociedad y para
la profesin evaluativa. Utiliza su anlisis crtico de esta postura como plataforma para recomendar una serie de reformas, incluidas en su lista de control
de indicadores. Son las siguien tes:
1.
2.
3.
4.
5.
Realizar las valoraciones de las necesidades como base para juzgar si un

programa ha producido resultados beneficiosos.
Evaluar sin metas para no preocuparse de las metas prefijadas y de
ese modo perder resultados importantes pero inesperados, buenos o
malos.
Comparar 10 que se est evaluando con otras alternativas viables.
Examinar los servicios segn su coste y efectividad.
Combinar la evaluacin del personal con ia del programa.
}
')
)
')
)
')
)
)
)
)
)
)
)
)
)
)
)
)
)
)
)
J
)
)
')
)
)
)
I
f
f
(
356
La ideologa relativista
(
(
{
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
(
El mtodo evaluativo de Scrlven
Otra ideologa que Scriven considera imperfecta y de influencia nociva

para el trabajo evaluativo es la ideologa relativista. Scriven la contempla
como una reaccin exagerada a los problemas relacionados con la ideologa
positivista. Mientras los positivistas, a menudo, han empleado la concepcin de
que existe una realidad objetiva que puede conocer cualquiera que pueda y
quiera utilizar procedimientos valorativos no tendenciosos, los relativistas
afirman que esto es totalmente simplista y slo puede conducir a valoraciones
limitadas que den una importancia exclusiva e inmerecida al punto de vista
de algn grupo poderoso, con la errnea concepcin de que su punto de vista
y sus valoraciones son objetivos. En respuesta a los riesgos del positivismo,
los relativistas afirman que todo es relativo, que no hay una verdad objetiva.
Por lo tanto, abogan por perspectivas mltiples, criterios mltiples, valoraciones mltiples y respuestas mltiples.
Scriven considera que buena parte de este movimiento evaluativo es una
respuesta exagerada que a veces niega la posibilidad de las determinaciones
objetivas del valor o incluso de descripciones objetivamente correctas de los
programas. Aunque tambin rechaza la existencia de una sola descripcin correcta, nos aconseja que no abandonemos la idea de que existe una realidad
objetiva. Aunque puede haber una compleja realidad ms all de nuestra
capacidad presente de comprender y describir a fondo, slo nos engaaremos
a nosotros mismos si creemos que no existe. Aconseja, en cambio, que relativicemos nuestras descripciones para las distintas audiencias. Pero nos advierte que no aceptemos todas las descripciones opuestas como correctas,
como, segn creemos, son propensos a hacer algunos de los relativistas ms
obtusos. En lugar de eso, estamos obligados, como evaluadores, a buscar lo
mejor, lo perfecto, lo ideal.
(
{
(
(
t
t
t
t
f
357
dcadas y han influido sustancialmente en la prctica evaluativa. Los estudiantes que se tomen en serio la evaluacin' deben estudi:u' sus escritos originales
y estar al corriente de sus futuras contribuciones.
Test de conocimientos sobre la ~nldad 10
Ahora proporcionamos diecisis preguntas con muchas posibles respuestas

y cinco afirmaciones para cotejar. Cada una de ellas va seguida de una explicacin de las respuestas alternativas correctas e incorrectas. Estas preguntas
y explicaciones estn concebidas para ayudarle a determinar si ha alcanzado
los objetivos de conocimiento de esta unidad. En cada pregunta, seleccione la
respuesta que considere la mejor. Cuando haya seleccionado una respuesta,
evale su eleccin comparndola con 'las indicaciones y el material interpretativo que siguen a cada pregunta.
Cuando haya contestado a todas las preguntas, deber calificar e interpretar (y, si es necesario, perfeccionar) su trabajo. Luego deber enfrentarse a
unos cuantos ejercicios prcticos. La seccin final de esta unidad propone
Preguntas sin respuesta y recomienda lecturas complementarias.
PREGUNTA1.
11)
b)
e)
Segn Scriven, la evaluacin es
el proceso de determinar hasta qu punto han sido alcanzadas las metas;

el proceso de delinear, obtener y proporcionar informacin til para el
cliente a la hora de juzgar pciones de decisin;
el proceso de determinar las discrepancias entre la realizacin del trabajo
y las normas establecidas;
el clculo del valor.
La profesionalizacin de la evaluacin
d)
En coherencia con su preocupacin por evaluar las ideas y trabajos de sus

colegas evaluadores, Scriven ha hecho un gran esfuerzo por profesionalizar
la evaluacin. Fue uno de los primeros que recomend el desarrollo y utilizacin de las Standards for Evaluations of Edueational Programs (Joint Committee, 1981). Ayud a establecer y desarrollar el Evaluation Network, una
organizacin profesional para evaluadores de programas educativos, sanitarios,
gubernamentales y sociales. Y convirti la hoja informativa de esta organizacin en una muy respetable publicacin, Evaluation News.
Este ha sido un breve resumen de algunas de las contribuciones de Michael
Scriven a la evaluacin. Estas contribuciones se extienden a 10 largo de dos
Respuesta correcta. Debe usted haber seleccionado la d. Segn Scriven,

la evaluacin es el clculo del valor. Es coherente con la definicin formal de
evaluacin que l mismo presenta en The Methodology of Evaluation. (<<La
evaluacin es ... una actividad metodolgica que ... consiste simplemente en
la recopilacin y combinacin de datos de trabajo con una serie de metas que
dan como resultado escalas comparativas o numricas, y en la justificacin de
a) los instrumentos de recopilacin de datos; b) las valoraciones; y e) la seleccin de las metas.)
------_>.
')
)
358
a)
b)
e)
Es incorrecta porque Scriven cree que la evaluacin guiada por una determinada serie de metas puede olvidarse de efectos importantes, y cree
que las metas tambin deben ser evaluadas.
Es incorrecta porque destaca que el evaluador debe proporcionar informacin para la toma de decisiones pero no tomar la decisin, mientras
que Scriven cree que el evaluador debe juzgar las opciones del programa
y as tomar decisiones acerca del programa que se est evaluando.
Es incorrecta porque es una variante de a. Scriven no puede aceptar
como suficiente una definicin de evaluacin que determina slo las discrepancias entre las normas dadas y la realizacin del trabajo. Insiste en
que las normas deben ser valoradas y no deben ser la nica base para la
valoracin del trabajo.
a)
b)
d)
b)
e)
d)
Cronbach recomienda a los evaluadores que utilicen mltiples valoraciones en cada estudio, mientras que Scriven advierte que una prctica de
este tipo es intil y recomienda, en cambio, la utilizacin de una simple
valoradn sumativa.
Cronbach destaca que la principal obligacin de los evaluadores es plantear cuestiones fundamentales relativas a la decisin acerca de si un programa o producto es la mejor compra para los consumidores, mientras
que Scriven insiste en que la funcin ms importante del evaluador es
ser el artesano de quien ha desarrollado el programa.
Scriven afirma que la preferencia de Cronbach por la evaluacin formativa
como opuesta a la evaluacin sumativa es fundamentalmente errnea.
Cronbach insiste en la necesidad de las evaluaciones comparativas, mientras que Scriven afirma que esta prctica puede conducir a resultados
superficiales y no proporciona el nivel necesario de informacin que puede
obtenerse del estudio profundo de un caso de un solo programa.
Respuesta correcta. Debe usted haber seleccionado la opcin e. Cronbach recomienda la evaluacin formativa por encima de la evaluacin sumativa,
y Scriven dice que esta recomendacin oscurece el hecho de que, esencial y
fundamentalmente, cada evaluacin debe producir una valoracin sumativa del
valor y el mrito de un objeto.
')
)
)
')
)
PREGUNTA3. - Con cul de las siguientes afirmaciones estara ms de
acuerdo Scriven?
a)
e)
d)
a)
Es incorrecta porque ambos autores aconsejan a los evaluadores la utilizacin de mltiples valoraciones.
Es incorrecta porque lo opuesto est ms cerca de la verdad.
Es incorrecta porque lo opuesto est ms cerca de la verdad.
")
b)
PREGUNTA2. A 10 largo de los aos, Michae1 Scriven y Lee Cronbach

han mantenido opiniones encontradas acerca de los evaluadores. Cul de las
siguientes afirmaciones representa mejor su desacuerdo esencial?
I 359
Los evaluadores deben decidir si juzgar o no juzgar las prcticas evaluativas de acuerdo con la funcin que debe desempear un estudio evaluativo.
Los evaluadores deben obviar la necesidad de un juicio subjetivo mediante el empleo de planificaciones con un alto grado de validez interna
y externa y con reglas relativas a la decisin.
Los evaluadores deben juzgar el valor de las prcticas educativas que
evalan.
Los evaluadores deben describir totalmente las prcticas educativas, pero
deben evitar emitir juicios sobre esas prcticas.
Respuesta correcta. Debe usted haber seleccionado la e. Scriven afirma

que los evaluadores deben formular y presentar juicios acerca de cualquier
cosa que evalen.
)
)
)
)
)
)
)
)
)
)
)
a) Es incorrecta porque Scriven ha afirmado que los evaluadores deben emib)
d)
tir juicios tanto en la evaluacin formativa como en la sumativa.

Es incorrecta porque Scriven ha advertido que el evaluador, por 10 general, debe operar en situaciones ambiguas e incontroladas. Dice que los
evaluadores deben esperar y no alejarse de estos trabajos. De ah que los
evaluadores no puedan depender de reglas sobre las decisiones o de informacin terminal. Por lo tanto, deben generalmente llevar a cabo la
mfs .profesional de l~s funciones evaluativas: formular juicios y hacerlos
pubhco~ ,en presenCla de una informacin inadecuada e insuficiente.
Scrivenha ofrecido el consuelo de que incluso aunque los juicios de los
evaluadores sean a veces errneos, sern a menudo ms acertados que
los de cualquier otro grupo.
Es incorrecta porque Scriven ha advertido que los evaluadores que fracasan al emitir juicios fracasan tambin a la hora de cumplir todas sus
responsabilidades como evaluadores.
)
)
)
)
)
)
)
)
)
)
)
)
)
(
('
360
361
(
(
(
PREGUNTA
la postura de Scriven relativa a la funcin de la valoracin de las necesidades
en la evaluacin?
.
a)
b)
(
(
e)
(
(
d)
{
(
(
(
(
(
(
Las metas proporcionan la mejor base para juzgar los resultados slo
si los resultados han sido desarrollados como respuestas a las necesidades valoradas.
No es necesario considerar las necesidades de los consumidores como una
base para la valoracin de productos y servicios, puesto que, fundamentalmente, el juicio profesional del evaluador es el determinante del valor
o el mrito de un objeto.
Debidamente concebidas, las valoraciones de las necesidades determinan
los huecos existentes entre los ideales y las realidades en la sociedad, y
consecuentemente son indistinguibles de cualquier otro estudio evaluativo verdadero.
Las valoraciones de las necesidades deben determinar qu cosas, si no se
proporcionan o se olvidan, pueden demostrar ser perjudiciales, y proporcionar as un criterio para determinar si una contribucin concreta es
vlida.
Respuesta correcta. Debe usted haber seleccionado la opcin d. Scriven,

que recomienda una amplia bsqueda de resultados en una evaluacin, afirma
que los resultados identificados deben ser juzgados buenos o malos, dependiendo de hasta qu punto contribuyan, no a alcanzar las metas prefijadas o a
rellenar los huecos entre las realidades y los ideales (que l a menudo considera
prometer la luna), sino a eliminar o prevenir fuerzas que, de otro modo,
pondrn al cliente en una situacin insatisfactoria.
(
(
(
a)
b)
(
(
(
(
b)
e)
d)
c)
Es incorrecta porque Scriven dice que las metas pueden ser demasiado
limitadas y reflejar slo la seleccin de ciertas necesidades de quien ha desarrollado el programa y pueden tambin haber perdido actualidad, puesto
que al. final de un proyecto las necesidades que formaban la base para
elegir las metas del proyecto pueden haber cambiado sustancialmente.
Es incorrecta porque aunque Scriven contempla al evaluador como el
responsable de emitir los juicios y hacer recomendaciones, tambin destaca que estos juicios y recomendaciones deben derivarse de la comparacin de los resultados con las necesidades valoradas.
Es incorrecta porque Scriven anrma explcitamente que no es conveniente una concepcin de las necesidades referida a los ideales, puesto que
a menudo son tan poco realistas que no pueden ayudar a desarrollar recomendaciones prcticas.
La meta de la evaluacin puede variar enormemente, puesto que cualquier

estudio puede plantear una amplia gama de cuestiones; la funcin de
la evaluacin es siempre, sin embargo, la misma: facilitar la toma de
decisiones.
Insistiendo en el papel constructivo que puede desempear la evaluacin
en las actividades (roles) pacificadoras desatendemos el hecho de que su
meta siempre incluye la estimacin del valor.
Las metas de cualquier evaluacin deben ser moderadas segn la relativa
sensibilidad de las funciones que debe desempear el estudio.
La meta de cualquier estudio evaluativo es sumativa, mientras que su
funcin es, por lo general, formativa.
Respuesta correcta. Debe usted haber seleccionado la respuesta b. Aunque la evaluacin puede desempear muchas funciones (tanto constructivas
como destructivas), su meta es siempre la misma: juzgar el valor. Este es el
principal argumento de Scriven, y le permite insistir en que los evaluadores
hacen juicios.
a)
c)
,,
a)
PREGUNTA
5. Cul de las siguientes afirmaciones ejemplifica mejor la
diferenciacin de Scriven entre la funcin y la meta de la evaluacin?
d)
Es errnea porque Scriven slo ve una meta para la evaluacin (el juicio
del valor), pero muchas funciones (relaciones pblicas, informes, directrices para el desarrollo, consejos para contratar un servicio, etc.).
Es lo 'opuesto a la postura de Scriven. El cree que los evaluadores eluden
su responsabilidad cuando no formulan y presentan juicios acerca de los
programas que evalan.
Es errnea porque las evaluaciones formativa y sumativa son funciones
que debe desempear la evaluacin.
PREGUNTA
6. Cul de las siguientes informaciones
utilizacin de la evaluacin formativa?
a)
b)
e)
d)
ejemplifica mejor la
Formular juicios acerca del valor global de un nuevo libro de texto.

Asignar credibilidad o negrsela a los resultados de un proyecto ya terminado.
Valorar la realizacin de un plan de trabajo.
Determinar los efectos finales de una inversin previa.
)
'l
362
El mtodo evaiuativo de Scriven
Respuesta correcta. Debe usted haber seleccionado la opcin c. La evaluacin formativa ayuda al personal del programa a llevar a cabo los esfuerzos
del desarrollo.
a)
b)
d)
Es incorrecta porque el libro de texto ya ha sido publicado y la evaluacin formativa debe llevarse a cabo durante su desarrollo.
Es incorrecta por una razn similar.
Es incorrecta porque el proceso de inversin ha sido ya completado.
PREGUNTA
a)
b)
c)
d)
la
la
el
el
7.
La evaluacin sumativa se describe mejor como
valoracin de las primeras formas de un nuevo producto;

valoracin de un producto cuando ya est en el mercado;
perfeccionamiento de un producto mientras an es moldeable;
relleno de los huecos entre la evaluacin intrnseca y la evaluacin
Respuesta correcta. La mejor respuesta es la b. La evaluacin sumativa

supone juzgar un esfuerzo de desarrollo despus de que el trabajo de desarrollo
ya ha finalizado.
c)
d)
Es incorrecta porque se trata de un ejemplo de evaluacin formativa.

Es incorrecta por la misma razn.
Es incorrecta porque se refiere ms a un problema evaluativo funcional
que metodolgico. El problema de conectar la evaluacin intrnseca y
la evaluacin final reside en cmo relacionar causalmente las variables
dependientes e independientes, y no en si la evaluacin ayuda al desarrollo o juzga los productos terminados.
')
Respuesta correcta. Debe usted haber seleccionado la b. Es la correcta

porque la evaluacin intrnseca es la evaluacin de las cualidades inherentes
al tratamiento y no de los resultados conseguidos por medio de la administracin de este tratamiento.
')
I
1
a)
c)
d)
final.
a)
I 363
Es incorrecta porque el cambio en la actitud del estudiante es un efecto producido por un programa, y no una cualidad, como la orientacin
investigativa, del programa que produce el cambio.
Es incorrecta por una razn similar. El grado e intensidad de la motivacin del estudiante es un efecto, no una caracterstica, de un programa
de enseanza.
Es incorrecta porque pone el nfasis en los efectos sobre los estudiantes.
)
)
)
)
)
9. Segn Scriven, el mtodo evaluativo finalista puro se caracteriza por su preocupacin por
PREGUNTA
a)
b)
c)
d)
los resultados del currculo pero no sus metas;

las metas del currculo pero no sus resultados;
tanto las metas como los resultados del currculo;
ni las metas ni los resultados del currculo.
Respuesta correcta. Debe usted haber seleccionado la a. Aunque determina si las metas han sido alcanzadas, su principal limitacin, segn Scriven,
es que no juzga si han sido bien alcanzadas.
b)
c)
d)
Es errnea
pero s los
Es errnea
Es errnea
en ambos aspectos. La evaluacin final no valora las metas,

resultados.
porque la evaluacin final no valora las metas.
porque la evaluacin final s valora los resultados.
)
)
)
)
)
)
)
)
)
)
)
)
)
PREGUNTA
8. La evaluacin intrnseca
como una valoracin de
a)
b)
c)
d)
puede brevemente
ser definida
el cambio en las actitudes de los estudiantes;

la planificacin de un programa de enseanza;
el grado y la intensidad de la motivacin del estudiante;
los efectos de los instrumentos didcticos en los conocimientos
estudiantes.
10. Cul de las siguientes afirmaciones distingue ms correctamente entre la evaluacin sin metas y la evaluacin basada en las metas?
PREGUNTA
a) La evaluacin sin metas es una evaluacin intrnseca, mientras que la evaluacin basada en las metas es lo mismo que la evaluacin final.
de los
b) La evaluacin sin metas es subjetiva, mientras que la evaluacin basada

en las metas es una evaluacin basada en datos.
)
)
)
)
)
)
)
364
e)
La evaluacin sir: metas valora todos los efectos independientes de las

metas prefijadas, mientras que la evaluacin basada en las metas investiga efectos pertenecientes a las metas prefijadas.
La evaluacin sin metas valora los resultados, los efectos secundarios, los
costes, la viabilidad y otros atributos de un instrumento didctico, independientemente de sus metas, mientras que la evaluacin basada en las
metas valora la moralidad, la claridad y la importancia de las metas.
El mtodo evaluativo de Scrlven
I 365
{
(
f
(
d)
(
(
(
(
(
(
Respuesta correcta. Debe usted haber seleccionado la e. Segn Scriven,

la retrica de las metas no debe dictar y limitar la bsqueda de resultados.
a)
(
(
b)
(
(
b)
e)
Respuestas incorrecta:;
en las metas deben seguir desempeando una funcin. Pero piensa que los resultados de las evaluaciones sin metas pueden aadir una informacin til y
nica a la que ya producen las evaluaciones basadas en las metas.
d)
Es incorrecta porque la evaluacin intrnseca y la evaluacin final diferencian entre las variables relativas a las cualidades de un tratamiento
y sus efectos; el conocimiento de los conceptos de ambas evaluaciones no
ayuda a distinguir entre evaluacin sin metas y evaluacin basada en las
metas.
Es incorrecta porque tanto la evaluacin sin metas como la evaluacin
basada en las metas estn basadas en datos y suponen el desarrollo de
conclusiones subjetivas.
Es incorrecta porque tanto la evaluacin sin metas como la evaluacin
basada en las metas valoran los resultados.
d)
PREGUNTA12. Cul de las siguientes afirmaciones explica mejor el significado de los efectos secundarios en el contexto de la evaluacin sin metas?
a)
(
(
PREGUNTA11. Cul de las siguientes afirmaciones no es una parte de la

base lgica de Scriven para la utilizacin de la evaluacin sin metas?
b)
(
(
a)
(
(
(
b)
e)
(
(
(
d)
La evaluacin basada en las metas es incapaz de producir resultados evaluativos slidos y tiles, y debe ser reemplazada por una estrategia evaluativa ms efectiva.
Los evaluadores sin metas pueden descubrir resultados significativos que,
por lo general, no descubren los evaluadores que se basan en las metas.
Con tal de que los evaluadores determinen los resultados positivos y negativos de un proyecto, no es necesario que valoren particularmente si
las metas prefijadas han sido alcanzadas.
Al concentrarse en comprobar si los objetivos fijados han sido alcanzados,
los evaluadores pueden ser insensibles a los efectos ms significativos,
que no estn relacionados con los objetivos fijados.
t
(
(
(
Respuesta correcta. Debe usted haber seleccionado la a. La base lgica

de las evaluaciones sin metas no consiste en reemplazar a las evaluaciones basadas en las metas. Por el contrario, Scriven cree que las evaluaciones basadas
Una parte de la base lgica de Scriven para la evaluacin sin metas es

que sta complementa los datos proporcionados por la evaluacin basada
en las metas.
Otra parte de la base lgica para la evaluacin sin metas es que no conocer
las metas de un programa no es ningn impedimento con tal de que el
evaluador investigue sistemticamente todos los efectos importantes de
un programa.
Una parte ms de la base lgica de la evaluacin sin metas es que Scriven
ha afirmado que conocer las metas de un programa puede ser un impedimento, puesto que este conocimiento provoca que el evaluador se concentre en los resultados relacionados con los objetivos, dejando de lado
atto tipo de resultados.
e)
d)
En la evaluacin sin metas, los efectos secundarios son la principal preocupacin, porque la evaluacin basada en las metas proporcionar un
profundo anlisis del efecto principal.
Las evaluaciones sin metas no se preocupan por los efectos secundarios
porque son cualidades intrnsecas del instrumento didctico y no una
preocupacin propia de la evaluacin destinada a identificar y valorar
los resultados.
En la evaluacin sin metas, los efectos secundarios son los efectos producidos por la informacin evaluativa acerca del comportamiento de las
audiencias para los resultados evaluativos.
En la evaluacin sin metas, no existen efectos secundarios porque todos
los efectos, y no slo los relacionados con las metas fijadas, son de primersima importancia.
Respuesta correcta. Debe usted haber seleccionado la d. No existe preocupacin por valorar los efectos secundarios porque, desde el principio de la
evaluacin, todas las variables de los resultados, y no slo las relacionadas con
las metas fijadas, son igualmente importantes.
)
')
'
366
367
')
a)
b)
c)
Es incorrecta porque en la evaluacin sin metas no hay distincin entre

los efectos secundarios y los efectos principales.
Es incorrecta porque contiene una definicin incorrecta de los efectos
secundarios.
Es incorrecta porque tambin est basada en una definicin impropia de
los efectos secundarios.
PREGUNTA14. Cul de las siguientes afirmaciones es la mejor base lgica para la lista de control de indicadores de la evaluacin?
a)
b)
c)
d)
El principal trabajo de la evaluacin debe ser conseguir una especie de

inmunidad evaluativa, porque la amenaza o el hecho de evaluar un servicio influye inevitablemente en la conceptualizacin y distribucin del
servicio, y porque esta influencia puede conducir inevitablemente a unos
resultados evaluativos tendenciosos.
Dado que la evaluacin se aplica a los procesos y productos de todo esfuerzo humano, debe aplicarse tambin a s misma.
La evaluacin formal debe ser cuidadosamente planificada, y la metaevaluacin es el trmino introducido por Scriven para referirse al trabajo
que supone planificar las evaluaciones.
La metaevaluacin es un importante medio de incrementar las inversiones
y fondos de la evaluacin y as aumentar las oportunidades evaluativas
de preparacin laboral.
Respuesta correcta. Debe usted haber escogido la b. Dado que la evaluacin es una actividad concebida para ayudar a mejorar las condiciones humanas y dado que todas estas actividades, por definicin, deben ser evaluadas,
la propia evaluacin tambin debe ser evaluada.
c)
d)
La evaluacin es el proceso de formular y ejecutar una secuencia de experimentos crticos comparativos que conduzcan al conocimiento de ciertos fenmenos, como por ejemplo que los resultados de acciones especficas son predecibles.
La evaluacin es un proceso de reduccin de datos que supone caracterizar un proyecto y sintetizar un juicio respecto al valor global del programa.
La evaluacin sirve de gua para un proyecto a travs de cinco etapas de
desarrollo, mediante la valoracin y presentacin de las discrepancias entre
el trabajo y las normas en cada una de las etapas.
La evaluacin supone la comparacin progresiva de los antecedentes prefijados y reales de un programa, las transacciones y los resultados.
Respuesta correcta. Debe usted haber seleccionado la b. Scriven contempla la evaluacin como un proceso sistemtico que supone la caracterizacin y valoracin de un proyecto. Esencialmente, los evaluadores recopilan
y analizan amplias series de datos a travs de una amplia gama de puntos, y
luego sintetizan los datos para que pueda ser emitido un juicio global de valor.
c)
d)
Es incorrecta porque, por el contrario, las metaeva1uaciones, cuando estn

adecuadamente conceptualizadas y realizadas, deben, segn Scriven, conducir a una evaluacin mejor.
Es incorrecta porque las metaeva1uaciones estn concebidas para valorar
todos los aspectos de la evaluacin, no slo los planes evaluativos.
Es incorrecta porque, por el contrario, las metaevaluaciones estn concebidas para, entre otras cosas, eliminar las prcticas evaluativas demasiado costosas.
)
')
')
')
)
)
)
)
)
)
)
)
a)
c)
d)
Es incorrecta porque se refiere a la base lgica para la experimentacin

programtica y no para la lista de control de indicadores de la evaluacin.
Es incorrecta porque es ms la base racional para el modelo evaluativo
de Provus que para la lista de control de indicadores de la evaluacin.
Es incorrecta porque se refiere al mtodo evaluativo de la figura de Stake
y no proporciona una base lgica vlida para la lista de control de indicadores de la evaluacin.
a)
')
')
a)
b)
la base lgica de Scriven para la metaevaluacin?
')
)
)
)
)
)
)
)
PREGUNTA15. Cul de las siguientes afirmaciones explica mejor la relacin entre la concepcin formativa-sumativa de Scriven y su lista de control
de indicadores?
)
)
a)
b)
Los puntos de la lista de control de indicadores de la evolucin son tanto

formativos como sumativos.
Los primeros siete puntos -las etapas caracterizadorasson formativos;
los once ltimos corresponden a la evaluacin sumativa, puesto que se
refieren a la validez.
)
)
)
)
J,
,
(
(
368
e)
d)
La lista de control de indicadores es un modelo evaluativo sumativo.

La lista de control de indicadores es un modelo evaluativo formativo,
bsicamente.
Evaluacin sistemtIca
369
(
(
(
(
(
(
(
(
(
(
b)
e) y d}
Es incorrecta porque Scriven no identifica la caracterizacin y validacin de las etapas con las evaluaciones formativa y sumativa.
Son incorrectas porque la lista de control de indicadores de la evaluacin es tanto formativa como sumativa.
(
(
(
16. Cul de las siguientes afirmaciones explica mejor la

relacin entre la concepcin de la evaluacin sin metas de Scriven y su lista de
control?
PREGUNTA
a)
b)
e)
(
(
d}
(
(
(
,
(
<-
e)
Respuesta correcta. Debe usted haber seleccionado la a. El ltimo ciclo

de las 18 etapas corresponde a la evaluacin sumativa, mientras que los ciclos
anteriores constituyen la evaluacin formativa.
{
(
Es incorrecta porque la lista de control de indicadores no es una explicacin de la evaluacin sin metas.
Es incorrecta porque la lista de control de indicadores modela la evaluacin y no el desarrollo, y porque la evaluacin sin metas no es un modelo evaluativo sino una particular estrategia metodolgica.
b)
La evaluacin sin metas y la lista de control de indicadores de la evolucin son dos estrategias evaluativas diferentes pero complementarias.
La lista de control de indicadores de la evaluacin explica las etapas que
deben seguirse al realizar una evaluacin sin metas.
La lista de control de indicadores de la evaluacin es un modelo del proceso de desarrollo, mientras que la evaluacin sin metas es un modelo
del proceso evaluativo.
La evaluacin sin metas es una estrategia metodolgica apropiada para
ser empleada en una amplia comprobacin de las consecuencias del programa.
Respuesta correcta. Debe usted haber seleccionado la d. Esta explicacin

de la relacin entre la evaluacin sin metas y la lista de control de indicadores
es correcta porque la evaluacin sin metas es una estrategia metodolgica que
comprueba todas las consecuencias del programa, y porque el punto 11 de la
lista de control de indicadores pide una amplia comprobacin de las consecuencias.
PREGUNTAS
17 A 21. Para cada afirmacin de los nmeros 17-21, seleccione, de la lista que le proporcionamos, la ideologa apropiada. Base sus elec.
ciones en su comprensin del anlisis de Scriven. Realice sus elecciones escribiendo la letra correspondiente a la ideologa seleccionada en el espacio que
haya la izquierda de cada afirmacin numerada.
A.
B.
C.
Ideologa separatista.
Ideologa positivista.
Ideologa administrativa.
Ideologa relativista.
p.
--17.
--18.
--19.
--20.
--21.
Respuestas correctas, Debe usted haber respondido

razones proporcionadas:
A
17.
18.
19.
t
t
,,
(
a}
Es incorrecta porque la lista de control de indicadores es un mtodo eva.

luativo global que incluye estrategias como la evaluacin sin metas.
Se opone a la proposicin de que un profesor puede evaluar su

propio trabajo provechosa y justificadamente.
Se refiere errneamente a la dificultad de describir algo total y
exactamente como base para negar su existencia en alguna forma
objetivamente identificable.
Limita la evaluacin a enfrentarse slo a aquellas cuestiones sancionadas por las personas que tienen autoridad sobre el programa.
Rechaza la naturaleza evaluativa de la ciencia.
Se inclina a favor de los informes que demuestran que se han
alcanzado las metas.
como sigue, por las
La ideologa separatista rechaza la naturaleza autorreferente de

la evaluacin y exige que el trabajo de los profesores sea evaluado por un agente externo.
Segn Scriven, los relativistas no slo recomiendan la descripcin
mltiple de un objeto desde distintos puntos de vista (lo cual
tambin recomienda Scriven), sino que se equivocan al pedir una
conexin causal entre su afirmacin de que no existe una realidad objetiva y la dificultad de eliminar la variabilidad en la descripcin de una sola cosa.
Esto pertenece claramente a la ideologa administrativa, puesto
),
I
370
20.
21.
)
371
')
que dice que es el administrador de un programa quien debe

decidir cmo hay que valorarlo: por lo general, slo segn las
metas del administrador y no segn las necesidades del consumidor, ni refirindose al estilo y forma de trabajar del adminisB
trador.
Segn Scriven, los positivistas lgicos se guan por una concepcin sin valores de las ciencias sociales, en general, y de la evaluacin, en particular.
Esto, de nuevo, pertenece a la ideologa administrativa, aunque
concentrase en identificar y valorar slo aquellos resultados pertenecientes a las metas del administrador es congruente con la
postura positivista que los evaluadores deben evitar interponiendo valores de su eleccin en sus trabajos evaluativos.
Las respuestas al ejercicio 1 deben presentar y

desarrollar los siguientes puntos:
')
a) El xito de los trabajos de desarrollo depende de la informacin que prob)

c)
d)
e)
CALIFICACINDEL TEST DE CONOCIMIENTOS.

Ahora que ha completado el
test de conocimientos sobre el trabajo de Scriven cuente el nmero de respuestas correctas. Si contabiliza 16 o ms, ha demostrado usted un conocimiento bsico de la filosofa y los conceptos evaluativos de Scriven. De este modo, est
ya preparado para abordar los ejercicios prcticos del apartado siguiente. Si
contabiliza de 11 a 15, demuestra conocer un poco las ideas de Scriven, pero
probablemente le sera beneficioso revisar el material anterior. Si contabiliza
menos de 11 y an no comprende por qu, antes de pasar al siguiente apartado
debe estudiar de nuevo todo el material didctico de la unidad.
I
"')
porcione continuamente la evaluacin formativa.

Las evaluaciones sumativas, al juzgar el xito de los trabajos de desarrollo ya completados, reflejan si la evaluacin formativa ha supuesto una
gua para conducir los esfuerzos hacia una feliz conclusin.
Generalmente, los evaluadores profesionales son necesarios para realizar
evaluaciones formativas que sean efectivas.
Sin embargo, los evaluadores profesionales, cuando intervienen demasiado pronto en los trabajos de desarrollo, pueden ahogar la creatividad y
perder su objetividad.
De ah que los evaluadores profesionales sean necesarios para realizar
las evaluaciones formativas, pero dado que puede hacer ms mal que bien
en las primeras etapas de los proyectos, es mejor hacer por uno mismo
la evaluacin formativa de estas primeras etapas y emplear un evaluador
profesional para desempear este papel cuando el proyecto ya haya desarrollado un mnimo de estabilidad.
}
')
')
')
}
)
)
)
)
)
)
EJERCICIO2. Suponga que planea evaluar el programa de un grupo de
profesores utilizando la lista de control de indicadores. Resuma las etapas que
debe seguir.
)
)
)
Ejercicios prcticos
Este apartado contiene dos ejercicios prcticos destinados a demostrar si
ha comprendido las premisas y los conceptos bsicos del mtodo evaluativo
formativo-sumativo de Scriven. Responda a las preguntas en hojas de papel
separadas. Tras cada ejercicio hay una lista de puntos que debe usted haber
incluido en su respuesta. Realice el primer ejercicio antes de empezar el segundo. Acuda, tan a menudo como sea necesario, a las lecturas recomendadas
y a las claves contenidas en el test de conocimientos previo.
)
)
a)
b)
c)
EJERCICIO 1. Explique lo que quiere decir Scriven en la siguiente cita:

La evaluacin formativa es una parte necesaria de cualquier mtodo racional
para la produccin de buenos resultados en la evaluacin sumativa, pero la
pregunta de si deben emplearse, y cmo, evaluadores profesionales depende
mucho de si va a ser peor el remedio que la enfermedad.
Las respuestas al ejercicio 2 deben incluir aproximadamente

d)
e)
f)
Caracterizar tan objetivamente como sea posible la naturaleza del programa que se va a evaluar.
Clarificar las audiencias de los resultados evaluativos, incluyendo a quien
haya encargado la evaluacin y a otros grupos interesados, especialmente
estudiantes, administradores y profesores.
Examinar los antecedentes de la necesidad de la evaluacin y clarificar
las cuestiones que deben ser respondidas.
Inventariar los recursos financieros y de otro tipo que estn disponibles
para apoyar el desarrollo, mantenimiento y evaluacin del programa.
Realizar un anlisis funcional del equipo de profesores tal y como operan
realmente, especialmente en lo que se refiere a lo que hacen realmente
los profesores y los estudiantes mientras participan en el programa.
Analizar lo que hace el distrito escolar para asegurar que el programa se
lleva a cabo adecuadamente en lo que se refiere, por ejemplo, a la orien-
)
')
)
)
)
)
)
)
)
)
I
,
(
(
372
373
f
f
(
g)
h)
(
(
i)
(
(
(
j)
(
(
k)
l)
(
(
(
(
m)
n)
o)
p)
(
(
(
q)
tacin y preparacin de los estudiantes, la puesta al da de los planes

del programa y el control y perfeccionamiento de la realizacin.
Examinar cuidadosamente lo que los estudiantes utilizan y aprovechan
realmente de los aspectos del programa.
Valorar las necesidades de los estudian tes y profesores que puedan ser
satisfechas mediante un mtodo de equipo didctico.
Identificar las normas que puede haber desarrollado la profesin educativa para valorar este tipo de programas; descubrir tambin otras normas
de valoracin mediante el anlisis de las funciones y metas del programa;
y, en general, determinar y valorar los criterios de mrito y los argumentos filosficos correspondientes al programa en cuestin.
Examinar el proceso de realizacin para saber qu limitaciones existen en
la operacin normal del programa y ayudar a discernir las partes del plan
del programa que no son viables en las actuales circunstancias o posiblemen te factibles slo all.
Comprobar ampliamente todos los efectos del programa.
Examinar la posibilidad y conveniencia de exportar el mtodo a otras
situaciones escolares.
Valorar los distintos costes financieros, psicolgicos o de otro tipo, referentes al programa en cuestin.
Identificar y valorar los competidores crticos del equipo de profesores.
Validar y sintetizar toda la informacin obtenida.
Extraer conclusiones y recomendaciones respecto a la utilizacin futura
del programa en su marco y en otra parte.
Realizar una evaluacin del trabajo evaluativo y utilizar la primera evaluacin tanto para perfeccionar como para informar a las audiencias acerca de sus virtudes y defectos.
(
(
(
(
,
(
(
(
(
(
En el test de conocimientos, se le ha tratado casi como a un nio. En el

test prctico ha debido realizar un trabajo mayor y le hemos ayudado menos
en la valoracin de sus respuestas. En esta seccin deber arreglrselas totalmente solo. Este apartado presenta muchas preguntas, pero ninguna respuesta. Las preguntas son importantes. A menudo son complicadas. Incluso si recurre a las autoridades en la materia, comprobar que algunas de estas preguntas son polmicas. De ah que, a la manera de un verdadero evaluador estilo
Scriven, debe usted formular sus propios juicios, esto es, desarrollar y estar
preparado para justificar sus propias respuestas a las preguntas.
Con este espritu, le invitamos a considerar y responder las siguientes preguntas. Escriba sus respuestas por separado para poder disponer de ellas en sus
discusiones con otros.
1.
2.
3.
4.
5.
6.
To.:l evaluacin es comparativa? Por qu o por qu no?

. .
La ,C\'a1uacin formativa y la evaluacin sumativa, son conceptos dlstintos conceptual y operativamente? Por qu o por qu no? Justifique su
respuesta con algunos ejemplos.
.
Si un evaluador juzga un programa en un momento determmado, perder su independencia y objetividad respecto a evaluaciones futuras del
programa? Por qu o por qu no? Si es as, debe un evaluad~r dar por
finalizada su relacin con un programa cuando ya ha proporclOnado su
juicio? Si no, cmo puede el evaluador evitar convertirse en un cooperante del personal de un programa que se somete a sus juicios y recomendaciones iniciales?
D:scriba un programa estival de preparacin para profesores de segundo
grado que trabajen en escuelas con un gran nmero de nios poco aventajados. Segn la conceptualizacin de la evaluacin de Scriven, explique
cmo evaluara usted el programa.
Ahora, evale algn programa, proyecto o producto que le sea familiar,
segn el mtodo evaluativo de Scriven. Describa lo que est evaluando.
Resuma su planificacin para evaluarlo. Luego presente sus resultados
evaluativos.
Como tarea final, evale esta unidad segn el mtodo evaluativo de
Scriven.
CRONBAC
H, 1. J. Course improvement through evaluation. Teacher's College
Record, 64, pgs. 672-683.
Joint Committee an Standards far Educatianal Evaluatian. 1981. Standars for
evaluations of educational programs, projects, and materials, Nueva Yark, McGraw-Hill.
SCRIVEN,
Michael. 1967. The methodolagy af evaluatian. En Perspectives on CurrSeries on Curriculum
Evaluation,
n. 1).
Chicaga, Rand McNally.

-.1974. Pras and cons abaut gaal-free evaluatian. Evaluation
ginas 1-4.
Comment,
3, p-
culum Evaluation
(AERA
Monograph
1975. Evaluation bias and ts control. Occasional Paper Series, n. 4, Western

Michigan University, Evaluatiah Center.
-.1983. Evaluatian idealagies. En MAnAuS, SCRlVEN,y STUFFLEBEAM,
Evaluation models, Bastan, Kluwer-Nijhaff.
-.
.),~
..)
i)
\)
INDICE DE AUTORES
.,j
,)
')
')
)
.)
.)
i)
J
Adand, H., 75
Airasian, P., 39
Alkin, M. C., 73
Anderson, S., 25
Ball, S., 25
Bane, M. J., 75
Bigman, 114
Bloom, B. S., 71
Bock, R. O., 72
Brickell, H. M., 203
Brinkerhoff, R., 25, 41
Cahen, L., 239
CarIson, D., 303
Campbell, D. T., 72
Campbell, E. Q., 75
Clark, D. L., 248
Clark, K., 75
Cohen, D., 75
Coleman, J. S., 75
Cook, D. L., 40
Cronbach, L. J., 22, 37, 42,72,73,76,
190, 237, 250, 252, 316, 344
Denny, T., 260
Eisner, E. W., 39
Fleck, A. C., 112
Foley, W., 181
Forehand, G., 239

Gephardt, B., 181
Gintis, H., 75
Gjerde, c., 239
Glaser, R., 39
Glass, G. V., 72, 76
Gooler, D., 266
Guba, E. G., 40, 73, 74, 181, 248
Hamilton, D., 239, 252, 317, 319, 320,
321, 322, 323, 324, 328
Hammond, R. L., 39, 71, 76, 92, 181
Hastings, T., 236, 237
Herzog, E., 112, 118
Heynes, B., 75
Hobson, C. J., 75
James, G., 112
Jenks, c., 75
Johnson, R., 41
Joint Commttee, 41
Kaplan, A., 71
Kellaghan, T., 22, 39
Kemmis, S., 266
Klineberg, O., 112
Kuhn, T. S., 317
Linquist, E. F., 72
',)
,)
.J
J
J'
)
:)
,)
)
)
J
l.)
:]
J
.)
'.)
.]
,.)
)
')
!)
()~
,le
~c
r
f:
(!
e
e
(:
(
e
r
(
(
(
(
(
(
(
(
<:
c..
<:
(.
"
.C
\..
~
'-
(;.,
376
EvaluaCin sistemtica
MacDonald, B., 74, 76, 252, 318, 319

McGraw, B., 266
McPartland, J., 75
Madaus, G., 39
Maquire, T. O., 72
Merriman, H., 181
Metfessel, N. S., 39, 71, 76, 92, 98, 99,
100, 101
Michael, W. B., 39, 71, 76, 92, 98, 99,
100, 101
Mikelson, S., 75
Mook, A. M., 75
Murphy, R., 25
Nader, R., 76
Owens, T., 75, 76, 252, 293, 294, 295,
296, 297, 298
Pahland, P. A., 252
Parlett, M., 252, 317, 319, 320, 321,
322, 323, 324, 328
Patton, M. Q., 190
Peck, H., 41
Popham, W. J., 39, 71, 303, 304
Provus, M., 39, 71, 92, 181, 247, 293,
298
Rein, 316
Reinhard, D. L., 73, 189, 199
Rice, J., 75
Rippey, R. M., 74, 252
Sanders, J., 202

Scriven, M., 21, 22, 25, 40, 75, 76, 95,
187, 208, 237, 242, 250, 252, 293,
341, 342, 343, 344
Smith, M., 75
Smith, 1. M., 252
Smith, N. L., 25, 266
Snow, R. E., 72
Stake, R. E., 22, 40, 42, 74, 76, 157,
161, 184, 187, 238, 239, 251, 252,
253, 298, 326, 328
Stanley, J. c., 92
Stenhouse, 327, 328
Stufflebeam, D. L., 40, 66, 70, 73, 76,
95, 161, 208, 252, 293, 298
Suchman, E. A., 70, 72, 76, 111, 112,
114, 153
Taylor, J. P., 73
Taylor, P., 266
Tyler, R. W., 33, 34, 35, 39, 71, 72,
76, 91, 98, 178, 237, 241, 344
Webster, W. J., 66, 70, 73
Weinfeld, F. D., 75
Weiss, c., 75, 76, 316
Wiley, D. E., 72
Wolf, B., 266
Wolf, R. L., 75, 76, 203, 239, 252, 297
York, R. L., 75
INDICE ANALITICO
A corto plazo, Evaluacin, 118

Administracin de la evaluacin, 126
Administracin y evaluacin, 124, 139
Administrativa, Ideologa, 354
Antecedentes, 241, 243
Antecedentes, Informacin sobre los,
243, 325
Argumentos, Preparacin' de los, 300
Asistentes eV,aluativos,46
Audiencia, Identificacin de la, 27, 153
Audiencias, 301
Autorreferente, Evaluacin, 352, 353
Base lgica, Programa de la, 245
Calidad, Aseguracin de la, 201
Cientfica contra evaluacin naturalista,
Evaluacin, 143
CIPP, Modelo, 175, 177, 183
comparado con el modelo countenance, 184
comparado con el mtodo de Scriven,
187
Cliente de la evaluacin, 43
Comunicacin de los resultados, 157,
257, 260, 326
Comunicacin en la evaluacin, Papel de
la, 157-158
Comunicaciones de los evaluadores, 157,
160, 257
Comunidad polticamente formada, 141
Conclusiones justificadas, 143
Congruencia, Anlisis de la, 246

Contingencia, Anlisis de la, 246
Contraposicin, Tcnica de, 239
Contratos evaluativos y acuerdos de servicio, 253
Control de datos sistemtico, 156
Control de la tendenciosidad, 257, 328
Coordinador de la evaluacin, 45
Countenance, Modelo, 184
Criterio, Valoraciones del, 100
Criterios de xito, 19, 21, 100, 118
Criterios de una buena evaluacin, 27,
141
Criterios para juzgar la informacin y
las comunicaciones, 27, 141
Cualificaciones de los evaluadores, 160,
248, 326, 327
Cuasievaluacin, 65, 70, 159
Cuestiones, Seleccin de las, 154
Cuestiones, Identificacin de las, 151
Cuestiones contra evaluacin orientada
hacia los valores, Evaluacin orientada hacia, 160
Cuestiones evaluativas, 117, 118
Datos de cuestionarios y tests, 324
Decisin, Tipos de, 179
Deduccin, 158
Definiciones de evaluacin, 17, 19, 67,
92,112,113,179,185,186,252,319,
343
Delphi, Tcnica, 196
J~
')
)
378
Indice analtico
Desarrollo de la evaluacin, 51
Descripcin, 241
Diseador de la evaluacin, 44, 143
Diseo de la evaluacin, 143, 144, 145,
204, 251, 256, 261
acuerdos, 127
Diseo de la evaluacin e investigacin
evaluativa, 122, 127, 143, 144, 204,
348
Diseo, Flexibilidad del, 159
Dominios de la evaluacin, 145, 146,
149
Efectos, 122
secundarios, 124, 153
inesperados, 124
Efectos, Valoracin de los, 122
Eficiencia, 119
Entrada, Evaluacin de, 180-181, 191,
197
Entrevistas, 324
Epistemologa, 267
Especialistas en ayuda tcnica, 46
Especialistas en comunicacin evaluativa, 48
Especialistas en informacin evaluativa,
47
Esquema de recopilacin de datos, 243
Estructuracin de las decisiones, 180
Estudios basados en los objetivos, 91,
93,98
Estudios de casos contra estudios experimentales, 159
Estudios de orientacin de la decisin,
72, 175,325
Estudios de relaciones pblicas, 69
Estudios experimentales, 38, 159
Estudios experimentales contra estudios
de casos, 159
Estudios orientados hacia el consumidor,
75, 341
Estudios polticos, 74
Evaluacin, Aproximaciones metodolgicas a la, 120
Evaluacin, Aspectos conceptuales de la,
113
Evaluacin, Conceptualizacin
alternativa de la, 66, 142, 252
Evaluacin, Etica de la, 268, 341-342

Evaluacin, Historia de la, 32
Evaluacin, Meta de la, 124, 125, 140,
316
Evaluacin, Mtodos sistemticos de la,
199
Evaluacin, Muestreo en la, 145-146
Evaluacin, Multimodelo de, 348
Evaluacin, Normas para la, 26, 27, 122,
141, 208, 268
Evaluacin, Papeles de la, 43, 139, 187,
242, 267, 328, 345
contra meta de la evaluacin, 345
Evaluacin, Poltica de la, 139, 159
Evaluacin, Problemas de la, 185
Evaluacin, Profesionalizacin de la, 356
Evaluacin, Propsitos de la, 113, 124,
137,140, 185-186, 187,253,267,293
Evaluacin, Requisitos ESEA para la,
177
Evaluacin, Responsabilidades
sociales y
ticas de la, 268, 342
Evaluacin, Sntomas de una mala, 181
Evaluacin, Tipos de, 66, 118
Evaluacin, Utilizaciones de la, 23, 187,
242, 267, 327, 345
Evaluacin, Validez de la, 144-145
Evaluacin, Viabilidad de la, 21
Evaluacin a corto plazo, 118
Evaluacin amateur y evaluacin profesional, 346
Evaluacin autorreferente,
352, 353
Evaluacin basada en las metas, 346-347
Evaluacin centrada en el cliente, 74,
235
Evaluacin cientfica contra evaluacin
naturalista, 143
Evaluacin como comunicacin,
140,
141, 257
Evaluacin como representacin,
319
Evaluacin comparada con la investigacin, La, 23, 113, 119, 185
Evaluacin comparativa contra evaluacin no comparativa, 22, 23, 250
Evaluacin conductista contra evaluacin
humanista, 143
Evaluacin contra investigacin, 23, 113,
119, 185
Evaluacin contrapuesta, 239, 293

pros y contras, 301
Evaluacin de entrada, 180-181, 191,
197
Evaluacin del contexto, 180, 190, 196
Evaluacin del proceso, 125, 179-180,
191, 199
Evaluacin del producto, 179-180, 191,
201
Evaluacin experimental contra evaluacin naturalista, 253
Evaluacin final, 346
Evaluacin formal contra evaluacin informal, 24
Evaluacin formativa, 187, 345
Evaluacin holstica, 318
Evaluacin humanista contra evaluacin
conductista, 143
Evaluacin iluminativa, 3D, 322
problemas, 327
Evaluacin interna contra evaluacin externa, 126
Evaluacin intrnseca, 346
Evaluacin naturalista contra evaluacin
cientfica, 143
Evaluacin no comparativa contra evaluacin comparativa, 22
Evaluacin orientada hacia el consumidor, 75, 341
Evaluacin orientada hacia el perfeccionamiento, 143, 175, 190
Evaluacin orientada hacia las cuestiones contra evaluacin orientada hacia
los valores, 160
Evaluacin polticamente controlada, 68
Evaluacin preordenada, 239, 258
contra evaluacin respondente,
253,
258
.
Evaluacin respondente, 74, 235,
253, 319
contra evaluacin preordenada,
258
Evaluacin sin metas, 347
Evaluacin sistemtica, 24
Evaluacin sumativa, 187, 345
Evaluacin ty1eriana, 91, 96
ventajas, 94
crticas, 96, 185, 317
251,
253,
379
Evaluacin ltima, 118

Evaluacin til, 140
Evaluacin verdadera, 65, 72
Evaluacin y administracin del programa, 124, 139
Evaluaciones de la planificacin, 139, 151
Evaluador, Papel del, 51,117,139,157,
158-259
Evaluadores, Preparacin de los, 49, 160,
250-251
Evaluadores, Tcnicas de los, 160, 248,
327
Exactitud de la valoracin, 123
Extensin contra fidelidad, 143
Extrapolacin de los resultados, 141,158
')
')
')
')
)
')
)
')
)
)
Fase convergente de la planificacin de
una evaluacin, 154
Fase divergente de la planificacin de
una evaluacin, 152
Fiabilidad, Valoracin de la, 123
Fidelidad contra extensin, 143
Filosofa de la educacin, 266
Final, Evaluacin, 346
Formativa, Evaluacin, 187, 345
Fuentes de las cuestiones, 154
Funciones de la evaluacin contra meta
de la evaluacin, 345
Grupos asesores, Tcnica de los, 198
Holstica, Evaluacin, 318

Humanstica contra evaluacin conductista, Evaluacin, 143
)
)
)
)
)
)
)
)
)
)
Ideologas de la evaluacin, 352

Iluminativa, Evaluacin, 313
Impacto de la evaluacin, 160
Incertidumbre,
156
Informacin, Influencia de la, 155
Informe, Tcnicas del, 157-158
Interna contra evaluacin externa, Evaluacin, 126
Interpretacin
de los resultados,
147,
153, 158, 160, 189,257,347
Interpretacin
de los valores, 147, 153,
158, 160, 189, 257, 347
)
)
I )
')
)
)
')
,)

STUFFLEBEAM, Daniel y SHINKFIELD, Anthony. Evaluación Sistemática.

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

STUFFLEBEAM, Daniel y SHINKFIELD, Anthony. Evaluación Sistemática.

Transféré par

Droits d'auteur :

Formats disponibles

.."....~-...-.,.....,.,...."'""l'-...-. ~...."""":.""...~-..c;:".-:,7...

Gua terica y prctica

l. J. Campian, El nio en su contexto

13. P. Langford, El desarrollo del pensamiento conceptual en la

Buenos Aires - Mxico

en ingls por Kluwer-Nijhoff Publishing,

Traduccin de Carlos Losilla

Gua del lector .

@ 19B5 by Kluwer-Nijhoff Publishing

edicin: Centro de Publicaciones

en Espaa - Printed in Spain

Reparto de papeles en el trabajo e~aluativo

Un anlisis de mtodos alternativos de evaluacin

La evaluacin orientada hacia los objetivos: la tradicin tyleriana

Test de conocimientos sobre la unidad 3

Edward A. Suchman y el mtodo cientfico de evaluacin

La evaluacin y la ciencia administrativa, 125

El pro;ed!miento evaluativo de las ocho etapas, 99

Evaluacin contra investigacin no evaluativa, 119

. Metfessel y Michael: una ampliacin del mtodo tyleriano

Los aspectos metodolgicos de la evaluacin

La evaluacin como proceso terminal 96

Propsitos y principios de la evaluacin, 114

Agunas limitaciones del mtodo tyleriano

Procedimiento de diseo evaluativo, 93

Estudios basados en objetivos, 70

Test de conocimientos sobre la unidad 4..

La planificacin evaluativa segn Cronbach: una sinopsis

Una planificacin previsora y flexible, 139

Unidades, tratamientos y operaciones de observacin, 145

Flexibilidad del diseo, 159

Stuf~ebeam: la evaluacin orientada hacia el perfeccio~am~ent~

Stake: el mtodo evaluativo centrado en el cliente

T. R, Owens y R. L. Wolf: un mtodo contrapuesto de evaluacin

Test de conocimientos sobre lallnidad8

La evaluacin iluminativa: el mtodo holstico

La importancia del proceso de aprendizaje de la valoracin, 316

El argumento a favor, 301

-Los pros y los contras de la evaluacin contrapuesta

La base lgica, 299

Una forma del mtodo de la contraposicin:

Los procedimientos de contraposicin en su contexto legal, 296

del contexto, 196

l disei.o' de ev~luaciones . '

y mtodos de la evaluacin iluminativa

Caractersticas principales de la evaluacin iluminativa, 323

El contexto de los programas educativos, 320

El informe y la toma de decisiones

Problemas relacionados con la evaluacin iluminativa

Las reservas de Stenhouse, 327

GUIA DEL LECTOR

Este libro est concebido para el uso de un amplio grupo de personas

El mtodo evaluativo de Scriven orientado hacia el consumidor

Gula del lector

Escoger sus propios objetivos

La evaluacin de su propio trabajo

nizaciones centrales a ser responsables con todos los implicados y a obtener

~~~~~ar y definir doce funciones principales del trabajo evaluativo.

~~elas distintas definiciones formu-

Como se puede ver, en la afirmacin anterior incluimos la posibilidad

Las distintas expectativas de los clientes.

Los servicios pblicos educativos de una sociedad deben estar pensados

menudo deberan conducir