Ma g s t e r e n E d u c a c i n

A s i g n a t u r a : I n v e s t i g a c i n e I n t e r v e n c i n E d u c a t i v a

B i b l i o g r a f a O b l i g a t o r i a
U s o d e t e x t o s s l o c o nn e s e d u c a t i v o s

A u t o r
S a n t o s G u e r r a , M .

T t u l o
L a e v a l u a c i n u n p r o c e s o d e d i l o g o , c o m p r e n s i n y m e j o r a

CAPTULO III

La Evaluacin: Un proceso de dilogo, comprensin y mejora. Santos Guerra, M. Mlaga: Aljibe. 1995.

LOS (AB)USOS DE LA EVALUACIN1

Se insiste mucho en la necesidad e importancia de la evaluacin. Si bien se mira, resulta lgico preguntarse por los resultados de los programas y acciones que se ponen en marcha con pretensiones educativas (Aguilar y Ander-Egg, 1992; Briones, 1991; ngulo, Contreras y Santos, 1991). La evaluacin es una parte intrnseca de la accin racional, no un complemento o un aadido. Si se ha tenido alguna pretensin resulta coherente preguntarse por el resultado de la misma. Poner en marcha procesos de evaluacin resulta, pues, necesario para saber cmo se est trabajando: si se cumplen las previsiones, con qu ritmo, a qu precio, con qu efectos secundarios. La evaluacin es un quehacer imprescindible para conocer y mejorar lo que se hace. No basta poner en funcionamiento programas y acciones excelentemente concebidos. Papagiannis (1986) nos llama la atencin al respecto en un excelente artculo sobre innovacin educativa. En l dice que muchas reformas emprendidas para favorecer a los ms desfavorecidos acaban convirtindose en reformas que favorecen a los ms beneficiados. No basta, pues, planificar inteligentemente ni actuar con buena intencin. Es preciso analizar lo que sucede con el desarrollo del plan y con la incidencia de los imprevistos sobro el mismo. Importa mucho la concepcin que de la evaluacin se tenga. De ella depender, obviamente, la evaluacin que se haga. Hay realidades educativas de extrema complejidad que no pueden ser abordadas por procedimientos simplificados. Unos mtodos estereotipados no pueden recoger la riqueza de la actividad educativa. De ahila conveniencia de que la evaluacin sea realizada mediante mtodos diversos, adaptables y sensibles a la complejidad. Siendo importantes las dos cuestiones que plantebamos (necesidad y naturaleza de la evaluacin), aqu quiero prestar atencin a los problemas que plantea su utilizacin abusiva. Supongamos que se trata de una evaluacin bien

48

La Evaluacin: Un Proceso de Dilogo, Comprensin y Mejo

Los (Ab)usos de la Evaluacin

49

planteada, perfectamente realizada y que ha desembocado en un informe rico y riguroso. Quin garantiza que los resultados de la evaluacin no sean utilizados de forma arbitraria, sesgada o tramposa? La utilizacin que se haga de ella convierte a la evaluacin en un mecanismo intil y puede ser que perjudicial. En ese caso, ms valdra que no se hubiese realizado la evaluacin. Nos estamos refiriendo a una evaluacin de carcter externo, encargada por un patrocinador, sea con el mero consentimiento o bien con la acepcin entusiasta de los responsables y protagonistas de la experiencia. Ahora que se est tratando de poner en marcha Institutos de Evaluacin, importa mucho que existan las garantas necesarias de que van a estar al servicio de la comunidad educativa y de la sociedad y no slo al servicio del poder. Los Institutos de Evaluacin pueden convertirse fcilmente en agencias de control y de publicidad. La evaluacin realizada por expertos se convertira as en un instrumento de dominacin y de engao. Pueden cometer los abusos tanto los patrocinadores de la evaluacin como los responsables del programa o las mismas personas evaluadoras. Cada uno de estos estamentos tendr que hacer frente a dificultades peculiares para evitarlos y mantenerse en situacin de alerta para que los otros no hagan trampas. Si se prefiere, lo plantear de forma positiva: cada uno ha de procurar poner la evaluacin al servicio de los valores y ayudar a que los otros tambin lo hagan.

Algunas veces se dice que se hace evaluacin cuando lo que realmente se ha puesto en marcha es un simulacro absurdo de la misma. Pienso en muchos cursos de formacin en los que, al final, se reparte una hoja con cuatro preguntas a los asistentes. Unas preguntas a las que los asistentes responden de prisa y corriendo situando cuatro cruces en los lugares respectivos. Se ha hecho la evaluacin. No importa quines contestan, para qu lo hacen, qu quiere decir lo que dicen ni quines leen las contestaciones. Si solamente sirviese para satisfacer una ridicula curiosidad sobre la escala de puntuaciones obtenida por los ponentes, podra decirse que se ha llevado a cabo la evaluacin? Lo que est claro es que a los ponentes no les va a permitir aprender nada ni mejorar su prctica, ya que muchas veces ni siquiera tienen acceso a las calificaciones. 2. Elegir sesgadamente para la evaluacin algunas parcelas o experiencias que favorezcan una realidad o una visin sobre la misma. Elegir como objeto de evaluacin una experiencia modlica con el fin de presentarla como prototipo y representacin de toda la realidad es un modo de poner la evaluacin al servicio de intereses bastardos. La generalizacin de los resultados hace engaosa la realidad ante aquellos que slo conocen una parte de la misma. Este peligro aumenta dada la casi siempre fragmentaria y unilateral eleccin de las parcelas de evaluacin. Valorar los cursos de formacin deja de lado la poltica general de formacin, por ejemplo. La evaluacin casi siempre es de carcter descendente. Los que estn en la cspide de la jerarqua encargan evaluaciones sobre los que estn por debajo de ese estrato. Y as sucesivamente. Hasta llegar a la base, que es siempre evaluada y no eficazmente evaluadora. Digo ineficazmente en el sentido de que de esa evaluacin no surgen decisiones. 3. Hacer una evaluacin de diferente naturaleza y rigor para realidades igualmente importantes. Hacer evaluaciones de diferente tipo para experiencias de gran trascendencia, revierte en la valoracin de esas actividades por parte de quienes las realizan y de quienes han de beneficiarse de ellas. En realidad la evaluacin no es ms que un reflejo de la importancia que la dan quienes deciden ponerla en funcionamiento de ese modo. Me servir de un ejemplo. En la enseanza universitaria se evalu la docencia dando como positiva la que se haba realizado en cinco aos. Incluso aquellos que ni siquiera haban estado en las aulas fueron evaluados positivamente. La investigacin, por contra, se evalu mediante tribunales nacionales y sus resultados fueron muy diversos. La conclusin para el profesorado fue que no era rentable acadmicamente dedicarse a la docencia. Era mucho ms eficaz atender la investigacin, las publicaciones de libros y artculos, a ser posible en revistas de carcter internacional.

ALGUNOS (AB)USOS DE LA EVALUACIN. Los abusos de la evaluacin son de diferente naturaleza, pero todos de gran importancia. Unos estn enraizados en la intencin de las decisiones de su puesta en marcha, otros en la interpretacin de sus resultados y algunos en la utilizacin de los mismos por parte del evaluador o de los patrocinadores. Esta utilizacin dolosa no se produce solamente al finalizar la evaluacin sino que puede presentarse en cualquier momento de la misma, en el proceso de la decisin, de la negociacin y del desarrollo de la misma. Veamos, someramente, algunos de los posibles abusos. 1. Convertir la evaluacin en un elogio a quien la patrocina o la realiza. El hecho de proclamar que se estn haciendo evaluaciones es para algunos patrocinadores suficiente. Lo importante no es la evaluacin sino decir que se hace la evaluacin. De hecho, puede quedar sin ningn efecto todo lo que en ella se descubra, sobre todo si es de signo negativo. Si, adems, se ha encargado a personas de reconocido prestigio, la rentabilidad poltica de la evaluacin ser mxima. No importa mucho lo que la evaluacin descubra sino decir a voz en grito que se ha destinado mucho dinero a evaluar, que se ha encargado la evaluacin a los mejores expertos y que se ha tenido el valor de someter al ojo escrutador de valoradpres externos una experiencia educativa.

SO

La Evaluacin: Un Proceso de Dilogo, Comprensin y Mejora

Los (Ab)usos de la Evaluacin

51

Qu beneficio reportaba dedicarse a una actividad a la que se daba tan poca importancia? 4. Convertir la evaluacin en un instrumento de dominacin, control y opresin. Es importantsimo reflexionar sobre los valores al servicio de los cuales se pone la evaluacin. Un proceso de reflexin que acabe potenciando los mecanismos de control y de dominacin, sera poco deseable desde un punto de vista tico. No est garantizado que, incluso con la buena voluntad de quien realiza o encarga la evaluacin, suceda de este modo. De ah la necesidad del control democrtico de la evaluacin y de sus resultados. Nadie tiene la patente de la interpretacin y de la definicin de lo que ha de considerarse como valor. Todos podemos y debemos participar en el debate que sobre este aspecto ha de promover la evaluacin. 5. Poner la evaluacin al servicio de quienes ms tienen o ms pueden. Quien tiene o puede es capaz de encargar, promover o realizar evaluaciones. Los que reciben los servicios tienen tambin una parte de poder, pero hay quienes ni siquiera reciben ese beneficio. De ahila importancia y la necesidad de que la evaluacin tenga en cuenta la voz y los intereses de quienes no reciben el beneficio de los programas. El evaluador debe hacerse eco de su voz (House 1991). Un servicio que funciona de forma extraordinariamente positiva, que es evaluado para que pueda mejorar su eficacia, su eficiencia y su efectividad, podra ser considerado nefasto desde el punto de vista de su valor social, ya que podra ser un privilegio que slo disfrutan injustamente los que menos lo necesitan. No slo es cuestin de enfoques y de actitudes. Es tambin cuestin econmica. Destinar bienes que favorezcan a los ms favorecidos del sistema, tanto en los programas como en la evaluacin de los mismos, ha de ser tenido en cuenta en la metaevaluacin. 6. Atribuir los resultados a causas ms o menos supuestas a travs de procesos atributivos arbitrarios. Si los asistentes a un curso valoran positivamente las sesiones alguien puede suponer que es debido a que eran excesivamente entretenidas, pero poco profundas o sibilinamente halagadoras para la audiencia. Si las valoran negativamente, el interesado puede pensar que se debe a que los asistentes tenan una preparacin insuficiente o una escasa motivacin. Lgicamente, quienes interpretan pueden ser los evaluados o los patrocinadores o, ms en general, las audiencias a las que llegan los resultados de la evaluacin.

Las interpretaciones sesgadas son ms frecuentes en los resultados de la evaluacin cuantitativa, ya que en la de carcter cualitativo estn ms matizadas las opiniones y ms elaborados los procesos. 7. Encargar la evaluacin a equipos o personas sin independencia o valor para decir la verdad. Encargar la evaluacin a equipos que no gozan de independencia real (tica, poltica, econmica...) supone, ya de antemano, conseguir unos resultados favorables. Esta domesticacin de la evaluacin al servicio de los intereses del patrocinador se hace ms grave cuando se realiza a travs de fondos pblicos. El poder, sensible a la crtica, evita de un modo sutil unos resultados adversos. Se podr incluso apoyar en la evaluacin para potenciar su prestigio. No se aclaman ellos mismos, ya que hacerlo resultara inadmisible, sino que consiguen unos aplausos aparentemente nacidos de la objetividad de la ciencia. Esa dependencia operar sobre el modo de hacer la evaluacin, sobre la claridad y la naturaleza del contenido del informe, sobre la fuerza de la negociacin y sobre la actitud, que puede ser silenciosa o beligerante, en el caso de la manipulacin de los resultados. 8. Silenciar los resultados de la evaluacin respecto a los evaluados o a otras audiencias. La evaluacin, sobre todo la que se ha realizado con fondos pblicos, no ha de convertirse en un privilegiado acceso del poder al conocimiento de la realidad. No slo los evaluados tienen derecho a conocer los informes. Todos los ciudadanos interesados en la cuestin han de tener acceso a ese conocimiento. En primer lugar como un modo de llegar a la realidad. En segundo lugar como una manera de control de las decisiones. Si diversas audiencias conocen los resultados de la evaluacin, no ser tan fcil atribuir caprichosamente a ellos cualquier tipo de decisiones. Los ciudadanos podrn salir al paso de esas decisiones y decir: "No, no es eso lo que racionalmente se deriva de la evaluacin". Los informes han de ser plataformas abiertas de comprensin y discusin para todos los interesados. De ese modo la evaluacin se convierte en un excelente medio de dilogo, de comprensin y de mejora de los programas. Esconder los informes, hurtarlos a la mirada de los mismos evaluados y, tambin, de los ciudadanos que tienen el derecho y el deber de preocuparse por la mejora de la sociedad, es un modo de inutilizar y envilecer la evaluacin. Es cierto que esta difusin de los informes ha de tener en cuenta el derecho de los evaluados y de los informantes al anonimato y a la privacidad de su comportamiento y de su opinin. Estas exigencias han de hacerse compatibles con la publicacin de los informes.

,.,,,..,.,,,

,.-,.,

..,.,

......

. -

52

La Evaluacin: Un Proceso de Dilogo, Comprensin y Mejora

Los (Ab)usos de la Evaluacin

53

9. Seleccionar aquellos aspectos que permiten tomar decisiones que apoyan las iniciativas, ideas o planteamientos del poder. La evaluacin es fcilmente manipulable. Se puede fcilmente resumir, seleccionar e hipertrof iar aquel o aquellos aspectos que tienen un especial inters para el poder. Si los informes no estn en manos de los interesados y del pblico, la falsedad en estos resmenes, de estas selecciones, de estas hipertrofias no puede ser conocida, cuanto menos criticada y denunciada. De ah la necesidad de que los resmenes que se entregan a los usuarios de los programas o al pblico en general no sean elaborados por el patrocinador sino por los mismos evaluadores. 10. Hacer pblicas slo aquellas partes del informe que tienen un carcter halagador. Los informes de la evaluacin, tambin aquellos informes parciales o condensados, que llegan a la opinin pblica deben ser realizados por los evaluadores. Si los resmenes los hace el poder es fcil que aparezcan sesgados por intereses o expectativas de carcter particular. Una evaluacin con un informe cercano a las mil pginas fue resumida por un poltico con la expresin siguiente: "Un equipo de expertos ha realizado la evaluacin...; en ella se han obtenido excelentes resultados". Es asombrosa la capacidad de sntesis e imperdonable el abuso de una exploracin larga y costosa. "Excelentes resultados" es una expresin cargada de confusin: a qu tipo de resultados se hace referencia, para quines han de considerarse positivos, quines son los que asilos valoran, qu costo personal y econmico han supuesto... Pero, como es fcil suponer, en un informe tan voluminoso se decan muchas ms cosas. Algunas poco gratas para el poder. El desconocimiento que tiene la audiencia de los procesos, la dificultad de interpelacin pblica, la difcil comprobacin que los replicantes pueden hacer respecto a la perversin de las afirmaciones, facilita la manipulacin. 11. Descalificar la evaluacin achacndole falta de rigor si los resultados no interesan. Existe otro modo de hacer intil la evaluacin. Es descalificarla en cuanto a su rigor en el caso de que sus resultados no sean los deseables. No es que sea una cuestin baladel rigor de la evaluacin. Hay que preguntarse por l sean cuales sean los resultados. Si es o no rigurosa depender de que se den las condiciones de validez internas precisas. Ahora bien, resulta sospechoso que, una vez conocido el informe, cuando existen en l partes muy crticas, el o los aludidos traten de descalificar el valor de la evaluacin atribuyendo a sus mtodos unos defectos o unas lagunas inexistentes.

En el caso de la evaluacin cualitativa, por muchos motivos vulnerable, es ms fcil la descalificacin cientfica. Se dir que se eligieron sesgadamente los informantes, que el evaluador ha interpretado errneamente los datos, que no se ha reflejado fielmente la realidad... Si la evaluacin es de carcter cuantitativo se dir que la muestra no es representativa, que no se aplicaron bien las pruebas, que hay errores de baremacin... 12. Dar por buenos los resultados de la evaluacin a pesar de su falta de rigor, cuando esto es lo que interesa. Tambin se da el abuso de orden inverso. Dar por buenos los resultados de una evaluacin realizada de cualquier manera cuando los resultados son favorables. Una evaluacin apresurada, sin aplicacin de mtodos diversificados, con una interpretacin descaradamente arbitraria, puede darse por buena por el inters que el patrocinador o los responsables tienen en los resultados obtenidos. En la publicacin de los resultados se har hincapi ms en los productos que en los modos de conseguir los datos. La calidad de la informacin obtenida es manifiestamente mala. Se ha entrevistado slo a los responsables, no se ha garantizado el anonimato de los informantes, han existido presiones o amenazas... Nada importa cmo se han conseguido los datos, cmo se ha realizado la interpretacin de los mismos, cmo y con quin se han negociado los informes finales... Slo importa el resultado final, algunas veces previamente solicitado de unos evaluadores excesivamente acomodaticios. 13. Utilizar los resultados para tomar decisiones clara o subrepticiamente injustas. La evaluacin puede ser utilizada, incluso de forma intencional y planificada, para tomar decisiones que los responsables polticos no se atreven a tomar sin el apoyo externo de los informes de evaluacin que han elaborado los expertos. La explicacin que se ofrece al pblico es del siguiente tipo: "No es una decisin caprichosa ni interesada. Los expertos, en los informes de la evaluacin, han aconsejado que se tomen estas decisiones". La evaluacin se convierte as en una palangana donde lavarse impunemente las manos. Si se encarga la evaluacin a quienes digan lo que se espera y desea, si se pide la evaluacin en un momento determinado, si se leen los informes desde una ptica interesada, ser fcil llegar a las conclusiones que se buscan y, desde ah, a las decisiones previstas. Desde la lectura sesgada de los informes se puede suprimir un programa, aumentar un presupuesto, destituir a una persona, sustituir a un equipo, retirar unos materiales... No se hace, aparentemente, de una forma arbitraria. Se hace con el apoyo de la aportacin cientfica de la evaluacin realizada por personas que llevan la etiqueta de independientes.

....

....

54

La Evaluacin: Un Proceso de Dilogo, d omprensin y Meio

Los (Ab)usos de la Evaluacin ALGUNAS PISTAS PARA EVITAR LOS ABUSOS.

55

14. Aprovechar la evaluacin para hacer falsas comparaciones entre lo que es realmente incomparable. Algunas evaluaciones pretenden comparar realidades y experiencias que son incomparables. Una evaluacin estandarizada ofrece la comparacin de los resultados como si las condiciones previas fuesen idnticas. En realidad no han existido los mismos medios, ni las mismas condiciones, ni las mismas expectativas. Es ms, los sujetos no han tenido la misma preparacin. Algunos Centros han comparado los resultados de las evaluaciones con las de otros Centros, sin advertir a los intrpretes que los alumnos ya estaban seleccionados previamente, que han contado con muchos ms medios y que las expectativas de los alumnos y sobre los alumnos han sido incomparablemente mejores. La evaluacin, en este caso, se convierte en un clasificador injusto de las personas y de las experiencias. El aparente rigor de los nmeros y de las estadsticas conlleva un engao aadido. Los Centros o las experiencias jerarquizan a travs de unos indicadores cuantificados que desvirtan la complejidad de la realidad y que dan por idnticos los contextos y las condiciones que no lo son. 15. Atribuir los malos resultados no al desarrollo del programa sino a la torpeza, la pereza o la mala preparacin o voluntad de los usuarios del mismo. Explicar los resultados atribuyendo a los dems las causas de los fracasos hace que nada cambie despus de las evaluaciones. Los responsables achacan la ineficacia a la escasa preparacin y esfuerzo de los usuarios, stos a las malas condiciones e insuficientes medios del programa, los polticos a los defectos y falta de responsabilidad de unos y otros. Las acusaciones mutuas psrpstan el statu quo y hacen intil la evaluacin. Esto sucede especialmente en las evaluaciones de carcter cuantitativo en las que no se dan explicaciones ni se hacen valoraciones de los procesos. Cuando se hace solamente una medicin de resultados conseguidos con el programa y no un anlisis de todo el funcionamiento, se corre el peligro de que las interpretaciones posteriores no lleven a la reflexin y al cambio. Cronbach (1963) dice que en los programas existen elementos estructurales, personales y materiales. La evaluacin no ha de realizarse solamente sobre los resultados conseguidos por los usuarios, como si los resultados dependiesen exclusivamente de su capacidad, de su esfuerzo y de su dedicacin. Todos los elementos intervinientes son importantes. Un programa puede fallar por el momento en que se ha puesto en marcha, por su mal diseo, por la insuficiente preparacin y dedicacin de los organizadores, por la escasez de medios disponibles... Si no se tienen en cuenta todos los elementos a la hora de evaluar es fcil llegar a conclusiones distorsionadas.

Asegurar la independencia de los evaluadores es un medio de evitar los abusos de la evaluacin. Esta independencia tiene componentes econmicos, polticos y, por supuesto, ticos. Si los equipos de evaluacin han de sobrevivir de los trabajos que realizan ser ms fcil que se acomoden a las exigencias de los patrocinadores y ser casi inevitable que pongan las evaluaciones al servicio de quien tiene el poder del dinero o el dinero del poder. La evaluacin tiene un carcter poltico aunque aparezca superficialmente como una actividad de carcter tcnico. "Los evaluadores difcilmente se consideran a s mismos como figuras polticas, sin embargo, su trabajo se puede considerar como inherentemente poltico", dice Barry McDonald (1976). Consiguientemente, la evaluacin tiene un fuerte componente tico, porque tiene mucho que ver con el valor de los programas y con el servicio a la comunidad social. Con equipos dependientes del poder ser difcil que haya garantas de libertad. La domesticacin de los evaluadores es e! principal escollo para la eficacia. La eleccin de equipos que tengan una fuerte adhesin a valores sociales facilitar la realizacin de la evaluacin desde perspectivas socialmente enriquecedoras. Los evaluadores negociarn con el patrocinador los principios que garanticen, hasta el punto en que se pueda, una utilizacin positiva de la evaluacin. Una de estas condiciones o principios ser el difundir el informe o un resumen del mismo entre los usuarios y otras audiencias. De este modo no ser fcil que el poder utilice caprichosa o tendenciosamente los resultados de la evaluacin. Someter las evaluaciones a procesos de metaevaluacin es un mecanismo importante de control. Desde este anlisis de las evaluaciones se podr opinar si se han elegido parcelas de forma tendenciosa, si ei momento es adecuado o est determinado por intereses espurios, si se ha destinado el dinero a las evaluaciones con buenos criterios, si se han elegido los equipos de evaluacin con exigencias rigurosas o ms bien partidistas, si se han negociado los informes de forma seria y exigente, si se han tomado las medidas oportunas una vez examinadas las conclusiones, si se han puesto las decisiones al servicio de los ms necesitados o, por el contrario, al de quienes ya tenan lo suficiente... La transparencia de los procesos en todas sus fases (decisin, eleccin, negociacin...) es un elemento imprescindible para garantizar el buen uso de la evaluacin. Si la iniciativa de la evaluacin parte del grupo de responsables y usuarios que tienen participacin en el programa, ser ms fcil garantizar el buen uso de la evaluacin. Sera ms complejo alterar el proceso, manipular los resultados, malinterpretar los datos y hacer un mal uso de las conclusiones. Todo el proceso (decisin, negociacin inicial, negociacin interactiva, exploracin, negociacin del informe final, toma de decisiones...) estara controlado por la participacin democrtica del grupo.

56

La Evaluacin: Un Proceso de Dilogo, Comprensin y Mejora

Estas cuestiones se enraizan en la tica de la evaluacin (Adelman, 1984; Simons, 1988; Eisner, 1985; House, 1980). Una cuestin frecuente e inexplicablemente olvidada o postergada. No basta hacer evaluaciones. No basta siquiera hacerlas bien. Es preciso saber al servicio de qu valores y de qu personas se ponen.

* Publicado en Cuadernos de Pedagoga. N 215. Junio de 1.993.