Académique Documents
Professionnel Documents
Culture Documents
CAPTULO 2
LA EVALUACIN:
UN PROCESO DE DILOGO,
COMPRENSIN Y MEJORA
La naturaleza de la evaluacin.
Un proceso de dilogo, comprensin y mejora.
La evaluacin como dilogo.
La evaluacin como comprensin.
La evaluacin como mejora.
La viabilidad de la educcicin.
La evaluacin es una parte integrante de los proyectos, no algo aadido al final de los mismos,
como un complemento o un adorno que se pondr en funcionamiento si queda tiempo y si se tiene a
bien. Se pregunta por el valor de los programas y de las acciones. Es, pues, sustancial al hecho
mismo de poner en marcha una experiencia. Porque si se disea, planifica y pone en
funcionamiento ser imprescindible conocer qu es lo que se consigue por el hecho mismo de poner
la iniciativa en accin, por qu esa y no otra, por qu de ese modo y para esos fines. La evaluacin
producir dilogo, comprensin y mejora de los programas que se pongan al servicio de los
usuarios. No por el hecho mismo de que estn funcionando son buenos, no porque hayan sido
implantados con la mejor intencin producen los mejores efectos.
Independiente y por ello comprometida. Cuando digo independiente, me refiero a una evaluacin
que no est sometida, sojuzgada, vendida o simplemente alquilada por el poder, el dinero o la
tecnologa. Y hablo de una evaluacin no asptica, no neutral, sino comprometida con unos
principios, con unos valores. El educador debe ser imparcial, pero no significa que sea asptico.
Una postura desinteresada, no comprometida, distanciada del mundo cotidiano y de sus valores es
"moralmente deficiente" (House, 1990).
Cualitativa y no meramente cuantificable. Porque los procesos que analiza, cuando se trata de
programas educativos, son enormemente complejos y la reduccin a nmeros suele simplificar y
desvirtuar la parte ms sustantiva de los mismos.
Prctica y no meramente especulativa. Quiero decir que la evaluacin de la que voy a hablar no
tiene por finalidad producir conocimiento acadmico, realizar informes para publicaciones
especializadas y ni siquiera elaborar un conocimiento terico sobre las experiencias. Tiene por
finalidad la mejora de programas a travs de su comprensin, a travs del conocimiento de su
naturaleza, funcionamiento y resultados.
Cuando no se dispone de evaluadores externos, puede realizarse una autoevaluaci6n que est
asentada sobre los pilares ideolgicos y metodolgicos que aqu se platean.
b) Atribuir las informaciones y las explicaciones poco gratas a la subjetividad -del evaluador
o a la naturaleza cualitativa de la evaluacin.
c) Demandar de la evaluacin los juicios de valor que permitan saber a los destinatarios y
responsables del programa qu es lo que est bien o lo que est mal hecho.
d) Exigir a los evaluadores; las orientaciones precisas para la mejora del programa, las
instrucciones concretas que provoquen un cambio o las soluciones a los problemas o
conflictos existentes.
f) Utilizar la evaluacin como un arma arrojadiza contra quienes piensan o actan de forma
distinta o contraria, principalmente en el caso de que existan grupos enfrentados en el seno
del grupo que desarrolla el programa.
El evaluador puede poner algunos medios para aminorar los peligros del abuso de la evaluacin.
En parte en beneficio de los usuarios de los programas, en parte por el inters de la misma
evaluacin como un proceso potencialmente rico que puede ser desvirtuado por su mal uso. Uno de
los modos de establecer esa garanta es hacer entrega resumida del informe a los usuarios, de tal
modo que el patrocinador de la evaluacin no pueda utilizarla impunemente en suprvecho. Hacer
5
Algunas de estas ideas han sido expuestas anteriormente en un trabajo conjunto (Angulo y otros,
1991) que es obligado citar aqu, La metfora del tringulo, parcial y discutible como toda metfora,
nos sirve para resear las conexiones que el proceso de evaluacin, a mi juicio, debe mantener. La
evaluacin supone una plataforma de dilogo entre los evaluadores y los evaluados, entre diversos
estamentos de los evaluados, entre los evaluadores y las diversas audiencias, entre stas y los
evaluados, etc. Pero el dilogo tiene una doble finalidad: trata por una parte, de generar
comprensin del programa y, por otra, de mejorar la calidad del mismo.
La conexin entre las tres dimensiones, que se realiza en diferentes direcciones y sentidos,
potencia cada una de las vertientes que aqu aislamos para facilitar el anlisis. No son, pues, tres
compartimentos estancos y diacr6nicamente secuenciados sino partes de un mismo proceso que
slo para el anlisis diferenciamos y aislamos. Mientras se realiza el dilogo, y porque se realiza, se
produce la comprensin. Cuando se produce la comprensin es ms fcil y enriquecedor el dilogo.
El dilogo fecundo es una parte de la mejora del programa...
El juicio de valor que la evaluacin realiza se basa y se nutre del dilogo, la discusin y la
reflexin compartida de todos los que estn implicados directa o indirectamente en la actividad
evaluada. El dilogo ha de realizarse en condiciones que garanticen la libertad de opinin, que se
cimenta en la garanta del anonimato de los informantes y en la seguridad de que la informacin va
a ser tenida en cuenta y utilizada convenientemente.
6
El dilogo se potencia discutiendo los criterios del valor de las acciones educativas, de los
resultados que se alcanzan, tanto de los pretendidos como de los secundarios, de la proporcin o
desproporcin de los esfuerzos realizados, del tipo y amplitud del grupo al que va destinado el
programa, del anlisis de las condiciones en que ese,programa se desarrolla...
El dilogo se aviva explicitando los criterios ticos de la evaluacin. Con la aplicacin de esos
criterios se pretende asegurar el ejercicio democrtico de la evaluacin y de sus resultados,
mantener un equilibrio entre el derecho a la privacidad de las acciones y de las informaciones y la
necesidad de conocimiento y responsabilidad social, mantener el nivel de justicia democrtica en la
actividad evaluada.
Los evaluadores han de hacer viable el dilogo desde actitudes abiertas, sencillas, tolerantes y
comprensivas. Asimismo, han de buscar las condiciones (tiempo, espacio, explicaciones,
garantas...) en que ese dilogo pueda desarrollarse adecuadamente y han de cumplir unos
requisitos ticos que garanticen el respeto a las personas, los intereses sociales y el cumplimiento
de las obligaciones asumidas en el marco de la negociacin.
Como animadores del dilogo entre destinatarios del programa y entre stos y los propios
evaluadores, stos han de mostrarse hbiles en la formulacin de preguntas, atentos a la captacin
de las respuestas e inteligentes en la interpretacin de la informacin recibida. Informacin que no
8
En efecto, la discusin de informes constituye una plataforma para el dilogo. De ah que sea
preciso rechazar cualquier tipo de imposicin para mantenerlos secretos o para hurtar una parte de
la informacin. La publicidad de los informes conduce a un conocimiento ms documentado y menos
demaggico. Da pie a que se hable del valor educativo de los programas no desde la arbitrariedad y
el inters sino desde el rigor de los datos. La sociedad tiene derecho a conocer el valor educativo
de las instituciones y de los programas, sobre todo cuando se realizan con fondos pblicos, Aceptar
y alentar informes privados, secretos o sesgados favorece el engao, el beneficio privado y la
arbitrariedad autoritaria.
La evaluacin est guiada por el impulso de la comprensi6n. Se plantea como finalidad entender
por qu las cosas han llegado a ser como son. Lo cual hace necesario saber cmo son realmente.
"Las verdades que hay que decir acerca de los programas educativos son verdades
sociales... Las pretensiones sobre el programa son defendidas y discutidas en un
proceso de debate crtico. Lo que se consideran 'verdades' acerca del programa
depender de la calidad del debate. El debate racional consiste en dar razones y
defender razonamientos con informacin y argumentos.
Una evaluacin puede aportar una contribucin substancal a este proceso de crtica. Puede
reunir informacin relevante para el programa, sus objetivos y aspira. ciones, y puede someterla a
un examen profundo. Puede obtener, articular y compartir la comprensin de por qu el proceso es
como es por referencia a los objetivos de quenes en l participan, los condcionamentos
circunstanciales y las oportunidades disponibles, y reflexionar sobre esta comprensin a la luz del
contexto ms amplo de la experiencia del programa como un todo" (Kemmis, 1986).
10
1. Pretensiones educativas. Quin las pone en marcha y por qu. Qu finalidades ocultas o
manifiestas de otro tipo estn vinculadas a las directamente educativas.
2. Necesidad. No slo considerada en s misma, sino en contraste con otras posibles
necesidades de la sociedad.
3. Destinatarios. A quines va dirigido y qu modos existen de acceder a l. Tanto en lo que
respecta a la informacin como a los canales por los que se accede a l.
4. Procesos que pone en marcha. Qu tipo de actividades contiene y qu actitudes,
conocimientos o destrezas desarrolla en los destinatarios.
5. Resultados durante el mismo programa. Qu es lo que el desarrollo del programa est
consiguiendo en los destinatarios, en los responsables o, de forma indirecta, en otras personas.
6. Resultados a largo plazo. Aunque durante el desarrollo del programa estos efectos no puedan
verse, habr que pensar en lo que suceder a largo plazo con ese planteamiento.
7. Efectos secundarios. Qu- repercusiones de carcter no buscado est produciendo el
programa, tanto en los participantes como en otras personas, quiz potenciales usuarios del mismo.
8. Rentabilidad de los costes. Hay que preguntarse por la proporcin entre el esfuerzo y el costo
del programa y su rentabilidad, ya que los recursos son limitados.
9. Rentabilidad social. El beneficio del programa, desde el punto de vista democrtico, no ha de
verse solamente en los actuales destinatarios sino en las posibilidades de beneficio en cascada.
10. Relacin oferta-demanda. Es interesante saber qu tipo de ofertas se realizan y por parte de
quin en la organizacin de programas, y quines y por qu demandan ese tipo de acciones
educativas.
11. Continuidad en el futuro. Qu tipo de desarrollo posterior tiene el programa, qu posibilidades
de continuidad y de profundizacin encierra en el filturo.
12. Contexto sincrnico y diacrnic. El programa se realiza en un lugar y un momento
determinados, con unos medios concretos. Y tiene una historia que permite comprender cmo son
las cosas en l actualmente.
La respuesta a estas cuestiones depender del punto de vista y del cuadro de valores desde el
que se parta. (Me refiero ahora al evaluador.) La respuesta de los participantes depender tambin
11
a) Sin opinin definida respecto a algunas cuestiones o todo el programa, sea porque no
disponen de datos suficientes, sea porque se contraponen los elementos de juicio.
b) Detractores del programa que buscan datos y desarrollan interpretaciones encaminadas a
la formulacin de juicios negativos.
c) Defensores del valor del programa, unas veces de forma incondicional y poco reflexiva y
otras con el apoyo de argumentaciones slidas y consistentes.
La bsqueda de la comprensin tiene como finalidad preguntarse por los procesos y los
resultados de los programas, tanto de los que tienen un carcter explicito como de los que tienen
una condicin subrepticia, tanto de los directamente pretendidos como de los que aparecen de
forma derivada o secundaria, tanto de los relativos a cada uno de los destinatarios como de los de
carcter general, tanto de los relativos al conocimiento como a otras esferas del desarrollo personal
y social.
La comprensin se realiza a travs de un lenguaje accesible, no slo para' los directamente
implicados sino para cualquier otro ciudadano interesado en la realidad que se evala. No facilitan
la comprensin ni el lenguaje tecnicista, ni la abundancia de frmulas complejas, ni las conceptualizaciones acadmicas que, por otra parte, suponen un nivel de codificacin que cambia el registro de
las informaciones emitidas por los participantes.
13
"Si la evaluacin educativa es una reflexin sistemtica sobre la accin docenteldiscente y organizativolfuncional tiene que ser la base de las innovaciones que se introduzcan" (Casanova, 1992).
a) Por una parte, tiene que ver con la introduccin de innovaciones que, desde la
comprensin que se ha generado, se consideran positivas para la calidad.
b) La pregunta misma por la calidad se convierte en una mejora real. Es decir, que la
preocupacin por conocer qu se entiende por mejora es ya un beneficio que enriquece el
programa.
La mejora habra de ser definida, no tanto a travs de unos parmetros establecidos a priori sino en
la propia dinmica de la accin contextualizada en la que aparece un fuerte juego de expectativas,
motivaciones, intereses, deseos, sentimientos y valores. De cualquier forma, habra que superar un
planteamiento simplista que slo atiende a la valoracin en la obtencin de rendimientos terminales,
sobre todo cuando se miden a travs de pruebas estandarizadas. No es fcil prescindir del
resultado final como uno de los ingredientes del xito del programa. Pero hay que superar esa
visin simplista. Difcilmente podr considerar un xito el programa aquella persona que no supere
las pruebas, si las hubiere. Pero no bastara, a mi juicio, superarlas para decir que el programa ha
14
No todo cambio es, por el hecho de serlo, una mejora. Lo que sucede con la evaluacin es que
permite descubrir, a travs de la comprensin, en qu consiste la autntica mejora de los
programas.
La evaluacin facilita la mejora al preguntar por el valor educativo del programa, al facilitar la
comprensin de lo que sucede en el mismo, al provocar la reflexin y el debate de los implicados, al
urgir las respuestas sobre los posibles cambios.
La mejora de los programas puede tener un carcter inmediato o bien diferido. En el tiempo se
encuentra a veces un obstculo cuando se buscan efectos rpidos que no pueden darse con
inmediatez o cuando se difieren tanto los informes de manera que ya no pueden aprovecharse para
la mejora del programa, ya que los protagonistas son diferentes o no es posible intervenir
adecuadamente.
15
Otra cosa son las estrategias que han de ponerse en marcha para conseguir esta mejora. Los
evaluadores no tienen, a mi juicio, la responsabilidad de poner en marcha esas estrategias, pero s
se preocupan porque la evaluacin no est abocada a la esterildad.
La evaluacin que propongo se siente comprometida no slo con la mejora del programa sino con la
sociedad en general. No tiene una perspectiva neutral sino que toma partido por unos
16
La viabilidad de la educacin
Existen dificultades para que estos procesos se pongan en marcha en el marco de nuestras
instituciones. No es el menor el hecho de que falte sensibilidad y convencimiento respecto a la
conveniencia o bondad de estos mecanismos de comprensin y de mejora. O ms an, de que
haya motivos para realizar ese esfuerzo complementario para reflexionar, entender y cambiar. Es
decir, los profesionales tendran que sentir la necesidad y formular consiguientemente la demanda
de poner en marcha estos procesos. En las instituciones pblicas, en las que los profesores gozan
de la condicin de funcionarios, se hacen ms difciles el estmulo y el inters. Se aade a este
hecho el que algunas personas entienden la evaluacin como una amenaza, no como una ayuda.
Los evaluadores externos pueden ser considerados por algunas personas no slo como intrusos
sino como jueces que sancionan el comportamiento calificndolo de positivo o negativo.
Poner en accin procesos evaluadores de esta naturaleza resulta econmicamente costoso, ya
que exige tiempos y dedicacin intensiva de profesionales especializados. La sensibilidad de los
responsables polticos y sociales ante estas cuestiones relativas a la calidad habra de ser mucho
mayor para que se dedicase un importante caudal de recursos a preguntarse por el valor educativo
de los programas, tanto de los institucionales como de los situados en otros mbitos de accin
social.
La formacin de evaluadores es otra cuestin determinante en el tipo de evaluacin de la que
hablamos. Lo cualno significa que, hasta que no existan profesionales dedicados a este tipo de
trabajo, no se puedan poner en marcha procesos de evaluacin de programas. Los procesos de
autoevaluacin, aunque complejos porque hacen que los propios participantes se interroguen
sobre sus ideas, valores y prcticas, tienen un interesante papel en el cambio y la mejora:
Generalmente la puesta en marcha del proceso de autoevaluacin pone en evidencia las
distintas perspectivas que subyacen en las categoras usualmente consideradas unvocas y que
subyacen en la vida escolar... " (Martn Rodrguez, 1988).
Difundir los informes, crear plataformas de discusin y debate sobre los mismos, avivara la
preocupacin, el dilogo y la comprensin de las realidades educativas. Poner en marcha muchas
17
18