Académique Documents
Professionnel Documents
Culture Documents
Haciaunaevaluacin
autnticadel aprendizaie
PAIDOSEDUCADOR
,1623
6
PAIDSEDUCADOR
Pedro Ahumada Acevedo
l t i m o s t t u l o s p u b lica d o s:
En este escenario, los docentes que actualmente se desempean educacionales,los procesosde formacin y desarrollo profesional de
en los distintos niveles educacionales esperan conjustificada ansie- los docentes, la estructura y complejidad de ra ensenza, se fraca-
dad una respuesta de quienes de una u otra forma alentaron, por lo sar en cualquier intento innovador de las prcticas evaluativas de
menos desde un punto de vista terico, la incorporacin de un pro- nuestros docentes.
ceso evaluativo autntico, centrado en la demostracin de evidencias Hoy en da, los investigadores suelen dar mayor relevancia a la
de aprendizajes significativos en los estudiantes. evaluacin de los procesos de aprendizaje que a los resultados mis-
Los supuestos tericos de intentos reformistas, basados en una mos, ya que consideran clave el desarrollo de ciertas capacidades y
deseadainnovacin, presionan con nuevas concepciones y formas de habilidades de pensamiento,la comprensin profunda y global de los
actuacin, la mayora de las vecescontrapuestasa aquellas que actual- contenidos curriculares y, sobre todo, su relacin .on lu vida real.
mente se practican en las aulas de los sistemasescolares.No debe Esta concepcin educativa exige el desarroilo de una evaluacin
olvidarse que estas innovaciones estn alejadas de la formacin pro- individualizaday multidimensional que se contrapone a la concep-
fesional inicial que recibieron los docentes, la cual se sustentaba, cin didctica vigente, centrada en una enseanzagrupal y estanda-
como ya lo sealamos,en una concepcin que parta desde el pro- rizada. A continuacin se sealan algunas diferencis entre lo que se
fesor hacia el alumno. pretende con una concepcin innovadora de la evaluacin y l que
Por otra parte, existe un divorcio entre legisladores, investigado- irctualmentesucede en una concepcin tradicional de este proceso
res y acadmicos especializadosen el tema, y los profesores encarga- (cuadro 2).
dos de poner en prctica las innovaciones metodolgicas y evalua- De esta forma, las nuevas propuestas de evaluacin autntica y
tivas en el trabajo del aula. Resulta evidente una clara diferencia :rlternativa se enfrentan con las formas tradicionales de evaluacin,
epistemolgica y metodolgica entre los que impulsan los cambios lo que dificulta cualquier intento por incorporar innovaciones en
y quienes los efectan (figura 5). Es la clsicadivisin entre teora y cste mbito didctico. La realidad evaluativa ha configurado un mo-
prctica, entre pensamiento y accin, entre decisin poltica y ejecu-
cin (vaseM. A. SantosGuerra, 1995).
Introducir una innovacin en el mbito educativo supone incor- Drscunso DEscENDENTE
porar un conjunto de teoras o procesos ms o menos sistemticos (polticosy acadrnicos)
y codificados, comprometidos con la modificacin de las concepcio-
nes y prcticas pedaggicasque tienen lugar en las instituciones edu-
TEORIA PENSAMIENTO DEcrsroNpolrlcR
cativas.SantosGuerra sealaque poner en marcha una innovacin
significa cumplir una serie de condiciones de construccin y parti- .-.
^4.
cipacin social,capacitaciny potenciacin de las instituciones edu-
cativas,articulacin de una serie de procesos y establecimiento de v * *
una estructura de complementacin en la institucin en donde se PI{ACTICA ACCION EJECUCION
cst innovando. Lo anterior implica que las innovaciones que se pre-
lcndieron introducir en la educacin formal respecto del proceso de
lu cvaluacin, pero que no se asumieron plenamente en los divc'sos DrscunsoscENDENTE
rrivclcsclcl sistemaeducativo, fueron concebidascorrlo rrrrccsos<lc: (profesoresy estudiantes)
rrrt'ioritrnicnl()
puntual y aislado,lo cual probirblcrrr(:r)l(:
n() inclrry<i
I orlos los <'o tttron( ' lll( ' s r lt ' l r t ' o<r ' s o < lr ' < ' r r s c i l : t t t z l t - : t r t<'t t <l i z : jrt '. S i r r r r l " l r ; t r H , , t4 . I)is. r 'r ' r : r r r <'i; c.
r sll'c cl r liscr r s. t c<'lr - icoc. <: v; r lt r ^r : i<in
y
ri(' l( )n r:rn ('lr ( lt('r t l; t l: t c s t r r t ( lr t t ; t r lr ' , ' ; ir ir r t l <'l o s c s l ; r l r l t 'r 'i r l i c n l r s l: r s r r ': i<
t i<. : r scvr r lr ur liv; r s
34 HACIA UNA EVALUACIN AI'TNTICA DEL APRENDIZAIE cENTRADoSEN pRUEBAS
EL ocAso DE Los srsrEMAs TRADTCToNALES 35
delo de gran potencia y un estilo de trabajo en el aula estable y per- ca, desconociendo otros mbitos de manifestacin que, probable-
manente. mente, son de tanta o mayor importancia que el mejoramiento tc-
Es un lugar comn que tanto los estudiosos de la educacin nico de dichos procedimientos.
como los legos en estos temas piensen que el examen es un elemento Histricamente, el examen fue un instrumento creado por la bu-
inherente a toda accin educativa. Es decir, es "natural" creer que rocracia china para elegir miembros de castas inferiores, de forma
despus de una clase los estudiantes deben ser examinados para va- que en su origen mismo no era sino un elemento de discriminacin.
lorar si adquirieron el conocimiento expuesto. Un estudio sobre la Existen evidencias de que hasta antes de la Edad Media no estaba li-
historia del examen en las prcticas pedaggicas mostrara la false- gado a las prcticas educativas, sino a actividades de carcrer mer-
dad de esta afirmacin. cantilista. Como herramientapara calificar el trab{o escolar,los ex-
Como sealangel Daz Barriga (1994): "Si el examen no es un menes datan de finales del siglo xIX, cuando en Europa se inicia el
problema ligado histricamente al conocimiento, s es un problema denominado movimiento psicomtrico. como se aprecia, sus funcio-
signado por las cuestiones sociales,sobre todo [por] aquellas que no nes fueron variando hasta que se establecieroncomo nicos instru-
puede resolver". mentos vlidos y confiables para determinar los aprendizajes de los
De lo anterior se deduce que en relacin con los exmenes en ge- estudiantes.
neral y las pruebas en particular se ha ido constituyendo un espacio De esta manera, el examen aparececomo un espacio sobredimen-
de convergencia de un sinnmero de problenas de muy diverso tipo: sionado en su importanciay en su influencia, puesto que lo respe-
sociolgicos, polticos, psicopedggicosy tcnicos. Sin embargo, tan los responsablesde la poltica educativa, los directivos de las ins-
esta problemtica slo se ha analizado desde una dimensin tcni- tituciones escolares,los padres de familia, los alumnos y, desde luego,
los mismos docentes. Si bien cada grupo social tiene una imagen del
papel que desempea el examen, todos coinciden en sealar que a
Cu.tono 2. Diferencias entre el enfoque predominante travs de l se alcanza efectivamente la "objetividad" sobre el cono-
de la evaluacin y el enfoque autntico que se intenta introducir cimiento que logra cada alumno en el sistemaformal de educacin
rle su pas. As pues, la objetividad y la practicidad se reconocen
Enfoqueactual predominante Unn nuevapropuestaevaluativa (:omo dos razones fundamentales para continuar mejorndolos yjus-
tificando su empleo mayoritario en los sistemaseducativos formales
Enseanzay evaluacingrupaly Enseiranzapersonalizaday rlc todos los pases.
uniforme evaluacindiferenciada A partir del reconocimiento de csta funcin selectiva de los ex-
rrcnes,la discusin, lamentablementc, se ha centrado slo en aspec-
Predominiode la funcin admi- Predominio de la funcin
f <stcnicos que permiten dar una imagen de cientificidad a los ins-
nistrativa diagnstica
l'ulnentos de prueba, como lo demuestra la enorme cantidad de
Evaluacinen trminos de logros Evaluacinen trminos de t'studios e investigacionesreferidas a las propiedades de objetividad,
o resultados dominio de procesos virlirlezy confiabilidad de dichos instrumentos.
Predominiode pruebasdc lrpiz Ac c ' r t:tci ri tln t' ((' crti c' l rs
c i rrstrtr- l,:rs<liv.r'sirs rcorrrsclc la medicin sirvieron como marco en el di-
y papcl n l (' n t( )st' vl rl trr(
i vos rrri rl Ii rl cs s('r()(' irrrrllrnllt:i<in
rlc l<lsrr<lccclirnientos
de pruebas;a partir de
36 HACIA UNA EVALUACIN AUTENTICA DEL APRENDIZATE EL ocAso DE Los srsrEMAs TRADIcToNALEScENTRADos EN pRUEBAS 37
ellas se derivan metodologas para la asignacin de puntajes y se cle un grupo con nivel heterogneo de habilidades, pero poco discri-
proveen los mecanismos para caracterizar las preguntas. Sin duda, ninatorio si el grupo que present la prueba es muy homogneo
esto ha mejorado los mtodos de anlisis e interpretacin de los re- (esto es, si todos los estudiantestienen un nivel de habilidad similar).
sultados de los estudiantes. Por otra parte, en lo que respecta a las Otra debilidad de la teora clsica es suponer que la precisin con
preguntas de una prueba, se utilizan propiedades que permiten re- que se mide es igual para todos los examinados, independientemente
conocer sus atributos particulares como el nivel de "dificultad" (qu de su nivel de habilidad. Este supuesto, a pesar de considerarse bas-
tan compleja es la pregunta para los que responden) y el nivel de "dis- tante discutible, no pudo evitar que se generaran las denominadas
criminacin" de un tem (capacidad que tiene para distinguir a los "pruebas nacionales", las cuales pretenden medir la habilidad de los
"buenos alumnos de los malos"). Ambas caractersticas siguen uti- cxaminados en forma independiente de los tems que enfrentan; es
lizndose para determinar si un instrumento es tcnicamente vlido cleci llegar a una caracterizacin de los tems sin considerar la po-
en la medicin de determinados aprendizajes. blacin a la que se aplican al mismo tiempo, constituir una medi-
En consecuencia, el indicador de la habilidad, la aptitud o el da ms fiel de la precisin con que se esr midiendo dicha habilidad.
rendimiento de un estudiante corresponde a su puntaje en la prue- La satisfaccin de los requerimientos anteriores se ha intentado
ba, construido con base en el nmero de respuestascorrectas que cncontrar en la teora de respuesta al tem (IR.I, por sus siglas en
obtuvo. La relatividad de estos estudios conduce a respetar el com- ingls). Los modelos IRT se centran en los tems y pretenden estable-
portamiento del instrumento en relacin con el grupo-curso, y re- cer, para cada uno de ellos, la probabilidad de ser respondidos co-
conoce como indicador de la dificultad de una pregunta la propor- rrectamente, as como llegar a conocer el nivel de "certeza o preci-
cin de personas que la contestaron correctarnente. Por otro lado, sin" que un tem aporta a la estimacin para cada nivel de habilidad.
el ndice de discriminacin de un tem se calcula como la correla- Esto permiti construir pruebas "a la medida" del objetivo educacio-
cin entre la respuesta a ste y el puntaje en el lotal obtenido en la rral que se persegua. La principal ventaja terica de rRt es que me-
prueba. diante su utilizacin se lograra que un estudiante obtuviese siempre
En la teora clsica, el grado de habilidad de la persona depen- Ia misma estimacin de su habilidad, independientemente de las pre-
der del grupo y de su comportamiento frente a un determinado tem guntas que tuvo que responder. Asimismo, con IRT un tem tendra
o pregunta, es decir, del nivel de dificultad y discriminacin que re- siempre los mismos parmetros que lo describen (dificultad, discri-
ne la prueba. Por ejemplo, si la prueba es fcil un mismo alumno minacin, etc.), sin tomar en cuenta el grupo que present la prue-
tendr un puntaje mayor que si la prueba es difcil. Este concepto de lra. Esta notable propiedad de los tems se denominainvarianzay
dificultad ha causado un serio dao no slo a la evaluacin, sino a constituye la piedra angular de la teora de respuesta al tem. A su
la forma de determinar evidencias del grado de aprendiz{e de los vez, es la principal ventaja que distingue a IRT de la teora clsica.Sin
alumnos, y ha servido para que an se le reconozca como un instru- cmbargo, es preciso destacar que la invarianza se cumple siempre y
mento de poder capaz de generar un alto grado de ansiedad en los cuando se satisfagan ciertos supuestos, como el de unidimensiona-
que aceptan superar las barreras de la enseanzaformal obligatoria. lidad, el cual consiste en que en una prueba todos los tems estn mi-
Resulta difcil, por tanto, hacer comparaciones entre estudiantes <liendo una, y slo una, caracterstica de los examinados. Esta pro-
que han presentado pruebas diferentes, porque los ndices de difi- ricdad est ntimamente ligada al supuesto de independencia local,
cultad y discriminacin de los tems dependen del grupo de perso- <uepostula que, dado un nivel de habilidad, las respuestasa los tems
nas que sustentan la prueba. As, un mismo tem puede catalogarsc rro pueden estar correlacionadasentre s. En otras palabras, si hay
como fcil si el grupo sustentablees excepcionalmentehbil, percr <'rr'r'elacin entre preguntas, slo se explica por la habilidad de los
como difcil si el grupo es desaventajado.Con rs5ps6torlrcliscrirni- <'strr<liantes.
clr c:l(:olltr:xl<r
rurcirin,un tr:m pucdc lrparc(:crrnuy discrimil.l:rl<r'i< ()tl'os slll)lt(':it()s
irrrrortirntes
de estateora son: 1) todos los alum-
38 HACIA UNA EVALUACIN AUTNTICA DEL APRENDIZAIE cENTRADosEN pRUEBAS
EL ocAso DE Los srsrEMASTRADICIoNALES 39
nos sustentantesdel examen han tenido experiencias educacionales jetivo previsto (si el objetivo de la prueba es predecir rendimiento
similares, y 2) la prueba no ha sido apurada, y por consiguiente no acadmico en la universidad, que la habilidad medida sirva efectiva-
existen "efectos de contexto" no controlados. Los "efectos de contex- mente para eso). Los diferentes tipos de validez (emprica, de cons-
to" se refieren a que algunas preguntas se comportan de modo di tructo, predictiva, etc.) ayudaron a sostener la potencialidad de las
ferente segn la posicin en que aparecen en la prueba. Estos efec- pruebas y se transformaron en slidos argumentos para mantener su
tos se controlan adjudicando a la pregunta la misma posicin en el vigencia y evitar las incipientes crticas de sus detractores.
pretest que en el test operacional (vaseF. Dussaillant,2003). La sobrevaloracin de las teoras de medicin. exacerbada en el
A simple vista parecera que la teora de "respuesta de tem" pre- caso de IRT por ser una teora promisoria, hace olvidar en muchos
senta una serie de potenciales ventdas sobre la teora clsica.Sin em- casosque no basta con que una pregunta tenga la dificultad y discri
bargo, todas las ventajas anteriores se pierden cuando los supuestos minacin adecuadas,sino que debe considerarse su capacidad para
y requisitos no se cumplen. medir un conocimiento relevante en el contexto de los objetivos de
Para que haya invarianza,la principal ventaja de IRr sobre la teo- la prueba.
ra clsica,es fundamental que exista unidimensionalidad e indepen- Por ello, los expertos en construccin de pruebas deben estable-
dencia local y que las predicciones del modelo se dusten bien a los cer en lo posible las restricciones adecuadasal proceso de seleccin
datos reales. En muchas ocasiones,sin embargo, la naturaleza de las de preguntas, revisar acuciosamenteel producto final obtenido y
disciplinas mismas les impide sometersea tales restricciones;es por probar en una muestra el cumplimiento de sus indicadores tcnicos.
ello que en la prctica los supuestosy requisitos de IRTse transgreden No debemos olvidar que estamos haciendo referencia a instrumen-
a menudo. Este incumplimiento no slo lleva a perder la invarianza, tos elaborados por especialistas,lo que nos induce a imaginar qu
sino que afecta la estimacin de habilidad e introduce errores en apli- estar sucediendo realmente con pruebas elaboradas por los profe-
cacionessecundariasde la teora. Se ha verificado que ciertas disci- sores de aula.
plinas son claramente multidimensionales, lo que atenta contra el re- No hay que perder de vista que a pesar del sofisticado aparato
quisito de unidimensionalidad de las pruebas. matemtico y computacional de las teoras que rigen las pruebas, an
Es muy probable que en pruebas de gran escala,como las que se estamos frente a un proceso de alta subjetividad en el que el crite-
utilizan con fines de seleccin o admisin, diferentes estudiantes rio de quien lo aplica desempea un papel fundamental.
hayan sido sometidos a experiencias educativasmuy distintas, lo que Hemos planteado estas crticas a las teoras que sustentan las
repercute necesariamenteen sus resultados. pruebas con el fin de que, a pesar de constituirse en el campo de
Por otra parte, la validez de las preguntas es un concepto bastante mayor desarrollo de investigaciones evaluativas, subsistan las dudas
amplio, relacionado con la relevancia y representatividad de los tcnicas sobre si estos procedimientos verdaderamente nos han en-
reactivos en el campo que pretenden examinar. En este sentido, re- tregado resultados confiables de los aprendizajes de nuestros alum-
sulta ingenuo suponer que estos requisitos -relevancia y representa- nos. Digmoslo claramente: en la mayora de los pases latinoameri-
tividad- se cumplen en las pruebas que sustentanlos docentes en sus canos, estos procedimientos han servido para seleccionar a los
aulas, sobre todo cuando la experiencia demuestra que los tiempos cstudiantes que cursan la educacin superior y han transformado los
de preparacin de las preguntas son muy breves y, en algunos casos, sistemaseducativos en verdaderas pirmides en cuyas basesestn los
inexistentes. cstudiantesque ingresan al sistema,y en el vrtice superior los que
La validez tambin se relaciona con el nivel en que una pregun- cl'ectivamenteegresan.Se trata, pues, de la creacin de un sistema
ta est midiendo un constructo determinado (por ejemplo, una prc- rlc "seleccin natural" que utiliza las pruebas como filtro y garanti-
gunta que pretende medir el razonamiento matemtico no debc: z.as<ilol:r supervivencia acadmicade los ms "fuertes o resistentes",
rneclir la comprensin cle lectura) y hastaqu punto sirve p:tr:t cl ob- <lt:j:rrr<lo
1rf-inrnrrrrtcrk: l:r pobl:rcinestudiantilfuera del sistema.
ry