"Modificar un programa o unas tcnicas de enseanza sin cambiar el sistema de evaluacin tiene todas las probabilidades de no conducir a nada.

Cambiar el sistema de evaluacin sin modificar el programa de enseanza ha tenido una mayor repercusin sobre la naturaleza y la calidad del aprendizaje, que si se hubiese modificado el programa sin tocar los exmenes." G.E. Miller, Roma 1977

DOCIMOLOGIA La docimologa es la rama de la pedagoga cuyo objeto es el estudio y anlisis de la evaluacin del aprendizaje. La evaluacin consiste en proporcionar las bases para un juicio de valor que permita tomar las mejores decisiones pedaggicas (Guilbert 1989). La enseanza es un proceso cuyo objetivo esencial es promover y facilitar modificaciones del comportamiento. La evaluacin consiste en determinar la medida en que cada uno de los objetivos ha sido alcanzado, la calidad, pertinencia y adecuacin del programa, las tcnicas de enseanza y los docentes a estos fines. Para tomar las medidas pedaggicas necesarias en virtud de los resultados (Wilkes y Bligh 1999). La evaluacin de una enseanza debe comenzar por una definicin de los objetivos educativos. No podemos medir una cosa si de antemano no definimos lo que queremos medir. Una vez realizada esta fase es ms sencilla la eleccin o puesta a punta de las pruebas o exmenes apropiados. El objetivo de la evaluacin no es nicamente el alumno, tambin el profesor, la metodologa empleada, el programa y todo en funcin de los objetivos educativos. Esto podemos verlo en el grfico de la espiral de la educacin:

Definicin de tareas y objetivos educativos

realizacin de la evaluacin

Planificacin de un sistema de evaluacin

Preparacin y realizacin del programa educativo

En este esquema vemos la funcin de retro-alimentacin que tiene esta fase respecto al conjunto del proceso educativo. El sistema de evaluacin empleado determina en gran medida la actitud del alumno en el proceso de aprendizaje. Una licenciatura no puede ser una carrera de obstculos en la que la enseanza quede relegada a un segundo plano, primando nicamente la forma de conseguir el diploma con el mnimo esfuerzo. En trminos de mejora y calidad, se podra decir que el que controla el examen, controla el programa y el proceso. La deteccin de deficiencias en el proceso de aprendizaje implica el planteamiento del nivel en el que se producen y secundariamente la introduccin de correcciones tendentes a subsanarlas (Garca Barbero 1986a). El docente debe hacer comprender al alumno que el objetivo de la enseanza es ms que ayudarle a superar una serie de obstculos en la obtencin de un ttulo y que el objetivo de la evaluacin va mas all de la mera funcin de obstculo. Segn las teoras del aprendizaje, la evaluacin debe incrementar en el estudiante el deseo de aprender y debe aportarle informacin del nivel en que se encuentra y de aquello que no ha comprendido o que no es capaz de demostrar. De esta forma, el estudiante podr autoevaluar de forma continuada su proceso de aprendizaje y diferenciar los aspectos en los que es necesario realizar un esfuerzo mayor de aquellos en los que ha alcanzado un nivel satisfactorio. Este sistema de evaluacin tiene como fin sealar al alumno el camino que le queda por recorrer en el logro de los objetivos educativos, cuya consecucin le va a proporcionar la competencia profesional necesaria para el ejercicio de la funcin encomendada (Garca Barbero 1986a). El proceso de evaluacin proporciona las bases

para un juicio de valor que permita tomar decisiones pedaggicas adecuadas. El aprendizaje es ms eficaz cuando los sujetos toman parte activa en l y cuando son objeto de una evaluacin constante que reconocen justificada y encaminada a determinar la calidad de su trabajo. De estas premisas surge el concepto de evaluacin continua, nocin a menudo mal interpretada y que lleva al alumno a estar constantemente sobre ascuas, quitndole el sosiego necesario para un aprendizaje eficaz. La finalidad de la evaluacin continua es que el estudiante compita consigo mismo a lo largo de un proceso de formacin. Es importante distinguir entre dos tipos de evaluacin. Una formativa o de control, cuya finalidad es orientar al estudiante en el camino que le queda por recorrer para alcanzar los objetivos educativos, valora el progreso y el rendimiento del alumno y permite ajustar las actividades de instruccin en funcin de los avances. As mismo esta evaluacin aporta al docente informacin para reencauzar la enseanza. Y otra evaluacin acumulativa o de certificacin, cuya finalidad es decidir sobre la superacin del nivel preciso para la obtencin de un ttulo y que se lleva a cabo al final de un ciclo de enseanza. Esta misma distincin se puede aplicar a la evaluacin de los programas. Evaluacin formativa es la utilizada para mejorar un programa en el curso de su aplicacin, pudindose realizar ajustes para corregir las deficiencias localizadas. Evaluacin acumulativa es la evaluacin final de un programa. Representa el esfuerzo requerido para llegar a las conclusiones que justifiquen la decisin de sustituir un programa por otro o de aceptarlo. La distincin entre ambas no deja de ser un artificio analtico de un todo para comprender mejor un proceso en el que muchos no ven en la evaluacin formativa ms que una etapa de la acumulativa. Normativa reguladora sobre la evaluacin en nuestro medio La evaluacin del alumnado de la EHU/UPV esta regulada por el reglamento de planificacin Docente y Evaluacin del alumnado, aprobado por la junta de Gobierno de la EHU/UPV el 20 de Diciembre de 2001. En l se establecen los principios generales que deben garantizar la igualdad del estudiante en todos los centros y departamentos. Entre el articulado de la normativa destacan los siguientes puntos: 1. Los estudiantes tienen derecho a ser evaluados con garantas de equidad y justicia, y de acuerdo con el nivel de enseanza impartida. 2. La forma de evaluacin debe ser conocida desde el principio del curso. Para garantizar la igualdad, los departamentos tendern a establecer sistemas de evaluacin del mismo tipo para los distintos grupos de cada asignatura. En este sentido se proceder por los distintos profesores a unificar consensuadamente las caractersticas de las pruebas y criterios de evaluacin en las cuestiones no

contempladas con carcter bsico por el Departamento. Cuando no exista acuerdo el consejo de Departamento previa audiencia de todos los profesores implicados decidir motivadamente las razones que afectan al establecimiento de un determinado tipo de examen y las excepciones en su caso. 3. La evaluacin de una asignatura podr realizarse mediante exmenes, evaluacin continua o trabajos. En cualquier caso, el alumno podr acogerse a su derecho a una prueba final. 4. Los procedimientos de evaluacin y control de las asignaturas, as como los programas y sus objetivos docentes, podrn estar sujetos a modificaciones por causa grave justificada apreciada por el consejo de departamento. La evaluacin de la asignatura no podr realizarse sobre temas que no hayan sido tratados con la dedicacin adecuada a su contenido por los profesores correspondientes, aun cuando aquellos figuraran en el programa inicial de la asignatura. 5. En la realizacin de cualquier examen podr ser requerido el alumno a identificarse. La cumplimentacin de las fichas que los departamentos o centros puedan distribuir entre los alumnos a fin de conocer su identidad tendr carcter voluntario y en todo caso, dicha ficha slo podr contener los datos imprescindibles para la identificacin del alumno, como son: fotografa, nombre completo, curso, asignatura y telfono. OBJETIVOS DE LA EVALUACION Respecto al estudiante, desde un punto de vista pedaggico: incitar al aprendizaje (Motivacin), orientar al estudiante sobre sus logros (mecanismo de retro-alimentacin) y permitir que llene sus lagunas (Prctica).

El sistema de evaluacin determina el tipo de actividad educativa a la que los estudiantes se entregarn durante la enseanza / aprendizaje (efecto Thorndike) y por ello la evaluacin no debe limitarse a jugar un papel sancionador sino que debe poner a disposicin del estudiante un medio para informarse de los progresos de ese aprendizaje, de ah la importancia de distinguir entre la evaluacin formativa y la evaluacin de certificacin como apuntbamos antes (Newble y Cannon 1991, Rolfe y McPherson 1995). Respecto a la sociedad: seleccionar a los estudiantes (decidir el xito o el fracaso), aumentar el prestigio del centro (hasta ahora de poco relevancia pero progresivamente en aumento. El renombre de la facultad -Universidad- es un punto que no siempre tiene mucho inters en Europa, por que este se basa muchas veces en la tradicin que data de siglos. En USA es tpico dar a conocer los porcentajes que superan las pruebas nacionales o los ndices de colocacin como exponente de la calidad del centro),

proteger a la sociedad (certificado de competencia).

Respecto al profesor esta interaccin le permite saber si grupos significativos de estudiantes no le entienden adecuadamente, evaluando las tcnicas de enseanza utilizadas y su propia habilidad. Al igual que los objetivos docentes la evaluacin se inserta en las tres dimensiones mencionadas, el campo cognoscitivo, el sensitivo-motor y el afectivo. En el campo sensitivo-motor es preciso evaluar las habilidades manuales adquiridas, el saber hacer, que lo constituirn los exmenes prcticos. La actitud del mdico ante el enfermo y sus familiares reviste gran importancia, es el campo mas difcil de evaluar, pero no es imposible realizar una aproximacin a travs de protocolos estructurados de observacin. Resumiendo la evaluacin ha de servir para: Verificar el logro de los objetivos previamente establecidos. Pronosticar las posibilidades educativas del alumno, como base para su orientacin profesional y personal. Diagnosticar los fallos y dificultades que se presentan en el curso del proceso educativo. Orientar y reorientar dicho proceso. Formas de realizar la Evaluacin a) Autoevaluacin. b) Heteroevaluacin, es la que describiremos a continuacin ya que es la que ms se ajusta a las caractersticas del medio en que nos encontramos. c) Evaluacin mixta. La autoevaluacin es la intervencin de los estudiantes en el establecimiento de las normas y/o criterios que deben aplicarse en su trabajo, y la elaboracin de sus juicios acerca del grado en que deben satisfacer estos criterios y normas (Boud 1990). Segn las teoras del aprendizaje, la evaluacin debe incrementar en el estudiante el deseo de aprender y debe aportarle informacin del nivel en que se encuentra y de aquello que no ha comprendido o que no es capaz de demostrar. De esta forma, el estudiante podr autoevaluar de forma continuada su proceso de aprendizaje y diferenciar los aspectos en los que es necesario realizar un esfuerzo mayor de aquellos en los que ha alcanzado un nivel satisfactorio. Este sistema de evaluacin tiene como fin sealar al alumno el camino que le queda por recorrer en el logro de los objetivos educativos, cuya consecucin le va a proporcionar la competencia profesional necesaria para el ejercicio de la funcin encomendada (Garca Barbero 1986a). El proceso de evaluacin proporciona las bases para un juicio de valor que permita tomar decisiones pedaggicas adecuadas.

La autoevaluacin facilita que los estudiantes reflexionen sobre su aprendizaje dotndolo de honestidad en la valoracin de su entrenamiento profesional. Aunque se trata de un mtodo que exige importantes esfuerzos resulta necesaria su incorporacin a los procesos docentes dada la necesidad de que los profesionales asuman la responsabilidad y la direccin de su propio aprendizaje a travs de la educacin profesional continuada. La heteroevaluacin requiere medir para establecer un juicio de valor, para ello se hace preciso contar con instrumentos de medida, conocer el nivel de partida y haber definido previamente el nivel que se quiere alcanzar. Los instrumentos de medida son los diferentes tipos de pruebas que permiten cuantificar los conocimientos, habilidades o actitudes adquiridas por el alumno. Se acepta que la forma de la prueba de evaluacin no es capaz de determinar la naturaleza del proceso intelectual requerido para poder resolverla y que en muchas ocasiones, la dificultad de una prueba y la complejidad de las instrucciones que le acompaan no estn necesariamente unidas a la naturaleza del proceso intelectual puesto en juego (Garca Barbero et al 1995). Es fundamental que quien confeccione un examen del tipo que sea lo someta a la crtica de sus colegas para asegurar un contenido pertinente (en relacin con los objetivos educativos) y que presenta un inters general, sin corresponder exclusivamente a un inters o gusto particular del autor. Las preguntas deben formularse de manera que los docentes puedan ponerse de acuerdo sobre las respuestas correctas. El autor de una pregunta no es habitualmente el mejor juez de su claridad, precisin, pertinencia e inters. El examen crtico de los colegas es indispensable para la buena construccin de una prueba. El anlisis de los exmenes utilizados con mayor frecuencia demuestra que en muchas ocasiones las preguntas planteadas son ambiguas, poco claras, discutibles, esotricas o ftiles. La cualidades que validan todo instrumento de medida (Guilbert) son: - Validez: Es el grado de precisin con que la prueba utilizada mide realmente aquello que est destinada a medir. La validez se incrementa si se planifica inmediatamente despus de redactar los objetivos, evitando "ensear para el examen". - Fidelidad: Es un concepto estadstico y alude al grado de confianza del test mediante el cual los resultados que se obtienen se mantendrn constantes con independencia del enunciado de las preguntas. La constancia con la que la prueba mide una variable determinada. Es una condicin necesaria, pero no suficiente, para determinar la validez de un instrumento de medida. - Objetividad: Se refiere a la concordancia entre los juicios emitidos por examinadores independientes y competentes. - Pertinencia: Es la cualidad mediante la cual las preguntas que enunciamos son conformes con los

objetivos programados. Otras cualidades como el equilibrio, la equidad, la especificidad, la discriminacin, el tiempo, la longitud, la eficacia son tambin importantes pero en definitiva contribuyen ms o menos a la validez y fiabilidad. Las caractersticas negativas que mas frecuentemente se nos deslizan en los exmenes son: - Futilidad: de todas o parte de las preguntas planteadas, ello es tanto ms grave en cuanto que suponen tan solo una pequea parte de las que podran plantearse. - Inexactitud: Errores tanto en la redaccin de la pregunta como en su formulacin. - Ambigedad: de los trminos empleados, que puede hacer que el estudiante pase mas tiempo intentando comprender la cuestin que respondiendo a ella, a parte del riesgo de contestar al margen de la pregunta. - Conservadurismo: Obligar al candidato a responder en funcin de las ideas del examinador. - Desajuste: La complejidad de la materia hace que la bsqueda de la respuesta presente mayor dificultad de lo previsto. - Subjetivismo: En la formulacin de la pregunta se sugiere al candidato la respuesta correcta. ESCALONAMIENTO DE LAS PRUEBAS EN EL PROCESO DE ENSEANZA Ya se ha comentado el valor motivador de la evaluacin en el aprendizaje. Para aprovechar todo su valor pedaggico hay que disear una estrategia de evaluacin adecuada. Consecuencia de esta estrategia podemos caer en dos errores de los que debemos ser conscientes. Uno, la realizacin de mltiples pruebas parciales en las que la materia se atomiza perdiendo la idea de conjunto y dos, utilizar el examen como vehculo en una carrera interdepartamental por conseguir la atencin del alumno por nuestra asignatura. Prueba de nivel exigido: Antes de comenzar cualquier tipo de enseanza hay que asegurarse que los estudiantes tienen el nivel previo requerido para emprender ese programa educativo. En nuestro sistema este viene dado por las pruebas de selectividad para el pregrado y el examen M.I.R. para el postgrado. No dndose la situacin de que el enseante decida que conocimientos juzga indispensables para que los estudiantes que le sean confiados se beneficien al mximo de las enseanzas que imparta. Las desigualdades de nivel entre alumnos de un mismo colectivo repercuten en una disminucin de la calidad de la enseanza. Prueba previa: Se realiza en el momento de comenzar una enseanza determinada y se utiliza para comprobar a que nivel estn lo estudiantes en relacin con este tipo de enseanza. Esta medida del nivel de partida nos permite calcular la ganancia real al trmino de la enseanza. Por otro lado puede encontrarse que algunos alumnos estn ya muy avanzados en relacin con los objetivos previstos.

Ejemplos de estos exmenes es el examen que en ocasiones se realiza a un postgrado cuando se incorpora a un servicio hospitalario para especializacin. Prueba parcial: Se organiza al final de cada unidad de enseanza para que el estudiante obtenga la necesaria retro-informacin que le indique donde se encuentra. El profesor debe esforzarse por que el grado de dificultad de esas pruebas corresponda lo mas posible al examen final. Prueba prefinal de sntesis: es una prueba de tipo formativa que tiene lugar antes del examen final. Sirve de retro-informacin para el alumno que as conoce sus puntos dbiles y puede replanificar el estudio antes del examen final. Prueba final: Se practica despus de la enseanza, utilizando una u otra modalidad segn los objetivos a medir. Pruebas de repesca: Debe emplearse en el caso de que se una diferencia anormal entre el juicio subjetivo y los resultados del examen final. Le resta al examen final su carcter de sancin arbitraria que tena antes. Caso de realizarse debe ser consecuente a una pormenorizada reevaluacin de las circunstancias. Prueba de control a largo plazo: Evaluacin tras un tiempo despus del trmino de la enseanza para saber en que medida conserva el nivel de resultados que se haba adquirido. Es muy difcil dar contenido a este escaln: si bien en los ltimos tiempos se esta desarrollando parejo con las iniciativas de formacin continuada y recertificacin. TIPOS DE EXAMEN Hay tres modalidades de examen: oral, escrito y prctico. Y dentro de ellas puede haber innumerables variantes. En funcin de lo que pretendamos, queramos o debamos medir o valorar deberemos adoptar una u otra modalidad. Exponemos brevemente algunas de las ventajas e inconvenientes de los tipos de pruebas mas frecuentemente utilizados: EXAMEN ORAL Consiste en un dilogo con el examinador, que plantea preguntas a las que el examinado debe responder. Aunque sea una prueba que permite obtener una impresin directa del alumno y apreciar ciertos rasgos de su personalidad, nos llega a veces muy deformada por la situacin de angustia, que estas pruebas producen, y es posible que el concepto que en estas condiciones saquemos sea errneo y las calificaciones injustas. Si las pruebas son a puerta abierta, los ltimos alumnos conocen todos los pequeos trucos del examinador, mientras que los primeros estn en inferioridad de condiciones en

relacin a este factor sorpresa. Como ventaja podemos apuntar que permite evaluar de un modo mas completo al alumno (contacto personal). Se puede pasar de uno a otro tema y sondear con ello prcticamente todo el temario (flexibilidad). Permite adems valorar ciertos rasgos afectivos del alumno como el "saber estar", el dominio de s mismo, su entereza, etc. (valoracin de circunstancias atenuantes). El alumno debe formular por s mismo sus respuestas, sin que los trminos de la pregunta le induzcan a ello, desarrollando su capacidad de expresin y existiendo la posibilidad para el examinando de pedirle que las explique. Posibilidad de apreciacin simultanea pero independiente por dos examinadores. Inconvenientes de este tipo de examen son: el gran consumo de tiempo, la ausencia habitualmente de un documento revisable, su valoracin totalmente subjetiva, la influencia excesiva de factores sobreaadidos, la escasa fiabilidad de los resultados, la escasez de docentes con formacin adecuada para examinar. EXAMEN ESCRITO Hay una amplia variedad de pruebas que en general ofrecen un ahorro de tiempo respecto al anterior. E.E. tipo tema Son exmenes en los que el alumno tiene la oportunidad de exponer sus conocimientos demostrando su capacidad de expresin y de ordenar sus ideas. Por el lado negativo, se limita mucho el nmero de reas que se sondean. A la hora de la correccin su lectura se hace muy prolija, influyendo factores banales como el tipo de escritura, el cansancio del profesor en el momento de la correccin. La valoracin es muy subjetiva, influyendo a menudo cualidades extramdicas como la facilidad de redaccin... Adems aporta poca retro-informacin al alumno. E.E. de pregunta de redaccin Goza y adolece de algunas de las ventajas e inconvenientes de todo examen escrito, si vemos los rasgos que lo caracterizan identificaremos unas y otros. Son pruebas con mltiples preguntas cuya respuesta debe ser breve y concisa aunque deja libertad de redaccin al alumno. Deben concretar muy bien la cuestin planteada, utilizando trminos lo mas explcitos posibles ( resumir, comparar, evaluar, definir, indicar el orden...) de forma que todos sepan inmediatamente la tarea que deben cumplir. El profesor debe redactar para cada pregunta los elementos que deben aparecer en la respuesta (clave de correccin). Cuando la prueba sea corregida por varios profesores tiene que ponerse de

acuerdo previamente en el procedimiento a seguir. A pesar de la meticulosa fijacin de las claves sigue existiendo un cierto grado de subjetividad. E.E. de pregunta abierta corta El redactor de la pregunta debe definir la respuesta exigida por el enunciado y si parece que pueden darse respuestas conceptualmente distintas para una pregunta dada, debe redactarse de nuevo para que desaparezca este inconveniente. Debe dejarse, al imprimir el texto del examen debajo de cada enunciado, el espacio necesario para la respuesta. La correccin es simple ya que la respuesta ha sido predeterminada. La frecuencia de discordancias, debidas a la contradiccin entre dos correctores es muy pequea. En toda prueba escrita puede existir el problema de la ilegibilidad de las respuestas. Son preguntas muy concisas cuya respuesta es libre si bien slo existe una respuesta bien definida, ntida y corta. Supone un intento extremo de objetivizacin de las preguntas de redaccin. La dificultad estriba en encontrar y formular preguntas adecuadas. E.E. objetivos Los tipos de examen expuestos hasta este momento presentan como principal inconveniente los diferentes niveles de subjetividad que presentan. Las prximas modalidades pueden considerarse como los modelos ms objetivos que hoy se practican. Entre sus ventajas se cuentan la de aumentar la objetividad y en general asegurar la fiabilidad y validez. La preparacin colegiada de ellos conlleva una contrastacin de las preguntas entre varios docentes. Diversifica los aspectos sobre los que es puesto a prueba el alumno en un tiempo dado. Aporta retro-informacin al alumno y al profesor. Se punta con facilidad, rapidez y asepsia. Entre los inconvenientes cuenta con una preparacin costosa en tiempo, competencia y prctica. La posibilidad de acertar alguna al azar y sobre todo que aporta al alumno informacin o indicaciones con las que no contar en la vida real. Todas las pruebas de respuestas a seleccionar tienen en comn la caracterstica de presentar, junto a las preguntas, varios tipos de respuesta de las cuales el alumno debe seleccionar la/s correcta/s que corresponde/n a cada item. De entre las posibles expondremos a continuacin aqullas cuyas caractersticas parecen ms adecuadas para ser utilizadas en la dinmica del curso que justifica nuestra exposicin. E.E. de respuesta alternativa (verdadero-falso) En estas pruebas el alumno recibe una serie de proposiciones donde debe elegir una (verdadero o falso, siempre o nunca). Las ventajas de esta prueba es que resulta fcil de construir y contestar, pero est limitado por la elevada incidencia del azar en la seleccin de la respuesta correcta. Con los tipos de examen ocurre lo que con los frmacos que cada uno tiene su indicacin precisa.

10

Ciertas normas para su confeccin son comunes con las recomendadas en el apartado siguiente al hablar de las preguntas con respuestas de eleccin mltiple. E.E. de preguntas con respuesta de eleccin mltiple (P.E.M.) Este examen consta de una proposicin que constituye el enunciado de las cuestiones y una serie de respuestas, de las cuales una o varias son correctas y deben ser elegidas como ptimas descartando las respuestas incorrectas. La proposicin puede hacerse de modo directo o bien en forma de frase incompleta. Las soluciones pueden adoptar varias formas (palabras, frases, smbolos, nmeros). Esta prueba est considerada como la ms objetiva de las existentes. Entre las ventajas de este examen encontramos: - Se hallan libres de las crticas vertidas sobre otros sistemas de evaluacin. - Las respuestas del alumno estn menos sujetas a la adivinacin. - Su estructura es menos artificial. - Neutralizan la tendencia de las respuestas en serie. - Las puntuaciones son ms objetivas. - Posibilitan la deteccin de errores generalizados, cuando los distractores estn bien elegidos. - Por sus caractersticas posibilitan evaluar aprendizajes complejos. - Permite su correccin electrnica. - Posibilidad de realizar un anlisis estadstico de la validez y especificidad de cada item y de la prueba en conjunto. - Proveen retroinformacin tanto al estudiante como al docente (Cariappa y Devasundaram 1988). Pese a estar considerada como la ms objetiva de las pruebas, existen una serie de inconvenientes principalmente en la construccin de las preguntas como son: - Dificultad para redactarlas y construirlas en buenas condiciones. - Dificultad para elegir los distractores adecuados. - Riesgo de que las respuestas correctas estn mejor redactadas y que las falsas lo estn peor, dando pistas al alumno. - Puede ser una prueba totalmente invalidada si no se seleccionan convenientemente las preguntas. Estas pruebas son aplicables a la evaluacin de: - Conocimiento de trminos. - Conocimiento de hechos especficos. - Conocimiento de mtodos y procedimientos. - Aplicacin de principios y generalizaciones. - Identificacin de causas. - Conocimiento de principios.

11

Para conseguir tems didcticamente eficaces es preciso tener en cuenta los siguientes puntos: Enunciado: - Los enunciados tienen que ser categricos, de tal modo que slo admitan una respuesta correcta. - Cada pregunta debe contener tan solo una idea. - Hay que evitar plantear dos preguntas en el mismo item. - Las preguntas se plantean afirmativamente. - Evitar en lo posible las negaciones, de aparecer en el cuerpo de la pregunta subrayarla para llamar la atencin sobre ella. - Hay que evitar que la formulacin de una pregunta resuelva otra pregunta anterior. - Si se pretende evaluar el conocimiento de trminos, conceptos,... stos deben figurar en las preguntas, mientras que las descripciones o definiciones figurarn en las respuestas alternativas. Distractores: - Hay que evitar el uso de palabras como siempre... que evocan respuestas correctas. - Cuidar la longitud de los distractores, las frases largas y complejas tienden a ser correctas. - Evitar negaciones reiteradas, tras unos cuantos "no'', ''nunca'... nadie puede comprender de que va la frase. - Conviene dar a cada enunciado una extensin similar. - No deben emplearse las mismas palabras o frases que figuren en los libros de texto, salvo que se trate de memorizaciones necesarias. - Es conveniente evitar la utilizacin de palabras que den pistas al alumno.. - El texto del distractor debe ser breve e inteligible. - Todas las respuestas alternativas, correctas e incorrectas deben tener cierta homogeneidad. Si los distractores actan llamando la atencin por su falta de sentido comn la prueba pierde objetividad. - El contenido del distractor debe entenderse sin necesidad de leer las respuestas alternativas. - Utilizar distractores plausibles y lgicos, cada uno por su contenido y naturaleza debe aparentar tener relacin con la pregunta. - Evitar indicios que puedan sugerir la respuesta correcta. - Cuidar que los distractores sean homogneos, es decir semejantes en el contenido y en el nmero total de palabras. - No abusar de las frases como "ninguna de las respuestas anteriores" como distractor o respuesta correcta. El principal inconveniente de estas pruebas, aparte del margen de azar, es que no valoran adecuadamente el pensamiento creador y la dificultad de construir los items correctamente. En general, se trata de un mtodo que cuando se hace bien resulta costoso y poco rentable en las situaciones de

12

escaso nmero de alumnos. ANALISIS DE UNA PRUEBA CONFECCIONADA CON P.E.M. Clculo del Nivel aceptable de Resultados (N.A.R.): Definicin: El nivel aceptable de resultados corresponde al umbral que permite decidir segn criterios absolutos el paso o no de un estudiante "que sabe lo necesario". El clculo del N.A.R. solo tiene valor si el nmero de P.E.M. es superior a 30. El empleo del N.A.R. corresponde a un juicio "a priori" sobre la dificultad relativa de cada pregunta y permite un juicio de la prueba en su conjunto. El clculo de los N.A.R. debe basarse en el juicio colectivo de varios docentes que previamente han valorado independientemente cada pregunta. Procedimiento para el clculo del N.A.R., Indice de aceptabilidad: Nedelsky propone la siguiente metdica para calcular el N.A.R.: -Los responsables de la evaluacin deciden la respuesta exacta para cada P.E.M. - Calculan el ndice de aceptabilidad para cada P.E.M. Es decir determinan que respuestas debe rechazar un estudiante que sepa justo lo necesario para aprobar. En el caso de P.E.M. con 5 distractores y uno solo correcto, si se piensa que el alumno que sabe lo justo debera rechazar uno de ellos quiere decir que el alumno puede obtener la respuesta correcta al azar una de cada cuatro veces, en este supuesto el ndice de aceptabilidad es de 0.25. Tabla para el clculo de los ndices de aceptabilidad (en este supuesto): a) Todos los distractores son vlidos b) Hay que eliminar un distractor c) Hay que eliminar 2 distractores d) Hay que eliminar 3 distractores e) Hay que eliminar 4 distractores ndice = 1/5 = 0.20 " " " " = 1/4 = 0.25 = 1/3 = 0.33 = 1/2 = 0.50 = 1/1 = 1

- El N.A.R. de la prueba es igual a la suma de los ndices de aceptabilidad de cada P.E.M. Una vez realizado el examen del anlisis de los resultados podemos obtener datos muy valiosos para determinar el grado real de dificultad y discriminacin de cada pregunta. Con todos estos datos podemos confeccionar un fichero que nos permita en un momento dado preparar un examen con un grado de dificultad determinado. El proceso de anlisis de las preguntas es el siguiente: - Correccin de la prueba y puntuacin de cada alumno. - Ordenacin de los alumnos en funcin de su puntuacin. - Identificacin de los grupos fuerte y dbil. Siguiendo a Guilbert empleamos el 33%, el grupo fuerte lo forman el tercio de alumnos con mayor puntuacin y el grupo dbil el tercio con notas mas

13

bajas, nos parece injustificado andar con especulaciones academicistas, sobre si realmente es el 27 o el 30 % lo adecuado, no reportan ninguna ventaja. El ndice de dificultad de una pregunta, como su nombre ndica intenta dar una idea de lo fcil o difcil que es y se expresa por el porcentaje de alumnos que la contestan bien: Id = { ( F + f ) / N } x 100 F: Numero de respuestas correctas en el grupo fuerte f: Numero de respuestas correctas en el grupo dbil N: Numero total de estudiantes en estos dos grupos Cuanto ms elevado es este ndice, mas fcil es la pregunta. Preguntas con ndices entre 30% y 70% son aceptables. Pruebas confeccionadas con preguntas de este grupo y con un ndice medio del 50 60% suelen ser fiables en cuanto a su consistencia interna y homogeneidad. El ndice de discriminacin determina en que medida una pregunta es lo bastante selectiva para distinguir un grupo fuerte de uno dbil. Varia entre +1 y -1, cuanto ms se acerca a la unidad, tanto ms discriminativa es la pregunta. I! = 2 x { ( F - f ) / N } Cuanto ms alto es este ndice ms fcil es reconocer a los alumnos pertenecientes a uno u otro grupo. Es un ndice que ayuda a reconocer a los mejores estudiantes. A modo de orientacin tenemos la siguiente clasificacin: a) 0.35 en adelante .- pregunta excelente b) 0.25 - 0.34 .- pregunta buena c) 0.15 - 0.24 .- pregunta dudosa (revisar) d) menos de 0.15 .- pregunta mala (eliminar) De lo expuesto hasta ahora concluimos que el examen de P.E.M. es un buen mtodo siempre y cuando est bien planificado, posea un Id ~ 0.5 y un I! mayor que 0.25.

14