Manual de Evaluacin Alternativa

Ensea al nio el camino en que debe andar, y aun cuando sea viejo no se apartar de l. Proverbios 22:6 LBA

Contenido
Introduccin ........................................................................................................................................ 3 Necesidades de evaluacin ................................................................................................................. 4 Qu es evaluacin? ........................................................................................................................... 5 Para qu evaluar? .............................................................................................................................. 5 Qu evaluar? ..................................................................................................................................... 6 Contenidos conceptuales ............................................................................................................ 6 Contenidos procedimentales ...................................................................................................... 6 Contenidos actitudinales ............................................................................................................. 6 Cundo evaluar? ................................................................................................................................ 7 Quin evala? .................................................................................................................................... 8 Hetero - evaluacin ..................................................................................................................... 8 Coevaluacion ............................................................................................................................... 8 Autoevaluacin ........................................................................................................................... 8 Qu es un test?.................................................................................................................................. 9 Caractersticas de un buen examen .................................................................................................... 9 Cmo construir mejores tems .......................................................................................................... 10 Ideas generales para escribir tems................................................................................................... 11 Creacin de tests por parte de los profesores: ......................................................................... 12 Reglas para escribir tems de seleccin mltiple .............................................................................. 13 Escribiendo tems especficos ........................................................................................................... 15 tems de seleccin mltiple .............................................................................................................. 15 tems de respuesta alterna ............................................................................................................... 16 Evaluacin alternativa y tutora ........................................................................................................ 18 Tcnicas y herramientas para evaluacin no formal:........................................................................ 19 Web-Quest (Bsqueda en el internet) ............................................................................................... 19 Estructura de una Web-Quest: ...................................................................................................... 20 Observacin ................................................................................................................................... 20 Lista de cotejo ............................................................................................................................... 21 Escala de rango.............................................................................................................................. 22 Rbrica .......................................................................................................................................... 22 Otras tcnicas .................................................................................................................................... 23 Tcnicas de evaluacin en lnea ........................................................... Error! Marcador no definido. Limitaciones y lecturas adicionales ................................................................................................... 25 Referencias: ....................................................................................................................................... 25

Introduccion
Si la educacin es el proceso por medio del cual el ser humano transmite sus conocimientos a las nuevas generaciones, entonces la evaluacin viene a ser algo as como el control de calidad de esa misma educacin. Has distintas formas de educar y tambin las hay otras tantas de evaluar; desde el mismo momento que el hombre apareci sobre la faz de la tierra y tuvo un hijo; en ese momento comenz la educacin; las experiencias de este ser humano, primitivo o no, fueron transmitidas a los hijos, y estos a su vez a los que siguieron; poco a poco el conocimiento a transmitir fue hacindose ms extenso, ya no era solo formas de caza o cultivo, de pronto empez a transmitirse elementos bsicos de cada sociedad, que, rudimentaria o no empezaba a formarse en la figura de aldeas, pueblos y hace unos miles de aos atrs naciones. En algn momento de la existencia humana, el hombre o mujer se dio cuenta que era imposible trasmitir todo lo que saba por medios orales; as que se dieron a la tarea de usar jeroglficos como los egipcios o textos completos como Hammurabi. Sin embargo y para quienes hemos tenido el privilegio de visitar las imponentes pirmides egipcias, al verse frente a estos testigos del tiempo uno no puede sino imaginar lo que tal vez tenan en mente aquellas personas. Querran perpetuar su memoria o queran pasar el conocimiento a sus hijos? El creador de la Esfinge, pensara que su monumento durara ms de cinco mil aos? No podremos dar contestacin a estas preguntas; no tenemos las respuestas; sin embargo, lo que s es muy seguro es que en algn momento el arquitecto de una de estas pirmides o de la esfinge misma debi aprender a construir, a medir, a calcular, a dirigir a sus colaboradores o esclavos; a construir y seguramente dejar un legado. Pero, cuando este nuestro personaje estaba aprendiendo, de alguna forma debi demostrar a su maestro que ya haba aprendido, por lo tanto y como un profesor dijo alguna vez a sus alumnos: El conocimiento no se construye de una sola vez; se va formando poco a poco. Ese legado que todo ser humano quiere dejar; es un anhelo de cada persona en su interior, de alguna forma nuestros hijos o nuestros alumnos adquieren algo de lo que sabemos y luego ellos lo mejoran y multiplican. En las pelculas de artes marciales ocurre una escena que nos parece familiar: Un maestro entrena por mucho tiempo, a veces aos a un discpulo, en eso llega el momento cuando el discpulo llega a estar a la altura del maestro o lo supera; en ese momento se marcha del lugar y va, enfrenta unos cuantos enemigos y se convierte el mismo despus en un maestro de otro discpulo.

Esa es la esencia y maravilla de la educacin, quienes nos dedicamos a la tarea de ensear sabemos que la evaluacin es, como ya dijimos, el control de calidad de la educacin. Por medio de la evaluacin sabemos si hemos enseado como se debe, todo lo que se debe y si nuestros discpulos estn preparados para moverse al nivel siguiente o debemos terminar la tarea. La evaluacin tiene muchos usos, es til para los administradores, autoridades educativas, padres de familia, alumnos, comunidad y por supuesto a quienes la imparten.

Necesidades de evaluacion
La evaluacin del aprendizaje en los alumnos provee evidencia para que podamos tomar decisiones educativas. Podemos usar la evidencia para ayudarnos a evaluar o juzgar un programa de estudios o las competencias de los alumnos para saber qu hacer en un siguiente paso. La eleccin de que evaluar, estrategias y reportes dependen de cules son las intenciones del currculo y la audiencia, entre la audiencia podemos hallar al gobierno, las autoridades educativas, los padres de familia, los alumnos mismos y la comunidad en general. Con el fin de medir el progreso y poder informar a estas audiencias, se necesita construir test y pasarlos a los estudiantes ms de una vez para poder identificar los cambios necesarios. Los estudiantes, maestros y padres de familia necesitan informacin acerca del rendimiento del estudiante de forma tal que no solamente se identifiquen las fortalezas y debilidades, pero que tambin explique qu se debe hacer para capitalizar las fortalezas para mitigar debilidades. Estos datos pueden comprenderse nicamente en el contexto en el cual fue obtenido.1 En el nivel administrativo de las escuelas, generalmente se requiere informacin sobre clases en lugar de individuos, esta informacin debe ser expresada en conjunto con otras escuelas del mismo distrito escolar; de esta forma, (y debe ser la preocupacin de los administradores) podemos comparar el rendimiento de una institucin con otra.

John Izard (Overview of test construction) UNESCO International Institute for Educational Planning Recuperado de: http://www.iiep.unesco.org/ Fecha 02/11/11

A nivel nacional, la informacin de las evaluaciones es utilizada para cambio en las polticas educativas, la creacin de reglamentos que ayuden a mejorar en escalas grandes, el proceso de enseanza aprendizaje o lo oriente hacia la consecucin de los objetivos del Currculo Nacional Base en aquellos lugares donde hay uno; en los lugares donde no existe ayudara a mejorar los estndares requeridos.

Que es evaluacion?
La evaluacin es el proceso completo consistente en sealar los objetivos de un aspecto de la educacin y estimar el grado en que tales objetivos se han alcanzado.2 Esta definicin se queda todava corta pues la evaluacin no necesariamente es medir hasta donde se ha alcanzado un objetivo, es una parte s, pero hoy en da vemos la evaluacin de muchas otras formas, evaluamos para saber dnde estamos o donde vamos a comenzar, evaluamos a medida que camina el programa educativo y evaluamos claro est, al finalizar el camino de forma que veamos, como dice la definicin anterior, si tales objetivos se han alcanzado.

Para que evaluar?

Blanca Lopez Fras3 enumera algunas razones para evaluar: Determinar las necesidades y demandas de los estudiantes que la sociedad impone sobre estos y la educacin. Pronosticar o hacer conjeturas respecto a las posibilidades de los estudiantes Estimular la motivacin de los estudiantes en cuanto le permite conocer si su trabajo va encaminado hacia el logro de los objetivos Orientar al estudiante acerca del tipo de respuesta o ejecucin que se espera Promover a los estudiantes de grado de acuerdo con los logros obtenidos Diagnosticar las dificultades y fortalezas en el aprendizaje
2

Blanca Silvia Lpez Fras, Elsa Mara Hinojosa Kleen. Evaluacin del aprendizaje Alternativas y nuevos desarrollos. Editorial Trillas (Universidad Virtual ITESM) Mxico D. F. 2001 p14 3 Ibid

Seleccionar materiales para la enseanza Determinar la efectividad de un programa o currculo Desarrollar auto evaluacin tanto en el estudiante como en el profesor Ofrecer un marco de referencia para administradores y supervisores para el seguimiento del proceso educativo Estimular el aprendizaje de los estudiantes y la apreciacin de sus logros, informndoles sus xitos. Otros autores citarn ms seguramente; pero vamos a detenernos en este punto pues no queremos alargar esta seccin de definiciones ms all de lo necesario.

Que evaluar?
Contenidos conceptuales - Hechos - Datos - Conceptos Contenidos procedimentales - Habilidades (Capacidades manuales o intelectuales para realizar algo) - Tcnicas (Acciones ordenadas hacia el logro de objetivos concretos) - Estrategias (Capacidades intelectuales para dirigir y ordenar su conocimiento) Contenidos actitudinales - Valores (Principios ticos) - Actitudes (Disposicin o nimo a..) - Normas (Patrones de conducta de la sociedad)

Cuando evaluar?

Imagen No. 1 Tomada de: http://didactica2010.wordpress.com La evaluacin diagnstica nos sirve para orientar nuestro trabajo inicial; la evaluacin formativa es la que se hace como un acompaamiento al proceso, suele ser la ms importante y la formacin sumativa que sirve principalmente para verificar, certificar y acreditar.

Jos Lus Pulgar Burgos agrega otra forma ms de evaluar, la de impacto, que es la realizada mucho tiempo despus que el estudiante ha abandonado la escuela y se refiere al uso verdadero que se le da a lo aprendido, aqu, sin importar el diploma que tenga, dice Pulgar; no se aceptan recuperaciones, la evaluacin de impacto dice si la educacin fue buena o no, a secas. 4

PULGAR Burgos Jos Lus. Evaluacin del aprendizaje en educacin no formal. Narcea Madrid 2005

Quien evalua?
Hetero - evaluacin Es la evaluacin que realiza una persona sobre otra respecto de su trabajo, actuacin, rendimiento, etc. A diferencia de la Coevaluacion, aqu las personas pertenecen a distintos niveles, es decir no cumplen la misma funcin. Profesor alumno, Alumno Profesor

Coevaluacion Es la evaluacin que realizan los compaeros sobre otros estudiantes. Se usa para dar al estudiante retroalimentacin adicional sobre un producto o desempeo. Ejemplos: Explicacin por pares Participacin individual Evaluacin de producto (Cuando el profesor asigna una nota a todos los integrantes del grupo y estos se la reparten)

Autoevaluacin Es la evaluacin que el alumno hace de su propio aprendizaje y de los factores que intervienen. Permite la formacin de la meta cognicin, honestidad y responsabilidad en el aprendizaje. ltimamente se ha estado trayendo a colacin el trmino metacognicion.

Entendemos por Metacognicion la capacidad que tenemos de autorregular el propio aprendizaje, es decir de planificar qu estrategias se han de utilizar en cada situacin, aplicarlas, controlar el proceso, evaluarlo para detectar posibles fallos, y como consecuencia... transferir todo ello a una nueva actuacin.5 Para efectos de este trabajo y de aqu en adelante, vamos a concentrarnos en la heteroevaluacin, vista como la evaluacin que un profesor hace a sus alumnos y ms precisamente en los instrumentos e tems usados para construir evaluaciones.

Carlos Dorado Perea Metacognicin (Documento en lnea) Recuperado de: http://www.xtec.es/~cdorado/cdora1/esp/metaco.htm Fecha 02/11/2011

Que es un test?
Con el fin de averiguar que tanto sabe un estudiante, lo ms valido sera observar todo lo que se le ensea al estudiante.6 Pero como esto no es posible, se necesita seleccionar una muestra valida de lo que se supone el alumno ha aprendido o debe aprender; esto es un test. Es una muestra de lo que sabe o debe saber y por medio de ella podremos averiguar el grado de aprendizaje que ha logrado. John Izard7 afirma que un solo tem no puede ser un indicador del logro de un aprendizaje, por eso, cuando un nmero de tems similares son combinados como un solo test, podemos ver la estructura del aprendizaje en el mismo test. Estas estructuras tienden a ser indicadores confiables porque son basados en mltiples fuentes de evidencia. (Los contenidos o tareas de donde se han obtenido)

Una reflexin antes de continuar: La gente que toma la posicin de evaluar se pone en un lugar vulnerable; el evaluador se pone as mismo para ser evaluado.8

Caractersticas de un buen examen

Los buenos examines tienen un plan definido para medir las habilidades o conocimientos de los estudiantes. Todo examen debe ser preparado teniendo en cuenta los contenidos y objetivos del curso pero adems deben tener un medio de interpretacin definido. Los exmenes deben tener validez, que puede ser definida como la coleccin de evidencia que sustenta la finalidad del test y su interpretacin. Un test debe tener una clara especificacin que representa una clara relacin entre hacer una tarea, desarrollar una habilidad o demostrar conocimiento en un rea. El test, en otras palabras, no puede ser ambiguo a la hora de medir determinada funcin. Todo test debe tener un nmero planeado de preguntas y un nivel de dificultad y discriminacin para determinar de mejor forma el grado de habilidad o conocimiento que se espera hallar en los estudiantes.

6 7

Ibid Ibid 8 Gomm, Roger (1981), Salvage evaluation, in Smetherham, David (ed.), Practising Evaluation, Nafferton Books (http://www.edu.plymouth.ac.uk/resined/evaluation/index.htm#4 Methods)

Todo test debiera tener un anteproyecto, claro, en lugares como Guatemala es difcil pensar que los profesores tengan no digamos el tiempo, sino la preparacin necesaria para elaborar instrumentos de evaluacin. El proyecto de un examen debe ser imaginado como el mapa o plano de una casa; aqu se muestra exactamente que ser creado (el test) y que se espera medir. Los objetivos del test son parte de las especificaciones de todo examen, debe estar relacionado directamente con lo que se requiere medir. (Habilidad, actitud o conocimiento) Los objetivos de un test debieran ser siempre verbos de accin, por ejemplo: reconocer, identificar, demostrar, traducir, describir, interpretar, reordenar, distinguir, clasificar, diferenciar, discriminar, contrastar, evaluar, sintetizar, juzgar, valorar. Un buen test debe: - Medir la habilidad del examinando o eficiencia en aplicar conocimiento y principios. - Tener una baja probabilidad de entregar un punteo alto a aquellos estudiantes que no estudiaron el contenido o se desempearon pobremente. - Tener una alta probabilidad de entregar un resultado alto a aquellos estudiantes que han sido constantes y tenaces en su rea de contenido o habilidad. - Contener buenos tems que provean informacion fiable y vlida sobre el contenido.

Como construir mejores tems

La revista Social Psychology Network9 indica que los mejores tems para un test son aquellos que miden que tan bien los alumnos entienden el material. Siempre es bueno hacer pruebas con los tests y debe evitarse escribir tems que parezcan demasiado distractores o tramposos. Escribir tems para un test requiere decisiones acerca de la naturaleza del tem o pregunta que queremos hacerle al estudiante, un tem de test es una tarea especfica que se requiere que el alumno realice. Estos tems pueden evaluar uno o ms puntos u objetivos, y el mismo tem puede tomar distinta forma en base al contexto dentro del mismo
9

Social Psychology Network (How to construct better items) Recuperado de: http://www.socialpsychology.org/teach/itemtips.htm Fecha 02/11/11

10

examen. Por ejemplo, un tem puede evaluar un solo punto (comprender una palabra de vocabulario) o varios puntos (la habilidad de relatar hechos de un pasaje y luego hacer inferencias basado en hechos.) Tambin un objetivo puede ser evaluado por una serie de tems.10 Los tems del test deben estar unidos o enlazados con los estndares y/o contenidos tanto en las evaluaciones diarias del saln de clases como en las evaluaciones generales de rendimiento, como las nacionales. La instruccin o educacin entonces, debe alinear estas evaluaciones para que los estudiantes aprendan a desempearse de acuerdo a las expectativas que de ellos se tiene. El uso de un banco de tems validados y una especie de manual de escritura para tems son muy buenas herramientas, especialmente para aquellos maestros que tradicionalmente han tenido dificultad escribiendo tems que miden el complejo aprendizaje de los estudiantes.

Escribir tems para un test es un arte de precisin, quiz ms parecido a programar en computadora que escribir versos. Segn el manual de evaluacin de la Michigan State University; un tem de un test debe enfocar la atencin del examinando en el principio o constructo sobre el que el tem es basado. En una situacin ideal, los estudiantes que contestan un tem incorrectamente lo harn porque su dominio del tema fue inadecuado. Cualquier caracterstica del tem que distraiga al alumno del punto central del tem, reduce la efectividad de ese tem. Cualquier tem contestado incorrectamente debido a estos factores resultar en un engao para ambos, el alumno y profesor.

Ideas generales para escribir tems

Exprese los tems tan preciso, claro y simple como pueda. Incluya todas las bases necesarias y razonables para responder o De acuerdo a Ebel, el tipo ms verstil de tem para medir varios objetivos en educacin es: _________________________. Enfquese en lo grande en lugar de detalles pequeos. Evite lenguaje extrao o del diccionario Evite pistas irrelevantes Elimine fuentes irrelevantes de dificultad Prepare las claves de respuesta antes de dar el examen Pida a sus compaeros que le revisen su examen

10

University of Minnesota (Test construction) Recuperado de: http://www.carla.umn.edu/assessment/VAC/research/construction.html Fecha 02/11/11

11

Creacin de tests por parte de los profesores:

Susan M. Brookhart defini11 otras reglas que deben seguirse a la hora de elaborar pruebas de evaluacin para los estudiantes; estos van ms orientados a las competencias que debe tener un maestro antes de hacer una evaluacin y aunque no se refieren exactamente al tema de construccin de tems bien vale la pena recordarlas y tomarlas en cuenta. Susan propone que: 1) Los profesores deben comprender lo que ensean, tambin debe saber de qu forma aprenden los alumnos. 2) Los profesores deben explicar claramente lo que esperan que los estudiantes aprendan y que esos contenidos sean congruentes con los objetivos del currculo 3) Los maestros deben tener un repertorio de estrategias de comunicacin para explicar hasta donde han llegado en esos objetivos. Y repite, que para que el aprendizaje sea efectivo, las metas u objetivos de aprendizaje deben ser claras y coherentes con los mismos objetivos del currculo. 4) Los profesores deben comprender los objetivos y uso de todas las opciones de evaluacin disponibles y tener la habilidad de usarlas. La evaluacin formativa quiere decir que los maestros deben planificarla de forma que pueda ser utilizada tanto por alumnos como maestros. 5) Los maestros deben poseer las habilidades para elaborar sus propios instrumentos de evaluacin, compararlos con otros y usar esa informacin para planear instruccin futura. (esta es la idea que ms se repite en todo el texto) 6) Los maestros deben tener habilidades para proveer retroalimentacin 7) Los profesores deben ser capaces de usar varios mtodos para asignar notas 8) Deben tener la habilidad de administrar evaluacin externa (homework?) 9) Debe tener la capacidad de comunicar su interpretacin de los resultados para la poblacin que sirve (alumnos, padres de familia, comunidad) 10) Los maestros deben ser capaces de ayudar a los estudiantes para que hagan buen uso de la informacin de la evaluacin y que tomen las mejores decisiones. 11) Los maestros deben de comprender cules son sus responsabilidades ticas en su trabajo y en la evaluacin.

11

Susan M. Brookhart (Educational Assesment Knowledge and Skills for Teachers) Educational Measurement: Issues and Practice Spring 2011, Vol. 30, No. 1 pp 3-12

12

Reglas para escribir tems de seleccion multiple

En el estudio Item writing rules: Collective wisdom 12 los autores afirman como ya se ha venido mencionando varias veces; que los tems deben cubrir los conceptos importantes y objetivos del curso o programa. Otras reglas pueden agruparse en 4 categoras:

a) Requerimientos ambiguos o palabras confusas. Si un alumno comprende una pregunta pero otro no, su respuesta va a variar con seguridad, no como resultado del nivel de conocimiento o habilidad sino por la forma en que fue escrito. Respuestas como todas las anteriores o ninguna de las anteriores no debieran ser opciones de seleccin. Palabras negativas, las opciones de respuesta debieran incluir solo una opcin correcta, el vocabulario debe ser apropiado, si el examen fuera de rellenar palabras, solo un espacio en blanco por pregunta debiera usarse; las preguntas de verdadero falso deben tener una estructura simple; los V.F. (Verdadero o Falso) deben ser enteramente falsos o verdaderos; las preguntas de relacin entre figuras por ejemplo, debieran contener instrucciones sobre cmo unir o relacionar las mismas; palabras como usualmente o algunas veces deben ser prohibidas. Las preguntas de seleccin mltiple deben ser oraciones completas y no debieran usarse respuestas o preguntas complejas. Por ejemplo: a y c pero no c.

b) Adivinar. Si los alumnos responden una pregunta por casualidad, al adivinar, entonces el examen pierde validez porque no se interpreta el conocimiento. Algunas reglas para disminuir el riesgo de adivinar son razonables, por ejemplo poniendo varias opciones de respuesta como sea posible. Pero tambin puede ser que el examen se vuelva tan largo que no sea fcil construirlo o responderlo. Todas las opciones deben ser plausibles, dignas de tenerse en cuenta. Cuando se hagan tems de relacionar, debieran haber ms opciones de respuesta, es decir, ms de un elemento puede ser usado para relacionar; lo ideal en todos los casos son de 3 a 5 opciones de respuesta.

12

Bruce B. Frey, et al (Item writing

rules: Collective wisdom) Teaching and Teacher Education 13

Volume 21, Issue 4, May 2005, Pages 357-364

c) Reglas para medir eficiencia. A veces una gran cantidad de reglas para escribir exmenes son diseadas para hacer el proceso de tomar un examen ms simple, simple para los estudiantes, claro est. Todas estas reglas, usualmente entregadas en formas de manuales de evaluacin incluyen: El orden de las opciones de respuesta deben ser lgicas o variadas; las opciones de respuesta no deben ser ms largas que la pregunta misma; todo el ejercicio o las partes del tem deben aparecer en la misma pgina; las opciones de respuesta no deben tener palabras repetidas; las preguntas con el mismo formato deben ir juntas. Todos los tems deben ser numerados; los tems individuales deben ser cortos. Las copias de examen deben ser claros y no ser escritos a mano.

d) Reglas para controlar la experiencia en tests. (testwiseness). Hay estudiantes que tienen la habilidad natural o no de reconocer estructuras en los exmenes y de esa forma ganar ventaja no por que sepan ms sino por la sagacidad. Para no afectar la validez de los resultados se debe tomar en cuenta que el orden de las opciones de las respuesta sean lgicas o variadas; las opciones deben ser homogneas; la respuesta correcta no debe ser la ms larga; los tems deben ser independientes unos de otros; los ejemplos no deben ser del libro de texto.

Michael Kane afirma que los errores que podemos hallar en un test hoy pueden no serlo maana, por lo tanto hace falta tener una especie de media de lo que se supone un buen test debe ser. Se le pregunt a Abraham Lincoln Qu tan largas deben ser las piernas de un hombre? y l contest: Lo suficientemente largas para alcanzar el suelo.

Con esta ilustracin, Michael Kane13 nos dice que un tem o examen debiera medir lo que se espera mida, nada ms, nada menos. El error que los profesores, especialmente en Guatemala y muchas otras partes de Amrica Latina, es que entre ms difcil hacen un test y menos alumnos lo ganan, entonces el profesor es bueno, olvidando que las piernas tienen que llegar al suelo no al cielo.

13

Michael Kane (The error of our ways) Journal of Educational Measurement Spring 2011, Vol. 48, No. 1, pp. 1230

14

Escribiendo tems especficos

Hay una variedad de formas de tems, pero normalmente estn agrupados en cuatro categoras: tems objetivos e tems de respuesta construida. Los tems objetivos son aquellos en los que el estudiante reconoce la mejor respuesta en base a opciones que se le dan. Los tems de construccin de la respuesta incluyen los tems de respuesta restringida, tems de respuesta corta, tems de completar e tems de composicin, como cuando hay que desarrollar un tema.

Items de seleccion multiple

Estos presentan un problema o pregunta en la parte principal de la pregunta y requiere que el alumno seleccione la mejor respuesta para la opcin. Las opciones consisten en una respuesta correcta y uno o varios distractores.

Ejemplo: La capital de Honduras es: San Pedro Sula Copn Tegucigalpa

Si volvemos sobre lo que hemos venido hablando en todo el texto nos daremos cuenta que hay ciertas reglas que seguir para escribir tems, por ejemplo que no sean ms de tres, que la respuesta correcta no siga una estructura, que los tems no guarden relacin lgica entre si y que no exista trampa o engao para hacer fallar al alumno. Algunos profesores dicen que un tem puede tener varias opciones de respuesta correcta; que tenga una oracin completa como pregunta principal y varias opciones para responder y que siempre mida detalles factuales.

15

Los componentes de un tem de respuesta mltiple son: - Una pregunta principal y varias ramificaciones como posible complemento correcto. - Una respuesta correcta

Un estudiante bien preparado que se le presenta a su vez un tem elaborado correctamente, leer la pregunta principal y reconocer inmediatamente la respuesta correcta. Lo nico que debe hacer despus es buscar el complemento exacto para responder. Recordemos que las preguntas y respuestas no deben ser ambiguas; ni prestarse a ser discutidas; de lo contrario como profesor tendr que dar muchas explicaciones a aquellos alumnos que hicieron bien su tarea. El enfoque o propsito principal de un tem de respuesta mltiple es identificar el nivel de conocimiento de una materia o concepto. Por eso, y para lograr bien su cometido, los distractores del tem deben aparecer tan razonables como la respuesta correcta.

Items de respuesta alterna

Estos son casos especiales de formatos de seleccin mltiple, hay varias situaciones en donde se necesita que el estudiante tome una decisin, sin analizar si la respuesta es correcta o equivocada, continuar o parar, etc. En estas situaciones, un tem de respuesta alterna es la eleccin correcta. Los estudiantes pueden contestar ms tems de respuesta alterna que ninguna otra clase. La mayor desventaja de este tipo de tems es que el estudiante tiene una probabilidad de 50 50 de contestar un tem correctamente, solo por la va de la casualidad, por lo tanto se considera necesario que los test tengan una gran cantidad de tems. De tems alternos hay dos clases; el primero que es una seleccin mltiple con dos opciones para determinar el grado de relacin entre dos variables continuas y el ms comn de estos formatos: Verdadero -Falso. V.F

16

En este tipo de tems hace falta tener cuidado en que las posibles respuestas sean exactas, elimine aquellos tems parcialmente verdaderos o falsos, debieran tener la misma extensin en palabras, balancear el nmero de tems con respuesta verdadera y falsa y por ltimo eliminar trminos vagos. Igual, se espera que tengamos precaucin al escribir tems con preguntas en formato negativo.

Cuando hablamos de tems de seleccin mltiple no nos referimos solamente a los clsicos tests donde hay una respuesta y tres o ms posibles respuestas, de las que una sola es correcta, a lo largo de este trabajo hemos visto una parte de toda esta variedad de formatos de tems. Pero volviendo al trabajo de Susan Brookhart, que ya citamos antes; lo que si debe estar siempre claro es que los profesores deben primero comprender bien lo que ensean y saber cmo ensearlo, a esta regla hay que agregar que deben tambin saber evaluarlo. Desafortunadamente esto no siempre es posible porque aun en pases desarrollados, hace falta preparacin en los profesores para escribir correctamente formatos de tems, sin siquiera llegar a soar con que tengan un propio banco de tems. Los estudiantes a su vez deben estar informados claramente de lo que se espera de ellos y los tests a su vez, pero principalmente los tems, deben ser formulados de manera tal que se minimice el riesgo de que midamos la informacin incorrectamente. Porque si no se mide de una forma valida el nivel de aprendizaje de los estudiantes, entonces todo el proceso de retroalimentacin y luego el de posterior enseanza aprendizaje se ver afectado, esa es entonces la mejor razn para embarcarse en un proceso de capacitacin para elaborar correctamente tems de cualquier clase.

17

Evaluacion alternativa y tutora

Para qu evaluar? Esta pregunta es una que no debe hacerse, especialmente en condiciones de educacin formal, alguien por all escribi que los alumnos necesitan que evalen su trabajo pero los oficinistas quieren nmeros para hacer los certificados. Los profesores efectivos, utilizan varias formas de evaluacin, unas formales y otras informales, para determinar lo que sus alumnos estn aprendiendo. Para evaluar formalmente utilizan exmenes, reportes, investigaciones, ejercicios, tareas para entregar otro da, de esta forma se revisa el progreso y se asignan notas. Informalmente tambin se utiliza otra variedad de tcnicas, hacen preguntas generales a todo el saln, escuchan lo que los alumnos dicen, observan su comportamiento, muchas veces la evaluacin informal determina el xito o fracaso de un estudiante en cierto curso. A distancia, los docentes deben enfrentar un reto diferente en el sistema de evaluacin porque los profesores o tutores a distancia no tienen: Un saln de clases tradicional. Un grupo casi homogneo de estudiantes. Retroalimentacin cara a cara e inmediata. No tienen control total del sistema de educacin a distancia. No tienen o son muy pocas las posibilidades de hablar personalmente con ellos. Por estas razones, se aconseja que los profesores adems de evaluar formalmente a los alumnos por medio de tareas, utilicen un enfoque informal para determinar si estn cmodos con el mtodo de envo de los materiales didcticos, si las tareas les son agradables, si el contenido de los cursos es claro, si tienen tiempo para sus clases, si el tutor o el profesor est siendo efectivo cuando piden ayuda y como se puede mejorar el sistema de enseanza a distancia.

18

Tecnicas y herramientas para evaluacion no formal:

Jos Luis Pulgar14 propone algunas tcnicas para la evaluacin no formal: Diario, portafolio de ejercicios o texto paralelo. Otras personas le llaman dossier. Fichas de registro de eventos (Seguimiento de noticias, crecimiento de una planta, evolucin de un proyecto, etc.) Entrevistas tutoriales. Coevaluacion. Realizada entre dos o ms estudiantes. Resmenes Leonor Barahona catedrtica del curso Planificacin por Competencias dictado en la UNIS durante el segundo semestre del ao 2008, tambin aconseja que los estudiantes lleven un portafolio de ejercicios, un diario o un texto paralelo, este lo entregan al finalizar el grado o semestre y tiene que ser devuelto para que el estudiante corrija posibles dificultades y reciba la retroalimentacin debida.

Web-Quest (Bsqueda en el internet)

Francisco Herrera15, catedrtico del curso Tecnologa Educativa de la Universidad del Istmo explica que la forma ms fcil de evitar el copy paste son las Web-Quest, un concepto desarrollado por Bernie Dodge de la Universidad de San Diego, California, tan temprano como 1995, la idea principal detrs de una Web Quest es la siguiente: El profesor selecciona el material en lnea Despus lo analiza y si considera adecuado su uso entonces pide a los estudiantes que lo revisen. Cuando un material que est disponible en Internet se cree adecuado para el curso, el profesor adems de proporcionar a los alumnos la direccin o direcciones, les entrega un cuestionario que debe ser respondido por los estudiantes. Esto garantiza que los alumnos deben visitar el enlace que el profesor les indic y que el trabajo que van a hacer est diseado de antemano por el profesor. No hay lugar para copiar y pegar, los estudiantes deben leer y responder de acuerdo a los lineamientos recibidos.

14

PULGAR, Burgos, Jos Lus. Evaluacin del aprendizaje en educacin no formal. Recursos didcticos para el profesorado. NARCEA Madrid 2005 p93 15 HERRERA, Francisco. Curso: Tecnologa Educativa. FEDU Universidad del Istmo. Segundo Semestre 2008

19

Estructura de una Web-Quest:

Observacin
La observacin es una tcnica que utiliza el profesor en forma incidental o intencional al ensear y/o cuando los alumnos aprenden en forma ms autnoma. (Frida Daz Barriga: 2005) Observaciones sistematizadas se llevan a cabo por medio de una ficha.

20

Lista de cotejo
Consiste en un listado de aspectos a evaluar (al lado de los cuales se puede adjuntar un tic (visto bueno, o una "X" si la conducta es no lograda, por ejemplo), un puntaje, una nota o un concepto.

21

Escala de rango
Tambin denominada lista de control o de verificacin, es un instrumento en el que se indica la presencia o ausencia de un aspecto o conducta a ser observada. Usualmente se estructura en tres o ms columnas.

Rubrica
Las rbricas son instrumentos de medicin en los cuales se establecen criterios y estndares por niveles, mediante la disposicin de escalas, que permiten determinar la calidad de la ejecucin de los estudiantes en unas tareas especficas

22

Otras tecnicas
Diario Debate Ensayo Portafolio Solucin de problemas Mtodo de casos Proyecto Mapa mental

RECURSOS ADICIONALES
http://redescolar.ilce.edu.mx/redescolar/biblioteca/artic ulos/htm/tecnicas_evalu.htm

http://virtuami.izt.uam.mx/ePortafolio/PlanEstudios/Semana3/evaluaciontecnicasalte rnativas.pdf http://virtuami.izt.uam.mx/ePortafolio/PlanEstudios/Semana3/evaluaciontecnicasalte rnativas.pdf

23

Imagen tomada de: http://redescolar.ilce.edu.mx/redescolar/biblioteca/articulos/htm/tecnicas_evalu.htm

24

Limitaciones y lecturas adicionales

Todava nos falt analizar una a una las caractersticas, ventajas y desventajas de cada clase de tem; para eso puede recurrirse a buena literatura que se encuentra disponible en la red o en las bibliotecas. Claudia Castro ha escrito un manual para elaborar items que aborda no cuestiones tericas como nosotros sino que va al grano; (http://www.saidem.org.ar/docs/cpreparar.php) y tambin en ingls podemos hallar dos sitios muy interesantes que recopilan toda la informacin necesaria; una de ellas que usamos parcialmente para este trabajo: (http://scoring.msu.edu/writitem.html#knowmat) cuyos datos se encuentran en la referencia; y el ltimo recurso: (http://www.iiep.unesco.org/fileadmin/user_upload/Cap_Dev_Training/Training_Material s/Quality/Qu_Mod5.pdf) que por razones de tiempo no pudimos abordar en este trabajo.

Referencias:
1. John Izard (Overview of test construction) UNESCO International Institute for Educational Planning Recuperado de: http://www.iiep.unesco.org/ Fecha 02/11/11 2. Blanca Silvia Lpez Fras, Elsa Mara Hinojosa Kleen. Evaluacin del aprendizaje Alternativas y nuevos desarrollos. Editorial Trillas (Universidad Virtual ITESM) Mxico D. F. 2001 p14 3. PULGAR Burgos Jos Lus. Evaluacin del aprendizaje en educacin no formal. Narcea Madrid 2005 4. Carlos Dorado Perea Metacognicin (Documento en lnea) Recuperado de: http://www.xtec.es/~cdorado/cdora1/esp/metaco.htm Fecha 02/11/2011 5. Gomm, Roger (1981), Salvage evaluation, in Smetherham, David (ed.), Practising Evaluation, Nafferton Books (http://www.edu.plymouth.ac.uk/resined/evaluation/index.htm#4 Methods) 6. Katrien Struyven, F. D. (2006). The overall effects onf end of course assessment on student perfomance: A comparison between multiple choice testing, peer assesment, case based assessment and portfolio assessment. Studies in Educational Evaluation, 202-222 7. Social Psychology Network (How to construct better items) Recuperado de: http://www.socialpsychology.org/teach/itemtips.htm Fecha 02/11/11 25

8. University of Minnesota (Test construction) Recuperado de: http://www.carla.umn.edu/assessment/VAC/research/construction.html Fecha 02/11/11 9. Michigan State University Academic Technology Services Scoring Office (Writing test items) Recuperado de: http://scoring.msu.edu/writitem.html#esschar Fecha: 03/11/11 10. Liz Hollingworth, Jonathan J. Beard, and Thomas P. Proctor ( An Investigation of Item Type in a Standards-Based Assessment) Practical Assessment, Research & Evaluation, Vol 12, No 18 11. Dirk Hastedt , Heiko Sibberns (Differences between multiple choice items and constucted response items in the IEA TIMSS surveys) Studies in Educational Evaluation 31 (2005) 145161 12. Jason C. Chen et al (Test tem sequence affects false memory formation: An event related potential study) Neuroscience Letters, Volume 431, Issue 1, 24 January 2008, Pages 51-56 13. Yasuhiro Ozuru et al (Influence of question format and text availability on the assessment of expository text comprehension) Cognition and Instruction, v25 n4 p399-438 Dec 2007 14. Hugo Carretero, Macarena de los Santos Roig, Gualberto Buela Casal. (Influence of the difficulty of the Matching Familiar Figures Test 20 on the assessment of reflection impulsivity: An tem analysis) Learning and Individual Differences 18 (2008) 505 508 15. Frey, B.B.; Petersen, S.; Edwards, L.M.; Pedrotti, J.T.; Peyton, V.(Item-Writing Rules: Collective Wisdom) Teaching and Teacher Education: An International Journal of Research and Studies, v21 n4 p357-364 May 2005 16. Haladyna, Thomas M.; Downing, Steven M.; Rodriguez, Michael C. (A Review of MultipleChoice Item-Writing Guidelines for Classroom Assessment) Applied Measurement in Education, v15 n3 p309-34 2002 17. Rafael Moreno, Rafael Martnez, Jos Muiz (Directrices para la construccin de tems de eleccin mltiple) Psicothema 2004 Vol 16 No. 3 pp 490-497 18. David Foster, Harold L. Miller Jr. (A new format for multiple choice testing: Discrete Option Multiple Choice. Results from early studies) Psychology Science Quarterly Volume 51 (2009) pp 355-369 19. Klaus D. Kubinger, Stefana Holocher Ertl, Manuel Reif, Christine Hohensinn and Martina Frebort. (On minimizing guessing effects on multiple choice items: Superiority of a two solutions and three distractors item format to a one solution ad five distractors item format) International Journal of Selection and Assessment Volume 18 Number 1 March 2010 20. Pauline Vos, Wilmad Kuiper (Predecessor items and performance level) Studies in Educational Evaluation 29 (2003) pp 191 206 26

21. WARD Annie (Guidelines for the Development of Bank Items) ITEMS Instructional Topics in Educational Measurement Recuperado de: http://www.ncme.org/pubs/items/25.pdf Fecha 04/11/11 22. Susan M. Brookhart (Educational Assesment Knowledge and Skills for Teachers) Educational Measurement: Issues and Practice Spring 2011, Vol. 30, No. 1 pp 3-12 23. Michael C. Rodrguez (Three Options Are Optimal for Multiple Choice Items: A Meta Analysis of 80 Years of Research) Educational Measurement: Issues and Practice Volume 24 Issue 2 Pages 3-13 Jun 2005 24. Bruce B. Frey, et al (Item writing rules: Collective wisdom) Teaching and Teacher Education Volume 21, Issue 4, May 2005, Pages 357-364 25. Errikos Ventouras et al (Comparison of oral examination and electronic examination using paired multiple choice questions) Computers & Education Volume 56, Issue 3, April 2011, Pages 616-624 26. Michael Kane (The error of our ways) Journal of Educational Measurement Spring 2011, Vol. 48, No. 1, pp. 1230

27