Cuando se lleva a cabo la elaboracin de un test, una primera
tarea importante es la construccin de los tems que lo conforman.
Sin embargo, si se revisan los manuales de psicometra clsica y los ms recientes de Teora de Respuesta a los tems puede obser- varse que dedican muy poca atencin a la tecnologa para la cons- truccin de los tems en comparacin con otros tpicos asimismo relevantes, como la fiabilidad del test, la validez o el anlisis de los tems. La explicacin a este hecho es la asuncin de que la cons- truccin de los tems depende ms del ingenio e inspiracin del constructor que de la aplicacin sistemtica de una tecnologa, confindolo todo a que los anlisis estadsticos a posteriori permi- tan detectar los tems inapropiados. Afortunadamente esta filoso- fa ha ido cambiando y en la actualidad disponemos de trabajos y programas de investigacin centrados en la construccin rigurosa de los tems, bien recogidos en manuales como los de Haladyna (1994) y Osterlind (1998). De acuerdo con Muiz y Garca-Men- doza (2002), varias son las razones que han originado este cambio: a) el predominio que han tenido en los ltimos aos los modelos de Teora de Respuesta a los tems, colocando todo lo relacionado con el tem como unidad bsica de medida en el centro del esce- nario psicomtrico; b) la aparicin de los Tests Adaptativos Infor- matizados (Olea, Ponsoda y Prieto, 1999; Van der Linden y Glass, 2000), que exigen la elaboracin continua de tems para reponer Directrices para la construccin de tems de eleccin mltiple Rafael Moreno, Rafael J. Martnez y Jos Muiz* Universidad de Sevilla y * Universidad de Oviedo Los tems de eleccin mltiple son utilizados en numerosos contextos de evaluacin psicolgica y edu- cativa. Con demasiada frecuencia las crticas que se hacen a este tipo de tems tienen ms que ver con su construccin defectuosa que con los inconvenientes del formato en s mismo, que resulta objetivo, fcil y econmico de corregir, y muy verstil, adaptndose a todo tipo de contextos y contenidos. El presente artculo destaca la necesidad de contar con un conjunto de directrices eficientes que guen la construccin de dichos tems, sustituyendo el modo intuitivo y poco sistemtico seguido con frecuen- cia. Se revisan las directrices existentes y se identifican los diversos problemas que dificultan su apro- vechamiento, tales como el elevado nmero de directrices propuestas, redundancias entre ellas y cier- tas imprecisiones. A partir de esa revisin se seleccionan las directrices de contenido relevante y se re- organizan en un conjunto ms parsimonioso y estructurado constituido por doce directrices bsicas, acompaadas de ejemplos e ilustraciones. Se espera que esta propuesta resulte de utilidad como gua para los profesionales e investigadores que deseen construir tems de eleccin mltiple o analizar los ya existentes. Guidelines for the construction of multiple choice test items. Multiple choice test items are currently used in several areas of psychological and educational assessment. All too often, criticism made of the- se items concentrates more on their defective construction than the difficulties with the format itself; despite this, the format is objective, easily and cheaply corrected, and its versatility makes it adaptable to many contexts and contents. This paper highlights the need for a set of effective guidelines to assist in the construction of these items, thereby replacing the intuitive and unsystematic approach generally used. Existing guidelines are revised, as are several questions that stop them working properly, such as the excessive number of guidelines, overlapping between them and inaccuracies. Following this revi- sion, the guidelines with important content are selected and reorganized in a more practical and struc- tured set consisting of twelve basic guidelines, accompanied by examples and illustrations. It is hoped that this proposal will be useful as a guide for teachers or researchers who have to build multiple choi- ce items, or analyze already existing ones. Fecha recepcin: 22-12-03 Fecha aceptacin: 18-2-04 Correspondencia: Rafael Moreno Facultad de Psicologa Universidad de Sevilla 41018 Sevilla (Spain) E-mail: rmoreno@us.es SOFTWARE, INSTRUMENTACIN Y METODOLOGA Psicothem a 2004. Vol. 16, n 3, pp. 490-497 ISSN 0214 - 9915 C O D EN PSO TEG w w w.psicothem a.com C opyright 2004 Psicothem a los Bancos de tems utilizados; c) el gran desarrollo de las tcni- cas para detectar el funcionamiento diferencial de los tems (Ca- milli y Shepard, 1994; Fidalgo, 1996; Holland y Wainer, 1993), que obliga a indagar con rigor qu hace que un tem funcione de diferente modo para distintas poblaciones; d) la interaccin entre los modelos psicomtricos y la psicologa cognitiva (Frederiksen, Mislevy y Bejar, 1993; Gonzlez-Rom y Espejo, 2003; Prieto y Delgado, 1996, 1999, 2003), que lleva a construir con precisin los distintos componentes de los tems para poder analizar los pro- cesos psicolgicos implicados en su resolucin; e) la irrupcin de modelos de evaluacin alternativos a los convencionales, tales co- mo la denominada evaluacin autntica (Bravo y Fernndez del Valle, 2000; Hakel, 1998; Powell, 1990), que ha obligado a mejo- rar y justificar los tems de los tests convencionales. Adems de estas razones, la combinacin del ordenador con otros medios au- diovisuales, realidad virtual e internet est abriendo posibilidades insospechadas en la confeccin de los tems (Parshall y Balizet, 2001; Parshall, Davey y Pashley, 2000; Zenisky y Sireci, 2003). Este es el marco general en el que se encuadra nuestro trabajo, cuyo objetivo central es ofrecer a los investigadores y profesiona- les directrices claras y precisas que les permitan mejorar la cons- truccin de los tems de eleccin mltiple, no dejando esta impor- tante labor a la mera intuicin e inspiracin del momento. Como es bien sabido, existen diferentes formatos para los tems. Algunos exigen construir la respuesta, como las preguntas abiertas, en las que el sujeto debe elaborar totalmente lo que se le plantea; por ejemplo, Enumere tres huesos del trax humano, o Describa la funcin cloroflica. Tambin son abiertos los tems de completar frases, que piden al sujeto que aada uno o ms ele- mentos de una oracin, como por ejemplo, El , la tibia y el son de las extremidades inferiores humanas. Otros formatos en cambio ofrecen al sujeto diversas opciones de respuesta, pidindole elegir las que reconozca como correctas. El formato ms usual es el de eleccin mltiple, consistente en un enunciado o pregunta que se completa con varias opciones de res- puesta entre las que el sujeto debe identificar la nica correcta. El resto de formatos pueden considerarse variaciones del anterior (ver Tabla 1). El tem es denominado de eleccin alternativa si presenta slo dos opciones de respuesta, o de verdadero-falso si son esas las opciones ofrecidas. Una versin del anterior es el for- mato verdadero-falso mltiple que pide al sujeto valorar con esas alternativas varios enunciados referidos a un mismo contenido. Otros formatos presentan dos conjuntos de opciones que han de utilizarse de determinados modos: el de emparejamiento pide al sujeto asociar los elementos de uno y otro conjunto, y el de elec- cin mltiple complejo propone elegir la opcin correcta de una serie referida a un conjunto previo de opciones. Por ltimo, tems de algunos de los formatos de eleccin mltiple, especialmente el usual, el de eleccin alternativa y el verdadero-falso, son presen- tados a veces en grupos referidos a un mismo contexto o referen- te, dando lugar al formato conjunto dependiente de un contexto. Los tems de eleccin mltiple exigen a quien los elabora un ma- yor esfuerzo y pericia que aquellos ms abiertos que slo plantean la pregunta, aunque hoy por hoy tienen la ventaja de una evaluacin ms fiable. Por ello, los de eleccin mltiple son un recurso muy adecuado para estudiar amplias poblaciones de sujetos. A pesar de tales ventajas, estos tems son vistos con reticencia por cuanto slo seran adecuados para evaluar tareas sencillas y resultados de pro- cesos ms que estos. Aunque tales carencias pueden estar presentes en muchos tems de este tipo, no son inherentes a ellos; con tems de eleccin mltiple adecuadamente construidos resulta posible evaluar tareas cognitivamente complejas, as como todos los pasos que deseen evaluarse de un proceso, como se pone de manifiesto ampliamente en la prctica de la evaluacin (Haladyna, 1994). DIRECTRICES PARA LA CONSTRUCCIN DE TEMS DE ELECCIN MLTIPLE 491 Tabla 1 Formatos de tems de eleccin mltiple Eleccin mltiple usual La frmula C4H10 corresponde al siguiente hidrocarburo: 1. Etano 2. Propano 3. Butano Eleccin alternativa Una propiedad de las clulas madres o estaminales es su: 1. Unipotencialidad 2. Multipotencialidad Verdadero-Falso La adenina es una de las bases qumicas del ADN: 1. Verdadero 2. Falso Verdadero-Falso mltiple Seale si es Verdadero (V) o Falso (F) que cada una de las siguientes es caracterstica usual de las plantas monocotiledneas: 1. Son angiospermas 2. Tienen tallo ramificado 3. Tienen flores Emparejamiento Conecte los siguientes pases con sus capitales: 1. Mongolia a. Kuala Lumpur 2. Bangladesh b. Ulan Bator 3. Malasia c. Dhaka Eleccin mltiple complejo Son capitales de provincias espaolas: a. Oviedo b. Pamplona c. Vigo 1. a y b 2. b y c 3. a, b y c Conjunto de tems dependientes de un contexto Siento que ha entrado el otoo. La temperatura ha descendido y se respira humedad. Los rboles entrarn en reposo y mostrarn numerosas tonalidades. Las siguientes preguntas sobre sintaxis se refieren al texto indicado. A. Qu parte del sujeto es temperatura en la oracin en que aparece? 1. Ncleo 2. Modificador directo 3. Modificador indirecto B. En el predicado verbal del que forma parte, numerosas tonalidades es: 1. Objeto directo 2. Objeto indirecto 3. Ncleo C. Numerosas es modificador: 1. Trmino 2. Subordinante 3. Directo Las posibilidades de los tems de eleccin mltiple se desapro- vecharn, sin embargo, en la medida en que la construccin se re- alice de manera intuitiva. Como se dijo al comienzo, se han ofre- cido distintos conjuntos de directrices para aportar una mayor sis- temtica a esa tarea (Hoepfl, 1994; Marrelli, 1995; Osterlind, 1998; Roid y Haladyna, 1982). Especial mencin merece la de Ha- ladyna y Downing (1989), que sintetiza ms de cuarenta taxono- mas aparecidas en los cincuenta y cuatro aos anteriores. Est compuesta por cuarenta y tres directrices organizadas en distintos epgrafes, tal como puede verse en la tabla 2. En el primer grupo, las directrices procedimentales aconsejan un uso correcto de la gramtica, una cantidad no excesiva de ma- terial a leer en el tem, la colocacin vertical de las opciones y que haya solo una correcta, as como evitar el formato de eleccin mltiple complejo. Las referidas al contenido sealan el nivel y ti- po de pensamiento que puede requerir el tem, mientras que los dos grupos restantes recogen directrices especficas para cada una de las partes del tem, enunciado y opciones. Los propios autores sealan problemas en su taxonoma, tales como ambigedad de algunas directrices, falta de independencia entre otras y ausencia de integraciones que pudieran aportar ma- yor parsimonia. Por ello, y quizs tambin por las dificultades que supona el elevado nmero de directrices ofrecidas, apareci una nueva versin (Haladyna, Downing y Rodrguez, 2002) compues- ta por 31 que puede verse en la tabla 3. Observada en detalle, la reduccin de directrices es menor de lo que parece puesto que una de ellas (la 28) queda especificada en seis diferentes, resultando por tanto un total de 36. Una compara- cin detallada de los contenidos de las directrices pone de mani- fiesto al menos los siguientes cambios entre las dos taxonomas de referencia: i) Integracin de categoras: las directrices 1, 2, 18 y 19 de Haladyna y Downing (1989) aparecen como componentes de la 9 en Haladyna, Downing y Rodrguez (2002) y las 14 y 16 anti- guas pasan a conformar la nueva directriz 3. ii) Disgregacin de una en varias: la directriz 33 de la primera versin se diversifica en las variaciones b y f de la 28 nueva. iii) Incorporacin de nue- vas directrices: aparecen las 28 d y e. iv) Supresin de otras: las nmero 8, 12, 40, 41 y 42. Otras 27 directrices permanecen idn- ticas o muy semejantes. Las variaciones comentadas no resultan suficientes, ya que la nueva versin sigue presentando similares problemas que su pre- decesora, incumpliendo caractersticas exigibles a toda taxonoma o clasificacin. Algunas de las directrices no son mutuamente ex- cluyentes: ocurre con la 7 (Evite tems con trampas) que en su definicin incluye explcitamente aspectos de las directrices 2 (Evite contenidos triviales), 5 (Evite contenidos muy especfi- cos o muy generales), 14 (Asegrese de que el sentido del enun- ciado resulta muy claro), 16 (Evite adornar el texto en exceso) RAFAEL MORENO, RAFAEL J. MARTNEZ Y JOS MUIZ 492 Tabla 2 Nmero de directrices por epgrafes en Haladyna y Downing (1989) Tipos de directrices Nmero I. Advertencias generales A. Procedimentales 07 B. Referidas al Contenido 10 II. Construccin del enunciado 06 III. Desarrollo de las opciones 12 A. Opcin correcta 02 B. Distractores 06 TOTAL 43 Tabla 3 Directrices para la construccin de tems de eleccin mltiple (Haladyna, Downing y Rodrguez, 2002) Referidas al contenido 01. Cada tem debera reflejar un contenido especfico y una nica conducta mental es- pecfica, tal como sea requerido en las especificaciones del test (tabla de doble entra- da, proyecto del test) 02. Base cada tem en un contenido importante para el aprendizaje; evite contenidos tri- viales 03. Use material novedoso para evaluar el aprendizaje de alto nivel. Cuando los utilice en un tem, parafrasee el lenguaje de los libros de texto, o el lenguaje utilizado durante la instruccin, para as evitar evaluar el mero recuerdo 04. Mantenga el contenido de cada tem independiente del contenido de otros tems del test 05. Al escribir tems de eleccin mltiple, evite contenidos muy especficos o muy gene- rales 06. Evite tems basados en opiniones 07. Evite tems con trampas 08. Use un vocabulario sencillo para el grupo de estudiantes que estn siendo evaluados Referidas al formato 09. Del formato convencional de eleccin mltiple utilice la interrogacin, completar fra- ses, la mejor respuesta, eleccin alternativa, verdadero-falso, verdadero-falso mlti- ple, emparejamiento, los conjuntos de tems y los dependientes de contexto; sin em- bargo, evite el formato de eleccin mltiple complejo (el tipo K) 10. Construya el tem de forma vertical, no horizontal Referidas al estilo 11. Corrija y pruebe los tems 12. Utilice una gramtica, puntuacin, maysculas y minsculas y deletreo correctos 13. Minimice la cantidad de lectura en cada tem Redaccin del enunciado 14. Asegrese de que el sentido del enunciado resulta muy claro 15. Incluya la idea central en el enunciado y no en las opciones 16. Evite adornar el texto en exceso (palabrera excesiva) 17. Exprese el enunciado de manera afirmativa, evitando trminos negativos tales como NO o EXCEPTO. Si usa trminos negativos, hgalo con sumo cuidado y asegrese que aparecen en maysculas o negritas Redaccin de las opciones 18. Escriba tantas opciones como pueda, si bien la investigacin sugiere que con tres es suficiente 19. Asegrese que slo una de esas opciones es la respuesta correcta 20. Vare la colocacin de la respuesta correcta segn el nmero de opciones 21. Coloque las opciones en un orden lgico o numrico 22. Construya las opciones independientes entre s, no deben solaparse 23. Mantenga a las opciones homogneas en contenido y estructura gramatical 24. Escriba las opciones con una longitud aproximadamente igual 25. La opcin Ninguna de las anteriores debe usarse con mucho cuidado 26. Evite la opcin Todas las anteriores 27. Escriba las opciones de forma afirmativa, evite trminos negativos tales como NO 28. Evite dar pistas sobre la respuesta correcta, tales como: a. Determinantes especficos como siempre, nunca, completamente y absolutamente b. Asociaciones por sonido similar y opciones idnticas o parecidas a trminos del enunciado c. Inconsistencias gramaticales que indiquen al sujeto la eleccin correcta d. Opcin correcta destacada e. Pares o tros de opciones que indiquen al sujeto la opcin correcta f. Opciones claramente absurdas o ridculas 29. Haga plausibles todos los distractores 30. Use errores usuales de los estudiantes para escribir los distractores 31. Use el humor si es compatible con el profesor y con el ambiente de aprendizaje DIRECTRICES PARA LA CONSTRUCCIN DE TEMS DE ELECCIN MLTIPLE 493 y 19 (Asegrese que slo una de las opciones es la respuesta co- rrecta). Otras directrices tienen un contenido similar, como la 13 (Minimice la cantidad de lectura en cada tem) y la ya citada 16. Sin embargo, y a pesar de esta semejanza, ambas estn clasificadas en distintos apartados. En sentido similar, la directriz 8 sobre voca- bulario simple y adaptado a los sujetos est incluida en el apartado de contenido del temy no en el de estilo como sera de esperar. Por ltimo, las definiciones de algunas directrices son imprecisas, co- mo la 5, referida sin mayor caracterizacin a tems muy especfi- cos, o la 1 que menciona una nica conducta mental especfica. Estos problemas y el an elevado nmero de directrices dificul- tan la utilizacin de la taxonoma de Haladyna, Downing y Rodr- guez (2002). En tal situacin, el presente trabajo pretende continuar el avance partiendo de lo ya logrado. Plantea una nueva versin pa- ra recoger en lo fundamental el mismo contenido de la taxonoma de referencia pero hacindolo con mayor parsimonia, para ser ms til a los profesionales que deseen redactar tems de eleccin mltiple. Procedimientos para aumentar la parsimonia En primer lugar, la nueva versin debe excluir directrices que estn referidas a aspectos colaterales a su objetivo. Por ello no de- bera incluir la mayor parte de la directriz 9 de Haladyna, Dow- ning y Rodrguez (2002) dedicada a enumerar diferentes formatos de eleccin mltiple, puesto que las directrices pretendidas han de referirse a los aspectos de construccin comunes a los diferentes formatos y no a estos. Por una razn similar, debe excluir tambin la referencia a procedimientos auxiliares de la construccin, como hace la directriz 11 de Haladyna, Downing y Rodrguez (2002) Corrija y pruebe los tems. En segundo lugar, deben reorganizarse todas aquellas cuyo con- tenido relevante no puede ser omitido. Con tal fin resulta conve- niente tener en cuenta el sentido u objetivo de los tems de eleccin mltiple. Estos se construyen para evaluar algn contenido, como por ejemplo el rendimiento en una materia acadmica. Por ello de- be disponerse de una serie de directrices sobre el contenido a incluir en el tem y sobre cmo plasmarlo en este. Otro conjunto de direc- trices deben referirse a las diversas opciones de respuestas al cons- tituir el elemento diferenciador de estos tems. Se trata de facilitar que el sujeto que conozca la opcin correcta pueda identificarla y el que no la conozca no encuentre pistas indebidas sobre ella. As pues, los tres aspectos referentes citados, contenido a incluir, su ex- presin en el tem y las opciones de respuesta, son los necesarios para configurar los apartados de la taxonoma pretendida. Por ltimo, la reorganizacin pretendida debe reducir el n- mero de directrices de cada apartado, eliminando redundancias e integrando varias como casos particulares de alguna de las nuevas. Nuevas directrices Conforme a los objetivos y procedimientos sealados, se ofre- ce el siguiente conjunto de doce directrices para la construccin de tems de eleccin mltiple, ilustradas con comentarios y ejemplos y sintetizadas en la tabla 4. A. Eleccin del contenido que se desea evaluar 01. Los contenidos a recoger en los tems de una prueba deben ser una muestra representativa de la aptitud, rendimiento o cualquier otro aspecto que se desee evaluar, el cual debe- ra estar especificado previamente y sin solapamientos en- tre sus elementos en una tabla lo ms exhaustiva posible. En las llamadas tablas de especificacin se enumeran los contenidos, incluyendo trminos, nociones y competen- cias considerados relevantes para la temtica que interese evaluar. Todos ellos, o al menos una muestra lo ms re- presentativa posible, deberan estar presentes en el con- junto de los tems de una prueba. Debe evitarse por tanto que el tem se refiera a contenidos triviales y diferentes al objetivo. Un ejemplo de lo que no debe hacerse sera el siguiente tem (sealado en cursiva como otros inadecuados de ms adelante) si fuera utiliza- do para evaluar conocimientos de Historia, cuando en to- do caso lo que evala sera memoria fotogrfica. El cronograma sobre la Revolucin Francesa del libro de texto aparece aproximadamente en la pgina: 1. 050 2. 100 3. 150 02. La representatividad respecto a lo que se desea estudiar en una determinada poblacin de sujetos deber marcar las caractersticas de cada tem en cuanto a lo sencillo o com- plejo, concreto o abstracto, memorstico o de razonamien- to de lo que plantee y en cuanto a la expresin formal o in- formal, verbal, numrica o grfica utilizada. El ajuste respecto a lo que se desea evaluar es el criterio clave para decidir acerca del contenido y forma del tem. Recurdese esta clave, que se encontrar aplicada en las directrices especficas que aparecen ms abajo. Ninguna decisin es correcta por s misma, pues depender de lo que se desee evaluar, de los sujetos y del medio en el que se desee hacerlo. Por ejemplo, un tem verbal ser adecua- do en una prueba de Historia, pero probablemente inade- cuado para evaluar buena parte de contenidos algebraicos. Un tem memorstico ser irrelevante para evaluar razona- miento, pero ser pertinente si se trata de evaluar memo- ria. Si por el contrario se pretende evaluar alguna capaci- dad no memorstica, ella ser la clase de tarea que debe plantear el tem, tal como se hace en el siguiente ejemplo. Qu nmero contina la siguiente serie? 1, 3, 7, 15, 31, 63... 1.073 2. 085 3. 127 B. Expresin del contenido en el tem 03. Lo central del contenido elegido debe expresarse en el enunciado, haciendo de cada opcin un complemento que por ello ha de concordar sintctica y semnticamente con el enunciado. Desplazar el grueso del contenido a las diferentes opciones desaprovechara las posibilidades que ofrece el enunciado para dar una mayor amplitud a la expresin; obligara ade- ms a leer una mayor cantidad de texto a veces redundan- te, lo que puede dificultar una adecuada comprensin del tem. Ocurrira en el siguiente ejemplo no aconsejable: En Fsica, sublimacin: 1. Supone un cambio de materia slida a materia gaseosa 2. Se refiere a un cambio de materia lquida a materia slida 3. Consiste en un cambio de materia gaseosa a mate- ria lquida La siguiente versin solucionara las dificultades anterio- res al trasladar la mayor parte del texto al enunciado y evi- tar repeticiones entre las opciones. En Fsica se denomina sublimacin a un cambio de materia: 1. Slida a gaseosa 2. Lquida a slida 3. Gaseosa a lquida 04. La sintaxis o estructura gramatical utilizada debe ser co- rrecta y no oscurecer el contenido que se evala; ha de evi- tarse un tem demasiado escueto o excesivamente profuso en su redaccin, ambiguo o confuso, teniendo especial cautela con las oraciones negativas porque pueden resultar complicadas de entender. Se complicara indebidamente la comprensin si abusando de las negaciones se escribe por ejemplo un enunciado co- mo el siguiente: En situaciones difciles qu no debe de- jarse de no hacer? Salvo que dicho enunciado fuera utili- zado para evaluar el dominio de las negaciones por parte de los sujetos, debera ser sustituido por otro ms entendi- ble como el siguiente: En situaciones difciles qu debe- ra evitarse? En el mismo sentido y salvo que el tem est construido para evaluar la capacidad de entender expresiones com- plejas, la exposicin del tem debe hacerse de la manera ms clara posible, para que el sujeto pueda concentrarse en lo que se le pregunta sin encontrar dificultades innecesa- rias. Ocurre a veces que se complica la redaccin en un in- tento de evitar que el tem resulte excesivamente sencillo. Ese sin embargo no es el camino. El constructor del tem debe preguntarse si es relevante plantear un determinado contenido; si lo es, debe incluirlo sin enmascaramiento que impida al sujeto elegir adecuadamente una respuesta. Por ejemplo, no debera utilizarse el siguiente tem para preguntar sencillamente por la capital de Italia y no por el conocimiento de los encubridores utilizados: La poblacin en la que radican la sede de los rganos po- lticos, judiciales y legislativos, adems de la de muchos agentes econmicos, y que constituye la cabeza del Esta- do llamado usualmente transalpino es: 1. Berna 2. Pars 3. Roma 05. La semntica implicada en el vocabulario utilizado debe estar ajustada al contenido y a la poblacin de sujetos eva- luados, para que pueda ser comprendida sin dificultad y no desve la atencin respecto a lo que se pregunta. Esta directriz es paralela a la anterior en lo que se refiere a la semntica. Debe evitarse que el significado de las pala- bras usadas sea un obstculo para la comprensin del tem por el sujeto que lo lee. El siguiente, por ejemplo, sera ade- cuado en una evaluacin del conocimiento sobre el lengua- je usado en el mundo de las drogas, pero no en otro caso. Un sinnimo de jeringuilla es: 1. Mandanga 2. Pilula 3. Camisa C. Construccin de las opciones 06. La opcin correcta de cada tem debe ser slo una, y debe estar acompaada por distractoras que sean plausibles pa- ra el sujeto que no conoce la respuesta correcta y fcil- mente desechables para el que la conoce. Un modo de lograr ese tipo de distractoras consiste en uti- lizar las que sean prximas a la correcta en su significado o en su apariencia. La radiacin alfa consiste en haces de partculas compues- tas de: 1. Dos protones y dos neutrones 2. Un protn y dos electrones 3. Dos neutrones y un electrn Otro modo consiste en utilizar para las distractoras errores que sean comunes en la poblacin en estudio, aprovechando la frecuente e inadecuada asociacin con lo que se pregunta; el siguiente tem usado en evaluacin de lengua inglesa uti- liza el error frecuente que aparece en la segunda opcin. Indicar qu frase usa INCORRECTAMENTE el adjetivo few o little: 1. It is only a little house 2. I have few interest in economy 4. Few people understand that sentence 07. En un conjunto de tems, la correcta debe estar repartida entre las distintas ubicaciones posibles para que estas no aporten informacin indebida. Al ubicar la correcta de cada uno de los tems de una prue- ba, debe evitarse alguna tendencia que pueda ser descu- bierta por los sujetos, que tendran as una pista indebida. A veces y sobre todo si la correcta es la primera en ser construida, puede tenderse a dejarla como la primera op- cin. Para evitarlo, otras veces se extrema la precaucin haciendo que no aparezca nunca o casi nunca en esa ubi- cacin. Otras veces se tiende a ubicarla en alguna opcin que no sea la primera ni la ltima. Evtese cualquiera de esas tendencias u otras que distorsionen un reparto equita- tivo. Este puede hacerse al azar, pero en tal caso ha de cui- darse que la ubicacin de las correctas no resulte extraa en el conjunto de las opciones de cada tem, rompiendo lo expresado en la directriz 10. 08. Las opciones deben ser tres preferiblemente. Si se aade alguna ms, debe cuidarse especialmente que tambin sea plausible la ltima en ser construida ya que es frecuente- mente descuidada. RAFAEL MORENO, RAFAEL J. MARTNEZ Y JOS MUIZ 494 Aadir ms opciones puede ser difcil porque no todos los temas permiten tantas opciones plausibles, por lo cual tiende a construirse otras que el sujeto detecta como falsas con una facilidad indebida. Usar slo dos es por el contra- rio ms fcil de construir pero aumenta considerablemen- te la probabilidad de que el sujeto escoja al azar la res- puesta correcta. 9. Las opciones deben ser presentadas en vertical para facili- tar su lectura La distribucin vertical es un modo de destacar espacial- mente el tem y facilitar su lectura as como su diferencia- cin del resto de los que conforman una prueba. Vase c- mo las opciones del siguiente tem destacan menos que en los expresados hasta aqu de modo vertical: Qu expresin equivale a que alguien no deja hablar en una conversacin? 1. No deja meter baza; 2. No deja ttere con cabeza; 3. No es balad La distribucin horizontal de las opciones puede ser ade- cuada sin embargo en los casos en los que, ms que dife- renciar las opciones, interese que sean percibidas como una graduacin de posibilidades como ocurre en el si- guiente tem. Indique su grado de acuerdo con utilizar dinero pblico para proyectos de exploracin espacial: 1. Nada o casi nada; 2. Ms bien poco; 3. Bastante 10. El conjunto de opciones de cada tem debe ser organiza- do u ordenado de modo coherente con el contenido en es- tudio. La desorganizacin del contenido de las opciones en el si- guiente tem obliga al sujeto a hacer un trabajo previo que le distrae del cometido al que debera dedicarse, que no es otro que identificar la respuesta correcta si la conoce. Son propiedades deseables de los tests: 1. Control, validez y fiabilidad 2. Fiabilidad, eficiencia y validez 3. Eficiencia, objetividad y control Sera ms adecuado evitarle esa tarea previa organizando el tem como en el siguiente ejemplo: Son propiedades deseables de los tests: 1. Validez, fiabilidad y control 2. Validez, fiabilidad y eficiencia 3. Objetividad, control y eficiencia Por la misma razn el siguiente tem organiza adecua- damente las opciones cuantitativas en un orden ascen- dente La expresin algebraica {6[(34+46)/(12-8)]} es igual a: 1. 080 2. 120 3. 160 11. Las distintas opciones del tem han de ser autnomas en- tre s, sin solaparse y sin referirse unas a otras pues ello in- troduce dificultades o facilidades indebidas. Al menos por esta razn, deben usarse con mucha cautela las opciones Todas las anteriores y Ninguna de las anteriores. El siguiente tem contiene solapamientos entre la primera y tercera opcin que deja al sujeto sin poder responder con claridad, puesto que en ambos casos la respuesta sera co- rrecta al ser la catlica una de las religiones cristianas. La religin de Don Juan de Austria era: 1. Catlica 2. Protestante 3. Cristiana 12. Ninguna de las opciones debe destacar del resto por ser la nica diferente en contenido, en aspectos de apariencia co- mo longitud, estructura gramatical o en algn trmino que aporte informacin indebida. Esa homogeneidad puede lo- grarse haciendo que las opciones sean todas semejantes en contenido o apariencia o todas claramente diferentes entre s como hacen respectivamente los dos ejemplos siguientes. Las taltuzas son animales: 1. Roedores 2. Anfibios 3. Reptiles Las taltuzas son: 1. Animales roedores 4. Herramientas de artesana 5. Canciones tnicas A veces lo diferencial de una opcin la resalta indebidamente como la correcta o como la incorrecta. El primer caso ocurre en el siguiente tem al ser la correcta la nica que concuerda en g- nero gramatical con el artculo con que finaliza el enunciado. El hueso que va desde la rodilla al tobillo por la parte de- lantera es la: 1. Tibia 2. Hmero 3. Peron El siguiente tem en cambio destaca indebidamente la se- gunda opcin como incorrecta por ser la nica que no pa- rece sonar al idioma francs incluso para el sujeto que no conozca a tal personaje. Quin fue un importante personaje de la Revolucin francesa? 1. Baudelaire 2. Washington 3. Robespierre En general, cuando una de las opciones resulta diferente, puede ocurrir que induzca en el sujeto la duda indebida de si esa diferencia significa que es la correcta o es desechable por incorrecta, lo que supone distraerle de la tarea central de en- tender el tem e identificar su opcin correcta si la conoce. DIRECTRICES PARA LA CONSTRUCCIN DE TEMS DE ELECCIN MLTIPLE 495 RAFAEL MORENO, RAFAEL J. MARTNEZ Y JOS MUIZ 496 Discusin y conclusiones Tras la revisin realizada, se proponen doce directrices bsicas a seguir para la construccin de los tems de eleccin mltiple. El conjunto propuesto supone una reduccin del nmero de directri- ces respecto a la versin tomada como referencia. Una reduccin que sin embargo no excluye ninguna de las relevantes contenidas en dicha referencia. Las directrices 2, 4 y 28 f de la taxonoma de Haladyna, Downing y Rodrguez (2002) quedan incluidas en la 1 propuesta aqu; las 3, 5, 6 y 31 del 2002 quedan entendidas como casos particulares de la directriz 2 arriba presentada; la 15 previa equivale a la 3 nueva, que incluye adems la concordancia no in- cluida en la precedente; las 12, 13, 16, 17 y 27 quedan subsumidas en la nueva directriz 4; las 8 y 14 corresponden a la 5 nueva; las 19, 29, 30 integran la 6 aqu propuesta; la 20 corresponde ahora a la 7; la 18 queda reformulada en la 8 nueva que adems aade un aviso sobre la ltima en ser construida, que no estaba presente en la taxonoma de referencia; la 10 de referencia es expresada en la 9 propuesta aqu; la 21 pasa a la 10; las 22, 25 y 26 integran la nue- va 11; por ltimo, las 23, 24, 28 a, b, c, d, e y f son integradas en la 12 nueva. Asimismo, las directrices propuestas no incluyen al- gunas de la taxonoma de referencia: la 9 y la 11 por la razn ex- puesta de que se refieren respectivamente a tipos de formatos de eleccin mltiple y a procedimientos auxiliares de la construccin y por tanto no a los aspectos que aqu interesa obtener; y las 1 y 7 por ser poco precisas y difciles de entender y adems estar ya re- cogido su sentido en la 4 nueva. La reorganizacin de directrices llevada a cabo puede constituir una herramienta til para el profesional que desee construir tems de eleccin mltiple o tenga que analizar los ya existentes. Facili- tar adems la investigacin emprica sobre los distintos aspectos de los tems de eleccin mltiple, algo muy conveniente dada la insuficiencia de datos existentes para muchas de las directrices, apoyadas en su defecto en la prctica acumulada con la construc- cin de tems (Haladyna y Downing, 1989; Haladyna, Downing y Rodrguez, 2002). La directrices tambin pueden resultar de gran utilidad a la hora de estudiar de forma rigurosa la validez de con- tenido de una prueba, pues no conviene olvidar que en el comple- jo proceso de validacin de los tests el anlisis de los contenidos constituye una fase esencial (Elosa, 2003; Muiz, 2004). Como ya hemos sealado previamente, la tecnologa derivada del ordenador, combinada con el uso de internet, la realidad vir- tual, audio, video, etc., est abriendo la posibilidad de construir tems sofisticados tcnicamente (Parshall y Balizet, 2001; Pars- hall, Davey y Pashley, 2000; Zenisky y Sireci, 2003), que conser- ven y potencien la objetividad, economa y versatilidad del forma- to de eleccin mltiple, razones poderosas para mantener este for- mato entre nosotros por muchos aos. Su peor enemigo es su cons- truccin defectuosa, como se ha visto a lo largo del presente tra- bajo. Esperemos que las doce directrices propuestas contribuyan a paliar este problema. Referencias Bravo, A. y Fernndez del Valle, J. (2000). La evaluacin convencional frente a los nuevos modelos de evaluacin autntica. Psicothema, 12 (Supl.), 95-99. Camilli, G. y Shepard, L.A. (1994). Methods for identifying biased test items. London: Sage. Elosa, P. (2003). Sobre la validez de los tests. Psicothema, 15, 315-321. Fidalgo, A. (1996). Funcionamiento diferencial de los tems. En J. Muiz (Ed.), Psicometra. Madrid: Universitas. Frederiksen, N., Mislevy, R. y Bejar, I. (1993). Test theory for a new ge- neration of tests. Hillsdale, NJ: LEA. Gonzlez-Rom, V. y Espejo, B. (2003). Testing the middle response categories not sure, in between, and ? in polytomous items. Psicothema, 15, 278-284. Hakel, M.D. (Ed.) (1998). Beyond multiple choice: Evaluating alternatives to traditional testing for selection. Mahwah, NJ: LEA. Haladyna, T.M. (1994). Developing and validating mltiple-choice test items. Hillsdale, NJ: LEA. Haladyna, T.M. y Downing, S.M. (1989). The validity of a taxonomy of mul- tiple-choice test item. Applied Measurement in Education, 1 (1), 51-78. Haladyna, T.M., Downing, S.M. y Rodrguez, M.C. (2002). A review of multiple-choice item-writing guidelines. Applied Measurement in Edu- cation, 15 (3), 309-334. Hoepfl, M.C. (1994). Developing and evaluating multiple choice tests. Technology Teacher, 53 (7), 25-26. Holland, P.W. y Wainer, H. (1993). Differential item functioning. Hillsda- le, NJ: LEA. Marrelli, A.F. (1995). Writing multiple-choice test items. Performance and Instruction, 34 (8), 24-29. Muiz, J. (2004). La validacin de los tests. Metodologa de las Ciencias del Comportamiento, en prensa. Muiz, J. y Garca-Mendoza, A. (2002). La construccin de tems de eleccin ml- tiple. Metodologa de las Ciencias del Comportamiento, Monogrfico, 416-422. Olea, J., Ponsoda, V. y Prieto, G. (1999). Tests informatizados. Funda- mentos y aplicaciones. Madrid: Pirmide. Osterlind, S.J. (1998). Constructing test items: Multiple-choice, construc- ted-response, performance, and other formats (2 nd ed.). Boston: Kluwer Academic Publishers. Tabla 4 Nuevas directrices para la construccin de tems de eleccin mltiple A. Eleccin del contenido que se desea evaluar 01. Debe ser una muestra representativa del contenido recogido en una tabla de especifi- cacin, evitando tems triviales 02. La representatividad deber marcar lo sencillo o complejo, concreto o abstracto, me- morstico o de razonamiento que deba ser el tem, as como el modo de expresarlo B. Expresin del contenido en el tem 03. Lo central debe expresarse en el enunciado. Cada opcin es un complemento que de- be concordar gramaticalmente con el enunciado 04. La sintaxis o estructura gramatical debe ser correcta. Evitar tems demasiado escue- tos o profusos, ambiguos o confusos, cuidando adems las expresiones negativas 05. La semntica debe estar ajustada al contenido y a las personas evaluadas C. Construccin de las opciones 06. La opcin correcta debe ser slo una, acompaada por distractoras plausibles 07. La opcin correcta debe estar repartida entre las distintas ubicaciones 08. Las opciones deben ser preferiblemente tres 09. Las opciones deben presentarse usualmente en vertical 10. El conjunto de opciones de cada tem debe aparecer estructurado 11. Las opciones deben ser autnomas entre s, sin solaparse ni referirse unas a otras. Por ello, deben evitarse las opciones Todas las anteriores y Ninguna de las anteriores 12. Ninguna opcin debe destacar del resto ni en contenido ni en apariencia DIRECTRICES PARA LA CONSTRUCCIN DE TEMS DE ELECCIN MLTIPLE 497 Parshall, C.G. y Balizet, S. (2001). Audio computer-based tests: An initial framework for the use of sound in computerized tests. Educational Me- asurement: Issues and Practice, 20(2), 5-15. Parshall, C.G., Davey, T. y Pashley, P. (2000). Innovative item types for computerized testing. En W.J. van der Linden y C. Glass (Eds.), Com- puter-adaptive testing: Theory and practice. Boston: Kluwer Acade- mic Publishers Powell, M. (1990). Performance assessment: Panacea or pandoras box? Rockville, MD: Montgomery County Public Schools. Prieto, G. y Delgado, A.R. (1996). Construccin de tems. En J. Muiz (Ed.), Psicometra. Madrid: Universitas. Prieto, G. y Delgado, A.R. (1999). Medicin cognitiva de las aptitudes. En J. Olea, V. Ponsoda y G. Prieto (Eds.), Tests informatizados. Funda- mentos y aplicaciones. Madrid: Pirmide. Prieto, G. y Delgado, A.R. (2003). Anlisis de un test mediante el modelo de Rasch. Psicothema, 15, 94-100. Roid, G.H. y Haladyna, T.M. (1982). A technology for test-item writing. New York: Academic Press. Van der Linden, W.J. y Glass, C. (Eds.) (2000). Computer-adaptive testing: Theory and practice. Boston: Kluwer Academic Publishers. Zenisky, A.L. y Sireci, S.G. (2003). Technological innovations in large- scale assessment. Applied Measurement in Education, 15, 337-362.