Proceso de construcción de

una prueba objetiva

Centro Nacional de Evaluación para la Educación Superior, A.C.

Dirección General Adjunta de los Exámenes Nacionales de Ingreso
[EXANI]

25 y 26 de noviembre de 2009
Mérida, Yucatán
 CONTENIDO

 Características de un instrumento de medición

 Prueba objetiva y sus características

 Proceso de construcción de una prueba objetiva:

- Planeación
- Diseño
- Construcción
- Ensamble
- Acciones de control
 Características de un instrumento de medición

 Validez. Es la congruencia que existe entre lo que se planeó

medir y lo que se mide

 Confiabilidad. Se da cuando los resultados son estables y

consistentes

 Objetividad. Se refiere a que el instrumento tiene independencia

respecto a la persona que lo aplica o califica
 ¿Qué es una prueba objetiva?

Es un instrumento de medición integrado por reactivos de respuesta

estructurada con solución única, destinado a obtener información que
sea comparable entre todos los sustentantes
 Características de las pruebas objetivas

1. Exploran una muestra representativa de conocimientos,

habilidades o competencias

2. Pueden aplicarse a gran escala

3. Cumplen con reglas de diseño y calificación estandarizadas

4. Proporcionan información útil para la toma de decisiones

5. No benefician a un grupo determinado

6. Tienen una cobertura suficiente y relevante de lo que se desea

medir
 Características de los EXANI

1. Exigen el máximo rendimiento del sustentante

2. Se componen por reactivos de cuatro opciones

3. Contienen reactivos con diferente grado de dificultad y de

complejidad

4. Cuentan con reglas fijas de diseño y aplicación, por lo que sus

versiones son equivalentes aunque contengan una mezcla
distinta de reactivos

5. Se califican de forma automatizada

 Proceso de construcción de una prueba objetiva

Decisión de Conformación
iniciar el de un Consejo
proceso Técnico

Ensamble Planeación Diseño

Revisión técnica,
Definición del
validación, piloteo
objeto de medida
y calibración de los
reactivos
Definición del
Elaboración de perfil referencial
reactivos
Construcción
Elaboración de Diseño de la estructura
especificaciones de la prueba
 Proceso de construcción de una prueba objetiva

Decisión de Conformación
iniciar el de un Consejo
proceso Técnico

Ensamble Planeación Diseño

Revisión técnica,
Definición del
validación, piloteo
objeto de medida
y calibración de los
reactivos
Definición del
Elaboración de perfil referencial
reactivos
Construcción
Elaboración de Diseño de la estructura
especificaciones de la prueba
 Aspectos por considerar para iniciar el proceso

Se debe contar con…

 personal calificado necesario para el diseño y construcción de la

prueba

 tiempo suficiente para el ensamble de versiones según lo

planeado

 recursos materiales y económicos

 Proceso de construcción de una prueba objetiva

Decisión de Conformación
iniciar el de un Consejo
proceso Técnico

Ensamble Planeación Diseño

Revisión técnica,
Definición del
validación, piloteo
objeto de medida
y calibración de los
reactivos
Definición del
Elaboración de perfil referencial
reactivos
Construcción
Elaboración de Diseño de la estructura
especificaciones de la prueba
 Consejo Técnico

Misión
Apoyar al Ceneval en el diseño, perfeccionamiento y promoción de los
exámenes

Funciones
 Delimitar el propósito de la prueba y sus alcances (objeto de medida)
 Definir la población a la que se destinará el examen
 Dirigir el proceso de construcción del perfil referencial de la prueba
 Validar la estructura de la prueba
 Definir el perfil de los integrantes de los Comités Académicos
 Cuidar que el instrumento sea vigente y que cumpla con las
características de validez, confiabilidad, objetividad, pertinencia y
relevancia
 Integrantes del Consejo Técnico

Son académicos e investigadores de reconocido prestigio en el

ámbito de la evaluación educativa o en el campo de contenido de los
exámenes, con estudios en psicometría y filosofía de la educación

Estos especialistas son convocados por su trayectoria académica y

laboral, sin importar la institución educativa, asociación u organismo
al que pertenezcan
 Proceso de construcción de una prueba objetiva

Decisión de Conformación
iniciar el de un Consejo
proceso Técnico

Ensamble Planeación Diseño

Revisión técnica,
Definición del
validación, piloteo
objeto de medida
y calibración de los
reactivos
Definición del
Elaboración de perfil referencial
reactivos
Construcción
Elaboración de Diseño de la estructura
especificaciones de la prueba
 Construcción de la estructura de la prueba

En los EXANI se toma como base el plan único de estudios, o bien

los planes de estudios de las instituciones con mayor matrícula o
relevancia en el país

Se convoca a un grupo de especialistas que, en mesas de trabajo,

delimitan los contenidos que se consideran indispensables para
cursar estudios del nivel educativo posterior
 Contenido de la estructura de la prueba

La estructura de la prueba precisa los contenidos para la elaboración

del instrumento

En ella se encuentran las áreas, subáreas y temas que contendrá el

examen, el número de reactivos que deberán elaborarse para cada
contenido y su nivel de complejidad o profundidad
 Ejemplo de estructura:
EXANI-II. Módulo Ingenierías y Tecnología

Reactivos Reactivos
ÁREAS TOTAL
para calificar piloto

CÁLCULO 20 2 22

FÍSICA 20 2 22

MATEMÁTICAS 20 2 22

QUÍMICA 20 2 22

INGLÉS 20 2 22

TOTAL 100 10 110

 Ejemplo de estructura:
EXANI-II. Módulo Ingenierías y Tecnología
Nivel taxonómico
ÁREA SUBÁREA TEMA Dominio cognitivo
1C 2C 3A 4A 5S 6E
Funciones: notación, clasificación y propiedades. X X
Funciones Dominio, contradominio, tabulación y graficación. X X
Operaciones con funciones. X X
Concepto y teoremas de límites. X X
Límites de las funciones: polinomiales, racionales, trigonométricas,
X X
Límites logarítmicas, exponenciales.
Continuidad de funciones. X X
Variación y cambio de funciones. X X
Concepto, definición e interpretación de la derivada. X X
Derivada de funciones algebraicas y no algebraicas. X X
CÁLCULO Reglas y fórmulas de derivación. X X
Derivadas Derivadas de funciones trigonométricas, exponenciales y logarítmicas. X X
Derivación implícita y de orden superior. X X
Aplicaciones de la derivada. X X
Concepto, definición e interpretación de la integral. X X
La integral definida. X X
Integración de funciones. X X
Integrales Reglas y fórmulas de la integración. X X
Integración de funciones exponenciales, logarítmicas y
X X
trigonométricas.
Aplicaciones de la integral. X X
 Acciones de control

Las estructuras son analizadas y validadas por el Consejo Técnico

 Proceso de construcción de una prueba objetiva

Decisión de Conformación
iniciar el de un Consejo
proceso Técnico

Ensamble Planeación Diseño

Revisión técnica,
Definición del
validación, piloteo
objeto de medida
y calibración de los
reactivos
Definición del
Elaboración de perfil referencial
reactivos
Construcción
Elaboración de Diseño de la estructura
especificaciones de la prueba
 ¿Qué es una especificación?

Es una plantilla con la descripción detallada de lo que se espera que

el sustentante sea capaz de realizar en el contexto de la prueba
sobre un contenido en específico

De acuerdo con el último nivel de la estructura del examen, se

desarrolla al menos una especificación por contenido

Las especificaciones facilitan el trabajo de los elaboradores de

reactivos y garantizan la validez de la prueba
 Tipos de especificaciones

 Concisa. Es una definición operacional del tema o subtema por

evaluar, que incorpora el contenido, la acción que realizará el
sustentante y el contexto en el que se dará dicha acción

 Integral. Además de la definición operacional, contiene un

reactivo ejemplo elaborado según los lineamientos institucionales
 Ejemplo de una especificación

Definición operacional

El sustentante será capaz de identificar, en un texto breve (con una extensión de entre 3 y 5
líneas), entre tres y cinco palabras que requieren acentuación.
Ejemplo de reactivo

Elija las palabras que deben acentuarse en el fragmento siguiente.

Estoy seguro de lo que quiero, mas poco (practicamente1 nada) he hecho para alcanzarlo2.
¿Debese3 esto4 a una falta de animo5 luego de la perdida6 de Fátima, o a mi7 irremediable y
permanente sensación de vacío?

A) 1, 2, 4, 7
B) 1, 3, 5, 6
C) 2, 3, 6, 7
D) 2, 4, 5, 7
Respuesta correcta
B
Bibliografía relacionada
Vázquez, A., et al. (1997). Taller de Lectura y Redacción II, México, Nueva Imagen.
 Proceso de construcción de una prueba objetiva

Decisión de Conformación
iniciar el de un Consejo
proceso Técnico

Ensamble Planeación Diseño

Revisión técnica,
Definición del
validación, piloteo
objeto de medida
y calibración de los
reactivos
Definición del
Elaboración de perfil referencial
reactivos
Construcción
Elaboración de Diseño de la estructura
especificaciones de la prueba
 Elaboración de reactivos

La DGA EXANI ofrece el Taller de Elaboración de Reactivos

A partir del análisis cualitativo de los reactivos elaborados por cada

asistente, se constituye un Comité de Elaboración de Reactivos

De forma periódica, la DGA EXANI dictamina el desempeño de todos

los profesores en los bancos de reactivos para su inclusión o
permanencia en el Comité.
 Acciones de control

Se capacita a todos los profesores en el conocimiento de los

lineamientos técnicos, los criterios editoriales y de formato que
deben cumplir los reactivos
 Acciones de control

Asimismo, se les instruye en el manejo del Banco de Reactivos para

Agentes Externos (BRAE), donde se cuenta con el registro de todos
los elaboradores, sus reactivos y las fechas en que estos últimos
fueron ingresados
Acciones de control
 Proceso de construcción de una prueba objetiva

Decisión de Conformación
iniciar el de un Consejo
proceso Técnico

Ensamble Planeación Diseño

Revisión técnica,
Definición del
validación, piloteo
objeto de medida
y calibración de los
reactivos
Definición del
Elaboración de perfil referencial
reactivos
Construcción
Elaboración de Diseño de la estructura
especificaciones de la prueba
 Análisis cualitativo

Éste se lleva a cabo en tres etapas:

 Revisión técnica. Personal del Ceneval supervisa que los

reactivos cumplan con los lineamientos técnico pedagógicos del
Centro, exceptuando los de contenido

En esta etapa, el elaborador puede recibir retroalimentación para

la mejora de sus reactivos
Acciones de control
 Análisis cualitativo

 Validación de contenido. Un grupo de expertos en alguna de las

áreas de los exámenes verifica que los reactivos estén alineados
a la estructura de la prueba, y que el contenido y conceptos
utilizados sean veraces
Acciones de control
Acciones de control
 Análisis cualitativo

 Revisión de estilo. La Dirección General Adjunta de Difusión

verifica que los reactivos cumplan con las reglas ortográficas, de
puntuación y redacción, así como el formato y correcta inserción
de imágenes
Acciones de control
 Análisis cuantitativo

Consiste en realizar un piloteo de los reactivos aprobados en

validación, incluyéndolos en versiones operativas de los
exámenes, a fin de obtener información sobre su calidad en
situación real
 Acciones de control

Se capacita a un grupo de personas en los aspectos logísticos de

la aplicación de los exémenes

Personal del Ceneval supervisa aleatoriamente las aplicaciones y

elabora un reporte de incidencias a fin de evaluar a los
aplicadores
 Análisis cuantitativo

A partir de los datos de la aplicación se obtienen parámetros

estadísticos de cada uno de los reactivos piloteados y sus
opciones, lo que permite determinar si pueden incorporarse al
banco correspondiente

Los reactivos se analizan con Teoría Clásica y Teoría de

Respuesta al ÍTEM
Acciones de control
Acciones de control
Consideraciones finales para elaborar una prueba objetiva

 Solicitar al Consejo Técnico la revisión de los cambios en la

estructura y mantenerlo informado sobre el comportamiento del
instrumento

 Verificar la vigencia de los contenidos de la estructura

 Incrementar la participación de los comités académicos

 Mantener actualizados a los miembros de los comités

 Establecer como meta incorporar en el banco, al menos, cuatro

veces el número de reactivos en la prueba
 GRACIAS

Sofía Velázquez Ramírez

Coordinadora del Área de Producción y
Validación de Reactivos

sofia.velazquez@ceneval.edu.mx