Centro Nacional de Evaluacin para la Educacin Superior CENEVAL

El Centro Nacional de Evaluacin para

ucacin Superior es una asociacin c n fines de lucro que qued formalmen nstituda el 28 de abril de 1994, como ce constar en la escritura pblica nm 036 pasada ante la fe del notario 49 Distrito Federal.

LO QUE SE PUEDE EVALUAR

SLO SE PUEDE MEJORAR

En el terreno de la educacin,

como en todas las actividades humanas, la evaluacin es el proceso que permite valorar los aciertos, reconocer las fallas, detectar potencialidades y planificar las acciones. Contar con la informacin vlida

A la fecha, el CENEVAL ha

realizado ms de 15 millones de exmenes en alrededor de 14 mil aplicaciones en todas las entidades federativas del pas. Ha entregado a sus clientes ms de 15 millones de reportes individuales e institucionales y ms de 70

Alrededor de 350 instituciones,

asociaciones y organismos solicitan desde 1994 nuestros programas de evaluacin educativa y profesional.

El CENEVAL es la nica institucin que

cuenta con instrumentos de evaluacin estandarizados, diseados para la poblacin mexicana y con alcance nacional

Dr. Salvador Malo A. Director General

OBJETIVO CENTRAL DEL CENEVAL

EL CENEVAL TIENE POR OBJETO CONTRIBUIR A MEJORAR LA CALIDAD DE LA EDUCACIN MEDIA SUPERIOR Y SUPERIOR, MEDIANTE EVALUACIONES EXTERNAS DE LOS APRENDIZAJES LOGRADOS EN CUALQUIER ETAPA DE LOS PROCESOS EDUCATIVOS, DE MANERA INDEPENDIENTE Y ADICIONAL A LAS QUE LLEVAN LAS PROPIAS INSTITUCIONES EDUCATIVAS.

DISEAR SISTEMAS,
INSTRUMENTOS, PROCEDIMIENTOS Y ESTRATEGIAS DE EVALUACIN

DISEAR, ELABORAR
Y APLICAR EXAMENES DE EVALUACIN

FUNCIONES DEL

CENEVAL

PROMOVER UNA CULTURA

DESARROLLAR E IMPULSAR
ACTIVIDADES RELACIONADAS CON SU OBJETIVO

PROPIA DE LA EVALUACIN

EXMENES QUE APLICA EL

CENEVAL
EXMENES NACIONALES DE INGRESO (EXANI I, II Y III) EXMENES GENERALES PARA EL EGRESO DE LAS LICENCIATURAS (EGEL) EXMENES DE CERTIFICACIN (ACUERDO 286) EXMENES GENERALES PARA EL EGRESO DE TCNICO SUPERIOR (EGETSU)

COORDINACIONES DE
EXMENES
EXANIS: I, II Y III CIENCIAS SOCIALES Y HUMANIDADES CIENCIAS DE LA VIDA Y DE LA CONDUCTA INGENIERAS Y TECNOLGICAS

Cobertura de los EGEL

Contadura Medicina Veterinaria y Zootecnia Enfermera Administracin Ing. Civil Turismo Odontologa Medicina General Ciencias Farmacuticas (QFB) Ing. Elctrica Ing. Electrnica Ing.Qumica 1994 1994 1995 1996 1996 1996 1996 1997 1997 1998 1998 1999 INFO-COMP Psicologa Ciencias Agronmicas Ing. Industrial Pedagoga Ciencias de la Educacin Derecho Ing. Mecnica Elctrica Ing. Mecnica Qumica Mercadotecnia. Comercio y Neg. Int Economa 1999 1999 1999 2000 2000 2000 2001 2001 2003 2002 2002 2005

PARA EL EGRESO DE LA LICENCIATURA (EGEL)

EXAMEN GENERAL

 u es un Examen General para el Egreso de la Licenciatura?

exprofeso para medir y evaluar conocimientos y algunas habilidades cognitivas de los egresados del nivel de educacin superior en diferentes reas disciplinarias

Es un instrumento diseado

Caractersticas
del EGEL

EGEL
Cuentan con una gua de examen Construidos por expertos

Pueden ser una alternativa de titulacin

Caractersticas

Exmenes estandarizados

Se actualizan y perfeccionan permanentemente

Formato de eleccin mltiple

 uines participan en la Construccin del EGEL?

Consejo Tcnico

Coordinacin del EGEL

Comit Acadmico

Especialistas de reas Direcciones de rea del CENEVAL

El papel del Consejo Tcnico en el EGEL

Coordinacin Consejo Tcnico

Investigaci n y anlisis
Genera propuestas y ejecuta acuerdos

rgano Normativo
Instancia en donde se lleva a cabo el consenso

Diseo del examen

El papel del Consejo Tcnico en el EGEL

El Consejo Tcnico con base en la investigacin realizada por la coordinacin aprueba:

a. los propsitos del examen b. el perfil referencial de validez c. la tabla de contenidos y especificaciones d. condiciones generales del examen

y define los ajustes necesarios del examen

Secuencia en la
elaboracin de los EGEL

Especificacin de la finalidad

Evaluar los resultados logrados por los estudiantes que egresan de las instituciones de educacin superior, contribuyendo al desempeo y mejoramiento acadmico de los estudiantes y sus instituciones Se tiene el propsito de determinar si los estudiantes satisfacen o no un criterio fijado previamente por el grupo de expertos que disea el instrumento

Especificacin de la finalidad

Metodologa de evaluacin

Determinacin del Perfil Referencial El Perfil Referencial de Validez (PRV) es de Validez la descripcin de la poblacin a medir, define los resultados del aprendizaje que se esperan encontrar en un individuo; es decir, delimitar cules sern las conductas especficas a determinar, y qu se pretende que un sujeto (egresado) tenga al final de un proceso de enseanza aprendizaje.

Elementos metodolgicos de un Perfil Referencial de Validez (PRV)

1. Poblacin 2. Objeto de estudio 3. Definicin de conocimientos y dominio de la disciplina a. Conocimientos b. Habilidades c. Actitudes y valores

Especificacin de la finalidad

Metodologa de evaluacin

Determinacin del Perfil Referencial de Validez

Es

Delimitacin de los Contenidos Esenciales

(Tabla de especificaciones)

una relacin por coordenadas que liga los productos del aprendizaje que se desean, con el contenido del curso que se utiliza para provocar estas transformaciones del comportamiento.
Permite En

obtener un producto acabado con las caractersticas especficas. el uso de quien elabora las pruebas, le suministrar una mayor seguridad de que las pruebas que disee habrn de medir los productos del aprendizaje y el contenido a medir est equilibrado.

Elaboracin de la tabla de especificaciones

Definicin de contenidos: estructura del examen por reas a medir.

Ponderacin de reas y secciones.

Definir el nivel de medicin del conocimiento: tipologa taxonmica

Reactivos de Ensayo o Abiertos Reactivos de Respuesta Corta o Completamiento Reactivos de Falso-Verdadero Reactivos de Aparejamiento

Definir el tipo de reactivos a utilizar

Reactivos de Opcin Mltiple Reactivos de Opcin Mltiple

Compr e nsin

Conoci mientos

Aplica cin

1) 2) 3) 4) 5) 6) 7) 8) 9) 10)

Concepto de nm ero Conceptos fundam entales de aritm tica Descripciones cuantitativas Leyes de los gases Aerodinm ica Teora cintica de la m ateria Teora del tom o Electricidad y com bustin Electrosttica y m agnetism o Electricidad y la naturaleza de la m ateria TOTAL

6 4 2 3 1 4 1 1 2 1 25

4 4 3 2 2 2 2 1 20

2 3 2 3 4 4 6 3 3 30 2 3 4 2 3 3 3 5 25

Total

Contenido del curso

Anlisis

10 10 10 10 10 10 10 10 10 10 100

Especificacin de la finalidad

Metodologa de evaluacin

Determinacin del Perfil Referencial de Validez

Delimitacin de los Contenidos Esenciales

Seleccin de los Niveles Taxonmicos

Conocimientos Comprensin Aplicacin Analisis Sintesis Evaluacin

Taxonoma de Bloom

Especificacin de la finalidad

Metodologa de evaluacin

Determinacin del Perfil Referencial de Validez

Delimitacin de los Contenidos Esenciales

Seleccin de los Niveles Taxonmicos

CRITERIO Punto de referencia de lo quedebe saber y saber hacer el egresado

Elaboracin de Reactivos Validacin Tcnica Validacin de Contenido

Prueba Piloto

Validacin Estadstica

Banco de Reactivos

Ensamble del Examen

Caractersticas de un examen

VALIDEZ.- La prueba mide lo que pretende medir CONFIABILIDAD.- La prueba tiene precisin OBJETIVIDAD.La prueba conduce a mediciones independientes del evaluador o del sujeto

Evaluacin criterial

Comprobar el rendimiento de los alumnos basado en la apreciacin del grado en que el egresado ha cubierto los objetivos de enseanza de una disciplina. Se efecta en funcin de las realizaciones de cada alumno respecto al perfil referencial de validez del egresado, determinado en funcin de los atributos que debe poseer para iniciar la prctica profesional Es la especificacin de un conjunto de conductas terminales dentro de un rea del conocimiento perfectamente definida, y un punto de corte o nivel mnimo, que refleja el dominio o no de los objetivos de aprendizaje propios de esa disciplina. Las conductas que el sustentante del examen debe manifestar, enmarcadas dentro de una rea del conocimiento perfectamente definida, constituye el criterio, es decir el punto de referencia de lo que debe saber y saber hacer...

Tipos de aprendizaje
D L A P R R A O T CI V E O D A I MC ET IN T T U A D s a b e r q su a b e r h a s c a e b r e r s e
H C P e c h o sP r o c o n c e p t E o ss t r r i n c i p i o T s c D e s e d i a t n i c t r e m A i e c n t it t o u s d e g i Va sa l o r e s a s t i c a z a s

Solucin de problemas Pensamiento crtico Creatividad

Conocimiento declarativo
1. 2. 3.

HECHOS DATOS REGLAS O PRINCIPIOS

Causa-efecto Relacin entre conceptos Leyes de probabilidad Axiomas

Conocimiento procedimental
Secuencia de actos mentales o psicomotores que producen un resultado

Conocimiento actitudinales
Estado interno que influye o modifica la seleccin Individual hacia un objeto o evento

Taxonomias
HABILIDADES INTELECTUALES INFORMACIN VERBAL DESTREZAS COGNOSCITIVAS DESTREZAS MOTORAS ACTITUDES DOMINIO COGNOSCITIVO DOMINIO AFECTIVO DOMINIO PSICOMOTOR SABER QU SABER HACER SABER SER

Taxonomia de Bloom
(dominio cognoscitivo)

NIVELES
1. CONOCIMIENTOS
(RECORDAR, INFORMAR)

VERBOS
DEFINIR IDENTIFICAR LISTAR DESCRIBIR EXPRESAR DISTINGUIR

2. COMPRENSIN
(EXPLICAR EL SIGNIFICADO DE LA INFORMACIN)

Taxonomia de Bloom
(dominio cognoscitivo)

NIVELES
3. APLICACIN
(USAR LA INFORMACIN EN SITUACIONES NUEVAS)

VERBOS
DETERMINAR PREPARAR DESARROLLAR

4. ANLISIS
(SEPARAR LA INFORMACIN EN SUS PARTES Y DISTINGUIRLA)

SEALAR DISTINGUIR COMPARAR

Taxonomia de Bloom
NIVELES
5. SNTESIS
(UNIR LAS PARTES DE LA INFORMACIN PARA FORMAR UN TODO NUEVO)
.

VERBOS
CREAR DISEAR ORGANIZAR CRITICAR COMPROBAR SELECCIONAR

6. EVALUACIN
(JUZGAR EL VALOR DE LA INFORMACIN: IDEAS, MATERIALES O FENMENOS)

NOTA: SE DEBEN VINCULAR LOS OBJETIVOS DEL APRENDIZAJE CON EL PERFIL DEL EGRESADO.

Conocimientos

SUPONE EVOCACIN INFORMACIN

(RECUERDO)

DE

Conocimientos especficos de los trminos, de hechos especficos. Conocimientos relacionados con la formas y medios y secuencias, categoras, criterios, metodologa. Conocimientos universales y abstracciones: principios y generalizaciones, teoras y estructuras.

Comprensin

REPRESENTA EL NIVEL MS BAJO DEL ENTENDIMIENTO TRADUCCIN INTERPRETACIN EXTRAPOLACIN

Aplicacin

LA UTILIZACIN DE ABSTRACCIONES EN SITUACIONES PARTICULARES CONCRETAS Determinar que principios son apropiados Reformular un problema Especificar lmites Reconocer excepciones Explicar nuevos fenmenos Predecir lo que suceder mediante principios pertinentes Determinar o justificar cursos de accin o decisin

Anlisis

SUBDIVISIN

DE UNA COMUNICACIN EN SUS ELEMENTOS O PARTES CONSTITUTIVAS Elementos Relaciones Principios organizados

Sintesis
JUNTAR

LAS PARTES Y ELEMENTOS PARA CONSTRUIR UN TODO Produccin de una comunicacin nica Produccin de un plan de accin Deduccin de un conjunto de relaciones abstractas

Evaluacin
JUICIOS

ACERCA DEL VALOR DEL MATERIAL Y DE LOS MTODOS PARA DETERMINAR PROPSITOS Emitir juicios en funcin de evidencia interna Emitir juicios en funcin de criterios externos

Examenes CENEVAL

Prueba objetiva
El sustentante elige la respuesta entre dos o ms opciones. Contiene amplia variedad de preguntas, que exigen respuesta nica. Aborda ms aspectos del conocimiento a evaluar. El sustentante tiene que leer, pensar y elegir. Es difcil de elaborar, pero fcil de calificar. Permite la validacin estadstica. La calidad depende de la habilidad de quien la disea.

Ventajas de examenes de opcin multiple

Los resultados no dependen del criterio del evaluador. Pueden medir diferentes niveles del conocimiento.
Permiten cubrir ms aspectos del conocimiento a medir.

Son exmenes estandarizados.

Permiten alta fidelidad de resultados, su perfeccionamiento y actualizacin. Se pueden construir diferentes versiones equiparables.

Son difciles de elaborar, pero fciles de calificar.

Elaboracin de reactivos

La base principal de los reactivos de opcin mltiple, son los contenidos, as como el nivel de amplitud y profundidad (nivel taxonmico) establecido en la TABLA DE ESPECIFICACIONES correspondiente

B de de Reactivos BancoancoReactivos (BR) Perfil Referencial de Validez

Tabla de Especificaciones Elaboracin de reactivos RED DE ASESORES EXTERNOS Piloteo Validacin Tcnica y de contenido

Banco de reactivos

Conformar el Banco de Reactivos

Primera Formulacin por Redactores

Revisin de contenido y de redaccin del reactivo por otros externos

Grado de dificultad de los reactivos Discriminacin de los reactivos

Estudio Piloto

Calibracin de reactivos

Ajuste (Fit analysis) Anlisis de distractores Anlisis de azar.

Integracin de reactivos aceptados al Banco General Modificacin de reactivos medianamente aceptados. Eliminacin de reactivos no aceptados.

Qu es?

Red de Asesores Externos

Especialistas responsables de la formulacin, revisin y actualizacin de reactivos.

Integrantes
Son seleccionados posterior a un curso taller de elaboracin de reactivos que destacan por su habilidad en los temas del examen y por su creatividad en la formulacin de reactivos.

Dinmica
Colaborarn con el responsable de cada examen al elaborar reactivos, podrn ser enviados va internet por medio de una carpeta individualizada; el sistema BRAE (Banco de Reactivos de Acceso Externo) cuenta con claves de acceso personalizadas al Sistema Integral de Informacin (intranet) que garantizan la seguridad del examen. http://brae.ceneval.edu.mx

Estudio Piloto del Instrumento.

Obtener la confiabilidad general

Anlisis de Confiabilidad Anlisis de Validez Ajustar el Instrumento

Obtener la confiabilidad de cada seccin del Instrumento. Obtener el error de medida Determinar longitud del instrumento y sus partes Obtener la Validez de Constructo y otras evidencias de validez (contenido y criterio)

Integrar versin maestra y hacer reordenamientos

Ensamblar versin definitiva

Preparar versiones con reactivos comunes (ancla) y reactivos diferentes con grado de dificultad similares Versiones equivalentes con la totalidad de los reactivos (a partir de la Tabla de
Especificaciones)
Se establece una media tcnica de 1000 en 50% de aciertos (o 0 lgitos) y una estndar de 100 en 16.67% (o 0.7 lgitos). Se establece el puntaje de 1000 en la media poblacional y la desviacin estndar poblacional define 100 puntos.. En funcin de un anlisis del dominio de conocimientos o habilidades, el Consejo Tcnico establece los valores que servirn para indicar un rendimiento satisfactorio (1000 puntos) y un alto rendimiento (1150 puntos o ms). Esto da origen a escalas que fluctan en el intervalo 700 a 1300 puntos, pero que internamente son diferentes para cada prueba.

Para Pruebas con Norma con referencia a una poblacin o curva terica (EXANI)

Construccin de Escalas

Para Pruebas por Norma con referencia a la poblacin que sustenta el examen (Primeros EGEL) Para Pruebas Criteriales ( EGEL actuales)

A priori

Establecimiento de los Puntos de Corte

A posteriori

Calibracin de los reactivos de la aplicacin.

Obtener el Grado de Dificultad
Del Instrumento (en porcentajes) Del Reactivo (en lgitos) Poder Discriminativo

Relacin discriminativa
Revisin de redaccin del reactivo

1
Obtener la discriminacin de los reactivos

<1

Revisar el comportamiento de sus opciones Cotejo contra la Tabla de Validez

Aprobado

Revisado Corregido

Eliminado

Pruebas Referidas a Criterio

Discriminacin criterial Correlacin punto-biserial Probabilidad de respuestas por reactivo

0.2

Ajuste (Fit analysis)

Modelos basados en TRI Modelos basados en anlisis de Rash Global (opcional cuando el dictamen de anlisis es positivo) Local (obligatorio cuando el dictamen es desfavorable)

El ajuste se hace por medio de aproximaciones sucesivas con ayuda de un programa de cmputo que realiza el ajuste en forma automtica.

Anlisis de Distractores

Los valores que se emplean para medir el ajuste al modelo son

El residuo estandarizado El residuo cuadrtico medio o OUTFIT El promedio ponderado de los residuos estandarizados o INFIT Valor de ajuste X 2 (Chi cuadrada)

Anlisis de Azar

Integracin, igualacin y estabilidad de versiones

Integracin
A partir de la Tabla de Especificaciones Puede incluir reactivos de prueba.

1 Versin

2 o ms Versiones Verificar equivalencia utilizando el programa de calificacin

Equivalentes Diferentes Proceder a hacer su igualacin en forma matemtica Determinar las medias y desviaciones estndar de las versiones Por medio de una prueba de hiptesis de diferencia de medias establecer si la diferencia es significativa entre dichas versiones

Tomar las puntuaciones obtenidas directamente por el sustentante

No existen diferencias significativas

Si existen diferencias significativas Hacer una igualacin

Preparacin de la Aplicacin
Definicin de Sedes Capacitacin de aplicadores y supervisores para la aplicacin Entrega de materiales Registro de los aspirantes al examen por parte de la Institucin Llenado de la Hoja de Registro del CENEVAL por parte de los aspirantes. Entrega de Guas de Estudio del Examen Envo de las Hojas de Registro al CENEVAL

Estudio de la versin utilizada.

Confiabilidad general (Alpha de Cronbach) Anlisis de Confiabilidad Confiabilidad por tema o rea de examen Usar frmula de correccin de Livingston RCR Confiabilidad Criterial Se puede usar otra frmula de confiabilidad o consistencia interna si se justifica su uso

Anlisis de Error de Medida

Error estndar para la media Error estndar para la mediana Error estndar de medida Error de medida de cada sujeto
Proporciones de reactivos especificadas en la Tabla de Validez Lo decide el Consejo Tcnico

Longitud del instrumento y de las secciones

Est en funcin de

Tiempo disponible para la aplicacin Error de medida deseable para dictaminar el nivel de desempeo o dominio del sustentante

Se dispone de un modelo matemtico

De Contenido

Verificar que se cumplan las especificaciones de la Tabla de validez de Contenido Por Jueces Consistencia entre el Perfil Referencial de Validez y la Prueba Revisin lgica (Jueces) Anlisis de consistencia interna

Anlisis de Validez

De Constructo

Predictiva

Anlisis de la relacin de la prueba con variables externas

Bibliografa

BROWN, Frederick. Principios de la medicin en psicologa y educacin. Mxico: Manual Moderno, 2000. CARREO, Fernando. Enfoques y principios tericos de la evaluacin. Mxico: Trillas, 1990. FERMN, Manuel. La evaluacin, los exmenes y las calificaciones. Argentina: Kapelusz, 1992. RODRGUEZ, Hctor. Evaluacin en el aula. Mxico: Trillas, 1992.

Coordinacin del rea de las Ciencias Sociales y de las Humanidades Equipo de trabajo: Juan Pablo Arroyo Ortiz Rosaura Castaeda Ramrez Ricardo Hernndez Muoz Catalina Betancourt Correa