Manual Tecnico de Los EGEL

Directorio
Rafael Vidal Uribe

Direccin General
Jorge Hernndez Uralde
Direccin General Adjunta de los Exmenes
Generales para el Egreso de la Licenciatura (EGEL)
Catalina Betancourt Correa
Direccin de las Ciencias de la Vida y la Conducta
Laura Delgado Maldonado
Direccin de Diseo, Ingenieras y Arquitectura
Jos Manuel Silva Cabrera
Direccin de las Ciencias Sociales y las Humanidades
Priscila Guido Garca
Jefatura del Departamento de Anlisis Psicomtrico
Lorena Ramrez Vallejo
Jefatura del Departamento de Produccin de Reactivos
Concepto y coordinacin:
Jorge Hernndez Uralde
Laura Delgado Maldonado
Diseo y formacin:
Mnica Corts Genis
Manual tcnico de los Exmenes Generales
para el Egreso de la Licenciatura (EGEL)
D.R. 2013, Centro Nacional de Evaluacin
para la Educacin Superior, A.C. (Ceneval)
Av. Camino al Desierto de los Leones 19, Col. San ngel,
Deleg. lvaro Obregn, C.P. 01000, Mxico, D.F.
www.ceneval.edu.mx
Se prohbe la reproduccin total o parcial de esta obra incluido el diseo
tipogrfico y de portada, sea cual fuere el medio, electrnico o mecnico,
sin el consentimiento por escrito del editor.
Junio de 2013
Impreso en Mxico
Printed in Mexico
ndice
Prefacio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5
Presentacin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7
1. Antecedentes y alcance del EGEL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9
1.1 El contexto internacional de la evaluacin de resultados de aprendizaje en la educacin superior
9
1.2 Qu es el EGEL
13
1.2.1 Caractersticas de la prueba
13
1.2.2 Quines elaboran la prueba
14
1.2.3 Organizacin de los contenidos en el EGEL
16
1.2.4 Niveles de desempeo y asignacin de testimonios
17
1.2.5 Descriptores de los niveles de desempeo
18
1.2.6 La calificacin de los resultados de los sustentantes en la prueba
18
1.2.7 El cuestionario de contexto
20
1.2.8 La gua de estudio para el sustentante
23
2. Reportes de resultados . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .25
2.1 Reporte individual de resultados
25
2.2 Reporte de resultados por IES de procedencia. Ordenamiento descendente
27
2.3 Reporte de resultados por IES de procedencia. Clasificacin por desempeo
28
2.4 Archivo electrnico de resultados
28
2.5 Informes anuales de resultados
30
3. Operacin y mantenimiento del banco de reactivos y formas del EGEL . . . . . . . . . . . . . . . . . . . .31
3.1 La plataforma informtica:
El Sistema de Administracin de Bancos de Exmenes y Reactivos (e-SABER)
31
3.1.1 La elaboracin y validacin de los reactivos
en el Banco de Reactivos para Asesores Externos (e-BRAE)
32
3.1.2 Ensamble de formas en el Banco de Seguridad de Exmenes (e-BASE)
34
3.2 Procesos de elaboracin y validacin de los reactivos
37
3.2.1 Elaboracin de los reactivos
37
3.2.2 Validacin de los reactivos
38
3.3 Proceso de piloteo y calibracin de los reactivos
39
4. Diseo y construccin del EGEL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .43
4.1 Delimitacin del objeto de medida: el constructo y los contenidos especficos de la prueba
43
4.1.1 Definicin de las funciones, actividades y tareas profesionales
45
4.1.2 Encuesta en lnea para la validacin social del perfil profesional del EGEL
47
4.1.3 Proceso de elaboracin y validacin de las especificaciones de la prueba
51
4.1.4 Construccin de los descriptores de los niveles de desempeo
57
4.1.5 Procedimiento general para la determinacin de la longitud y estructura de la prueba
58
4.2 El establecimiento de los estndares de desempeo
59
5. Indicadores de validez . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .65
5.1 Sobre la validacin del contenido, el criterio y el constructo del EGEL
65
5.2 Los datos psicomtricos como indicadores de validez y confiabilidad del EGEL
66
Bibliografa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .69
Prefacio
EL
Centro Nacional de Evaluacin para la
cedimientos y evidencias que sustentan la confia-
Educacin Superior (Ceneval) es una aso-
bilidad y la validez de estos instrumentos, se
ciacin civil no lucrativa, cuya misin es contri-
acompaan de un manual tcnico que especifica
buir a mejorar la calidad de la educacin media
detalladamente los elementos involucrados en su
superior y superior en Mxico, mediante el dise-
construccin, aplicacin y validacin.
o y aplicacin de instrumentos de evaluacin
Con esta publicacin se da cumplimiento a los
vlidos, confiables y pertinentes. Estos instru-
estndares exigidos en la normativa del Ceneval
mentos proporcionan informacin acerca de los
y a las recomendaciones emanadas de organis-
conocimientos y habilidades que las personas
mos internacionales publicadas en los Standards
adquieren mediante procesos formales o infor-
for educational and psychological testing, avala-
males de aprendizaje y se constituye en un insu-
dos por la American Educational Research
mo para la toma fundamentada de decisiones de
Association (AERA), la American Psychologial
las autoridades educativas en el proceso de mejo-
Association (APA) y los Program Evaluation
ramiento de la calidad.
Standards, publicados por el Joint Committee on
Los Exmenes Generales para el Egreso de la

Licenciatura (EGEL) son instrumentos de evalua-
Standards for Educational Evaluation (AERA,

APA, NCME, 1999).
cin de cobertura nacional que evalan el nivel
Este manual proporciona informacin tcni-
de conocimientos y habilidades acadmicas de
ca sobre aspectos relacionados con el diseo,
los recin egresados de la carrera universitaria,
operacin y uso de los EGEL; est dirigido a las
permiten identificar si los egresados de la licen-
autoridades educativas, funcionarios de institu-
ciatura cuentan con los conocimientos y habili-
ciones usuarias de los exmenes, as como a espe-
dades necesarios para iniciarse eficazmente en el
cialistas en educacin y evaluacin educativa y
ejercicio profesional. Para dar a conocer los pro-
pblico interesado en estos temas.
Presentacin
EL
Manual tcnico tiene como propsito
dirigido a los sustentantes y los reportes de resul-
comunicar a las instituciones usuarias,
tados del grupo de egresados que sustentaron la
sustentantes, especialistas y pblico interesado,
prueba, dirigidos a las instituciones de educacin
los aspectos tcnicos relacionados con el diseo,
superior (IES). Tambin se indican las caracters-
construccin y mantenimiento de los Exmenes
ticas del archivo electrnico de resultados que se
Generales para el Egreso de la Licenciatura as
entrega a las IES, en el que se incluye, adems de
como sus antecedentes y caractersticas generales.
los resultados de los sustentantes, la informacin
La informacin est organizada en cinco aparta-
de los cuestionarios de contexto que requisitan
dos o secciones: 1. Los antecedentes y el alcance
los sustentantes antes de la aplicacin de la prue-
del EGEL; 2. Sus reportes de resultados; 3. La
ba, as como las caractersticas generales de los
operacin y el mantenimiento del banco de reac-
Informes anuales de resultados.
tivos y formas del EGEL; 4. El proceso de diseo
En la tercera seccin se describe, de manera
y construccin del EGEL y 5. Los indicadores de
general, cmo administra el Ceneval los bancos
validez de las pruebas.
de reactivos de las pruebas en el Sistema de
En la primera seccin se indican las caracters-
Administracin de Bancos de Exmenes y
ticas y antecedentes del EGEL como instrumen-
Reactivos (e-SABER). Se revisa la administracin
to de medicin y se describen los distintos acto-
de los procesos de elaboracin y validacin de los
res involucrados en el proceso de diseo,
reactivos, a travs del Banco de Reactivos para
construccin y mantenimiento de la prueba; asi-
Asesores Externos (e-BRAE), as como lo relativo
mismo, se indican los contenidos generales de la
al ensamble de las formas de las pruebas, por
prueba especficamente las reas, subreas y
medio del Banco de Seguridad de Exmenes (e-
temas que se evalan, y se indica cules son los
BASE). Se abordan tambin las acciones que se
estndares de desempeo en cada una de las
implementan para pilotear y calibrar los reacti-
reas del EGEL y los criterios que se consideran
vos susceptibles de incorporarse al banco.
para la asignacin de testimonios de desempeo.
En la cuarta seccin se plantea el mtodo segui-
En esta seccin se dedica un apartado a los des-
do para la delimitacin del objeto de medida de
criptores de los niveles de desempeo en cada
las pruebas. Desde la definicin de las funciones,
rea de la prueba, as como una breve explica-
actividades y tareas profesionales involucradas en
cin de los aspectos tcnicos involucrados en la
el ejercicio de cada profesin, las cuales constitu-
calificacin de los resultados de los sustentantes
yen el perfil profesional que es objeto de valida-
en la prueba, dadas las caractersticas criteriales
cin social en una encuesta en lnea de carcter
del EGEL.
nacional, hasta la construccin de las especifica-
En la segunda seccin se muestran los distin-
ciones de la prueba y la determinacin y pondera-
tos reportes de resultados emitidos por el
cin de los contenidos implicados en su estructu-
Ceneval dirigidos a los dos principales usuarios
ra. Se aborda tambin el proceso metodolgico
del EGEL: el reporte individual de resultados,
para establecer los estndares de desempeo y sus
CENTRO NACIONAL DE EVALUACIN PARA LA EDUCACIN SUPERIOR CENEVAL
descriptores en cada una de las reas que integran
Para efectos de consulta de los aspectos espe-
las pruebas as como para fijar los criterios para el
cficos de cada EGEL en lo particular, el lector
otorgamiento de testimonios de desempeo satis-
interesado, deber dirigirse al portal del Ceneval
factorio y sobresaliente a los sustentantes.
y en la seccin de Exmenes seleccionar
En la quinta seccin se revisa la informacin
Exmenes Generales para el Egreso de la
referente a los procesos que se llevan a cabo para
Licenciatura y al desplegarse la relacin de los
garantizar la validez y vigencia de los EGEL, para
EGEL, elegir el EGEL de su inters. Al desplegar-
lo cual se aportan distintos indicadores psicom-
se el cuadro descriptivo del EGEL de inters,
tricos de confiabilidad y validez con un nfasis en
seleccionar la pestaa para ingresar a la seccin
los aspectos cualitativos de diseo y construccin
de Instituciones en la cual se encontrar la liga
de la prueba.
del manual tcnico del EGEL en cuestin.
1. Antecedentes y alcance del EGEL
EN
las ltimas tres dcadas la educacin
media superior y superior del pas, mediante la
superior en Mxico ha sido objeto de
realizacin de evaluaciones externas de los apren-
preocupacin de instancias gubernamentales,
dizajes, de manera adicional e independiente a la
autoridades educativas, profesores, estudiantes y
que llevan a cabo las instituciones educativas.
varios sectores de la sociedad. Debido a ello, se
Ahora se cuenta con evidencias confiables de
han venido desplegando distintas acciones ten-
verificacin, relativas al aprendizaje que logran
dientes al mejoramiento continuo del servicio
los estudiantes, las cuales permiten evaluar el
educativo, dentro de las cuales destaca, en los
quehacer de las instituciones educativas, dado
ltimos quince aos, la creacin de importantes
que un indicador crucial de la calidad de un pro-
organismos y el desarrollo e implantacin de
grama educativo lo es, sin duda, el aprendizaje
diversos esquemas y modalidades de evaluacin
efectivo que logran sus estudiantes.
educativa, tales como:
Lo anterior explica que el principal proyecto
La autoevaluacin institucional sobre diver-
que se encomienda al Ceneval, desde su creacin,
sos aspectos de la organizacin, funciona-
haya sido el desarrollo de los Exmenes Genera-
miento y administracin de programas
les para el Egreso de la Licenciatura (EGEL) ori-
La evaluacin interinstitucional de progra-
ginalmente denominados Exmenes Generales de
mas, con base en la modalidad de evaluacin
Calidad Profesional (EGCP) con el claro prop-
de pares a travs de los Comits Interins-
sito de poder contar con informacin vlida y
titucionales para la Evaluacin de la Edu-
confiable sobre el rendimiento acadmico de
cacin Superior (CIEES)
cada egresado y, con base en el anlisis de datos
El Sistema Nacional de Investigadores (SNI),

que permite asignar estmulos econmicos al
acumulados, sobre la eficacia de los programas

en cada institucin educativa.
personal acadmico de las IES en funcin de

los resultados de evaluaciones de su productividad de investigacin
La acreditacin de programas de licenciatura
y posgrado y la institucional que realizan los
1.1
El contexto internacional
de la evaluacin de resultados
de aprendizaje en la educacin superior
organismos acreditadores especializados

El Consejo para la Acreditacin de la
En los ltimos 20 aos las IES en todo el mundo
Educacin Superior (Copaes), cuyo propsito
han tenido una demanda creciente para proveer
consiste en regular y coordinar a dichos orga-
informacin comparable sobre la calidad de la
nismos acreditadores
enseanza y el aprendizaje alcanzado por sus

estudiantes, en virtud de que los responsables de
En este contexto, la creacin en 1994 del
definir polticas pblicas y de supervisar el mane-
Centro Nacional de Evaluacin para la
jo eficiente de los recursos pblicos, los emplea-
Educacin Superior (Ceneval) ha contribuido al
dores, los estudiantes y la sociedad en general,
mejoramiento de la calidad de la educacin
estn cada vez ms interesados en saber qu tan
10
efectivamente preparan las IES a sus estudiantes
que se estn formando los estudiantes, as como
para incorporarse a una economa basada en el
conocimientos generales y habilidades genricas,
conocimiento.
con un formato mixto de preguntas objetivas y
No obstante, solo en pocos pases se han rea-
preguntas de ensayo. En 2004, la muestra selec-
lizado esfuerzos relevantes para desarrollar ins-
cionada al azar incluy 140,340 estudiantes
trumentos para obtener informacin comparati-
matriculados en los 2,184 cursos, con un total de
va en el entorno nacional, sobre la calidad del
51% de los estudiantes de primer ao y 69% de
aprendizaje alcanzado por los egresados o estu-
los estudiantes graduados (Nusche, 2008), lo
diantes prximos a egresar de las IES. De hecho,
cual permite la comparacin del desempeo entre
en 1994, ao en el que se inicia el desarrollo de
estudiantes de ingreso y egresados de distintos
los primeros EGEL, se contaba con muy pocas
programas e IES. La participacin en este examen
experiencias de pruebas de resultados de apren-
es obligatoria para los estudiantes incluidos en la
dizaje de egreso de la licenciatura que sirvieran
muestra (la graduacin est condicionada a la
como referentes o modelos para determinar la
participacin) y para las IES, las cuales reciben
metodologa o el enfoque de diseo de estas
retroalimentacin de sus resultados en trminos
pruebas.
relativos y absolutos. El Ministerio de Educacin
En los pases de Latinoamrica, no es sino
establece cada ao las reas propuestas por la
hasta 1996 que el Instituto Nacional de Estudos
Comisin Nacional de Evaluacin de la
e Pesquisas Educacionais Ansio Teixeira (INEP)
Educacin Superior, rgano colegiado de coordi-
crea el Examen Nacional de Cursos (ENC, tam-
nacin y supervisin del Sistema Nacional de
bin conocido como Provo) como una prueba
Evaluacin de la Educacin Superior. La frecuen-
obligatoria, mandatada por el Estado brasileo,
cia mxima en la que se aplica el Enade en cada
con el siguiente objetivo: Determinar el nivel de
licenciatura es de un periodo de tres aos.
dominio que los estudiantes de licenciatura, pr-
En Colombia, el Instituto Colombiano para la
ximos a egresar, tienen de los conocimientos y
Evaluacin de la Educacin aplica el Examen de
habilidades, especficos de la licenciatura, que se
Estado de Calidad de la Educacin Superior
consideran esenciales y comunes a los currculos
(Ecaes) desde noviembre de 2003. Es un examen
de las IES que las ofrecen. En 2003, ltimo ao
orientado a evaluar conocimientos y habilidades
de aplicacin de esta prueba, se evalu a matri-
especficos que son necesarios para el adecuado
culados en las 26 licenciaturas previamente defi-
desempeo profesional o acadmico de los futu-
nidas, lo que represent ms de 470,000 estu-
ros egresados de la educacin superior; en el 2010
diantes inscritos en 6,500 programas de IES
se aplicaron 33 Ecaes de competencias especficas
pblicas y privadas de todo el pas (INEP, 2012).
por reas de conocimiento. Se trata de un examen
En el 2004 se sustituye el ENC por el Examen
de preguntas de opcin mltiple (250 reactivos en
Nacional de Desempeo de los Estudiantes
promedio) que permite la comparacin transver-
(Enade) el cual se propone medir los conocimien-
sal y longitudinal de programas, instituciones y
tos y habilidades especficos de la profesin en la
metodologas, que se aplica a estudiantes de
MANUAL TCNICO DE LOS EXMENES GENERALES PARA EL EGRESO DE LA LICENCIATURA EGEL
programas de pregrado que hayan aprobado al
IES (Nusche, 2008). Cada una se disea y elabo-
menos el 75% de los crditos acadmicos de su
ra por un panel nacional de expertos en la mate-
licenciatura. La presentacin de este examen es
ria y se basa en los contenidos curriculares bsi-
obligatoria como requisito de grado y censal en
cos identificados por medio de una encuesta, de
los 33 programas profesionales predeterminados,
alcance nacional, dirigida a expertos en las reas
con una participacin total anual de alrededor de
disciplinares objeto de evaluacin.
200,000 estudiantes. El Ecaes tiene una etapa de
Tal vez por las caractersticas de este nivel
transicin y desde noviembre de 2010 cambia a
educativo en Estados Unidos, el cual es menos
SABER PRO el cual est conformado por mdu-
profesionalizante que los modelos latinoamerica-
los de competencias genricas y mdulos espec-
nos y ms orientado al desarrollo de habilidades
ficos comunes a grupos de programas.
y conocimientos de tipo genrico, se han desarro-
En estos tres casos latinoamericanos, el mto-
llado un buen nmero de pruebas centradas en
do en el que se basa la delimitacin del construc-
este ltimo tipo de aprendizajes, las cuales pue-
to de las pruebas reside en la identificacin de los
den aplicarse a estudiantes de cualquier nivel
contenidos comunes y esenciales de los currculos
(ingreso, medio camino o egreso) y de cualquier
de las IES nacionales que administran los distintos
campo de formacin. Dentro de ellas se destacan
programas educativos. En contraste, en Estados
las siguientes: la prueba denominada Collegiate
Unidos est en operacin, desde 1990, la Major
Assessment of Academic Proficiency (CAAP),
Field Test (MFT), una prueba objetiva, de opcin
creada en 1988, que contiene seis mdulos inde-
mltiple, que permite evaluar la habilidad de los
pendientes de habilidades genricas: escritura,
estudiantes que estn por egresar de los progra-
lectura, razonamiento cientfico y matemtico,
mas de pregrado, para analizar y resolver proble-
matemticas y ciencia, dentro de los cuales las
mas, comprender relaciones e interpretar material
IES son libres de seleccionar aquellos que deben
de una disciplina o campo de estudio profesional
aplicar sus estudiantes; est tambin la prueba
particular, en 12 reas disciplinares de pregrado y
Measure of Academic Proficiency and Progress
tres de posgrado en administracin y negocios.
(MAPP) (2006) y la Educational Testing Service
Esta prueba estandarizada permite a las IES com-
(ETS) cambia en 2010 por Proficiency Profile, la
parar la calidad del aprendizaje alcanzado por sus
cual evala distintas habilidades genricas (lectu-
estudiantes con el alcanzado por los estudiantes
ra, escritura, razonamiento matemtico y pensa-
de otras IES de programas equivalentes y con res-
miento crtico) en el contexto de las humanida-
pecto a un estndar de desempeo nacional. En
des y las ciencias sociales y naturales y, por
este caso, las IES deciden la participacin de sus
ltimo, la prueba Collegiate Learning Assessment
estudiantes, determinan el tamao y caractersti-
(CLA) (2002), que evala habilidades genricas,
ca de la muestra y solicitan y administran los
como el pensamiento crtico y el razonamiento
materiales a los estudiantes. Anualmente, se apli-
analtico en el contexto de tareas de la vida real
ca la prueba a alrededor de 70,000 estudiantes de
(como hacer una recomendacin sobre diversas
ms de 1,000 departamentos acadmicos de 600
propuestas de polticas pblicas para la solucin
11
12
de un problema concreto como la criminalidad)
te identificar las responsabilidades en el trabajo
o en la construccin de argumentos y contraar-
de quienes ejercen la profesin. Bajo este enfo-
gumentos sobre tpicos de actualidad.
que, una vez que se determinan las responsabili-
En Australia, el Australian Council for
dades del ejercicio profesional, es posible estable-
Educational Research (ACER) (2000) desarrolla
cer los conocimientos, destrezas y habilidades
la prueba Graduate Skills Assessment (GSA) la
(CDH) requeridos para el cumplimiento eficaz de
cual, a semejanza de las pruebas norteamericanas
esas responsabilidades. Esos CDH son la base
antes mencionadas mide habilidades genricas
para el diseo y las especificaciones de la prueba
cognitivas como el pensamiento crtico, la solu-
(Harvey y Wilson, 2000; Raymond, 2001).
cin de problemas y la comunicacin escrita,
En estos exmenes se utilizan distintos mto-
adems de las habilidades no cognitivas de com-
dos para el anlisis de la prctica profesional,
prensin interpersonal.
como la tcnica de incidentes crticos (Flanagan,
Pero hay otro tipo de exmenes que operan y
1954; Levine, McGuire, Miller y Larson, 1968
se desarrollan en EU, que son un referente rele-
citado en Raymond y Neustel, 2006) o el mode-
vante para el enfoque de diseo seguido en el
lo de anlisis de la prctica profesional propues-
proceso de renovacin de los EGEL, as como en
to por LaDuca en 1980 y 1994; sin embargo, el
los nuevos desarrollos de estas pruebas, no obs-
mtodo ms comn es el inventario de tareas y
tante que estas pruebas no estn orientadas a
sus variaciones (Newman, Slaughter y Taranath,
evaluar el aprendizaje alcanzado por los recin
1999 citado en Raymond et al. 2006).
egresados o prximos a egresar de las IES, sino,
Un inventario de tareas es una lista de tareas
ms bien, a evaluar los conocimientos y habilida-
o actividades que deben ser realizadas por los que
des adquiridos de quienes pretenden obtener una
ejercen una profesin particular, segn el punto
licencia para ejercer profesionalmente en el pas
de vista de los expertos designados por el colegio
o un estado en particular. Se trata de los exme-
de profesionales correspondiente. Se presenta en
nes para la habilitacin o certificacin profesio-
el formato de un cuestionario y se enva por
nal que se desarrollan en este pas desde hace
correo a una muestra grande de profesionistas en
dcadas, como un mecanismo para asegurar al
ejercicio a quienes se pide que califiquen cada ta-
pblico que los individuos que trabajan en una
rea en ciertas escalas. Las escalas pueden pregun-
determinada profesin han satisfecho ciertos
tar, por ejemplo, con qu frecuencia se realiza
estndares y estn calificados para practicarla
cada tarea, qu tan difcil o qu tan importante
(American Educational Research Association
es para el xito de una determinada prctica. Un
[AERA], American Psychological Association
inventario de tareas proporciona una forma efi-
[APA] y National Council on Measurement in
ciente de obtener informacin sobre la relevancia
Education [NCME], 1999). En la gran mayora
de las tareas profesionales incluidas en el mismo,
de los casos se trata de exmenes cuyas especifi-
para el ejercicio eficaz de la profesin en un
caciones estn basadas en un anlisis emprico
momento histrico determinado. Este enfoque
del ejercicio profesional (job analysis) que permi-
basado en el inventario de tareas profesionales se
usa comnmente para establecer evidencia de

validez de contenido de estos exmenes para la
habilitacin profesional. Aunque los resultados
1.2
Qu
es el EGEL
de la encuesta del inventario de tareas proporcio-
El EGEL es una prueba nacional especializada
na informacin sobre las tareas profesionales que
por carrera profesional, cuyo propsito es iden-
pueden ser utilizadas como una fuente confiable
tificar la medida en que los egresados de la licen-
y vlida para el desarrollo de las pruebas, en rea-
ciatura cuentan con los conocimientos y habili-
lidad son los conocimientos, las aptitudes y las
dades esenciales para el inicio del ejercicio
habilidades (CAH) requeridas para la realizacin
profesional; de esta forma, se asume que la infor-
de las tareas, ms que las tareas profesionales
macin resultante de su uso sistemtico contribu-
mismas, las que forman parte del constructo o
ye a establecer distintos aspectos de gran impor-
contenido de estas pruebas.
tancia, como a) el grado de idoneidad de cada
Como puede verse a continuacin, el enfoque
egresado con respecto a un estndar de forma-
en el que se basa el diseo de los EGEL de nueva
cin nacional; b) el nivel de eficacia de los pro-
generacin se encuentra en un punto intermedio
gramas y modalidades de formacin profesional
entre el enfoque seguido en la mayora de los
que administran las IES y c) indicadores de rendi-
exmenes orientados a evaluar conocimientos y
miento a partir de los cuales, los organismos eva-
habilidades de los estudiantes que estn por egre-
luadores y acreditadores respectivos, pueden
sar de la licenciatura, es decir, en la identificacin
identificar los mritos de cada programa de licen-
de los contenidos comunes y esenciales de los
ciatura en cada IES.
currculos de las IES nacionales que administran

los distintos programas educativos (como en los
casos del ENC y el Enade en Brasil, el Ecaes en
Colombia y el MFT en EU) y los exmenes que se
utilizan para el otorgamiento de licencias para el
1.2.1
Caractersticas
de la prueba
ejercicio profesional en EU. Esto en virtud de que
Como instrumento de evaluacin, el EGEL cuen-
el enfoque de diseo de los EGEL se centra en la
ta con los siguientes atributos:
identificacin de los puntos de encuentro entre
Especializado por carrera profesional. Evala
los requerimientos del ejercicio de la profesin y
conocimientos y habilidades especficos de la
los contenidos curriculares de las licenciaturas
licenciatura que son crticos para iniciarse en
que administran las IES, toda vez que se propone
el ejercicio de la profesin. No incluye conoci-
evaluar los conocimientos y habilidades espec-
mientos y habilidades profesionales genricos
ficos de la licenciatura que son crticos para ini-
De alcance nacional. Tiene validez en todo
ciarse en el ejercicio de la profesin.
el pas. No est referido a un currculo en

particular
Estandarizado. Cuenta con reglas fijas de diseo, elaboracin, aplicacin y calificacin
13
14
Criterial. Los resultados de cada sustentante se
sos, en el que han participado consejeros tcnicos
comparan contra un estndar de desempeo
de los exmenes, expertos de los comits acad-
nacional
micos y profesionistas en ejercicio vinculados con
De mximo esfuerzo. Permite establecer el
las distintas licenciaturas, que responden la
nivel de rendimiento del sustentante, sobre la
encuesta de validacin social sobre las tareas que
base de que este hace su mejor esfuerzo al
caracterizan la prctica profesional.
resolver los reactivos de la prueba
A continuacin se describe, en forma sucinta,
De alto impacto. Con base en sus resultados los
cmo se conduce este proceso de diseo o reno-
sustentantes pueden titularse y las IES obtienen
vacin con base en el cual se delimita el conteni-
un indicador de rendimiento acadmico
do de los EGEL.
De opcin mltiple. Cada pregunta se acompaa de cuatro opciones de respuesta, entre

las cuales solo una es la correcta
Contenidos centrados en problemas. Permite
determinar si los sustentantes son capaces de
1.2.2
Quines
elaboran la prueba
utilizar lo aprendido durante su licenciatura
El Ceneval como institucin especializada en
en la resolucin de problemas y situaciones a
aspectos tcnicos de la elaboracin de instrumen-
los que tpicamente se enfrenta un egresado al
tos de evaluacin, marca las directrices metodo-
inicio del ejercicio profesional
lgicas con las que se disean, ejecutan y mantie-
Sensible a la instruccin. Evala resultados de
nen las pruebas que administra; sin embargo, la
aprendizaje de programas de formacin pro-
delimitacin de contenidos es asunto de expertos
fesional, los cuales son una consecuencia de la
ligados a cada profesin, motivo por el cual se
experiencia educativa institucionalmente
conforman, para cada examen, cuerpos colegia-
organizada
dos denominados consejos tcnicos (CT), integra-
Contenidos validados socialmente. Contenidos
dos por expertos de IES, colegios de profesiona-
validados por comits de expertos y centena-
les e instancias empleadoras ligadas a cada
res de profesionistas en ejercicio
profesin, los cuales, a su vez, se apoyan en cuerpos auxiliares, denominados comits acadmicos
Por su significado y alcance, reviste gran
(CA), para el desarrollo de tareas especializadas
importancia para el sistema de evaluacin de la
relacionadas con la delimitacin del contenido de
educacin superior del pas el que los EGEL, efec-
las pruebas (figura 1).
tivamente, midan lo que pretenden medir y que
Los consejos tcnicos (CT) estn conforma-
lo hagan con la mayor precisin posible. Por tal
dos por expertos con reconocida calidad y tra-
razn se ha puesto especial cuidado en su proce-
yectoria profesional y su principal funcin es
so de diseo y renovacin, el cual ha implicado
otorgar validez y legitimidad a las pruebas. De
la puesta en prctica de un complejo proceso
manera especfica, a los consejos tcnicos les
metodolgico, tcnico y de generacin de consen-
corresponde:
Delimitar el objeto de medida de la prueba
Figura 1.
Participantes en la elaboracin de los exmenes
Definir el perfil del sustentante

Determinar la estructura de la prueba y organizacin de la misma
Fijar los puntos de corte y establecer los niveles de desempeo para cada rea de la prueba
Determinar los criterios con base en los cuales se obtienen los Testimonios de Desempeo
Satisfactorio y Sobresaliente
Los criterios bajo los cuales se conforman y
Los
consejos
tcnicos
deciden los
principios y
directrices
generales
que
determinan
el contenido
de cada
examen
Los rganos
auxiliares
del consejo
tcnico
son comits
acadmicos
que realizan
tareas
especializadas
en el
contenido
del examen
actan los consejos tcnicos estn normados con

base en el reglamento institucional correspondiente.1 El proceso general que se lleva a cabo
para la designacin de un consejero tcnico se
El personal tcnico del Ceneval

da orientaciones psicomtricas a los
consejos tcnicos y sus rganos auxiliares
muestra en la figura 2.
Figura 2.
Perfil y proceso para la designacin de los consejos tcnicos
Revisa la conformacin del CT, de acuerdo con
su reglamento
Ceneval
El director general enva una carta de invitacin

al rector de la IES
Consejo tcnico
Perfil:
Amplia experiencia
profesional
Alta especializacin
Altamente calificado
Profesionista reconocido
Prestigio acadmico
Amplia capacidad
de gestin en su IES
Analiza la viabilidad de incorporar a una IES,

basado en:
Relevancia de la IES
Nmero de egresados que presentan el EGEL
Resultados de sus egresados
IES
El rector, en caso de aceptar la invitacin, enva

una carta de confirmacin con el nombre de la
persona que representar a la IES ante el
Consejo Tcnico del EGEL
El representante recibe de Ceneval su nombramiento formal
Compromiso de la trascendencia que tiene su
participacin
Reglamento de los consejos tcnicos de los exmenes, aprobado en la XLIII Sesin Ordinaria del Consejo celebrada el 25
de junio de 2012, disponible en: http://archivos.ceneval.edu.mx/archivos_portal/12275/ReglamentodelosConsejosTecnicos
delCeneval2012.pdf
15
16
Para realizar su labor el consejo tcnico se
contar con amplia experiencia profesional y con
apoya en los comits acadmicos (CA) conforma-
experiencia docente. El perfil y las funciones
dos por expertos de distintas instituciones, cuya
especficas de los comits acadmicos, se mues-
finalidad es contribuir en las diversas actividades
tran en la figura 3.
que permiten el desarrollo de la prueba, como:

Precisar los contenidos o aspectos que sern
medidos en la prueba, a travs de la elaboracin y validacin de especificaciones (comit
acadmico de diseo)
1.2.3
Organizacin
de los contenidos en el EGEL
Elaborar y validar los reactivos que son sus-
Los EGEL organizan sus contenidos en cuatro nive-
ceptibles de constituir el banco de reactivos
les de anidamiento o desagregacin, los cuales, en
(comits acadmicos de elaboracin y valida-
trminos generales, se corresponden con la forma
cin de reactivos)
como se organiza la propia prctica profesional

desde el punto de vista de cada consejo tcnico:
Para formar parte de los comits acadmicos
reas. Se corresponden con las funciones o
se requiere tener un alto nivel de especializacin
mbitos de actuacin en los que se organiza el
en el rea de la prueba en la que van a colaborar,
ejercicio de la profesin
Figura 3.
Perfil y funciones de los comits acadmicos
Diseo
del examen
Elaboracin
y validacin de
especificaciones
Comit acadmico
Perfil:
Amplia experiencia
profesional y docente
Alta especializacin
Altamente calificado
Profesionista reconocido
Prestigio acadmico
Precisar los contenidos que

sern medidos en el examen
Elaborar una descripcin precisa del conocimiento o habilidad que se pretende

medir, en el contexto de una prueba de
opcin mltiple, de tal forma que gue el
proceso de elaboracin de los reactivos
Elaboracin
de reactivos
Elaborar los reactivos con apego

a las caractersticas tcnicas que
el Ceneval disponga
Elaboracin
de reactivos
Realizar una revisin tcnica de los

reactivos, con apego a las caractersticas
tcnicas que el Ceneval disponga
Subreas. Se corresponden con las actividades
los puntos de corte establecidos por el consejo
que tpicamente realiza el profesionista en las
tcnico:
funciones profesionales (reas) contempladas
An no satisfactorio (ANS): 700-999 puntos en

ndice Ceneval
en la prueba
Temas. Se corresponden con las tareas o acciones que son necesarias para llevar a cabo las
actividades profesionales (subreas) conside-
Satisfactorio (DS): 1,000-1,149 puntos en ndice Ceneval

Sobresaliente (DSS): 1,150-1,300 puntos en
ndice Ceneval
radas en la prueba
Contenidos especficos. Se corresponden con
los conocimientos y habilidades asociados a la
La descripcin de estos niveles de desempeo en
realizacin de las tareas profesionales contem-
cada una de las reas permite conocer qu proble-
pladas. Se definen en trminos observables y
mas y situaciones es capaz de resolver un susten-
son utilizados como referentes para la elabo-
tante en cada caso, como se ver posteriormente.

En cada EGEL el consejo tcnico establece,
racin de reactivos
adems, el criterio que debe cumplirse para el
1.2.4
otorgamiento de un Testimonio de Desempeo

Niveles de desempeo
Satisfactorio o Sobresaliente. En todos los casos,
y asignacin de testimonios
dicho criterio refiere a una determinada cantidad

de reas en las que el sustentante debe alcanzar
En cada una de las reas de los EGEL se consi-
un resultado u otro. En la tabla 1 se presenta un
deran tres niveles de desempeo en los cuales se
ejemplo de los criterios establecidos para un
clasifica a los sustentantes, de conformidad con
EGEL con cinco reas en la prueba.
Tabla 1.
Ejemplo de criterios para otorgar testimonios de desempeo en el EGEL
Criterios para el otorgamiento del testimonio de desempeo en el examen
Testimonio de Desempeo Satisfactorio (TDS)
Al menos tres reas con DS o DSS
Testimonio de Desempeo Sobresaliente (TDSS)
De las cinco reas, al menos una con DSS y las restantes con DS
Dictamen general del examen
Dictamen general del examen
Satisfactorio
Sobresaliente
17
18
En este ejemplo:
Para hacerse acreedor de un Testimonio de
Desempeo Satisfactorio (TDS) el sustentan-
1.2.6
La calificacin de los resultados

de los sustentantes en la prueba
te debe, al menos, obtener nivel de desempe-
Las calificaciones que emite el Ceneval estn
o satisfactorio o sobresaliente en ms del
expresadas en una escala especial llamada ndice
50% de las reas del EGEL (al menos tres de
Ceneval (ICNE). Dicha escala, adoptada como
las cinco reas).
escala oficial a partir del informe de resultados 95-
Para hacerse acreedor a un Testimonio de
96 (mayo de 1995 a abril de 1996) por acuerdo de
Desempeo Sobresaliente (TDSS) el sustentan-
la Asamblea de Asociados, abarca de los 700 pun-
te debe obtener nivel de desempeo satisfac-
tos (calificacin ms baja) a los 1,300 puntos (cali-
torio o sobresaliente en la totalidad de las
ficacin ms alta). Ahora bien, el procedimiento
reas del EGEL y, al menos en una de ellas,
que se sigue para llevar a cabo la transformacin
alcanzar desempeo sobresaliente.
de las puntuaciones en porcentajes de aciertos a

ndice Ceneval, es a partir del siguiente algoritmo:
1.2.5
(PCNE1)(Q)
ICNE = ____________ + LiICNE
Tp
Descriptores de los niveles

de desempeo
Donde:
Una vez definidos los estndares de desempeo
PCNE1 = Porcentaje de aciertos obtenido por
por rea de conocimiento, el consejo tcnico se
el sustentante. Para el caso de puntuaciones
da a la tarea de realizar los descriptores para los
por arriba del primer punto de corte se calcu-
niveles de desempeo satisfactorio y sobresalien-
la la diferencia entre PCNE y PC1 o PC2 segn
te de cada rea de la prueba. La importancia de
sea el caso.
estos descriptores radica en que permiten una
Q = Posiciones existentes en cada intervalo de
interpretacin cualitativa de las puntuaciones
calificacin
observadas en cada rea, al indicar los problemas
Valores: 1,000-700 = 300
y situaciones del ejercicio profesional que el sus-
1,150-1,000 = 150
tentante es capaz de afrontar y resolver de mane-
1,300-1,150 = 150
ra eficaz (apartado 4). Los descriptores son un

elemento fundamental de los reportes de resulta-
Tp = Intervalo porcentual de puntos de corte

Valores: Tp1 = PC1
dos que se entregan a los sustentantes e institu-
Tp2 = PC2-PC1
ciones usuarias del EGEL.
Tp3 = 100-PC2
Li(ICNE)= Lmite inferior del intervalo de calificaciones del ndice Ceneval
Valores: 700 (700-999)
1,000 (1,000-1,149)
1,150 (1,150-1,300)
En el caso especfico de los EGEL, como se
conocimiento distintas, con puntos de corte para
indic previamente, el procedimiento utilizado
DS o DSS expresados en porcentajes de aciertos
para determinar los puntos de corte en cada rea
diferentes.
de conocimiento determina la existencia de una
Como se aprecia en las grficas, en trminos
escala con tres segmentos, que vara segn la
de ndice Ceneval, la distancia entre los 1,000 y
ubicacin de los puntos de corte definidos por el
1,150 puntos es la misma (como se aprecia en el
consejo tcnico y en donde, independientemen-
eje vertical), pero en realidad este segmento repre-
te de en qu lugar del continuo 0-100 de porcen-
senta distintos porcentajes de aciertos entre las
taje de aciertos se fijen los puntos de corte, el pri-
dos reas de la prueba: en el primer caso hay 15%
mer punto de corte siempre es 1,000 y el
de aciertos, mientras que en el segundo hay 35%.
segundo siempre es 1,150. Con lo cual, una pun-
Con base en lo anterior, el clculo de una pun-
tuacin de 700-999, indica un nivel de desempe-
tuacin global es inapropiada, por lo que, como
o an no satisfactorio, una de 1,000-1,149 un
se ver ms adelante, en ninguno de los reportes
nivel de desempeo satisfactorio y una puntua-
de resultados de los EGEL se incluye el puntaje
cin de 1,150-1,300 un nivel de desempeo
global obtenido en el examen, pues, adems de
sobresaliente.
no aportar informacin sustantiva sobre el
A manera de ejemplo, se presentan las grficas 1a y 1b correspondientes a dos reas de
desempeo del sustentante en el examen, puede

inducir interpretaciones equvocas.
Grficas 1a y 1b.
Ejemplos de diferentes puntos de corte asociados al ndice Ceneval
19
20
1.2.7
El cuestionario
de contexto
El rea personal conjunta variables que describen las caractersticas intrnsecas del sustentante, como su edad, gnero, antecedentes aca-
Los cuestionarios de contexto son diseados por
dmicos, recursos cognitivos y no cognitivos.
un Consejo tcnico conformado por especialistas
El rea social se conforma por variables que
en los distintos contenidos especficos que se ana-
exploran las influencias que recibe el indivi-
lizan en este tipo de instrumentos. Estos cuestio-
duo en su contexto cercano, por lo que en esta
narios se aplican para obtener informacin y
categora confluyen tanto variables de la fami-
hacer inferencias cuantitativas acerca de la pobla-
lia del estudiante como oportunidades cultu-
cin y estn construidos bajo la lgica de que
rales y econmicas que recibe de su entorno.
cada sustentante reporte datos sobre su situacin
En el rea escolar confluyen las variables que
personal, escolar, social y econmica.

Generalmente, las IES que utilizan la informacin de los cuestionarios, las relacionan con las
exploran las caractersticas de los docentes o

de los planteles educativos donde los estudiantes cursaron sus estudios.
puntuaciones de los exmenes para hacer estudios sobre:
Subrea
La descripcin de las caractersticas de los
Representa el segundo nivel de desglose de la
estudiantes admitidos
estructura y agrupa las variables de acuerdo con el
La comparacin entre poblaciones: hombres/
tpico que exploran. As, por ejemplo, en el rea
mujeres, sustentantes provenientes de escuelas
personal, generalmente se exploran las siguientes
pblicas/privadas, entre otras
subreas: datos generales, recursos cognitivos,
La identificacin de los estudiantes que se en-
recursos no cognitivos y trayectoria acadmica. En
cuentren en condiciones de riesgo acadmico
el rea escolar se podra explorar el clima escolar
La identificacin de los factores que afectan
y en el rea social, las variables de la familia.
el aprendizaje detectando la aportacin de

cada uno de ellos y si su impacto es directo o
Contenidos especficos
indirecto
Son la unidad de mayor especificidad de la

estructura. En este apartado se definen los conte-
Los contenidos de los cuestionarios se agru-
nidos que se incorporan de cada subrea; pueden
pan en tres categoras: reas, subreas y conteni-
encontrarse variables como estado civil, percep-
dos especficos. En los siguientes prrafos se hace
cin de habilidad para la lectura de textos en
una breve explicacin de ellas.
ingls, el capital cultural o econmico. Los contenidos especficos pueden ser:
rea
Escalas: En los cuestionarios se asume que los
Agrupa variables que se ligan a alguno de los
constructos o rasgos latentes que se pretenden
siguientes mbitos: personal, social o escolar.
explorar no pueden ser medidos de manera
directa, sino a travs de un conjunto de varia-
valor descriptivo o de impacto. En este rubro
bles manifiestas que dan cuenta de la presen-
se encuentran las preguntas de sexo, edad y
cia o ausencia del atributo. A este conjunto de
expectativas acadmicas.
variables manifiestas que se resumen en un

puntaje nico se les identifica como escalas.
Para cada cuestionario de contexto se elabora
Algunos ejemplos pueden ser las escalas de
un documento al que se denomina estructura.
capital cultural o la percepcin para el mane-
Este documento es una tabla de elementos inter-
jo de una computadora.
dependientes en el que se detallan los contenidos
Variables individuales: En la estructura tam-
que se exploran en el instrumento de medicin. A
bin se indican variables que no se miden por
continuacin se presenta la estructura para el
escalas sino que se incorporan por su propio
cuestionario de contexto de EGEL en el ao 2012.
Tabla 2.
Estructura del cuestionario de contexto para los EGEL 2012
rea
Identificador
Datos generales
Personal
Recursos no cognitivos
Situacin laboral
Trayectoria acadmica
Escolar
Social
Escala/Variables
individuales
Nm.
preguntas
Nombre del examen
VI
Nombre
VI
Edad
VI
Sexo
VI
Subrea
Caractersticas
de la
escuela de procedencia
Familiar
Contenidos especficos
Estado civil
VI
Lengua materna
VI
Expectativas laborales
VI
Expectativas econmicas
VI
Situacin laboral actual
VI
Rendimiento acadmico en el nivel superior
VI
Beca en la licenciatura
VI
Cambio de licenciatura
VI
Primera opcin de licenciatura y de institucin
VI
Identificacin de la escuela de procedencia
VI
Rgimen de la escuela de licenciatura
VI
Modalidad de la escuela de licenciatura
VI
Calidad de la escuela
10
Calidad de las prcticas profesionales
Calidad de los docentes de licenciatura
Estructura familiar
VI
Capital cultural
Capital econmico
12
Total
69
21
22
Diseo modular
Las variables bajo investigacin pueden per-
Todas las variables y escalas que se evalan en los
manecer en el cuestionario hasta por un perio-
cuestionarios de contexto forman parte de algu-
do de cuatro aos. En este lapso se espera
no de los tres mdulos del instrumento.
tener informacin suficiente para observar la
Mdulo bsico. Las variables que forman
estabilidad de la escala y su contribucin
parte de este mdulo permanecen fijas por
sobre el rendimiento.
varios aos, en virtud de que son las variables
Mdulo de usuarios. Cada dos aos se incor-
que se utilizan, con mayor frecuencia, para
pora una serie de variables de un inters par-
elaborar los perfiles descriptivos de la pobla-
ticular para las IES. Estas se determinan con
cin sustentante.
los resultados de una encuesta que se aplica a
Las variables del mdulo bsico solo se po-
las instituciones usuarias.
dran modificar cuando cambie la estructura

del examen; de otro modo no pueden tener
Tanto en el mdulo bsico, como en el de in-
ningn cambio, ya que ao tras ao las bases
vestigacin o de usuarios pueden presentarse
se han elaborado con los mismos valores.
contenidos que se ubiquen en uno de las siguien-
Mdulo de investigacin. En este mdulo se
tes tres niveles de organizacin de los cuestiona-
incorpora un conjunto de variables para tra-
rios: reas, subreas y contenidos especficos.
tar de estimar su efecto sobre el rendimiento
En la siguiente figura se presenta un ejemplo
acadmico. Todas las variables que se inves-
de la composicin de un cuestionario de contex-
tigan cuentan con soporte emprico con res-
to para un examen de egreso, como es el caso del
pecto a su relacin con el logro acadmico.
EGEL.
Figura 4.
Composicin de un cuestionario de contexto para un examen de egreso
1.2.8
La gua de estudio
por apartados en los que se describen los aspec-
para el sustentante
tos sustantivos del EGEL: a) propsito y alcance;

b) destinatarios; c) principales caractersticas; d)
La gua de estudios es un documento de apoyo
estructura y organizacin por reas, subreas y
que proporciona a los sustentantes del EGEL la
campos temticos, y e) la bibliografa sugerida
informacin bsica que requieren en trminos de
por campo temtico. Asimismo, incluye distintos
lo que mide la prueba, la bibliografa temtica
apartados en los que se abordan todos los tpi-
sugerida y los aspectos operativos que deben con-
cos relacionados con los aspectos prcticos y
siderar para afrontar la prueba sin problemas.
operativos del registro para presentar el examen,
Este documento es gratuito, se encuentra dispo-
as como de su administracin, sea que esta se
nible en el portal del Ceneval y est constituido
realice en lnea o en lpiz y papel.
23
2. Reportes de resultados
LAS
IES usuarias del EGEL reciben tres
sustentante, fecha de aplicacin, nombre y clave
tipos de reportes de resultados des-
de identificacin de la IES de egreso.
pus de cada proceso de aplicacin de los exme-
El resultado alcanzado por el sustentante se
nes: los reportes individuales de cada sustentan-
presenta en el segmento intermedio del reporte.
te y dos reportes institucionales (uno en el que se
En la columna izquierda se destaca el dictamen
ordena a los sustentantes en forma descendente,
general del examen, en donde se indica si el sus-
segn el desempeo obtenido en la prueba, y otro
tentante fue acreedor de algn tipo de testimonio
en el que se describe cmo quedan distribuidos
de desempeo. Para poder interpretar el resulta-
los sustentantes en funcin del tipo de testimonio
do obtenido en el recuadro derecho se sealan los
alcanzado y por el nivel de desempeo logrado
criterios establecidos por el consejo tcnico del
en cada rea de la prueba). Asimismo, reciben un
examen para el otorgamiento de los testimonios
archivo electrnico con la base de datos que inte-
de Desempeo Satisfactorio y Sobresaliente en el
gra los resultados obtenidos en la prueba y los
examen, en trminos de la proporcin de resulta-
datos del cuestionario de contexto de cada sus-
dos requeridos en las distintas reas de la prueba.
tentante. Con el propsito de proporcionar a las
Por otra parte, debajo de esta informacin, a la
instituciones usuarias informacin relevante que
izquierda del segmento, se describe el nivel de
les permita contrastar los resultados obtenidos
desempeo alcanzado en cada rea del EGEL y, a
por el conjunto de sus sustentantes, con los
la derecha del reporte, se muestra el recuadro con
alcanzados por los sustentantes de otras IES y por
los criterios para determinar el nivel de desempeo
el total de la poblacin que en el mbito nacional
alcanzado en cada rea de la prueba y su corres-
sustenta el examen cada ao, desde 2007 se ela-
pondiente rango de puntuacin en ndice Ceneval.
boran y publican los informes anuales de resulta-
En el reverso del reporte (figura 5b) se descri-
dos para todos los EGEL que se encuentran en
ben los conocimientos y habilidades que se supo-
operacin. A continuacin se describen los ele-
ne poseen quienes alcanzan un desempeo satis-
mentos que contiene cada uno de ellos.
factorio o sobresaliente en cada una de las reas
25
que componen el examen. Dicha descripcin
2.1
enfatiza, en cada nivel de desempeo, el tipo de
Reporte individual
situaciones y problemas que son capaces de
de resultados
enfrentar con xito los sustentantes en los distin-
El anverso de este reporte (figura 5a) contiene

como elementos de identificacin el nombre del
examen presentado, nmero de folio, nombre del
tos mbitos de actuacin profesional representados en las reas del examen.

A continuacin se muestra un ejemplo de
reporte de resultados (figuras 5a y 5b).
26
Figura 5a.
Reporte de resultados del sustentante (anverso)
Figura 5b.
Reporte de resultados del sustentante (reverso)
2.2
Reporte de resultados
monio de Desempeo Satisfactorio y, por ltimo,
por IES de procedencia.
los sustentantes Sin Testimonio. Al interior de
Ordenamiento descendente
cada uno de estos grupos, los sustentantes se

ordenan alfabticamente considerando la prime-
En el anverso de este reporte (figura 6), en la
ra letra de su apellido paterno.
parte superior, se presenta la informacin que
Para cada uno de los sustentantes se presenta
permite identificar la IES de procedencia de los
la informacin del desempeo alcanzado en cada
sustentantes y su clave de identificacin, la fecha
una de las reas del examen. En el recuadro infe-
en la que se realiz la aplicacin del examen y el
rior izquierdo se observan los criterios asociados
nmero de sustentantes en la prueba. Inme-
a cada nivel de desempeo, en puntajes expresa-
diatamente despus se presenta la relacin de
dos en ndice Ceneval, y en el recuadro inferior
quienes sustentaron el EGEL, identificados por su
derecho los criterios establecidos por el consejo
nombre y nmero de folio, ordenados en funcin
tcnico del examen para el otorgamiento de tes-
del desempeo alcanzado en el examen.
timonios de desempeo.
En primer lugar aparecen los sustentantes
Al igual que en el anterior reporte, en el reverso
acreedores a un Testimonio de Desempeo So-
de este, se incluyen los descriptores de los niveles
bresaliente, en segundo los que alcanzan Testi-
de desempeo de las distintas reas de la prueba.
Figura 6.
Reporte de resultados por IES de procedencia. Ordenamiento descendente
27
28
Figura 7.
Reporte de resultados por IES de procedencia. Clasificacin por desempeo
2.3
Reporte de resultados
recuadros se observa la distribucin de sustentan-
por IES de procedencia.
tes por nivel de desempeo en cada rea de la
Clasificacin por desempeo
prueba.
De igual manera, en el reverso se incluyen los
En el anverso de este reporte (figura 7), en la
descriptores de los niveles de desempeo de las
parte superior, se presenta la informacin que
distintas reas de la prueba.
permite identificar la IES de procedencia de los

sustentantes y su clave de identificacin, la fecha
en la que se realiz la aplicacin del examen, el
nmero de sustentantes en la prueba, el nmero
que considera el reporte y el nmero que fue
2.4
Archivo electrnico
de resultados
excluido. Posteriormente, se encuentra el seg-
Las IES reciben tambin los resultados de la apli-
mento con la distribucin de sustentantes por
cacin en un archivo electrnico cuya estructu-
tipo de testimonio otorgado. Debajo de estos
ra de datos (figura 8) se describe enseguida.
Figura 8.
Estructura del archivo electrnico de resultados
Identificacin
de la aplicacin
Identificacin
de la institucin
Identificacin
del sustentante
Cuestionario de contexto
Calificacin del sustentante
Identificacin de la aplicacin. Entre otras
sustentantes, a partir de ciertas variables; c)
variables para uso interno del Ceneval, se
promover la realizacin de estudios que den
encuentra la fecha en que se llev a cabo la
cuenta del desempeo de los sustentantes,
aplicacin de la prueba.
identificando factores que afecten o pro-
Identificacin de la institucin. De igual mane-
muevan el aprendizaje, y d) ubicar las diferen-
ra, hay informacin de uso interno del Ceneval
cias en el desempeo de los sustentantes y
y, para inters de las instituciones, provee
ofrecer a las instituciones educativas infor-
informacin de la identificacin de la sede de
macin clave que explique estas diferencias y
aplicacin, la ciudad o municipio donde se
les permita contar con elementos para la
ubica y la clave y nombre de la IES.
mejora de la calidad de los servicios educati-
Identificacin del sustentante. Contiene el
vos que ofrecen.
folio y nombre del sustentante y, en el caso de
En el caso de los EGEL, la seccin del cues-
las aplicaciones especiales, la matrcula inter-
tionario de contexto est constituida por los
na de la IES.
siguientes apartados: 1) Datos generales, 2)
Cuestionario de contexto. El cuestionario de
Datos escolares, 3) Situacin laboral actual, 4)
contexto es un complemento importante de
Expectativas laborales, 5) Caractersticas de la
las pruebas de logro, pues busca obtener
institucin en la que curs la licenciatura y 6)
informacin que permita explicar los resul-
Entorno social.
tados obtenidos por los estudiantes en el
Calificacin del sustentante. Se proporciona
EGEL y que a su vez sirva para futuras inves-
informacin de los resultados de todas las
tigaciones. Los propsitos por los cuales se
reas que constituyen la prueba (en ndice
incorporan a las pruebas son: a) describir a la
Ceneval y su respectivo dictamen), el dicta-
poblacin evaluada, as como el contexto en
men indicando si obtuvo algn tipo de testi-
el que se desenvuelven; b) contextualizar las
monio de desempeo (tabla 3) y la firma elec-
medidas de logro acadmico obtenidas por los
trnica de cada sustentante.
29
30
Tabla 3.
Descripcin del segmento del archivo electrnico
de resultados correspondiente a la calificacin del sustentante
Variable
I rea 1
D rea 1
I rea 2
D rea 2
I rea 3
D rea 3
I rea 4
D rea 4
Dictamen
Descripcin
ndice Ceneval
rea 1
Dictamen
rea 1
ndice Ceneval
rea 2
Dictamen
rea 2
ndice Ceneval
rea 3
Dictamen
rea 3
ndice Ceneval
rea 4
Dictamen
rea 4
Testimonio de
desempeo
alcanzado
en la prueba
Valores
700-1,300
ANS
DS
DSS
700-1,300
ANS
DS
DSS
700-1,300
ANS
DS
DSS
700-1,300
ANS
DS
DSS
ST
TDS
TDSS
Finalmente, se reitera que en todos los EGEL los
asign un nmero identificador exclusivo para
criterios para el otorgamiento de Testimonio de
cada IES, con el cual se puede encontrar el resul-
Desempeo no estn dados por el puntaje global
tado de los egresados de los diferentes campus o
obtenido en el examen, sino por la proporcin de
planteles en cada uno de los EGEL. De esta mane-
resultados satisfactorios o sobresalientes requeridos
ra, es posible hacer una lectura institucional
en las distintas reas del examen, por lo cual en
transversal en el conjunto de los exmenes en que
ninguno de los reportes de resultados de los EGEL
sus egresados participaron.
se incluye el puntaje global obtenido en el examen.
De manera general, la informacin en este

documento se organiza en los siguientes aparta-
2.5
dos: 1. Descripcin del EGEL, 2. Datos descripInformes anuales
tivos de la poblacin que sustent el EGEL, 3.
de resultados
Resultados en el EGEL expresados en testimonios

y niveles de desempeo, 4. Relacin de progra-
A partir de 2007 se publican los informes anua-
mas/campus que se incorporan al Padrn de
les de resultados para todos los EGEL en opera-
Programas de Licenciatura de Alto Rendimiento
cin. Cada uno de estos informes considera a
Acadmico-EGEL, 5. Relacin de sustentantes
todas las escuelas o planteles cuyos egresados
que reciben el Premio Ceneval al desempeo de
presentan el examen durante el ao. Los datos se
excelencia-EGEL, 6. Variables de contexto y resul-
desagregan por plantel o campus, con la finali-
tados en el EGEL y 7. Opinin de los sustentan-
dad de que las IES que imparten el programa con
tes acerca de la prueba y resultados en el EGEL.
varios campus puedan comparar los resultados
Adems, con la finalidad de que cada IES
obtenidos por sus estudiantes en cada uno de
tenga informacin detallada de sus sustentantes,
ellos. As, por ejemplo, para 2011 se considera-
se integran anexos en los que se desagrega por
ron 584 IES, distribuidas en las 32 entidades del
institucin de procedencia la informacin trata-
pas. En aras de respetar la confidencialidad, se
da en el cuerpo del informe.
3. Operacin y mantenimiento
del banco de reactivos y formas del EGEL
EN
esta seccin se describe, de manera su-
diferentes: el Banco de Reactivos para Asesores
cinta, la plataforma informtica que ha
Externos (e-BRAE) y el Banco de Seguridad de
desarrollado el Ceneval para administrar los ban-
31
Exmenes (e-BASE).
cos de reactivos y las formas de los distintos ex-
El e-BRAE est configurado para que los
menes que opera. Asimismo, se explican los tr-
comits acadmicos de elaboracin de reactivos
minos bajo los cuales se elaboran y validan los
ingresen sus reactivos a distancia y el personal
reactivos, el proceso que se lleva a cabo para cali-
tcnico del Ceneval retroalimente sus propuestas
brarlos y los criterios que deben cumplirse para
para que cumplan con los requerimientos tcni-
su inclusin en el banco del examen. Tambin se
cos (adems de llevar a cabo los procesos de vali-
describe, de manera general, el proceso que se si-
dacin con expertos en contenido y tener una
gue para el ensamble de las formas de examen.
evidencia de ello); en el e-BASE se almacenan,

conservan y administran los reactivos (as como
3.1
La plataforma informtica:
de informacin relevante como las tablas de
el Sistema de Administracin
parmetros y los datos psicomtricos de cada
de Bancos de Exmenes y Reactivos (e-SABER)
reactivo para que el personal tcnico del Ceneval

ensamble las formas de las pruebas). Los permi-
La plataforma informtica del Ceneval para
sos para acceder a cada una de estas plataformas
administrar los bancos de reactivos y formas
son limitados y se asignan con base a la funcin
de las pruebas se denomina Sistema de Admi-
que desempea cada uno de los actores involu-
nistracin de Bancos de Exmenes y Reactivos
crados en el desarrollo y mantenimiento de la
(e-SABER) y est constituido por dos plataformas
prueba (figura 9).
Figura 9.
Estructura de la plataforma informtica e-SABER
Colaboradores externos:
Elaboradores y validadores de especificaciones
Elaboradores de reactivos
Validadores de reactivos
Apoyos tcnicos
Personal Ceneval:
Responsable del proceso
Responsable del examen
Director del rea acadmica correspondiente
Banco de Reactivos
para Asesores Externos:
e-BRAE
Personal Ceneval:
Responsable del examen
rea de bancos y ensamble de versiones
Director del rea acadmica correspondiente
Banco de Seguridad
de Exmenes:
e-BASE
32
3.1.1
La elaboracin y validacin
adscripcin (si procede), su ltimo grado acad-
de los reactivos en el Banco
mico (comprobable), nmero telefnico (con
de Reactivos para Asesores Externos (e-BRAE)
clave lada incluida) y correo electrnico.

En cuanto a la captura y edicin de los reacti-
Los expertos que se integran a los comits acad-
vos en el e-BRAE se requiere, al menos:
micos encargados de elaborar y validar reactivos
La identificacin del examen
de los EGEL reciben diversos talleres de capacita-
Categora temtica
cin a efecto de que conozcan los criterios tcni-
Nivel cognoscitivo
cos y editoriales que deben cumplir los reactivos
Base del reactivo
de los EGEL, as como el manejo del sistema
Las cuatro opciones de respuesta
remoto e-BRAE, herramienta a travs de la cual
Argumentacin de cada opcin de respuesta
el Ceneval administra el proceso de captura, edi-
Asignacin de la respuesta correcta
cin, consulta y conservacin de reactivos que
Bibliografa
pueden formar parte de los exmenes siempre y

cuando cumplan con todos los requerimientos
tcnicos que el Centro establece.
Figura 10.
Ingreso al e-BRAE
Parte de las ventajas de este sistema es que los

elaboradores de reactivos pueden nutrir el banco de
manera remota en internet (http://brae.ceneval.edu.
mx), lo cual facilita que el banco de reactivos se
construya y renueve a partir de reactivos que elaboran expertos de distintas instituciones educativas
del pas (pblicas y privadas), as como profesionistas en ejercicio de los sectores pblico y privado que
cumplan con el perfil profesional y acadmico
requerido, sin acudir a las instalaciones del Ceneval.
El elaborador de reactivos ingresa con una
clave de usuario y contrasea que el Ceneval le
proporciona (una vez que ha concluido su proceso de capacitacin) a fin de que registre su cuenta (figura 10).
Una vez que ha ingresado a la intranet, el
usuario da clic al men de preferencias (figura
11) en donde se le pedirn los siguientes datos
(que sern de uso confidencial, a fin de identificar y contactar a los autores de los reactivos):
nombre, apellidos, institucin de procedencia,
Figura 11.
Men de Preferencias del e-BRAE
Por otra parte, si el autor desea realizar algu-
Una vez que el elaborador del reactivo notifi-
nas acotaciones al reactivo, puede hacerlo en el
ca que ha concluido su labor, el personal tcnico
campo de Observaciones generales. De mane-
del Ceneval podr ofrecer retroalimentacin
ra automtica se guardar el nombre del autor en
sobre los aspectos tcnicos de sus reactivos, para
cada uno de los reactivos que incorpore, as
que cumplan con los estndares requeridos y
como la institucin que representa (figura 12).
pasar al proceso de validacin por expertos.
Figura 12.
Captura y edicin de reactivos nuevos en el e-BRAE
33
34
3.1.2
Ensamble de formas
en el Banco de Seguridad
Figura 13.
Estructura general del e-BASE
para el ensamble de formas
de Exmenes (e-BASE)
Se le denomina ensamble de formas al proceso a travs del cual se integra el conjunto de reactivos que formarn parte de las distintas formas
de la prueba. El ensamble de las formas del EGEL
se lleva a cabo a travs de una plataforma informtica denominada e-BASE (Banco de Seguridad
de Exmenes), la cual opera de manera interna
en el Ceneval, con accesos son restringidos y de
acuerdo con las funciones del personal tcnico
asociado a la prueba.
El sistema permite cargar las formas en forma
automtica o manual; una vez generadas, se editan para su uso en lnea o para su impresin.
puntos de corte (para determinar los niveles
El ensamble de las formas de la prueba se rea-
de desempeo satisfactorio y sobresaliente), se
liza con estricto apego a los siguientes criterios
ensamblan las formas; esto con la finalidad de
tcnicos:
que cualquier cambio en las proporciones de
Los reactivos que se integran en una forma
los niveles de desempeo se deban a caracte-
deben corresponder puntualmente a lo de-
rsticas de la poblacin sustentante
finido en la estructura de la prueba: n-
Para su aplicacin, se garantiza que todos los
mero de reactivos por rea, subrea, tema y
reactivos estn libres de errores de contenido
especificaciones
y que se ajusten a los criterios tcnicos y edi-
La capacidad de discriminacin de los reacti-
toriales del Ceneval; al final del proceso se
vos es un parmetro que se busca mejorar de
hace la revisin editorial de todos los cuader-
manera permanente. El parmetro actualmen-
nillos a fin de conservar los mismos estnda-
te aceptado para los EGEL para integrar un
res de calidad
reactivo es de 0.10, pero en el mediano plazo

se espera considerar un mnimo de 0.20, con
Todos estos aspectos contribuyen a la validez
objeto de incrementar el ndice de confiabili-
y confiabilidad de las distintas formas que se ela-
dad de la prueba
boran a lo largo del tiempo asociadas a una
Tomando como referente la dificultad prome-
estructura de la prueba, en tanto que se miden
dio de la forma del examen, en su conjunto y
siempre los mismos aspectos, con los mismos
por cada rea con la que se establecieron los
niveles de complejidad y dificultad.
La tabla tcnica de la forma
Sobre cada reactivo que conforma la versin
La tabla tcnica de la forma es el instrumento
sus datos son:
esencial que integra la informacin crtica de
9. Posicin relativa dentro de la forma
cada versin del examen para efectos de su vali-
10. Clave del reactivo (ID)
dacin, seguimiento y calificacin, la cual se indi-
11. En caso de ser multirreactivo se coloca ID del
ca en la serie de figuras 14a-14d:
reactivo padre o estmulo
1. Direccin a la que pertenece el examen
12. Sesin a la que pertenece
2. Nombre del examen
13. rea, subrea, tema
3. Nombre del banco al que pertenece
14. Definicin operacional del conocimiento y
4. Nmero de la forma
habilidad por evaluar
5. Clave nica para la identificacin de cuadernillos (CUIC)
15. Cada reactivo se asocia a una clave denomi-
nada de manera interna como FATE, la
6. Clave del examen en lnea
cual nos indica la Funcin Profesional, Ac-
7. Nombre de la tabla de parmetros adiciona-
tividad, Tarea y Definicin operacional que
les (para cargar la versin en la plataforma
se asocia a cada reactivo
del sistema integral se selecciona la tabla de
16. Tipo de reactivo, es decir, operativo si se uti-
parmetros vigentes y correspondiente a
liza para calificar o piloto si se est some-
cada EGEL)
tiendo a prueba para conocer sus cualidades

psicomtricas
8. Fecha de elaboracin
Figura 14a.
Tabla tcnica de las formas
2
Figura 14b.
9
11
10
13
12
15
14
16
35
36
Figura 14c.
17
19
18
20
Figura 14d.
DA
De los reactivos operativos los datos tcnicos

que se incluyen son:
CE
20. Parmetros de teora de respuesta al tem
(TRI) (discriminacin (a) y dificultad (b))
17. Poblacin de referencia

18. Fecha de referencia
19. Parmetros clsicos (porcentaje de respuestas
correctas y correlacin punto biserial)
La tabla tcnica de la forma es un documento

que avala formalmente el responsable de la direccin acadmica y el coordinador del examen.
3.2
Cuestionamiento directo. La base es un enun-
En este apartado se describen las actividades y
Eleccin de elementos. De un conjunto de ele-
lineamientos tcnicos generales que se llevan a
mentos se eligen algunos en funcin de un cri-
cabo para la elaboracin y validacin de los reac-
terio determinado. En las opciones de respues-
tivos que potencialmente pueden formar parte
ta se presentan subconjuntos del listado
Procesos de elaboracin
y validacin de los reactivos
ciado interrogativo, una afirmacin o una

frase que requiere completarse en su parte final
del banco de reactivos para la generacin de las

versiones y formas del EGEL.
Jerarquizacin u ordenamiento. Un listado de

elementos debe ordenarse de acuerdo con un
criterio determinado (regla, principio, pauta,
3.2.1
Elaboracin
de los reactivos
etctera). Las opciones de respuesta presentan

los elementos de la lista en distinto orden
Relacin de columnas. Dos listados de elementos deben vincularse entre s conforme a un
Como se indic, los expertos interesados en ela-
criterio especificado en la base del reactivo. En
borar reactivos para los EGEL reciben una capa-
las opciones de respuesta se presentan distin-
citacin orientada para disear reactivos que
tas combinaciones de relacin entre los ele-
cumplan con los criterios tcnicos del Ceneval y
mentos de la primera y segunda listas
con las especificaciones de contenido de cada una

de las pruebas, as como para ingresarlos correc-
Por su agregacin
tamente al e-BRAE. La capacitacin consiste en
Reactivos independientes. Es un reactivo que
un taller con una duracin de 16 horas, divididas
contiene la informacin necesaria para plan-
en dos das en sesiones de 8 horas.
tear y responder el problema o tarea. No
Los reactivos que conforman el EGEL son de

opcin mltiple, con cuatro opciones de respues-
comparte ningn texto, grfico o datos con

otros reactivos
ta, de las cuales solo una es la correcta. Se emple-
Multirreactivos. Estn compuestos por un est-
an las siguientes tipologas de reactivos y linea-
mulo (padre) a partir del cual se elaboran al
mientos tcnicos especficos, de acuerdo con el
menos cuatro reactivos asociados (hijos). Un
tipo de reactivo.
padre puede presentarse como un caso o

situacin profesional, un grfico, una lectura,
Por su formato
un diagrama, una imagen o tabla, entre otros
Completamiento. Son enunciados, secuencias

alfanumricas, grficas o imgenes en los que
Algunos lineamientos generales
se omite uno o varios elementos, sealados
Se busca que los reactivos cumplan, en principio,
con una lnea. En las opciones de respuesta se
con los siguientes lineamientos generales:
presentan los elementos que deben completar
Garantizar que el reactivo mide lo que debe
los espacios en blanco
medir
37
38
El vocabulario debe ser adecuado a la poblacin a la que va dirigido

El contenido debe ser original y planteado de
A continuacin se detallan los aspectos que

deben cuidarse para dictaminar si se acepta o
descarta un reactivo.
forma novedosa
La informacin debe ser clara y precisa, a fin
de evitar mltiples interpretaciones
En el planteamiento del problema, incluir
Elementos por considerar

en la validacin del reactivo
Se busca que los reactivos atiendan a los siguien-
exclusivamente la informacin necesaria y
tes lineamientos generales:
relevante para la solucin del reactivo
Corresponder con la definicin operacional
Omitir el uso del pospretrito (podra, debe-
Estar libre de errores de contenido
ra, sera, etc.) a fin de evitar ambigedades o
Ser claro y preciso en su contenido
dar pauta a mltiples opciones de respuesta
Contener la situacin establecida en la defini-
Los reactivos deben ser independientes y que

no den pistas para la solucin de otros
Omitir el uso de estereotipos de gnero o
cin operacional
Carecer de estereotipos de gnero o culturales
Estar libre de referencias a marcas o nombres
de personas innecesariamente
culturales
La respuesta correcta debe ser unvoca y los
tres distractores plausibles o verosmiles
Ser pertinente para la poblacin objetivo

Plantear solamente un problema
Presentar solo la informacin necesaria
3.2.2
Validacin
de los reactivos
La validacin se lleva a cabo en mesas de trabajo para cada rea del examen, conformadas por,
al menos, tres expertos de diferentes IES del pas
y con experiencia probada en la elaboracin de
reactivos del EGEL y un coordinador del
Ceneval, quien modera la discusin en la mesa de
trabajo. Los validadores revisan de manera individual el reactivo con base en unos criterios definidos y posteriormente de manera grupal intercambian opiniones para llegar a un consenso y
dictaminar el reactivo (imagen 1). Previamente,
se capacita a los expertos como validadores.
Imagen 1.
Mesa de trabajo de validacin de reactivos nuevos
Estar libre de errores de diseo (tablas, grfi-
caso de ser aceptado, el reactivo pasa a la fase de

revisin de estilo. En ella se corrigen, si los hay,
cos, alineacin, etc.)

Indicar la respuesta correcta
los errores ortogrficos o gramaticales, o se mejo-
Existir solo una respuesta correcta
ra la claridad de la redaccin, si el reactivo lo
Contener distractores plausibles
requiere, sin alterarse el sentido (figura 15).
Estar libre de pistas sobre la respuesta correcta
Concluido todo este proceso, el reactivo nuevo
Su clasificacin temtica sea correcta (corres-
est listo para someterse a prueba (piloteo), a fin
ponda con el rea, subrea, tema y contenido
de conocer si se ajusta al constructo u objeto de
especfico)
medida de la prueba, a partir de los valores psicomtricos observados.
3.3
La estrategia que se lleva a cabo en los EGEL

Proceso de piloteo
consiste en incorporar a los cuadernillos de las
y calibracin de los reactivos
diferentes formas de la prueba un grupo adicional de reactivos (que por definicin son nuevos)
Una vez que el elaborador incorpora sus reacti-
que no se consideran para la calificacin de los
vos en el e-BRAE y el personal del Ceneval ha lle-
sustentantes, pero que los responden en los mis-
vado a cabo la revisin tcnica, si el reactivo
mos trminos que el resto de los reactivos inclui-
cumple con los requerimientos establecidos pasa
dos en la prueba en virtud de que desconocen
a validacin de tres expertos en el rea, quienes
cules de ellos son vlidos para efectos de califi-
dictaminan si se acepta o descarta el reactivo. En
cacin y cules no. La ventaja de llevar a cabo el
Figura 15.
Trayectoria de un reactivo nuevo listo para pilotear
Revisin
tcnica
Elaboracin
Validacin
Revisin
de expertos
Observaciones
correccin
para
elaborador
Descartado
Aceptado
Revisin
tcnica
Piloteo
Revisin
tcnica
Revisin
de estilo
39
40
piloteo as es que se garantiza que se exponen a
menor desempeo en la prueba y conforme su
los sustentantes en situacin real de evaluacin,
habilidad aumenta, la eleccin de los mismos dis-
por lo que se espera que los valores psicomtri-
minuya. Este indicador de discriminacin, en el
cos observados sean consistentes en posteriores
anlisis clsico, refiere al ndice de discriminacin
aplicaciones.
de proporciones, que consiste en comparar, de

acuerdo con el resultado en la prueba, qu pro-
Caractersticas psicomtricas de los reactivos
porcin de los grupos de los extremos de la dis-
Para seleccionar los reactivos que se integran al
tribucin (el 27% ms alto, respecto al 27% ms
banco de las pruebas se lleva a cabo el anlisis
bajo) eligieron la respuesta correcta y se calcula
psicomtrico o calibracin de cada uno de los
a partir de la diferencia entre ambas proporcio-
reactivos que constituyen el instrumento.
nes o porcentajes. La correlacin punto biserial,
Usualmente la calibracin de los reactivos se hace
permite conocer la tendencia de las respuestas a
a partir de dos aproximaciones: el anlisis con la
los reactivos con respecto a la escala de la cual
teora clsica de los test (TCT) y, si el tamao de
forman parte, siendo deseables valores iguales o
la muestra lo permite, el anlisis a partir el mode-
mayores a 0.20.
lo logstico de dos parmetros de la teora de respuesta al tem (TRI).
En los modelos dicotmicos de la TRI, el indicador de la capacidad de discriminacin del reac-
Considerando la teora clsica, se busca que la
tivo est dado por el parmetro a, aceptando
dificultad2 de los reactivos se encuentre en un
valores moderados de 0.65 o ms, de acuerdo
rango de 10% a 90%; al mismo tiempo, se espe-
con la clasificacin propuesta por Baker (2001).
ra que los reactivos tengan la capacidad de dife-
El parmetro de dificultad se denota b y se defi-
renciar (discriminar) a los sustentantes que tengan
ne como el punto sobre la escala de habilidad
mayor dominio en el rea evaluada, de aquellos
donde la probabilidad de responder correcta-
cuyo dominio es menor. Especficamente, se
mente al reactivo es 0.5. El rango terico de los
asume que la respuesta correcta sea seleccionada
valores de este parmetro es de b + ,
en mayor medida conforme los sujetos tengan un
pero en la prctica estn por lo general entre 3
mayor dominio en el rea evaluada; esto es, que la
b +3 (Baker, 2001).
relacin entre ambos eventos sea positiva. Cuando
A manera de ejemplo, en la grfica 2 observa-
esto se observa, se puede afirmar que la respues-
mos que el reactivo tiene una dificultad clsica
ta correcta tiene un buen comportamiento.
media (si consideramos que la respuesta correcta
Asimismo, se espera que los distractores sean

ms atractivos para los sujetos que tienen un
C la seleccionan cerca de la mitad de los sustentantes: 45.96%).
Se entiende por dificultad de un reactivo al nmero de sustentantes que contest correctamente el reactivo entre el nmero total de sustentantes que respondieron el reactivos; esta proporcin se denota con una p e indica la dificultad del reactivo (Crocker y Algina, 1986).
Grfica 2.
Comportamientos de las opciones de respuesta
Por la tendencia de las respuestas se observa
Este proceso de piloteo y calibracin de los
que conforme los sustentantes obtienen un mejor
reactivos que constituyen las pruebas es indispen-
desempeo en el rea, ms seleccionan la res-
sable, ya que a travs de l se determina qu reac-
puesta correcta; as, la tendencia es creciente.
tivos deben ser considerados para calificar a los
Esto no ocurre con los distractores en donde, por
sustentantes por cumplir con los estndares mni-
ejemplo, la opcin A, aun cuando la elige
mos requeridos, indicados en este apartado.
20.27% de los sujetos, tiene una tendencia decre-
Asimismo, los valores psicomtricos son indica-
ciente: conforme los sustentantes tienen mayor
dores reveladores de distintos aspectos de la
dominio en el rea, menos la seleccionan.
prueba, por ejemplo, de conocer la precisin con

la cual se est midiendo el constructo.
41
4. Diseo y construccin del EGEL
EN
43
esta seccin se desarrolla el proceso
relevantes para el inicio del ejercicio profesional,
implementado para la renovacin y el
toda vez que los planes y programas de las licen-
diseo de los EGEL a partir del ao 2006, desde
ciaturas analizados se orientan, por definicin, a
la manera cmo se lleva a cabo la delimitacin
formar profesionistas capaces de enfrentar y
del objeto de medida, hasta el mtodo que se
resolver los problemas que son caractersticos del
ocupa para determinar los puntos de corte, aso-
ejercicio profesional. Se trat de una metodolo-
ciados a los niveles de desempeo satisfactorio y
ga centrada en el contenido de la oferta educati-
sobresaliente en cada rea de conocimiento, as
va de las IES, suficientemente legitimada y respal-
como los criterios para la asignacin de
dada por las propias IES usuarias de las pruebas
Testimonios de Desempeo.
y por las representadas, en su momento, en los
Desde la perspectiva de la construccin de la
consejos tcnicos de las pruebas. Sin embargo,
prueba, todas estas acciones son una fuente rele-
este enfoque no permiti contar con evidencias
vante de evidencias sobre la validez de los EGEL;
empricas de que los conocimientos y habilidades
sin embargo, ms adelante, en un apartado espe-
as identificados tenan una incidencia efectiva en
cfico se aborda el tema relativo a la validez de las
la resolucin de las tareas tpicas del quehacer
pruebas.
profesional.
Por esta razn y por el hecho de que las pro-
4.1
fesiones y los planes de estudio son campos dinDelimitacin del objeto
micos en constante transformacin, se inicia, en
de medida: el constructo y
2006, un proceso de revisin y actualizacin del
los contenidos especficos de la prueba
objeto de medida (OM) de los EGEL que se

encontraban en operacin, con el propsito de
Por el propsito al que estn orientados, los
garantizar que midieran con exactitud lo que
EGEL se construyen a partir de los atributos de
deban medir, durante el tiempo en que se man-
carcter cognoscitivo que se consideran crticos
tuvieran en operacin, es decir, su validez y con-
para una prctica profesional eficaz y que, se
fiabilidad.
asume, son el resultado de programas educativos
Para este proceso de revisin y actualizacin
de formacin profesional institucionalmente
se establece un nuevo enfoque metodolgico con
organizados.
el propsito de dar certeza de que el contenido de
Originalmente, el contenido de la mayor parte
cada EGEL est efectivamente relacionado con
de los EGEL se determin, dicho de manera muy
los conocimientos y habilidades que son crticos
sucinta, identificando los puntos en comn de los
para iniciarse en el ejercicio de la profesin. Se
contenidos de los planes y programas de estudio
trata de un enfoque centrado en la identificacin
de las licenciaturas de las IES asociados a cada
de los puntos de encuentro entre los requerimien-
EGEL, bajo el supuesto de que, por ser comunes
tos del mundo del trabajo y la oferta educativa,
estos contenidos en distintos planes y programas
que tiene como punto de partida lo que las per-
de estudio referan a conocimientos y habilidades
sonas hacen al enfrentar y resolver las situaciones
44
El supuesto es que solo despus de identificar
y problemas que son caractersticos en el ejerci-
las actividades y tareas profesionales que son
cio de la profesin.
Desde esta perspectiva, la delimitacin del
propias de una determinada profesin se puede
OM de un EGEL implica recuperar, en primera
establecer qu es lo que una persona requiere
instancia, lo que hacen las personas al enfrentar
conocer y saber hacer.
y resolver situaciones y problemas caractersticos
En la figura 16 se muestra esquemticamente el
de una determinada profesin, entendida esta
enfoque con el cual se llev a cabo el proceso de di-
como un conjunto de prcticas que se define, en
seo, revisin y actualizacin del OM de los EGEL.
cada momento histrico en particular, a partir
Como se muestra en el esquema, la delimita-
de: a) la estructura y desarrollo de la disciplina
cin del OM de los EGEL implica la puesta en
o disciplinas en las que se sustenta; b) los instru-
prctica de un complejo mtodo en el que se
mentos, mtodos y formas de organizacin social
entreveran diversas tcnicas y procedimientos y
del trabajo; c) las exigencias de las agencias nor-
en los que el punto de vista experto de represen-
mativas y de estndares internacionales; d) la
tantes acadmicos de instancias formadoras y
dinmica econmica y social del pas, y e) el con-
empleadoras y de colegios de profesionales tiene
junto de interacciones y relaciones que se dan con
un papel fundamental. Los productos que suce-
el pblico usuario.
sivamente van alcanzando los consejos tcnicos a

Figura 16.
Proceso de diseo y renovacin del EGEL
FUNCIONES
mbitos de actuacin en los que actualmente
se organiza el ejercicio de la profesin
Informacin
que se valida
en la encuesta
ACTIVIDADES
Lo que tpicamente hace el profesionista
en el desempeo de la funcin
TAREAS
Acciones crticas que permiten
llevar a cabo la actividad profesional
CONOCIMIENTOS Y HABILIDADES
Qu requiere aplicar para la realizacin de las tareas
Participacin
de profesionistas
en ejercicio
ESPECIFICACIONES DE REACTIVOS
Definicin de la conducta que evidencia
el dominio de la habilidad o conocimiento
lo largo de la puesta en prctica de este enfoque
relativa y significado preciso en el ejercicio de la
son los siguientes:
profesin, en las que interviene tpicamente el
El papel y las responsabilidades del profesio-
profesionista, poniendo en juego sus capacidades
nista en la sociedad en trminos de las gran-
y competencias en distintos mbitos laborales.
des funciones o reas de actividad en las que

este interviene poniendo en juego sus capaci-
La definicin de las actividades asociadas
dades y atributos
con las funciones profesionales
Las actividades profesionales que tpicamente
Una vez definidas las funciones profesionales, los
estn involucradas en cada funcin profesional
consejos tcnicos proceden a identificar y descri-
Las tareas que resultan crticas en cada una de
bir las actividades tpicamente implicadas en el
las actividades profesionales y
ejercicio de cada funcin; entendida una activi-
Los conocimientos y habilidades que son
dad profesional como un desempeo complejo
esenciales para la adecuada realizacin de
(por ejemplo, la realizacin de un proceso o un
estas tareas.
procedimiento determinado) que puede desagregarse en acciones o tareas susceptibles de ser
4.1.1
observadas, registradas y medidas. La pregunta
Definicin de las funciones,
aqu es: cules son las actividades que son ca-
actividades y tareas profesionales
ractersticas en el ejercicio de cada una de las funciones profesionales previamente descritas? No
Definicin de las funciones profesionales
se trata de identificar todas las posibles activida-
Para realizar esta actividad los consejos tcnicos
des que puedan asociarse a cada funcin profe-
de cada EGEL parten del acopio y anlisis de
sional, sino solo aquellas que son esenciales para
diversos documentos en los que se describe y ana-
un ejercicio profesional eficaz en cada mbito de
liza, desde distintas perspectivas, la organizacin
actuacin en nuestro pas. De esta manera, los
del ejercicio de la profesin, tales como currcu-
consejos tcnicos tienen que identificar y descri-
los escolares de las propias IES, textos de especia-
bir los procesos o procedimientos comunes im-
listas referentes a la profesin, documentos cons-
plicados en el ejercicio de cada funcin, conside-
truidos por los gremios para la descripcin de su
rando los contextos profesionales o laborales
profesin o investigaciones y reportes de expe-
donde tpicamente se ejerce la funcin profesio-
riencias nacionales e internacionales relacionadas
nal, as como los enfoques tericos o metodol-
con este tema, con el fin de poder responder a la
gicos predominantes.
pregunta: actualmente, cules son los grandes

mbitos de actuacin o funciones caractersticas
La definicin de las tareas crticas
del ejercicio de la profesin en el pas? En este
de cada actividad profesional
primer plano descriptivo se trata de construir
Una vez identificadas las actividades profesionales
aquellas expresiones que hacen referencia a las
asociadas a cada funcin profesional, los consejos
reas de la actividad profesional, con autonoma
tcnicos, apoyados por los comits acadmicos de
45
46
diseo, identifican y describen las tareas que se
sional involucra y moviliza diversos conocimien-
consideran crticas para la realizacin de cada
tos, habilidades, destrezas, actitudes y valores,
actividad profesional. La desagregacin de las
susceptibles de transferirse a diversos contextos
actividades profesionales en tareas constituye un
laborales o profesionales. La descripcin de una
medio sistemtico para identificar y secuenciar
tarea profesional debe incluir, al menos, dos
las caractersticas sobresalientes de la misma y,
aspectos: a) una interaccin de una persona con
con base en ello, poder establecer cules de las
otra o con un objeto, expresada mediante un
tareas profesionales identificadas tienen un papel
verbo de accin y b) el objeto o persona sobre el
crtico para su adecuada realizacin.
que se realiza la accin.
Para llevar a cabo este trabajo se concibe a la
Por otra parte, se considera una tarea como
tarea profesional como una accin que forma
crtica, cuando su ejecucin, de acuerdo con el
parte de lo que hace una persona para llevar a
juicio de los expertos, resulta esencial para la
cabo una actividad profesional, que tiene un sig-
adecuada realizacin de la actividad profesional
nificado discreto y diferenciado de cualquier otra
en la que est imbricada.
(tiene un principio y un fin claramente distingui-
A manera de sntesis, en la tabla 4 se mues-
ble) y cuya realizacin representa un producto o
tran las definiciones y estructura semntica, con
un servicio dentro del proceso de realizacin de
base en las cuales se llev a cabo el proceso de
una determinada actividad profesional (Gael,
identificacin de cada uno de estos aspectos del
1983). Asimismo, se asume que una tarea profe-
quehacer profesional.
Tabla 4.
Concepto de funcin, actividad y tarea profesional
utilizado para la delimitacin del contenido de los EGEL
Concepto
Definicin
Pregunta gua
Estructura semntica
Funcin
profesional
Conjunto de actividades profesionales,

relativamente autnomas, con valor
y significacin precisas en el ejercicio
de la profesin
Cules son los mbitos

de actuacin en los que
actualmente est organizado
el ejercicio de la profesin?
Sustantivo o verbo
sustantivado3
Desempeos complejos (procesos o

procedimientos) que involucran (o se
desagregan) en diferentes tareas, aplicables
a diversos contextos, susceptibles de ser
observadas, registradas y medidas
Qu es lo que hace
tpicamente el profesionista
en el ejercicio de la funcin?
Verbo en infinitivo + sujeto

+ Complemento
(contexto condicin)
Qu acciones son
indispensables que lleve a
cabo el profesionista para
realizar la actividad?
Verbo en presente
+ sujeto
+ Complemento
(contexto condicin)
Actividad
profesional
Tarea
profesional
Acciones que forman parte de lo que

hace una persona para llevar a cabo
una actividad y tienen un significado
en s mismas. Cada tarea tiene un
significado discreto y diferenciado
de cualquier otra y son esenciales
para la realizacin de la actividad
Verbo que sustituye al nombre o sustantivo de la oracin.
Con base en estas definiciones, los consejos tc-
lidades necesarios para su adecuada realizacin son
nicos de cada EGEL, con el apoyo de los comits
enseados sistemticamente durante la licenciatura.
acadmicos de diseo, determinan las funciones,
Este proceso de validacin social del perfil
las actividades y las tareas profesionales propias
profesional de los EGEL representa un ejercicio
de la profesin asociada a cada EGEL, las cuales
indito en nuestro pas, en el sentido de recabar
son, posteriormente, sometidas a un amplio pro-
el punto de vista de los profesionistas en ejercicio
ceso de validacin social, a travs de una encues-
y de utilizar dicha informacin para establecer los
ta en lnea disponible en el portal del Ceneval.
referentes para la delimitacin del contenido de
Previo a esta fase de validacin social, todos
este tipo de pruebas, a la vez que sienta un prece-
los perfiles profesionales se someten a revisin
dente de rigor tcnico y metodolgico, acorde
tcnica y de estilo para garantizar la claridad y
con los estndares comnmente aceptados y ava-
homogeneidad de las descripciones realizadas
lados por la comunidad cientfica internacional
para cada funcin, actividad y tarea profesional.
del mbito de la evaluacin para acreditar la validez de contenido. Provee, tambin, informacin
4.1.2
relevante sobre la opinin que tienen los profe-
Encuesta en lnea
sionistas en ejercicio de su prctica profesional y
para la validacin social
su relacin con la formacin recibida durante su
del perfil profesional del
EGEL4
licenciatura, lo cual representa un importante

referente para las IES en los procesos de revisin
Una vez identificadas y descritas las funciones, acti-
y actualizacin curricular que llevan a cabo
vidades y tareas profesionales de la profesin aso-
peridicamente y para los colegios y asociaciones
ciada a cada EGEL, se integran en un documento,
profesionales para la reflexin y anlisis sobre el
al que se denomina perfil profesional del EGEL,
estado actual del ejercicio de cada profesin.
diseado a manera de una encuesta para efectos de

su validacin por parte de profesionistas en ejerci-
Caractersticas de la encuesta en lnea
cio de todo el pas, a travs de una modalidad de
Los criterios de inclusin que se consideran para
encuesta en lnea. El propsito de esta encuesta es
que los datos proporcionados por una persona
recabar el punto de vista de quienes se encuentran
en la encuesta formen parte del anlisis de resul-
activos en el ejercicio de la profesin sobre tres
tados son los siguientes:
aspectos relevantes en relacin con cada una de las
La encuesta debe responderse en su totalidad, es
tareas profesionales incluidas en el perfil: a) su
decir, debe consignarse la opinin del encuesta-
importancia en el ejercicio real de la profesin, b) la
do sobre todas y cada una de las tareas descri-
frecuencia con que se utiliza en el ejercicio cotidia-
tas en el perfil profesional correspondiente; si la
no de la profesin y c) si los conocimientos y habi-
persona omite sealar su opinin sobre una o
Hernndez, Jorge y Delgado, Laura (2009). Encuesta nacional para la validacin social de los perfiles profesionales de
los Exmenes Generales para el Egreso de la Licenciatura (EGEL). Marco de referencia Nmero 4, Ceneval. Mxico.
Disponible en http://archivos.ceneval.edu.mx/archivos_portal/9500/ Encuestanacional_MRef4.pdf
47
48
ms de las tareas consignadas en la encuesta, sus
la con cuatro opciones de respuesta: Nada
datos no se incluyen en el anlisis de resultados.
frecuente, Poco frecuente, Frecuente y
El encuestado debe incluir el dato sobre el ao
Muy frecuente.
en que concluy el 100% de sus estudios de
Estudio durante la licenciatura. Permite identi-
licenciatura y ser consistente con el resto de la
ficar si durante los estudios de la licenciatura
informacin (con este dato se calcula el nmero
el encuestado estudi los conceptos, princi-
de aos de egreso, el cual es una de las variables
pios o procedimientos que son necesarios
clave para ponderar los datos del encuestado).
dominar para la adecuada realizacin de la
El ejercicio profesional del encuestado debe
tarea. Esta es una escala dicotmica con
corresponderse con la licenciatura o mbito
opciones de respuesta No o S.
profesional asociado al EGEL en cuestin. No

es extrao que profesionistas egresados de una
Una vez que el sujeto ingresa a la encuesta en
determinada licenciatura que se han ocupado
lnea, desde el portal del Ceneval, se enfatiza que
en los hechos en actividades no relacionadas
esta no tiene respuestas correctas o incorrectas,
con su formacin original, o bien profesionis-
por lo que se le solicita que conteste con total sin-
tas que ejercen en mbitos profesionales colin-
ceridad a cada una de ellas y que no omita su opi-
dantes, decidan participar en la encuesta.
nin sobre ninguna tarea en los tres aspectos de

valoracin sealados anteriormente. Al hacer clic
La estructura de la encuesta en lnea, disponi-
en cada aspecto (Importancia, Frecuencia o
ble en el portal del Ceneval,5 considera tres esca-
Estudio durante la licenciatura), el sistema des-
las, que permiten recoger el punto de vista de
pliega el listado de opciones correspondiente a
quienes actualmente ejercen la profesin en el
cada escala, de entre las cuales el profesionista
pas sobre las distintas tareas profesionales inclui-
selecciona una de ellas. Adems, con la intencin
das en el perfil de cada EGEL, de conformidad
de que el encuestado tenga presente el significado
con las siguientes categoras y definiciones:
de cada escala, el sistema muestra la definicin de
Importancia. Se refiere a qu tan decisiva ha
cada una de ellas al posicionarse en el encabeza-
sido para el profesionista la realizacin ade-
do (figura 17). El sistema est diseado de forma
cuada de la tarea descrita para desempearse
dinmica y muestra las funciones, actividades y
con eficacia a lo largo de su vida profesional.
tareas profesionales para el EGEL en cuestin.
Es una escala con cuatro opciones de respues-
Las tareas profesionales se presentan, invariable-
ta: Nada importante, Poco importante,
mente, anidadas en la actividad y la funcin pro-
Importante y Muy importante.
fesional de las que forma parte (figura 18).
Frecuencia. Se refiere a qu tan a menudo rea-
Esta forma de organizacin de la informacin
liza la tarea el encuestado en su quehacer pro-
permite a los encuestados emitir su opinin sobre
fesional durante un ao. Tambin es una esca-
las tareas profesionales, teniendo claro el sentido
Disponible en: http://registroenlinea.ceneval.edu.mx/portal/encuestas_egel/
Figura 17.
Ejemplo de seleccin de las respuestas a cada tarea profesional, considerando los atributos:
Importancia, Frecuencia y Estudio durante la licenciatura
Figura 18.
Ejemplo del diseo jerarquizado de las funciones, actividades y tareas profesionales en la encuesta
de la tarea, en el contexto de una actividad y una
Definicin del Indicador crtico
funcin profesional en particular. Una vez que
La encuesta de validacin social considera tres
responde la encuesta, el encuestado puede agre-
escalas que permiten valorar tres aspectos rela-
gar, si lo considera necesario, alguna actividad o
cionados con las tareas profesionales descritas,
tarea no considerada en el perfil profesional del
con miras a establecer cules deben considerar-
EGEL correspondiente.
se como referentes, y con qu peso, en la delimi-
La encuesta en lnea permite identificar tam-
tacin del objeto de medida del EGEL.
bin informacin relevante sobre el encuestado,
Como los EGEL se dirigen a personas recin
a fin de ponderar y enriquecer el anlisis de los
egresadas o prximas a egresar de la licenciatura,
resultados, a saber: entidad federativa y rgimen
la variable Estudio durante la licenciatura se
(pblica o privada) de la IES de procedencia,
pondera de manera que las respuestas de los
edad, sexo, ao en que concluy su licenciatura
encuestados a esta variable tienen un peso dife-
y en el que se obtuvo el ttulo profesional, entre
rencial segn el tiempo de egreso de la licenciatu-
otras variables de inters general.
ra del encuestado. Esto implica considerar un
49
50
indicador crtico (Kane, Kingshury, Colton y
suma de las contribuciones de I y F. Su
Estes 1989; Raymond, 2005) que integra los
expresin matemtica se enuncia as:
valores de las tres escalas, dando un mayor peso

a las respuestas de los sujetos conforme menos
aos de egreso de la licenciatura reporten. La
funcin que se emple para obtener este efecto es:
Debido a que el valor del parmetro de ajuste

tiene un efecto en la longitud del indicador que es
difcil predecir, se delimit el intervalo de los posibles valores que pueda asumir el indicador entre
As, a la respuesta positiva que daba cada
un rango de 1-1000, a partir de la constante k.
sujeto a la escala de presencia en la licenciatu-
Con base en los elementos anteriores, el indicador
ra, se le agreg una cantidad decreciente en fun-
crtico queda definido de la siguiente forma:
cin al nmero de aos de egreso; la funcin se

maximiza cuando el sujeto tiene cero aos de
egreso, incorporando a su respuesta la cantidad
de 1 (por ejemplo, si la respuesta del encuestado
Donde:
fue positiva, el valor inicial de 1 asignado a la

variable dicotmica, pasara a tomar el valor de
2) y tiende a cero conforme se incrementan los
aos de egreso; as, se observa que cuando el
sujeto tiene 40 aos o ms de egreso, el valor que
se incrementa a la respuesta es nfimo.
Para enfatizar la importancia de la variable
relacionada con el estudio durante la licenciatu-
i = 1,. . ., m representa la tarea i
ra (P) de los conceptos, principios o procedimien-
j = 1,. . ., n representa al encuestado j
tos necesarios para la realizacin de las tareas
Iji = 1, 2, 3, 4 Importancia que tiene
profesionales objeto de opinin (dado que se
la tarea i para el encuestado j
requiere asegurar que dichos conocimientos y
Fji = 1, 2, 3, 4 Frecuencia con la que el
habilidades son objeto de enseanza en los pla-
encuestado j lleva a cabo la tarea i
nes de estudio de licenciatura que se ofrecen en el
Pji = 0, 1 Presencia de la tarea i durante
pas), se determin que la contribucin efectiva
los estudios del encuestado j
de esta variable, una vez transformada por los

aos de egreso P fuera mayor que el de las varia-
Aj = 0, 1, 2,, 80 nmero de aos
bles de importancia (I) y frecuencia (F). A esta

estimacin a priori se le denomin parmetro de
e = base de los logaritmos neperianos

P i = Variable P transformada
ajuste (representada por a), a partir del cual la
a =
contribucin de P-transformada es igual a la
desde el egreso del encuestado j
parmetro
de ajuste
De esta manera, se construy el Indicador
Integrar la informacin del anlisis de las ta-
crtico (Kane et al., 1989; Raymond, 2005),
reas y de los datos sobre el perfil profesional
cuya finalidad consisti en establecer una medi-
de los profesionales que participaron en la
da que integrara la informacin de estas cuatro
encuesta
variables, de tal forma que permitiera estimar el
Presentar la informacin ante el consejo tc-
nivel de relevancia de las tareas y hacer compa-
nico de cada examen, con el fin de facilitar la
raciones entre ellas con fines de jerarquizacin, a
toma de decisiones consistente en identificar
fin de identificar cules deben constituirse en
las tareas profesionales que habrn de consi-
referente, y con qu peso, para la definicin del
derarse como referentes para la delimitacin
contenido del EGEL.6
del contenido de cada examen
Categoras para el anlisis

e interpretacin de la informacin
Con el fin de facilitar la toma de decisiones a los
consejos tcnicos responsables de los exmenes
4.1.3
Proceso de elaboracin
y validacin de las
especificaciones de la prueba
respecto a qu tareas profesionales incluir como

referentes en la delimitacin del contenido de los
Una vez que se definen las tareas esenciales del
EGEL, se definen cuatro categoras de clasifica-
ejercicio de la profesin, se procede a identificar
cin, comunes a todas las pruebas, a saber:
los conocimientos y habilidades asociados a
Mxima relevancia para ser incluida
dichas tareas, entendiendo por cada uno de estos
Moderada relevancia para ser incluida
conceptos lo siguiente:
Baja relevancia para ser incluida
Conocimiento. Reconocer ideas, principios, pro-
Mnima relevancia para ser incluida
cedimientos, materiales o fenmenos (Bloom,

1965); traducir informacin especfica en tr-
Una vez retirada la encuesta del portal de
minos equivalentes a lo aprendido previamen-
Ceneval, se lleva a cabo el anlisis de los datos
te; identificar informacin presentada bajo
derivados del levantamiento siguiendo, en trmi-
nuevos arreglos, ordenamientos o enfoques,
nos generales, el procedimiento:
as como relaciones causa-efecto, equivalen-
Estimar los valores asociados a las tareas pro-
cia, antecedente-consecuente, etctera.
fesionales a partir del clculo del indicador

crtico
Habilidad. Comprender cmo, cundo y por

qu ciertos conocimientos pueden aplicarse a
Determinar el nivel de relevancia (mxima,
la resolucin de problemas en una disciplina
moderada, baja y mnima) de cada tarea profe-
o campo especfico (Shavelson and Huang,
sional a partir del valor resultante de la encuesta
2003).
Para el lector interesado en el desarrollo de este proceso, se recomienda la revisin del documento Hernndez, Jorge y
Delgado, Laura (2009), disponible en: http://archivos.ceneval.edu.mx/archivos_portal/9500/Encuestanacional_MRef4.pdf
51
52
El procedimiento utilizado, en el que intervie-
Las especificaciones de reactivos se consti-
nen los consejos tcnicos y los comits acadmi-
tuyen por dos elementos: una definicin ope-
cos de diseo, para licitar los conocimientos y
racional del conocimiento o habilidad que se
habilidades (Cooke, 1999) asociados a cada tarea
pretende medir y un reactivo muestra que ejem-
profesional se realiza conforme a lo siguiente:
plifica la manera como puede redactarse un
Se describen, paso a paso, las acciones que
reactivo, siguiendo lo establecido en la defini-
deben llevarse a cabo para la correcta realizacin de la tarea
cin operacional.
La definicin operacional del conocimiento o
Se identifican cules de estas acciones son de
habilidad que se pretende medir describe la
carcter cognitivo y cules no (destrezas, acti-
accin o conducta observable que se espera rea-
tudes, etctera)
lice el sustentante como evidencia de que posee el
En aquellos casos que se identifiquen acciones
conocimiento o habilidad que se pretende medir
de carcter no cognitivo, se determina si hay
y la condicin o circunstancia especfica en las
conocimientos o habilidades intelectuales rele-
que se espera que el sustentante realice esta
vantes para efectuarlas
accin, en el contexto de la prueba. Esta condi-
Se establece cules de las acciones cognitivas
cin puede referir, por ejemplo, a los elementos
asociadas a cada tarea profesional son crticas
de informacin que hay que considerar en la des-
para su realizacin
cripcin de un caso o situacin profesional, a
Se describen estas acciones cognitivas identifi-
acotamientos sobre referentes tericos, metodo-
cadas en trminos de conocimientos o habili-
lgicos o procedimentales que deben ser conside-
dades cognitivas
rados, o bien a informacin (como grficos,
Se elaboran y validan las especificaciones de

reactivos de los conocimientos y las habilidades cognitivas que se busca evaluar
tablas descriptivas o listados) que debe proveerse al sustentante, para responder el reactivo.
Dependiendo de la naturaleza del conocimiento o habilidad que se pretenda medir, puede con-
Las especificaciones de reactivos son una des-
siderarse un tercer componente en la especifica-
cripcin detallada, en trminos observables, de lo
cin del reactivo: las herramientas o medios, en
que se espera que el sustentante sea capaz de
los cuales es necesario se apoye el sustentante
hacer en el contexto de la prueba, como evidencia
para responder el reactivo, tales como leyes cdi-
de que posee el conocimiento o la habilidad que
gos, normas, formularios, etctera.
se busca evaluar. Su importancia radica en que
El reactivo muestra de la especificacin, se
son los referentes a los que deben ajustarse los ela-
clasifica en una taxonoma (Coll, 1991) de doble
boradores de reactivos al realizar su tarea, facili-
entrada que permite saber si se trata de un
tando con ello, que los distintos reactivos elabo-
reactivo que pretende medir un conocimiento o
rados midan el conocimiento o habilidad que se
una habilidad cognitiva, as como el tipo de
pretende medir de forma equivalente (es decir, con
contenido implicado, de acuerdo a las siguientes
niveles de dificultad y complejidad semejantes).
categoras:
Hechos. Lugares, personajes, smbolos, valo-
dos a las categoras de logro establecidas para los
res y cantidades especficas, fechas, nombres,
EGEL: An no satisfactorio, Satisfactorio y
etctera
Sobresaliente. Finalmente, se incorpora la biblio-
Conceptos. Definiciones, atributos crticos,
grafa que utiliza el elaborador del reactivo como
caractersticas o variables explicativas de un
referencia bsica, la cual se incorpora, en su
fenmeno, etctera
momento, a la bibliografa de consulta que se
Principios o reglas. Frmulas, relaciones causaefecto, teoras, leyes, etctera
sugiere para cada tema en la gua de examen

para el sustentante. A continuacin se muestran
Procedimientos. Patrones de respuesta, se-
las tablas 5 (a, b y c) ejemplificando especificacio-
cuencias de pasos, modelos, etctera
nes de diferentes exmenes.
Asimismo, el reactivo se clasifica segn el
Validacin de especificaciones
nivel de exigencia que puede representar para un
Con el objetivo de garantizar que las especifica-
sustentante durante el examen. Esta informacin
ciones de reactivos estn bien elaboradas se lleva
permite delinear los descriptores tericos asocia-
a cabo el proceso de validacin, con la participa-
Tabla 5a.
Ejemplo de especificacin de reactivos del EGEL en Ingeniera Industrial
Clave de especificacin
F4A3T4E1
rea
Sistemas productivos
Subrea
Sistemas de manufactura
Tema
Cdigo del tema
Conocimiento y habilidad
Determina las reas del proceso factibles de automatizacin

(por repeticin y condiciones de higiene y seguridad)
F4A3T4
Identificar las condiciones de produccin que hacen

factible la automatizacin de los procesos
Tomando en cuenta las caractersticas del proceso y del producto y con base en un diagrama de
flujo de proceso o de recorrido, el sustentante elige las actividades factibles de automatizacin
(por repeticin, manejo de materiales o condiciones de higiene y seguridad).
Definicin operacional
Clasificacin
Reactivo resoluble por un sustentante

con nivel de desempeo
(marque con x)
Procedimientos
Principios
Conceptos
Tipo de contenido
(marque con x)
Hechos
Solucin de problemas
Aplicacin
Comprensin
Nivel de complejidad
(marque con x)
Satisfactorio
Sobresaliente
53
54
Tabla 5a. (Continuacin)

Reactivo muestra
Base
El siguiente diagrama de operaciones muestra el procedimiento de ensamble de un contenedor de gas,

determine las actividades que pueden ser factibles de automatizacin.
Subensamble
principal A-1
Etiquetas
Subensamble
A-2
0-1
Fijacin en soporte
Tornillo B-1
(20 piezas)
0-2
Posicionamiento
Tapa C-1
(1 pieza)
0-3
Apriete torque 1 kgfcm
Tornillo B-2
(20 piezas)
0-4
Posicionamiento
Vlvula D-1
(2 piezas)
0-5
Posicionamiento
Aire
comprimido
0-6
Colocacin torque 2 kgfcm
0I-1
Llenado y detencin de fugas

P = 30 bar
E-1 (2 piezas)
E-2 (4 piezas)
0-7
Gas venenoso
G-1
Caja
F-1 (1 pieza)
Colocacin
de etiquetas
prevencin
0-8
Llenado y sellado
P = 25 bar
I-1
Inspeccin final
0-9
Empaquetado
A-1
Producto terminado
Opcin A
0-3, 0-6, 0-8
Argumentacin
de la opcin A
Correcta. Dado que se trata de actividades que requieren precisin para alcanzar el valor indicado y garantizar la seguridad del equipo.
Opcin B
0-3, 0-2, 0-8
Argumentacin
de la opcin B
Incorrecta. Est considerando la repeticin de una variable.
Opcin C
0I-1, 0-8, I-1
Argumentacin
de la opcin C
Incorrecta. Est considerando el uso de material gaseoso a cierta presin.
Opcin D
0-3, 0-5, 0-7
Argumentacin
de la opcin D
Incorrecta. Est considerando solo la repeticin de las operaciones.
Respuesta correcta A
Bibliografa sugerida
Krajewski, Lee; Ritzman, Larry; Malhotra, Manoj, Administracin de Operaciones, Octava edicin. Pearson Educacin, 2008
David A. Collier y James R. Evans, Administracin de Operaciones Bienes, Servicios y cadena de valor. 2a. ed., Cengage, 2009
Tabla 5b.
Ejemplo de especificacin de reactivos del EGEL en Turismo
F3A3T2E1
Funcin
Comercializacin de productos y servicios tursticos
Actividad
Aplicacin de procesos para la comercializacin
Tarea
Determinacin de la demanda del producto turstico de acuerdo con el anlisis de mercado disponible
Determinar las tcnicas para pronosticar la demanda total de mercado
A partir de la descripcin de la situacin de mercado de un producto o servicio turstico, el sustentante

determina la o las tcnicas para pronosticar la demanda total
Clasificacin
(marque con x)
Procedimientos
Principios
Conceptos
Tipo de contenido
(marque con x)
Hechos
Aplicacin
Comprensin
(marque con x)
Satisfactorio
Sobresaliente
Reactivo muestra
Base
Un hotel cuenta con los siguientes datos sobre el mercado nacional e internacional:
Existen 4,500,000 turistas internos y 12,800,000 turistas receptivos
Los turistas internos adquieren dos noches en promedio de hospedaje y los turistas receptivos siete
noches en promedio
El costo por noche es de 57 USD para interno y de 48 USD para el receptivo
Con el fin de pronosticar la demanda total del mercado nacional para el producto, es necesario utilizar:
Opcin A
las variables que determinan la demanda
Argumentacin
de la opcin A
Incorrecta. En esta tcnica se utilizan variables como aumento de la poblacin o el ingreso per cpita,
que es informacin con la que el hotel no cuenta.
Opcin B
el mtodo de composicin del mercado
Argumentacin
de la opcin B
Correcta. Requiere los datos de los compradores y sus compras para determinar la estructura del mercado al cual se dirige el hotel.
Opcin C
el clculo de los semipromedios
Argumentacin
de la opcin C
Incorrecta. Implica el uso de estimaciones lineales, que no es el insumo bajo el cual el hotel est determinando su demanda.
Opcin D
el ndice de factores del mercado
Argumentacin
de la opcin D
Incorrecta. Se identifican los factores del mercado correlacionados con el potencial del mercado, que son
insumos que no est utilizando el hotel en este caso en particular.
Respuesta correcta B
Kotler, P., et al. (2001). Marketing. Mxico: Pearson.

Kotler, P. (2004). Marketing para turismo. Mxico: Pearson.
55
Tabla 5c.
Ejemplo de especificacin de reactivos del EGEL en Ciencias Agrcolas
F1A1T4E2
Funcin
Diagnstico y diseo de programas para la produccin de alimentos y materias primas
Actividad
Realizar investigacin
Tarea
Cdigo de la tarea F1A1T4
Aplicacin de diseos o mtodos para realizar una investigacin

experimental o no experimental
Realizar experimentos factoriales. Arreglo en franjas, parcelas divididas y combinatorio

A partir de las condiciones de un proyecto de investigacin agrcola, pecuaria o de manufactura, el sustentante elige el tipo de experimento factorial que corresponda (arreglo en franjas, parcelas divididas o combinatorio)
Clasificacin
(marque con x)
Procedimientos
Principios
Conceptos
Tipo de contenido
(marque con x)
Hechos
Aplicacin
(marque con x)
Comprensin
56
Satisfactorio
Sobresaliente
Reactivo muestra
Base
En una zona productora de maz se presenta una enfermedad causada por el hongo fitopatgeno
Fusarium spp. Para el control de esta enfermedad se implementar un manejo integrado con dos tipos
de productos: dos de sntesis qumica y dos con base de microorganismos antagonistas. Se requiere saber
el efecto de los productos y sus dosis para el diseo de una estrategia de control.
El tipo de diseo experimental para esta investigacin es:
Opcin A
parcelas divididas
Argumentacin
de la opcin A
Incorrecta. Este diseo requiere de saber que uno de los tratamientos debe considerarse como una parcela grande y otro como parcela chica.
Opcin B
completamente al azar
Argumentacin
de la opcin B
Incorrecta. Este diseo solo permite conocer el efecto de los tratamientos independientes.
Opcin C
factorial completo
Argumentacin
de la opcin C
Correcta. Este diseo permite conocer el efecto de los tratamientos individuales y el de las interacciones entre ellos; con este conocimiento se pueden estructurar estrategias de manejo de productos, para
el control de la enfermedad planteada en esta zona maicera.
Opcin D
bloques al azar
Argumentacin
de la opcin D
Incorrecta. Este diseo no considera el efecto de las interacciones de los tratamientos.
Respuesta correcta C
Gutirrez, S. R. (2005). Introduccin al mtodo cientfico. Esfinge, Mxico, 232 p.
Infante, G. y Zrate de Lara. (1988). Mtodos estadsticos, 3a. ed., Trillas Mxico.
cin de grupos de expertos de diferentes institu-
estipulados para todos los reactivos de opcin
ciones del pas, en los que no se incluye a ningu-
mltiple de los EGEL, descritos anteriormente.
no de los que participaron en la elaboracin de

las especificaciones sujetas a revisin.
El proceso de validacin de especificaciones se
lleva a cabo de manera semejante a como se realiza la validacin de reactivos antes descrita. Se con-
4.1.4
Construccin de los descriptores

de los niveles de desempeo
forman mesas de trabajo para cada funcin pro-
En la sesin de validacin de especificaciones,
fesional en las que se anidan las especificaciones,
como parte final del proceso, los expertos se dan
integradas por, al menos, tres expertos de diferen-
a la tarea de construir los descriptores tericos de
tes instituciones de educacin superior del pas y
los niveles de desempeo de la prueba, siguiendo
un coordinador del proceso por parte del Ceneval,
el procedimiento que a continuacin se indica.
quien modera la discusin en la mesa de trabajo.
Se explica a los consejeros tcnicos que en
Los validadores revisan de manera individual la
cada una de las reas de los EGEL se consideran
especificacin con base en los criterios tcnicos
tres posibles niveles de desempeo en los cuales
previamente definidos para, posteriormente, de
se clasifica la ejecucin de los sustentantes: An
manera grupal, intercambiar opiniones y llegar a
No Satisfactorio (ANS); Satisfactorio (DS) o
un consenso para dictaminar la especificacin.
Sobresaliente (DSS), de conformidad con las
Los criterios tcnicos que orientan el trabajo

de los comits de validacin son los siguientes:
siguientes definiciones conceptuales:

Nivel de desempeo Satisfactorio (DS): Dominio
La accin o conducta definida debe correspon-
slido y organizado de los conocimientos y
derse puntualmente con el conocimiento o
habilidades cognitivas requeridos para iniciar-
habilidad que se pretende evaluar y estar des-
se eficazmente en el ejercicio de la profesin
crita de manera clara y en trminos observables
Nivel de desempeo Sobresaliente (DSS): Do-
La condicin o situacin en la que se espera se
minio slido y organizado de los conocimien-
realice la accin definida, en el contexto de la
tos y habilidades cognitivas requeridos para
prueba, debe estar descrita de manera clara y
iniciarse eficazmente en el ejercicio de la pro-
contener todos los elementos de informacin
fesin, con amplia capacidad de generaliza-
necesarios y pertinentes para que se pueda
cin a situaciones novedosas y complejas
replicar al momento de elaborar un reactivo
Nivel de desempeo An No Satisfactorio
de opcin mltiple
(ANS): Dominio parcial y desestructurado de
En caso de requerir componentes adicionales
los conocimientos y habilidades que se consi-
(leyes, normas, etctera), estos deben ser cla-
deran necesarios para iniciarse en el ejercicio
ramente explicitados
de la profesin
Los reactivos muestra incluidos en la especifi-
Teniendo estas definiciones como referentes se
cacin deben cumplir con los estndares tcnicos
pide a los expertos que ordenen las especificaciones
57
58
asociadas a cada rea o funcin profesional,
especificacin para las tareas de baja relevancia
desde la ms simple a la ms compleja, y que
y mximo cuatro para las tareas de alta relevan-
identifique cules, en conjunto, pueden represen-
cia). Para obtener el nmero total posible de
tar los conocimientos y habilidades cognitivas
reactivos para cada actividad y, por ende, para
que mnimamente debe dominar en esa rea el
cada funcin de la prueba, se multiplica, para
sustentante para iniciarse eficazmente en el ejer-
cada tarea, el valor de ponderacin alcanzado
cicio de la profesin y cules, adems, le permiti-
por el nmero de especificaciones asociadas.
ran enfrentar con xito, situaciones profesiona-
Este nmero debe ajustarse a una serie de res-
les novedosas y complejas. Identificadas por los
tricciones tcnicas a fin de que la estructura te-
expertos las especificaciones de reactivos para
rica establecida sea factible de utilizarse:
una y otra de las condiciones descritas, se les pide
Cada funcin (rea) debe estar integrada por,
que describan qu es lo que es capaz de hacer o
al menos, dos actividades (subreas) y conte-
resolver una persona que puede contestar ade-
ner al menos 20 reactivos
cuadamente las preguntas implicadas en uno y

otro conjunto de especificaciones.
Como productos finales de la sesin se tiene
Cada una de las actividades (subreas) debe

estar integrada por, al menos, dos tareas profesionales (temas)
un primer esbozo del nivel de dominio que carac-
La longitud de la prueba debe permitir su
teriza a un sustentante que se encuentre en una u
resolucin en dos sesiones con duracin, cada
otra categora de logro. Estas descripciones te-
una de ellas, de mximo cuatro horas
ricas son un referente fundamental para la cons-
Cada versin de la prueba debe considerar,
truccin de los descriptores de los niveles de
tambin, la incorporacin de 20% de reactivos
desempeo que se establecen ulteriormente, en la
piloto (que no afectan la calificacin del susten-
sesin de puntos de corte y estndares de desem-
tante, pero que son probados para identificar su
peo (seccin 4.2).
calidad mtrica y determinar si pueden incorporarse al banco de reactivos de la prueba)
4.1.5
Procedimiento general
para la determinacin
de la longitud y estructura de la prueba
Tomando en cuenta estas restricciones y el

nmero posible de reactivos para cada uno de los
componentes de la prueba, el consejo tcnico
determina si es necesario o no la subdivisin de
Para determinar la longitud terica de la prueba
una funcin (rea) en dos, por ser demasiado
se consideran dos aspectos: el nivel de relevancia
amplia, o si, por el contrario, debe subsumirse
(mxima, moderada o baja) de las tareas consi-
alguna funcin o actividad a otra funcin, por ser
deradas, de acuerdo con los resultados de la
demasiado pequeas. En cualquier caso, el con-
encuesta de validacin social, y b) el nmero de
sejo tcnico resuelve cmo organizar estos ele-
especificaciones de reactivos efectivas elaboradas
mentos en los tres niveles de anidamiento que se
alrededor de cada tarea (puede elaborarse una
contemplan en la prueba (rea, subrea y tema)
as como la manera de designar cada uno de estos
conocimientos y habilidades cognitivas implica-
elementos, cuidando que esta organizacin se
dos en el logro de estas puntuaciones. De esta
corresponda con la propia de la prctica profesio-
forma, un estndar de desempeo se concibe
nal y que sea fcilmente comunicable a los usua-
como una delimitacin o interpretacin concep-
rios de la informacin, es decir, los sustentantes
tual de una determinada puntuacin de corte en
de la prueba, toda vez que esta se hace pblica en
cada rea de la prueba, a partir de los conoci-
la Gua de examen para el sustentante.
mientos y habilidades que miden los reactivos

que se ubican por abajo de estas puntuaciones.
Determinacin de la estructura
El proceso que se sigue en los EGEL para el
emprica de la prueba
establecimiento de los estndares de desempeo
La primera vez que se aplica la prueba se desco-
en cada rea de las pruebas se describe enseguida.
nocen las caractersticas mtricas de los reactivos

que la constituyen, en virtud de lo cual esa prime-
Determinacin de los puntos de corte
ra versin tiene un carcter piloto y un nmero
De los diversos mtodos que existen en la prctica
mayor de reactivos al establecido en su estructu-
de la evaluacin educativa para establecer los pun-
ra terica. La finalidad es probar el mayor nme-
tos de corte de un examen, se utiliza el conocido
ro posible de reactivos en una situacin de eva-
como Bookmark (separador) en el cual se toma en
luacin regular, para poder seleccionar los
cuenta el juicio de los expertos, los resultados
mejores reactivos (aquellos que cumplen con la
empricos de la prueba y el impacto que tienen las
calidad mtrica deseable) e integrar la versin
decisiones de los especialistas en el grupo de susten-
matriz de la estructura de la prueba, validada
tantes que se utiliza como poblacin de referencia.
empricamente. Con esta versin el consejo tcnico establece los puntos de corte y los estnda-
El mtodo de Bookmark
res de desempeo para cada rea de la prueba,
Este mtodo exige que los expertos (al menos tres
as como los criterios que deben cumplirse para
por cada rea del examen) relacionados con las
el otorgamiento de Testimonios de Desempeo
distintas reas que se miden en la prueba identi-
(Satisfactorio y Sobresaliente).
fiquen los reactivos que representan los conocimientos y habilidades que, como mnimo, debe
4.2
dominar un sustentante para alcanzar un deter-
El establecimiento
minado nivel de desempeo en el rea (satisfac-
de los estndares de desempeo
torio o sobresaliente) y, con base en ello, establezcan los lmites que distinguen un nivel de
Una vez establecido qu aspectos deben medirse
desempeo de otro. Una vez identificados estos
y con qu peso, los consejos tcnicos definen la
reactivos se define la puntuacin mnima reque-
puntuacin mnima que debe requerirse en cada
rida asociada al reactivo marcador que distingue
rea de la prueba para poder alcanzar un desem-
el nivel de Desempeo Satisfactorio (DS) del An
peo satisfactorio o sobresaliente, as como los
no Satisfactorio (ANS) y del reactivo marcador
59
60
Figura 19.
Puntos de corte para establecer los niveles de desempeo en el EGEL
Sustentantes con nivel de desempeo
An no satisfactorio

Satisfactorio
Punto de corte 1

Sobresaliente
100%
Punto de corte 2
que distingue el nivel de Desempeo Satisfactorio
por su dificultad emprica (del ms fcil al ms
(DS) del nivel de Desempeo Sobresaliente (DSS)
difcil), tal y como se muestra en la figura 20.

El formato en el que se presenta cada uno de
(figura 19).
A continuacin se describe, paso a paso, este
los reactivos, permite identificar la clave de respuesta correcta, la categora temtica a la que
proceso:
Se rene a un grupo de expertos (jueces) a
pertenece y su dificultad emprica en dos escalas:
quienes se les presenta un cuadernillo que contie-
porcentaje de aciertos y (habilidad o dominio
ne los reactivos de un rea del examen ordenados
en TRI).7
Figura 20.
Ejemplo del ordenamiento por dificultad de los reactivos del cuadernillo
10
11
12
13
14
15
16
17
18
19
20
21
22
Difcil
Cuadernillo
de
reactivos
Fcil
La TRI parte de la existencia de variables latentes que se manifiestan a travs de las respuestas de los sustentantes a un
grupo de reactivos; su objetivo principal es modelar el comportamiento de estas variables y determinar, en el nivel de cada
reactivo, la probabilidad que tiene cada sustentante de acertar cuando se enfrenta a este. El modelo que se asigna al reactivo es una funcin que generalmente toma la forma de una curva logstica. Los modelos de la TRI postulan que la relacin entre el rendimiento de un sustentante en determinado reactivo y la variable latente que subyace a dicho rendimiento, puede ser descrita por una funcin montona creciente. Esto es, para cada nivel de habilidad (generalmente
denominado por la letra griega theta ), existe una probabilidad P() de que un examinado con dicha habilidad conteste correctamente el reactivo y esta probabilidad crecer mientras la habilidad se incremente. La funcin matemtica
que describe esta relacin es conocida como curva caracterstica del tem (CCI) y constituye la base de la TRI.
61
Figura 21.
Ejemplo de identificacin de dos reactivos marcadores en el cuadernillo de preguntas
22
20 21
18 19
17
15 16
13 14
12
10 11
P
Cuadernillo
de
reactivos
La tarea de los jueces consiste en identificar
de desempeo satisfactorio, es decir, identifica el
los reactivos que delimitan los niveles de desem-
reactivo que representa la habilidad mnima
peo predefinidos (satisfactorio y sobresaliente),
requerida para alcanzar el nivel de desempeo
para lo cual necesitan revisar cuidadosamente el
satisfactorio (1) en el rea. Posteriormente, selec-
contenido de cada reactivo teniendo como gua
cionan al reactivo marcador que consideren
las siguientes preguntas: qu debe saber una per-
puede ser resuelto adecuadamente por 2 de 3 sus-
sona para contestar correctamente el reactivo?
tentantes ubicados en el lmite inferior del nivel
qu hace a los reactivos subsecuentes ms difci-
de desempeo sobresaliente, esto es, el reactivo
les que este reactivo y ms fciles a los que lo
que indica la habilidad mnima requerida para
anteceden?
alcanzar el nivel de desempeo sobresaliente (2).
En primera instancia, cada juez analiza los
Una vez que se concluye el trabajo individual,
reactivos contenidos en el cuadernillo e identifica
cada juez aporta su decisin al grupo y se iden-
como reactivo marcador aquel que considera
tifican las coincidencias y las diferencias en los
puede ser resuelto correctamente por 2 de 3 sus-
reactivos seleccionados como marcadores para
tentantes ubicados en el lmite inferior del nivel
los dos niveles de desempeo (figura 22).
Figura 22.
Ejemplo de diversidad en la identificacin
de dos reactivos marcadores en el cuadernillo, para cuatro jueces
Cuadernillo
de
reactivos
10
11
12
13
15
Cuadernillo
de
reactivos
Juez 1
14
16
17
18
19
20
21
22
10
11
12
13
15
16
Cuadernillo
de
reactivos
Juez 2
14
17
18
19
20
21
22
10
11
12
13
Cuadernillo
de
reactivos
Juez 3
Juez 4
14
15
16
17
18
19
20
21
22
10
11
12
13
14
15
16
17
18
19
20
21
22
62
Figura 23.
Ejemplo de identificacin de la mediana de la habilidad
de los sustentantes para determinar los niveles de desempeo satisfactorio y sobresaliente
Mediana DS
Mediana DSS
Los jueces pueden diferir en su opinin res-
La informacin resultante se presenta al
pecto al reactivo marcador que separa los niveles
grupo de expertos como una forma de retroali-
de desempeo, por lo cual, tomando en cuenta
mentacin emprica que les permite revisar crti-
estos primeros resultados, se calcula el valor de
camente las decisiones tomadas en esta primera
la mediana de los valores de la habilidad repre-
ronda de valoracin. Se efectan las rondas de
sentada en el reactivo marcador identificado por
valoracin y anlisis de resultados que sean nece-
cada experto (figura 23), para estimar el impac-
sarias para acercar el punto de vista de los exper-
to que tendra en la poblacin de referencia si
tos, hasta que llegan a un consenso que permite
esta fuera el punto de corte (grfica 3).
establecer el punto de corte definitivo.
Grfica 3.
Ejemplo de la estimacin del impacto considerando los puntos
de corte asociados a los niveles de desempeo satisfactorio y sobresaliente
Una vez establecidos los puntos de corte definitivos, los jueces contrastan los descriptores te-
descriptores definitivos asociados a cada nivel de

desempeo (grficas 4a y 4b).
ricos descritos previamente por el consejo tcni-
Este proceso se lleva a cabo para cada una de
co para cada nivel de desempeo, con los
las reas que constituyen la prueba; las decisio-
contenidos de los reactivos que debe ser capaz de
nes de cada mesa o grupo se presentan ante el
resolver correctamente el sustentante segn los
pleno del consejo tcnico para su validacin y
puntos de corte decididos, a fin de elaborar los
aprobacin.
Grfica 4a.
Ejemplo del nmero de rondas para consensuar los puntos
de corte definitivos asociados al nivel de desempeo satisfactorio (DS)
Grfica 4b.
Ejemplo del nmero de rondas para consensuar los puntos
de corte definitivos asociados al nivel de desempeo sobresaliente (DSS)
63
64
Criterios para la asignacin
de resultados satisfactorios o sobresalientes que
de testimonios de desempeo
el sustentante debe alcanzar en las distintas reas
Despus de decidir acerca de los estndares de
del examen. Al igual que en el proceso de puntos
desempeo para cada rea del examen, el conse-
de corte por rea, antes de tomar una decisin al
jo tcnico establece los criterios que deben cum-
respecto, el consejo tcnico evala el impacto de
plirse para el otorgamiento de un Testimonio de
los posibles escenarios en la poblacin de referen-
Desempeo Satisfactorio (TDS) o Sobresaliente
cia, ahora, considerando la proporcin de susten-
(TDSS) en el examen. En todos los casos, dichos
tantes que queda, en cada uno de los escenarios
criterios refieren a una determinada proporcin
posibles, con TDS, TDSS y sin testimonio.
5. Indicadores de validez
SE
ha dicho que la validez de un instrumen-
formadoras, acadmicos y profesionales en ejer-
to de evaluacin se refiere al grado en
cicio, juega un papel fundamental. Al definir las
que este mide lo que dice medir (Standards for
funciones, actividades y tareas profesionales se
educational and psychological tests and manuals;
definen, desde un inicio, los contornos o lmites
APA, AERA, NCME, 1965, 1985). Sin embargo,
del contenido de las pruebas, al tiempo que se
ms recientemente, en la literatura especializada
establece el eslabn principal de la cadena de evi-
se observa a la validez como un concepto unifi-
dencias de la validez de contenido de las pruebas.
cado e integrador en el que se recomienda pen-
En otros trminos, se establecen los lmites que
sarla no como un atributo intrnseco del instru-
garantizan que todos los conocimientos y habili-
mento sino, ms bien, como un indicador (el ms
dades cognitivas incluidas en las pruebas estn
importante de la calidad del instrumento) del
asociados a tareas relevantes del ejercicio de la
grado en que se encuentran fundadas las inferen-
profesin (Kane, M., 2006). Un elemento de vali-
cias basadas en los resultados o puntajes del ins-
dacin fundamental de estos referentes de los con-
trumento de evaluacin (Messick, 1995). Desde
tenidos en el EGEL es el empleo de la encuesta
esta perspectiva, la validacin de un instrumento
para la validacin social en la que se recaba el
se refiere al proceso que permite recoger eviden-
punto de vista de los profesionistas en ejercicio
cias sobre la pertinencia de las inferencias reali-
sobre la relevancia de las tareas profesionales des-
zadas a partir de las puntuaciones observadas.
critas en el perfil. El segundo eslabn de esta cade-
65
na de evidencias lo es, sin duda, la manera como
5.1
se derivan los conocimientos y habilidades asocia-
Sobre la validacin del contenido,
dos a cada tarea profesional. De acuerdo con el
el criterio y el constructo del EGEL
procedimiento descrito, todos los conocimientos

o habilidades cognitivas son relevantes para la
Como ha quedado expresado antes, la tarea de
adecuada realizacin de las tareas profesionales y,
diseo y revisin de los EGEL ha requerido la
cuando se tiene que decidir, por cuestiones de
puesta en prctica de un enfoque metodolgico
lmites en la longitud de la prueba, cules conte-
en el cual un aspecto de la mayor relevancia ha
nidos incluir y cules no, el enfoque prioriza los
sido evitar la introduccin de variables irrelevan-
conocimientos y habilidades de mayor importan-
tes durante el proceso de delimitacin del conte-
cia para la ejecucin de la tarea. El tercer eslabn
nido de las pruebas.
crtico, est dado por el hecho de que los conoci-
Por esta razn, como primer paso, en este
mientos y habilidades que se prev evaluar en la
enfoque se recupera lo que hacen las personas
prueba, se definen en trminos tales (especificacio-
actualmente al enfrentar y resolver situaciones y
nes de reactivos) que permiten dotar a los elabo-
problemas caractersticos de una determinada
radores y validadores de reactivos de una gua
profesin y en donde el punto de vista de los con-
objetiva y homognea de lo que se pretende medir
sejos tcnicos y comits acadmicos de cada exa-
en cada caso. De hecho, el proceso de elaboracin
men, integrados por representantes de instancias
de las especificaciones constituye, en s mismo, un
66
marco estructurado de validacin en tanto que

garantiza, en un primer momento, un absoluto
consenso de los distintos expertos en contenido
5.2
Los datos psicomtricos

como indicadores de validez
y confiabilidad del EGEL
involucrados, respecto a las definiciones propuestas, las cuales, se validan posteriormente, por gru-
La confiabilidad de las reas del EGEL
pos distintos de jueces.
La confiabilidad o consistencia interna de cada
Finalmente, el cuarto eslabn est dado por la
una de las reas del EGEL se mide por medio del
delimitacin de la estructura terica de las prue-
coeficiente alfa de Cronbach, el cual es un indi-
bas y la elaboracin y validacin de los reactivos
cador del grado de covarianza observada entre
con los cuales se constituye la primera forma o
los reactivos que la conforman o de la propor-
versin matriz del examen. En el primer caso, la
cin de la varianza del error respecto de la
estructura de la primera versin de la prueba
varianza total observada restado de 1.00, donde
debe ser congruente con el perfil o mapa funcio-
el ndice 1 indica confiabilidad perfecta.
nal de la profesin y con los pesos asignados a
Los valores aceptables variarn de acuerdo
cada rea, subrea y tema de la misma, en fun-
con el propsito y caractersticas del instrumen-
cin de los resultados de la encuesta de valida-
to; por ejemplo, para exmenes de alto impacto
cin social y el proceso de derivacin de conteni-
y en donde se trata del conjunto global de la
dos. En el segundo caso, el primer criterio de
prueba la confiabilidad deseada es de 0.9 o ms;
validez que debe acreditarse es la corresponden-
sin embargo, tener valores de 0.8-0.7 es adecua-
cia plena del contenido del reactivo con lo esta-
do esperando siempre el incremento de este indi-
blecido en la especificacin.
cador (Cook y Beckman, 2006).
En cada una de estas acciones se han genera-
Cabe mencionar que para el caso especfico
do documentos como evidencias de los produc-
de los EGEL, en el conjunto global de la prueba
tos alcanzados y los actores involucrados en cada
se busca alcanzar el estndar tcnico menciona-
proceso, lo cual constituye el hilo conductor que
do con anterioridad; sin embargo, debido a que
integra los esfuerzos para mantener la validez y
las reas se constituyen como subconjuntos del
vigencia de los contenidos de las pruebas desde
examen, con relativa autonoma entre s y a par-
un punto de vista terico o formal.
tir de las cuales se toman decisiones para estable-
Una vez aplicada la prueba, se calibran los
cer los niveles de desempeo y la asignacin de
reactivos y se seleccionan aquellos que cumplen
testimonios, alcanzar indicadores adecuados de
con todos los requerimientos tcnicos indispen-
confiabilidad a este nivel resulta de la ms alta
sables para definir la estructura emprica de la
relevancia.
prueba; asimismo, se identifican los indicadores

psicomtricos que se relacionan con su validez y
confiabilidad emprica.
Correlacin entre las reas del EGEL
probar la existencia de una relacin entre estas
De manera general, los ndices de correlacin dan
dos variables se realizan empleando la prueba
cuenta de la medida en que una variable est aso-
tau-b de Kendall y se espera que a mayor prome-
ciada a otra, es decir, en qu medida cuando el
dio de la licenciatura, sea mayor la proporcin
valor de una variable crece o decrece el valor de
de sustentantes que obtienen algn tipo de testi-
otra tambin (correlacin positiva) o, en el senti-
monio (dada la diferencia del tipo de variables
do inverso, cuando el valor de una variable crece
asociadas, el criterio tcnico que se espera es fun-
y la otra decrece (correlacin negativa).
damentalmente que la asociacin sea positiva y
En los EGEL lo esperable es encontrar valores
estadsticamente significativa).
de correlacin positiva (en un intervalo aproximado de 0.30-0.55), partiendo del supuesto de
Resultados de la opinin de los sustentantes
que cada una de las reas representa un construc-
del EGEL respecto a la prueba
to o dimensin relativamente autnoma del
Otro referente importante respecto a la validez
resto, pero que estn relacionadas entre s al for-
del instrumento es la opinin que de l tienen los
mar parte de la misma prueba, cuyo propsito es
sustentantes. A este respecto, se ha implementa-
evaluar los conocimientos y habilidades asocia-
do una encuesta de opinin que los sustentantes
dos a un determinado quehacer profesional.
del EGEL deben responder una vez que han concluido la prueba. Esta encuesta aborda los
Relacin entre el promedio de la licenciatura
siguientes aspectos:
con los resultados en el EGEL
a) El tiempo de resolucin y su valoracin acer-
Un indicador importante de validez en pruebas
ca de la longitud o extensin de la prueba
de rendimiento acadmico, como es el caso de
(esto es, su apreciacin respecto al total de
los EGEL, es contar con evidencia de que las pun-
preguntas que respondi)
tuaciones obtenidas por los sustentantes en la
b) La correspondencia entre las preguntas del
prueba se relacionan positivamente con otras
examen con las temticas y materiales biblio-
variables relacionadas tericamente con el cons-
grficos que recibi durante su formacin uni-
tructo de la prueba, como es, en este caso, el
versitaria
desempeo obtenido por los sustentantes en sus
c) El vnculo que observan entre los contenidos
cursos formales de la licenciatura. Este tipo de
de la prueba con los aspectos que considera
estudio implica relacionar el promedio general
fundamentales para iniciarse en el ejercicio de
obtenido por los sustentantes en la licenciatura
la profesin
(considerando la informacin aportada volunta-
d) La claridad de la redaccin de las preguntas
riamente por el sujeto al responder el cuestiona-
de la prueba y lo apropiado del lenguaje con
rio de contexto del EGEL y, por lo tanto, no
el cual se comunican
exenta de error o imprecisin) con el nivel de
e) La percepcin de la dificultad de la prueba y
desempeo alcanzado en cada una de las reas y
la calificacin que estima obtener (sobre un
en el dictamen global del EGEL. Los anlisis para
estimado en porcentaje de aciertos)
67
68
Los resultados de las encuestas permiten
instrumento que aporta informacin relevante
tener un acercamiento al significado que repre-
de la adecuacin de su formacin universitaria
senta una evaluacin de esta naturaleza para los
toda vez que le permite contrastarla con un
sujetos que son evaluados con ella; de hecho, en
estndar de carcter nacional, definido a travs
general, la poblacin concibe al EGEL como un
de la prueba.
Bibliografa
69
American Educational Research Association, American Psychological Association y National

Council on Measurement in Education (1999). Standards for educational and psychological testing. Washington, DC: American Psychological Association.
American College Testing ACT. (2011). Collegiate Assessment of Academic Proficiency (CAAP)
Recuperado de http://www.act.org/caap/
Australian Council for Educational Research ACER. (2012). Graduate Skills Assessment GSA.
Recuperado de http://www.acer.edu.au/tests/gsa
Baker F. B. (2001). The Basic of Item ResponseTheory. ERIC Clearinghouse on Assessment and
Evaluation, University of Maryland, College Park, MD.
Coll, C. (1991). Psicologa y currculum. Paids, Mxico.
Cook D. A. y Beckman T. J. (2006). Current Concepts in Validity and Reliability for Psychometric
Instruments: Theory and Application. The American Journal of Medicine 119, 166.e7-166.e16
Cooke N. J. (1999). Knowledge elicitation. In F. T. Durso (Ed.), Handbook of Applied Cognition,
(pp. 479-509), U.K.: Wiley.
Crocker L. y Algina J. (1986). Introduction to Classical and Modern Test Theory. Holt, Rinehart,
and Winston
Council for Aid to Education. CAE. (2012). Collegiate Learning Assessment CLA. Recuperado de
http://www.Collegiatelearning assessment.org/
Educational Testing Service ETS. Major Field Tests. (2011). Major Field Tests EDU/WKP (2008)
ETS. Recuperado de http://www.ets. org/mft
Educational Testing Service ETS. (2007). Validity of the Measure of Academic Proficiency and
Progress (MAPP) Recuperado de http://www.ets.org/s/mapp/pdf/5018.pdf
Educational Testing Service ETS. (2012). ETS Proficiency Profile. Recuperado de http://www.
ets.org/proficiencyprofile/about
Flanagan, J.C. (1954). The critical incident technique. Psychological Bulletin, 51, 327-358.
Gael, S. (1983). Job analysis: A guide to assessing work activities. San Francisco: Jossey-Bass.
Harvey, R. J., y Wilson, M. A. (2000). Yes Virginia, there is an objective reality in job analysis.
Journal of Organizational Behavior, 21, 829-854.
Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira INEP. Enade. (2004).
Exame Nacional de Desempenho dos Estudantes-Enade 2004: resumo tcnico. Brasil. LEI N
10.861, (14 Febrero 2004). Recuperado de http://download.inep.gov.br/download/enade/2004/
manual_enade_2004.pdf
Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira INEP. (2012). Exame Nacional
de Desempenho dos Estudantes ENADE. Brasil. Recuperado de http://portal.inep.gov.br/enade
Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira INEP. (2012). Exame Nacional
de Cursos ENC-.Provo; Provo Historico-1996-2003. Recuperado de http://portal.inep.gov.br/

historico-1996-2003
70
Instituto Colombiano para la Evaluacin de la Educacin ICFES. (2011). Informe nacional de

resultados Ecaes 2003-2009. Recuperado de http://www.icfes.gov.co
Instituto Colombiano para la Evaluacin de la Educacin, ICFES. (2012). Examen de Estado de
Calidad de la Educacin Superior SABER PRO, Lnea de Tiempo en la Transicin del Examen
ICFES SABER PRO. Recuperado de http://www.icfes.gov.co/examenes/saber-pro/
Kane M.; Kingshury C., Colton D. y Estes C. (Spring, 1989). Combining Data on Criticality and
Frequency in Developing Test Plans for Licensure and Certification Examinations. Journal of
Educational Measurement, 26(1), 17-27.
Kane, M. (2006). Content-related validity evidence in test development. In S. M. Downing, y T.
M. Haladyna (Eds.), Handbook of test development (pp. 131-153). Mahwah, NJ: Lawrence
Erlbaum Associates.
La Duca, A. (1980). The structure of competence in health professionals. Evaluation and the
Health Professional, 3(3), 253-288.
La Duca, A. (1994). Validation of professional licensure examinations: Professions theory, test
design, and construct validity. Evaluation and The Health Professions, 17(2), 178-197.
Messick, S. (1995). Validity of Psychological Assessment: Validation of Inferences from Person
Responses and Performances as Scientific Inquiry into Score Meaning. American Psychologist, 50,
741-749.
Nusche, D. (2008). Assessment of Learning Outcomes in Higher Education: A comparative review
of selected practices. OECD Education Working Paper No. 15 (29 Feb 2008). Recuperado de http:
//www.oecd.org/education/highereducationandadultlearning/ 40256023.pdf
Raymond, M. R. (2001). Job analysis and the specification of content for licensure and certification examinations. Applied Measurement in Education 14(4), 369-415.
Raymond, Mark R. (2005). An NCME Instructional Module on Developing and Administering
Practice Analysis Questionnaires, Educational Measurement: Issues and Practice, Summer 2005.
29-42 Washington, D.C.: Blackwell Publishing.
Raymond, M.R., y Neustel, S. (2006). Determining the content of credentialing examinations.
In S.M.Downing, & T.M. Haladyna, Handbook of test development (pp. 181-223). Mahwah,
NJ: Lawrence Erlbaum Associates.
Smith L. y. Hambleton R. (Winter, 1990). Content Validity Studies of Licensing Examinations.
Educational Measurement: Issues and Practice, 1990. 7-10, Washington, D.C.: Blackwell
Publishing.
El Centro Nacional de Evaluacin para la Educacin Superior es una asociacin civil sin fines
de lucro constituida formalmente el 28 de abril de 1994, como consta en la escritura pblica nmero 87036 pasada ante la fe del notario 49 del Distrito Federal.
Sus rganos de gobierno son la Asamblea General, el Consejo Directivo y la Direccin
General. Su mxima autoridad es la Asamblea General, cuya integracin se presenta a continuacin, segn el sector al que pertenecen los asociados:
Asociaciones e instituciones educativas: Asociacin Nacional de Universidades e Instituciones
de Educacin Superior, A.C.; Federacin de Instituciones Mexicanas Particulares de
Educacin Superior, A.C.; Instituto Politcnico Nacional; Instituto Tecnolgico y de Estudios
Superiores de Monterrey; Universidad Autnoma del Estado de Mxico; Universidad
Autnoma de San Luis Potos; Universidad Autnoma de Yucatn; Universidad Nacional
Autnoma de Mxico; Universidad Popular Autnoma del Estado de Puebla; Universidad
Tecnolgica de Mxico.
Asociaciones y colegios de profesionales: Barra Mexicana Colegio de Abogados, A.C.;
Colegio Nacional de Actuarios, A.C.; Colegio Nacional de Psiclogos, A.C.; Federacin de
Colegios y Asociacin de Mdicos Veterinarios y Zootecnistas de Mxico, A.C.; Instituto
Mexicano de Contadores Pblicos, A.C.
Organizaciones productivas y sociales: Academia de Ingeniera, A.C.; Academia Mexicana
de Ciencias, A.C.; Academia Nacional de Medicina, A.C.; Fundacin ICA, A.C.
Autoridades educativas gubernamentales: Secretara de Educacin Pblica.
Ceneval, A.C., EXANI-I, EXANI-II son marcas registradas ante la Secretara de

Comercio y Fomento Industrial con el nmero 478968 del 29 de julio de 1994. EGEL,
con el nmero 628837 del 1 de julio de 1999, y EXANI-III, con el nmero 628839 del
1 de julio de 1999.
Inscrito en el Registro Nacional de Instituciones Cientficas y Tecnolgicas del Consejo
Nacional de Ciencia y Tecnologa con el nmero 506 desde el 10 de marzo de 1995.
Miembro de la International Association for Educational Assessment.
Miembro de la European Association of Institutional Research.
Miembro del Consortium for North American Higher Education Collaboration.
Miembro del Institutional Management for Higher Education de la OCDE.
La publicacin de esta obra la realiz

el Centro Nacional de Evaluacin para la Educacin Superior, A.C.
Se termin de imprimir el 28 de junio de 2013
en los talleres de Gemo Litografa Publicitaria,
Viaducto Miguel Alemn 43, Col. Tacubaya, C.P. 11870, Mxico, D.F.,
con un tiraje de 1,500 ejemplares

Manual Tecnico de Los EGEL

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Manual Tecnico de Los EGEL

Transféré par

Droits d'auteur :

Formats disponibles

Directorio

Rafael Vidal Uribe

Centro Nacional de Evaluacin para la

cedimientos y evidencias que sustentan la confia-

Educacin Superior (Ceneval) es una aso-

bilidad y la validez de estos instrumentos, se

ciacin civil no lucrativa, cuya misin es contri-

acompaan de un manual tcnico que especifica

buir a mejorar la calidad de la educacin media

detalladamente los elementos involucrados en su

superior y superior en Mxico, mediante el dise-

construccin, aplicacin y validacin.

o y aplicacin de instrumentos de evaluacin

Con esta publicacin se da cumplimiento a los

vlidos, confiables y pertinentes. Estos instru-

estndares exigidos en la normativa del Ceneval

mentos proporcionan informacin acerca de los

y a las recomendaciones emanadas de organis-

conocimientos y habilidades que las personas

mos internacionales publicadas en los Standards

adquieren mediante procesos formales o infor-

for educational and psychological testing, avala-

males de aprendizaje y se constituye en un insu-

dos por la American Educational Research

mo para la toma fundamentada de decisiones de

Association (AERA), la American Psychologial

las autoridades educativas en el proceso de mejo-

Association (APA) y los Program Evaluation

Standards, publicados por el Joint Committee on

Los Exmenes Generales para el Egreso de la

Standards for Educational Evaluation (AERA,

cin de cobertura nacional que evalan el nivel

Este manual proporciona informacin tcni-

de conocimientos y habilidades acadmicas de

ca sobre aspectos relacionados con el diseo,

los recin egresados de la carrera universitaria,

operacin y uso de los EGEL; est dirigido a las

permiten identificar si los egresados de la licen-

autoridades educativas, funcionarios de institu-

ciatura cuentan con los conocimientos y habili-

ciones usuarias de los exmenes, as como a espe-

dades necesarios para iniciarse eficazmente en el

cialistas en educacin y evaluacin educativa y

ejercicio profesional. Para dar a conocer los pro-

pblico interesado en estos temas.

Manual tcnico tiene como propsito

dirigido a los sustentantes y los reportes de resul-

comunicar a las instituciones usuarias,

tados del grupo de egresados que sustentaron la

sustentantes, especialistas y pblico interesado,

prueba, dirigidos a las instituciones de educacin

los aspectos tcnicos relacionados con el diseo,

superior (IES). Tambin se indican las caracters-

construccin y mantenimiento de los Exmenes

ticas del archivo electrnico de resultados que se

Generales para el Egreso de la Licenciatura as

entrega a las IES, en el que se incluye, adems de

como sus antecedentes y caractersticas generales.

los resultados de los sustentantes, la informacin

La informacin est organizada en cinco aparta-

de los cuestionarios de contexto que requisitan

dos o secciones: 1. Los antecedentes y el alcance

los sustentantes antes de la aplicacin de la prue-