01 Cuestionariosdecontexto

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas Cuaderno tcnico 1
Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas Cuaderno tcnico 1 Luca Monroy Cazorla Miguel Herrera Ortiz Ingrid Garca Pinzn Colaboradoras: Margarita Olivera Aguilar Daniela Benavides Posadas
Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas Cuaderno tcnico 1 D.R. 2009, Centro Nacional de Evaluacin para la Educacin Superior, A.C. (Ceneval) Av. Camino al Desierto de los Leones 19, Col. San ngel, Deleg. lvaro Obregn, C.P. 01000, Mxico, D.F. www.ceneval.edu.mx Diseo y formacin: Mnica Corts Genis Abril de 2009 Impreso en Mxico Printed in Mxico
Directorio
Direccin General Rafael Vidal Uribe Direccin General Adjunta de los EGEL Jorge Hernndez Uralde Direccin General Adjunta de los EXANI Jos O. Medel Bello Direccin General Adjunta de Programas Especiales Roco Llarena de Thierry Direccin General Adjunta Tcnica y de Investigacin Luca Monroy Cazorla Direccin General Adjunta de Difusin Javier Daz de la Serna Braojos Direccin General Adjunta de Operacin Francisco Javier Apreza Garca Mndez Direccin General Adjunta de Administracin Francisco Javier Anaya Torres Direccin de Procesos pticos y Calificacin Ma. del Socorro Martnez de Luna Direccin de Tecnologas de la Informacin y las Comunicaciones Francisco Manuel Otero Flores
ndice
Prlogo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .7 Introduccin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9 Importancia de los cuestionarios de contexto . . . . . . . . . . . . . . . . . . . . . . . .13 Metodologa del Ceneval para elaborar los cuestionarios . . . . . . . . . . . . . .19 Fase 1. Definicin de la estrategia de evaluacin Fase 2. Establecimiento de referentes Fase 3. Definicin de la estructura de los cuestionarios Fase 4. Integracin de la versin preliminar Fase 5. Integracin de la versin para piloteo Fase 6. Validacin del instrumento Fase 7. Aplicacin piloto Fase 8. Verificacin estadstica del estudio piloto Fase 9. Integracin de la versin definitiva Fase 10. Aplicacin de los cuestionarios Fase 11. Base de datos y anlisis de datos 19 22 23 24 25 26 27 28 29 30 32
Bibliografa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .33 Referencias bibliogrficas generales 33 Anexo I. Cuestionarios de contexto asociados a las principales pruebas de logro . . . . . . . . . . . . . . . . . . . . . . . . . . .49 Anexo II. Recomendaciones para evitar errores en la construccin de los cuestionarios de contexto . . . . . . . . . . . . . . . . . . . . .55 Anexo III. Anlisis de datos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .61
ndice de tablas
Tabla 1. Pruebas de logro a gran escala. Resumen de las caractersticas de cada instrumento . . . . . . . . . . . . . . . . . . . . .10
ndice de grficas
Grfica 1. Resultados del EXANI-I en la entidad Zx. Media nacional, regional y estatal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13 Grfica 2. Resultados del EXANI-I. Medias de los estados de la regin 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .14 Grfica 3. Resultados del EXANI-I. Medias de los estados de la Regin 1 y medias del desempeo de los alumnos egresados de las secundarias de las modalidades A y B . . . . . . . . . . . . . . . . . . . . . . . . . . .15 Grfica 4. Resultados del EXANI-I . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15
Prlogo
l Centro Nacional de Evaluacin para la Educacin Superior, A.C. (Ceneval) surge en 1994 por mandato de la Asociacin Nacional de Universidades e Instituciones de Educacin Superior (ANUIES) ante la necesidad de contar con una instancia de evaluacin externa que promueva la mejora de la calidad educativa, mediante la generacin de evaluaciones vlidas que contribuyan en los procesos de toma de decisiones de alto impacto de los centros escolares. Sus actividades se orientan, primordialmente, a evaluar los conocimientos y habilidades adquiridos por los individuos a travs de procesos de enseanzaaprendizaje formales o no formales de los sistemas de educacin media superior y superior. Ofrece sus servicios a instituciones educativas, organizaciones de profesionistas, as como a entidades privadas y gubernamentales. En aras de cumplir con su misin, el Ceneval no se limita a construir instrumentos que miden los aprendizajes de los sustentantes, sino que tambin ha desarrollado instrumentos complementarios que permiten capturar informacin relevante de los sustentantes para explicar las diferencias que se obtienen en los puntajes de logro acadmico. Sin embargo, desde el periodo inicial hasta su consolidacin, el Ceneval an no haba trazado formalmente las lneas institucionales para guiar y cimentar la construccin de los cuestionarios de contexto. Ante este reto, el Ceneval se dio a la tarea de renovar sus instrumentos y elaborar una nueva generacin de exmenes, adems de transitar de las llamadas hojas de registro de los sustentantes a los cuestionarios de contexto. Estos cuestionarios de contexto fueron diseados, por primera vez, por un grupo de especialistas de ciencias sociales y educacin, quienes de manera colegiada seleccionaron las variables de cada uno de los instrumentos. El primer grupo de expertos incorpor investigadores del Centro de Investigacin y Docencia Econmicas; del Instituto Nacional de Estadstica, Geografa e Informtica; de la Universidad Nacional Autnoma de Mxico; de una empresa privada dedicada a la elaboracin de encuestas; de la Secretara de Desarrollo Social y de la Secretara de Educacin Pblica. Como sustento conceptual se consideraron los cuestionarios elaborados para pruebas nacionales (Monroy et al., 2005) e internacionales, como los cuestio-
Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas
narios del Programa Internacional para la Evaluacin de los Estudiantes (PISA, 2003), del Estudio Internacional de Tendencias en Matemticas y Ciencias (TIMSS, 1995) y de la Evaluacin Nacional del Progreso Educativo (NAEP, 2003). Se consideraron, adems, los hallazgos sobresalientes de un extenso nmero de estudios multidisciplinarios (se presentan en la bibliografa de este documento). En este documento se explica por qu son tan importantes los cuestionarios de contexto que acompaan a las pruebas de logro educativo y se da a conocer al pblico en general la metodologa que sigue el Ceneval para su construccin. Con la publicacin de este cuaderno tcnico el Ceneval retorna a la generacin de documentos que alientan nuevas lneas de investigacin educativa.
Luca Monroy Cazorla Directora General Adjunta Tcnica y de Investigacin
Cuaderno tcnico
Introduccin
n la actualidad, se aplican en nuestro pas diversos exmenes a gran escala. Pareciera que estas pruebas son redundantes y que el nico factor que vara es la instancia que los promueve, pero no es as. Cada uno de los exmenes fue diseado con propsitos diferentes, razn por la cual dan respuesta a distintas interrogantes educativas. La prueba PISA, de la Organizacin para la Cooperacin y el Desarrollo Econmicos (OCDE), evala en adolescentes de 15 aos la adquisicin de habilidades en matemticas, comprensin lectora y ciencias. Permite comparar los niveles de logro alcanzados por los jvenes de la mayora de los pases que integran la organizacin. El Examen para la Calidad y el Logro Educativos (Excale), del Instituto Nacional para la Evaluacin de la Educacin (INEE), evala lo que los estudiantes aprenden del currculo establecido para los niveles bsicos de educacin. Examina el ltimo nivel de preescolar, algunos grados escolares de primaria y el de 3 de secundaria. Los resultados del examen permiten hacer comparaciones de los niveles de logro alcanzados entre escuelas de diferentes modalidades educativas y entre las entidades federativas. La Evaluacin Nacional del Logro Acadmico en Centros Escolares (Enlace), que promueve la SEP, cuenta con dos vertientes totalmente diferenciadas: Enlace-Bsica es un examen diagnstico de las asignaturas de matemticas, espaol y ciencias que se aplica, de manera censal, a los alumnos de 3 al 6 de primaria y a los de 3 de secundaria. Es una prueba criterial ligada al currculo oficial. Los resultados de esta prueba pretenden dar retroalimentacin sobre los logros alcanzados por cada alumno y son comunicados a los alumnos, a los padres de familia, a los docentes y a los directores de cada plantel. Enlace-Educacin Media Superior es un examen que tiene como objetivo determinar en qu medida los jvenes son capaces de aplicar a situaciones del mundo real los conocimientos y habilidades que les permitan hacer un uso apropiado de la lengua (comprensin lectora) y las matemticas (habilidad matemtica). Tambin es una prueba criterial, pero para este nivel
educativo los contenidos que se exploran no estn ligados al currculo. Los resultados se informan a los alumnos, docentes y directores. Por su parte, el Ceneval disea y aplica a gran escala el Examen Nacional de Ingreso a la Educacin Media Superior (EXANI-I), cuya finalidad es seleccionar a los mejores candidatos de ese nivel, y el Examen Nacional de Ingreso a la Educacin Superior (EXANI-II), que es una prueba de seleccin para el ingreso a estudios universitarios.
Tabla 1. Pruebas de logro a gran escala. Resumen de las caractersticas de cada instrumento Alineacin curricular No Resultado individual No Impacto para sustentante Bajo
Prueba PISA
Objetivo Evaluar al sistema educativo al trmino de la educacin obligatoria Evaluar al sistema educativo Evaluar el logro acadmico de los estudiantes Evaluar el logro acadmico de los estudiantes
Uso Impactar en la poltica educativa
Poblacin Estudiantes de 15 aos
Excale
Impactar en la poltica educativa Informar sobre el desempeo
Estudiantes de educacin bsica Estudiantes de educacin bsica y media superior Candidatos a ingresar a educacin media superior, superior y posgrado
No
Bajo
Enlace
Bsica: S EMS: No
Bajo
EXANI
Ayudar en las decisiones de admisin
EXANI-I: S, parcialmente EXANI-II: No
Alto
10
Cuaderno tcnico
Todos estos instrumentos de medicin se aplican a grandes poblaciones y evalan los conocimientos y habilidades que los jvenes han adquirido mediante procesos formales o informales de aprendizaje. El quehacer de quienes disean polticas pblicas de alto impacto educativo requiere de la acumulacin de datos relevantes, precisos y confiables que provean de elementos para guiar su proceso de toma de decisiones. Adems del diseo, construccin y calificacin de los exmenes de logro educativo, las instancias evaluadoras acompaan la mayora de las pruebas a gran escala de instrumentos complementarios, como los cuestionarios de contexto. Generalmente, estos documentos recaban informacin suficiente y relevante de los alumnos, docentes, directores, as como de las caractersticas de los planteles y programas escolares. Dada la importancia de los cuestionarios de contexto, en aos recientes el Ceneval inici el desarrollo de una metodologa que formaliza su diseo, genera una mayor informacin para la caracterizacin de la poblacin evaluada e impulsa nuevas lneas de investigacin educativa. Actualmente, la elaboracin de los cuestionarios se lleva a cabo siguiendo estndares de calidad similares a los que guan el proceso de elaboracin de los exmenes que se aplican de manera masiva. El presente trabajo responde, pues, a las siguientes interrogantes: por qu son importantes los cuestionarios de contexto?, cmo se disean?, cul es su contenido?, cmo se analizan los datos recabados?
11
Importancia de los cuestionarios de contexto
onocer el nivel acadmico de los sustentantes es un aspecto crucial, pero no es el nico factor por considerar cuando se trata de sustentar acciones que mejoren la calidad de la educacin. A efecto de optimar los recursos humanos y econmicos siempre limitados es muy importante que las autoridades y docentes de las instituciones educativas obtengan informacin suficiente y relevante que les permita ubicar en su debido contexto las diferencias en el desempeo acadmico de los estudiantes, as como promover la generacin de investigaciones que propongan modelos explicativos del rendimiento escolar. Los cuestionarios de contexto deben capturar informacin til para esos propsitos. Analicemos el siguiente ejemplo: En cierta entidad del pas, llammosla Zx, las autoridades educativas aplicaron un examen de ingreso como el EXANI-I a todos los aspirantes a seguir sus estudios de educacin media superior en los planteles pblicos del estado. Adems de los resultados individuales, que permitirn seleccionar a los mejores candidatos, las autoridades conocen que, de manera agregada, el promedio para la entidad fue de 1,009 puntos en la escala denominada ndice Ceneval (que va de 700 a 1,300 puntos). Asimismo, estn informados que la media nacional fue de 997 y la regional de 1,035 (grfica 1).
Grfica 1. Resultados del EXANI-I en la entidad Zx. Media nacional, regional y estatal
13
Esta informacin permite comparar los resultados de la entidad con la regin 1 y con el nivel nacional; sin embargo, la informacin es an bastante limitada. Al observar los resultados con atencin, seguramente surgirn mltiples interrogantes. As, quiz el responsable de las polticas educativas de la entidad podra estar interesado en conocer el nivel de logro alcanzado por los sustentantes en los estados aledaos que conforman la regin 1. Los resultados en la medida de logro varan entre los estados de la regin 1 (grfica 2). La entidad Zx obtuvo puntajes ms altos que las entidades 1 y 3, pero ms bajos que las entidades 2 y 4. Una pregunta relevante estara orientada a investigar si existen diferencias en el desempeo de los estudiantes de acuerdo con la modalidad educativa de la escuela secundaria de la que egresaron. En la grfica 3 puede verse que los estudiantes de las escuelas secundarias de la modalidad educativa A tuvieron una media de desempeo acadmico menor que las escuelas de la modalidad B. La modalidad B obtuvo una media de desempeo menor a las entidades 2 y 4, pero mayor que la media estatal: Zx; mientras tanto, la modalidad A slo muestra un mejor rendimiento que la entidad 1. Del hallazgo sobre el desempeo diferencial entre las escuelas de dos modalidades educativas, seguramente se derivarn un sinfn de preguntas: en qu difieren los docentes?, tienen instalaciones similares las escuelas de la modalidad A y B?, impacta el nivel socioeconmico de los estudiantes en los resultados del examen?
Grfica 2. Resultados del EXANI-I. Medias de los estados de la regin 1
14
Cuaderno tcnico
Para dar respuesta a la ltima interrogante se podra estimar un gradiente o indicador del nivel socioeconmico de los sustentantes, para despus investigar la contribucin de esta variable al logro acadmico. En la grfica 4 se observa la relacin entre el nivel socioeconmico y el puntaje de logro obtenido en el mbito nacional por el estado Zx, tambin se indica el promedio nacional y el de las escuelas secundarias de las modalidades A y B. Se observa, en todos los casos,
Grfica 3. Resultados del EXANI-I. Medias de los estados de la Regin 1 y medias del desempeo de los alumnos egresados de las secundarias de las modalidades A y B
Grfica 4. Resultados del EXANI-I
15
una relacin positiva entre el nivel socioeconmico y el rendimiento: a mayor nivel socioeconmico, mayores puntajes en la prueba de logro. Asimismo, se muestra que los estudiantes provenientes de la modalidad B, con similar nivel socioeconmico que los de la modalidad A, alcanzan mejores resultados de logro. De estos hallazgos pueden desprenderse nuevas preguntas para ir conformando un panorama ms completo de las condiciones que hacen diferentes a las modalidades A y B. Valga este sencillo ejemplo para resaltar la importancia de obtener informacin adicional de los sustentantes destinada a contar con elementos que expliquen las diferencias de logro educativo y describan las caractersticas de la poblacin evaluada. Sin la informacin proporcionada por los cuestionarios de contexto, la autoridad educativa no hubiera conocido el impacto del nivel socioeconmico en el desempeo, ni cmo esta variable se comporta de manera diferencial en los alumnos que provienen de las escuelas secundarias de la modalidad A y B. Por lo tanto, los cuestionarios de contexto son un complemento de las pruebas de logro. Slo a partir de ellos se puede explorar un amplio espectro de variables acerca de las prcticas y recursos personales de los sustentantes, de los docentes, de los directores, as como de los contextos escolares, familiares y comunitarios en los que se desarrollan.
Usos ms frecuentes de los cuestionarios Generalmente, los cuestionarios de contexto se ligan a los propsitos de las pruebas de logro y han sido utilizados para cumplir con los siguientes objetivos especficos: Fines descriptivos: Se describen a los sustentantes, as como el contexto en el que se desenvuelven; por ejemplo: mbito familiar y nivel econmico de los sustentantes. Caractersticas de los docentes y directores de las escuelas de procedencia. Caractersticas de los centros escolares.
16
Cuaderno tcnico
Fines de contextualizacin: Se contextualizan las medidas de logro acadmico obtenidas por los sustentantes, como: Comparar resultados del logro en las variables de contraste de inters: diferencias de los puntajes entre hombres y mujeres, entre escuelas privadas y pblicas, entre el turno matutino y vespertino, etctera. Comparar los hallazgos nacionales con la informacin internacional. Fines explicativos: Generar estudios que den cuenta del desempeo acadmico de los sustentantes: Identificar los factores que afectan el aprendizaje, detectando su aportacin en los niveles estructurales del sistema educativo. Detectar en alumnos, familia, docentes y directivos las prcticas que generan mejores resultados acadmicos. Proponer relaciones interactivas entre las variables que contribuyen sustancialmente al rendimiento escolar. Ante la conveniencia de buscar diversas fuentes de informacin, en la mayora de las pruebas de logro a gran escala se elaboran cuestionarios dirigidos a los alumnos, docentes y directores e inclusive a los padres de familia.
Modelo conceptual El inters por explicar los resultados que obtienen los estudiantes despus de haber sido expuestos a experiencias formales e informales de aprendizaje no es un tema de investigacin novedoso. De hecho, existe un amplio cuerpo de investigacin que identifica una red extensa de variables que influyen el aprendizaje. Uno de los primeros artculos que tuvo una gran influencia en la generacin de lneas de investigacin educativa es el conocido estudio de Coleman y colaboradores (1966). En esta investigacin se propuso que el desempeo de los estudiantes reciba un impacto sustancial de factores personales y familiares, mientras que la influencia del entorno escolar no pareca marcar una diferencia en el logro acadmico. Sin
17
embargo, estudios posteriores atenuaron este punto de vista, al encontrar que las variables escolares tambin contribuan a los resultados acadmicos. Por ejemplo, Scheerens y Creemers (1989) reportaron que mantener un clima seguro y ordenado en la escuela era una variable que se relacionaba con el rendimiento acadmico. En fechas ms recientes, la discusin sobre si los factores personales o escolares son ms preponderantes para explicar el rendimiento acadmico ha sido dejada de lado. Los investigadores de las reas sociales se enfocan ahora al desarrollo de modelos multifactoriales que describen las influencias interactivas de los diferentes niveles. Tal es el caso de los estudios realizados por Collins, Maccoby, Steinberg, Hetherington & Bornstein (2000); Eccles, Wigfield & Schiefele (1998); Dixon (1996); Ketsetzis, Ryan & Adams (1998); Pierce, Alfonso & Garrison (1998) y Webster-Stratton (1997). En estas investigaciones es cada vez mayor el reconocimiento de la naturaleza dinmica y compleja de los factores asociados al rendimiento acadmico (Phillips & Burbules, 2000). Por estas razones, los cuestionarios del Ceneval se basan en modelos multifactoriales que proponen interacciones complejas de las variables. En tales modelos se asume como premisa esencial que los individuos son agentes dinmicos que transforman y son transformados por una amplia gama de variables personales, sociales, escolares y econmicas (Wachs, 1996 y Johnson, 2008). Sin embargo, cada agencia de evaluacin que desarrolla cuestionarios de contexto puede asumir diferentes premisas conceptuales que guen su elaboracin.
Cmo se disean los cuestionarios de contexto Al igual que las pruebas de logro, los cuestionarios de contexto deben cumplir con estrictos controles de calidad para que puedan cubrir los objetivos para los cuales fueron diseados. Por ello, el Ceneval se dio a la tarea de elaborar una nueva generacin de cuestionarios con una metodologa formal cimentada en la participacin de un Consejo Tcnico conformado por especialistas de diversas ramas de las ciencias sociales. En esta seccin, se presentan con detalle las fases que se llevan a cabo en el Ceneval para construir los cuestionarios de contexto.
18
Cuaderno tcnico
Metodologa del Ceneval para elaborar los cuestionarios
os cuestionarios de contexto se elaboran siguiendo el procedimiento establecido por Ceneval, el cual consta de las siguientes fases: 1. Definicin de la estrategia de evaluacin 2. Establecimiento de referentes 3. Definicin de la estructura de los cuestionarios 4. Integracin de la versin preliminar 5. Integracin de la versin para piloteo 6. Validacin del instrumento 7. Aplicacin piloto 8. Verificacin estadstica 9. Integracin de la versin definitiva 10. Aplicacin de los cuestionarios 11. Base de datos y anlisis de datos
Fase 1. Definicin de la estrategia de evaluacin Esta fase constituye el cimiento de lo que ser la evaluacin de contexto. En ella se definen los usos que se dar a la informacin obtenida con el cuestionario de contexto. Tambin se determina el diseo del estudio y se analiza la viabilidad tcnica, financiera y operativa del proyecto de evaluacin. El objetivo principal de esta fase es definir, de manera clara y precisa, los propsitos fundamentales de los cuestionarios de contexto. Para ello se consideran las caractersticas de la poblacin que ser evaluada, adems de que se plantean con las personas responsables de elaborar la prueba de logro acadmico (asociada al cuestionario de contexto) las siguientes preguntas: cules son los propsitos de la evaluacin a gran escala?, qu caractersticas tienen los sustentantes del examen? y qu usos le darn las instituciones educativas a los resultados del examen de logro? Se procede a definir con detalle estos aspectos:
19
Identificacin de las caractersticas de la poblacin De manera pormenorizada se identifican las caractersticas de la poblacin sustentante, para poder determinar el lenguaje que debe ser utilizado para la redaccin de las preguntas y los aspectos viables de ser explorados, dada la edad, caractersticas y circunstancias de los sustentantes. Usos que se darn a la informacin Antes de iniciar la elaboracin de los cuestionarios de contexto es muy importante conocer con detalle los usos que las instituciones educativas darn a los resultados de la prueba de logro acadmico, as como las lneas de investigacin que pretenden desarrollar o estn interesados en promover. Con esta informacin se podr determinar si los datos de los cuestionarios de contexto sern utilizados principalmente para elaborar perfiles descriptivos de la poblacin que sustent el examen, o bien si sern utilizados en estudios trasversales o longitudinales sobre los factores asociados al desempeo acadmico. Diseo del estudio Antes de iniciar la formulacin de un cuestionario de contexto es importante: Identificar las variables que se utilizarn para unir la informacin de los cuestionarios de contexto con los resultados de la prueba de logro de cada sustentante. Precisar el tiempo mximo que debe invertir el sustentante para contestar el cuestionario de contexto. Definir si la aplicacin de los cuestionarios ser en lnea o con material impreso (lpiz y papel). Puntualizar las instrucciones que se deben presentar a los sustentantes ya sea en aplicaciones en lnea o con materiales impresos. En caso de aplicaciones con material impreso, especificar si los cuestionarios de contexto se auto-administrarn o se aplicarn en presencia de una persona que atienda las dudas de los sustentantes. Disear a grandes rasgos la estrategia de piloteo que se utilizar: determinar, por ejemplo, si en el piloteo se probar una sola versin de cuestionario o si las preguntas sern repartidas en bloques siguiendo un diseo matricial.
20
Cuaderno tcnico
En caso de aplicaciones en papel y lpiz, definir si se emplear un cuadernillo de preguntas y hojas pticas con alveolos para las respuestas, o bien, hojas pticas que presenten las preguntas seguidas de las opciones de respuesta. Cronograma de actividades En el cronograma se describe la secuencia de actividades que debern llevarse a cabo y los tiempos estimados para ello. Esta actividad de planeacin implica los siguientes pasos: Especificar la secuencia de las actividades necesarias para cumplir con el propsito de evaluacin. Designar al responsable de llevar a cabo cada una de las actividades. Estimar el tiempo necesario para que se realicen las actividades planeadas. Es importante que el tiempo propuesto permita llevar a cabo cada actividad con los estndares de calidad establecidos de la institucin. Requerimientos Se debe considerar si la instancia evaluadora cuenta con los recursos humanos, tcnicos, operativos y econmicos para que el proyecto funcione en condiciones adecuadas. Especficamente, es necesario: Identificar las caractersticas y requerimientos tcnicos de los procesos de construccin, piloteo, aplicacin, calificacin y reporte de resultados. Explicitar las acciones de apoyo que se requerirn por parte de las instituciones usuarias o de las entidades promotoras del proyecto. Detallar qu se necesita para la adecuada aplicacin de los cuestionarios. Estimar la capacidad de respuesta de las reas de apoyo para poner en funcionamiento el proyecto: impresin de materiales, almacenamiento, distribucin, aplicacin, recopilacin, clasificacin, lectura, correccin y calificacin. Estimar los recursos econmicos que se requerirn para llevar a cabo el proyecto de evaluacin de variables de contexto: retribucin econmica de los miembros del Consejo Tcnico, contratacin de asesoras especializadas (por tiempo limitado o por producto), apoyos bibliogrficos y gastos operativos de la instancia evaluadora.
21
Fase 2. Establecimiento de referentes En esta fase se busca informacin que sustente el contenido del cuestionario, considerando los antecedentes sealados en la literatura y en los cuestionarios previos; asimismo, se elabora un marco de referencia. El objetivo principal es definir los insumos que guiarn la elaboracin de los cuestionarios y el perfil acadmico de los expertos que conformarn el Consejo Tcnico. Como producto de esta fase se elabora un marco de referencia que permite justificar la incorporacin de cada una de las preguntas al instrumento. Para cumplir los objetivos de esta fase es importante considerar los siguientes aspectos. Antecedentes institucionales en la evaluacin de contexto Para elaborar un nuevo cuestionario es muy importante tomar en cuenta todos los instrumentos que se han utilizado en estudios previos por la instancia evaluadora. En esta revisin se valorar la pertinencia de las variables y preguntas exploradas con antelacin. Antes de seleccionar las variables que podran permanecer en los cuestionarios se estudia la documentacin que soporta conceptualmente a cada uno de ellos. Esta revisin debe permitir identificar tanto la racionalidad que subyace a la incorporacin de cada una de las preguntas, como la de las variables escaladas. Tambin se deben seleccionar las variables que no pueden ser excluidas o modificadas, en virtud de su importancia como variables descriptivas para los usuarios o bien porque forman parte de investigaciones transversales o longitudinales. En las preguntas viables de ser exploradas se deben detectar los problemas de la redaccin, los sesgos culturales o de gnero en los contenidos evaluados y los problemas en la construccin de las preguntas u opciones de respuesta. En el caso de que se cuente con datos estadsticos, evtese incorporar las preguntas que hayan tenido un nmero elevado de respuestas faltantes o equvocas (respuestas mltiples cuando se espera una sola).
22
Cuaderno tcnico
Elaboracin del marco de referencia Una vez establecido el objeto de la medicin, el anlisis bibliogrfico permitir conocer las escalas y variables aisladas que han sido utilizadas por investigadores nacionales y de otros pases para explorar los dominios que se desean evaluar. Asimismo, se revisan los adelantos y propuestas de evaluacin de contexto que presentan las pruebas de logro elaboradas por entidades nacionales e internacionales. Lo anterior sirve para elaborar un marco de referencia que sustente los contenidos de los cuestionarios de contexto.
Fase 3. Definicin de la estructura de los cuestionarios El objetivo de esta fase es determinar la estructura del cuestionario, cuya organizacin general habr de contener reas y dominios. Normalmente la estructura de los cuestionarios para alumnos se conforma por tres secciones o mdulos: Mdulo bsico. En esta seccin se incorporan las variables que permiten describir las caractersticas esenciales de la poblacin evaluada, as como las variables explotadas por las instituciones usuarias de las pruebas de logro o estudios importantes. Estas variables no podrn ser modificadas por el consejo tcnico que revisa los cuestionarios de contexto, pues son de exploracin permanente. Mdulo de investigacin. Esta seccin rene a las variables y escalas exploradas, con la finalidad de elaborar modelos explicativos del rendimiento acadmico de los sustentantes. Las variables de investigacin que demuestren tener una contribucin sustancial sobre el desempeo acadmico podrn incorporarse en los cuestionarios con una temporalidad limitada (establecida por el consejo tcnico). Mdulo de usuarios. Esta seccin incorpora la evaluacin de los dominios de inters para las instituciones educativas usuarias de las pruebas de logro. Para seleccionar las variables que sern incorporadas en cada uno de los mdulos es importante considerar los propsitos de la evaluacin, la poblacin objetivo y los usos que se darn a los resultados de la prueba de logro. Asimismo,
23
deben tomarse en cuenta la revisin de los cuestionarios anteriores y el marco de referencia dentro del cual se dise el cuestionario de contexto. Como consecuencia del anlisis se determinan: Las reas que se explorarn (personal, familiar, social, escolar o econmica). Los dominios especficos que se evaluarn (oportunidades de aprendizaje, capital cultural familiar, etctera). La seleccin de las variables debe responder a un propsito claro y debe incluir un soporte conceptual. Con los dominios y variables seleccionadas se podr iniciar la redaccin de las preguntas que integrarn una versin preliminar del instrumento que incluya todas las variables que se consideran pertinentes y adecuadas para la evaluacin. Generalmente, se integra un instrumento bastante extenso, el cual se sujeta a la opinin del Consejo Tcnico. Cabe sealar que los cuestionarios de contexto para docentes y directores no mantienen la estructura modular de los cuestionarios para alumnos. Estos cuestionarios se disean para proyectos especiales, por lo que persiguen objetivos variados y responden a un diseo diferente.
Fase 4. Integracin de la versin preliminar En esta fase se elabora una versin preliminar del cuestionario y se establecen las preguntas que servirn como base para la investigacin de los temas de inters. Para cumplir los objetivos de esta fase es importante considerar lo siguiente: Redaccin de las preguntas En los cuestionarios de contexto suelen utilizarse series de preguntas para explorar una dimensin, denominadas escalas o indicadores. Las escalas proponen la relacin de variables que no pueden ser observadas de manera directa (variables latentes) con variables observables (variables manifiestas). En los cuestionarios de contexto, por lo general se busca que las escalas sean unidimensionales, por lo que miden un solo rasgo o constructo.
24
Cuaderno tcnico
Cada pregunta del instrumento, independientemente de que forme parte de una escala o no, se redacta conforme los criterios de estilo institucionales, vigilando que su construccin tcnica sea adecuada (anexo II). Contribucin de las variables Si las preguntas seleccionadas provienen de cuestionarios de contexto aplicados con antelacin, se analizan cuidadosamente las bases de datos para obtener informacin sobre la calidad de las preguntas, la dimensionalidad de las escalas y la contribucin de los dominios explorados sobre el desempeo acadmico. Esta informacin es muy importante para el anlisis del Consejo Tcnico, por lo que deber ser presentada de forma grfica y con todos los anlisis estadsticos correspondientes (anexo III).
Fase 5. Integracin de la versin para piloteo Con la versin preliminar del cuestionario se determina el perfil que deben cumplir los especialistas que conformarn el Consejo Tcnico y apoyarn el proceso de elaboracin de los cuestionarios, para integrar la versin piloto. Para cumplir los objetivos de esta fase es importante considerar lo siguiente: Revisin de los expertos Para integrar los consejos tcnicos de los cuestionarios de contexto del Centro se ha optado por grupos en los que participan investigadores de diferentes disciplinas sociales, como economistas, psiclogos, socilogos, demgrafos y otras personas que se dedican a la elaboracin de encuestas o al anlisis de datos. Los consejeros son, por regla general, investigadores que laboran en entidades acadmicas de reconocido prestigio, como la UNAM, el Colegio de Mxico, el Centro de Investigacin y Docencia Econmicas, etctera. En el Ceneval cada ao se renueva una parte del Consejo Tcnico de Cuestionarios de Contexto. Sin embargo, se promueve que la mitad de investigadores permanezcan por un periodo de tres aos, lo que garantiza que se d seguimiento a las variables de investigacin que se evalan.
25
Una vez confirmados la fecha de sesin y los participantes, a cada consejero se le turna el material que se revisar, a efecto de que tenga oportunidad de analizarlo con detenimiento. Pero la versin del cuestionario que presenta el Ceneval es slo una propuesta que da inicio a la discusin; en ningn momento se indica que esas sern las variables que se pilotearn. La funcin principal del Consejo Tcnico es modificar y enriquecer los contenidos del cuestionario, por lo que de manera colegiada toma las decisiones en torno a las variables que seleccionar. El Consejo Tcnico de los Cuestionarios de Contexto brinda tambin asesoras acerca de tpicos conceptuales de los dominios que se evaluarn, proporciona informacin bibliogrfica pertinente para que sea revisada por el personal tcnico del Centro y asesora sobre las herramientas estadsticas que pueden ser utilizadas para analizar los datos. Como producto de las sesiones de contexto se tiene la seleccin de escalas y variables aisladas que se incorporarn a una versin que se probar con los grupos focales.
Fase 6. Validacin del instrumento Antes de pilotear los instrumentos es conveniente realizar un estudio cualitativo para verificar que las preguntas son adecuadas para la poblacin objetivo. Para ello se organizan pequeos grupos de individuos a los que se les entrevista. Durante la sesin se solicita que lean una pregunta, la contesten y expliquen con sus propias palabras lo que se les est preguntando. A estos grupos focales se les solicita una opinin general acerca del cuestionario y se les pide que mencionen si alguna de las preguntas les parece ofensiva o inadecuada. Con estos grupos focales se intenta mejorar las preguntas para que no se desve el sentido de lo que se pretende evaluar debido a una inadecuada redaccin o a que el lenguaje es impropio para la poblacin examinada. Con los resultados de las entrevistas se corrige algn posible error, se mejora la redaccin y se perfecciona el diseo editorial del instrumento. Posteriormente, se turna el instrumento a los consejeros, a fin de que lo revisen y aprueben los cambios surgidos como consecuencia de lo observado en los grupos focales.
26
Cuaderno tcnico
Fase 7. Aplicacin piloto Con el estudio piloto de los cuestionarios de contexto se verifica el comportamiento estadstico de las preguntas y, en ocasiones, la logstica y el uso de los materiales complementarios de la aplicacin. Especficamente, el objetivo de la aplicacin piloto de los cuestionarios de contexto es comprobar: La frecuencia de cada opcin de respuesta. Las preguntas que generan casos ausentes o respuestas equvocas en cada pregunta. La calidad de las escalas. El impacto de las variables de contexto sobre el rendimiento acadmico. Antes de llevar a cabo el estudio piloto se debe tener una etapa de planeacin en la cual se definan todos los detalles del estudio. Especialmente, se definen las caractersticas que deben tener los participantes y el tamao de la muestra. Esta muestra debe ser representativa de la poblacin objetivo. Es decir: se selecciona a las personas con caractersticas semejantes y se aplica en condiciones lo ms parecidas posibles a la aplicacin definitiva del instrumento. La representatividad de la muestra es muy importante ya que impacta en la validez de las inferencias que se hacen acerca de la calidad de las preguntas y la calidad del cuestionario. Usualmente, cuando se reciben los datos del piloteo, an no se cuenta con los resultados de las pruebas de logro, por lo que en los cuestionarios se incluyen variables para conocer el desempeo en los niveles acadmicos anteriores de los sustentantes. Por lo general, las variables seleccionadas son el promedio de calificaciones del ciclo anterior o el promedio obtenido en asignaturas importantes, tales como Espaol y Matemticas. Si la cantidad de variables del estudio piloto es muy amplia, las preguntas se podrn dividir para conformar diversas versiones de los cuestionarios. De sta forma se podr explorar un gran nmero de variables y evitar el cansancio de los sustentantes. Se debe ser muy cuidadoso en la forma como se distribuyen estas versiones en la poblacin, ya que cada una de las preguntas debe ser con-
27
testada por al menos 100 individuos que tengan las caractersticas de la muestra. Asimismo, cada versin debe incorporar preguntas sobre el desempeo acadmico, ya que sern las variables dependientes con las que ligarn las variables del cuestionario. Junto con los cuadernillos o versiones del cuestionario de contexto que se apliquen en el estudio piloto, se deben entregar a los aplicadores los manuales que expresan, de manera clara y detallada, todas las actividades que deben efectuar frente al grupo de sustentantes, as como en lo que corresponde a la recepcin del material y envo de los cuestionarios ya contestados.
Fase 8. Verificacin estadstica del estudio piloto En esta fase se organiza la base de datos de los resultados del estudio piloto y se hacen los anlisis pertinentes para poder tomar la mejor decisin en cuanto a la versin final del cuestionario. Para cumplir con este objetivo es importante elaborar: Diccionario de datos El diccionario de datos describe las caractersticas que tiene el archivo de datos y sirve para entender el contenido del archivo. Este documento tcnico es indispensable para el manejo, organizacin y resguardo de la informacin, ya que nos indica las propiedades de los datos o variables, tales como: nombre del campo o variable, tipo de datos (carcter, numrico, etctera), longitud, valores posibles que toma la variable, significado de la variable y otros. El diccionario de datos sirve tanto al diseador de la base de datos como a las personas que usan la informacin. En l se establecen las especificaciones que permitirn al diseador de las bases de datos traducir las repuestas de los sustentantes (plasmadas en las hojas de respuesta electrnica) a datos numricos. Al usuario, el diccionario le es til ya que describe cada uno de los campos de la base de datos. El diccionario de datos se elabora a partir de los instrumentos de recoleccin de datos (cuestionarios en papel o en lnea). Contiene todos los campos que se llenarn con la lectura de las hojas de respuesta: datos de identificacin del sustentante, respuesta a cada pregunta del cuestionario, as como datos de identi-
28
Cuaderno tcnico
ficacin de la sesin de aplicacin que se aaden para la organizacin de los datos (tipo de instrumento, nmero, fecha y sede de aplicacin). Contribucin de las variables Los anlisis estadsticos de los datos del piloteo se efectan de acuerdo con el mtodo sealado en el anexo III. Los datos estadsticos son esenciales para que los consejeros seleccionen las variables que podrn incorporarse en las versiones definitivas del instrumento.
Fase 9. Integracin de la versin definitiva Esta fase incluye las sesiones con el Consejo Tcnico donde se analizan los resultados obtenidos en el piloteo para elaborar la versin definitiva del cuestionario. Consta de tres etapas: planeacin, sesiones de consejo y revisin editorial. Planeacin Una vez que el personal tcnico analiz los datos estadsticos de los cuestionarios, se elabora la documentacin necesaria para llevar a cabo las sesiones de Consejo, a saber: La estructura que contendrn los cuestionarios. Este documento es una tabla en la que se muestran las reas y dominios que se evaluarn, las preguntas que se incluirn en cada dominio y se identifican las preguntas que conforman una escala. La propuesta de versin definitiva del cuestionario. Este documento, elaborado por el personal tcnico del centro, contiene todas las preguntas que se sugiere evaluar con las opciones de respuesta que se presentarn a los sustentantes. Los anlisis estadsticos. Se presentan los resultados del piloteo y todos los anlisis que sustentan las decisiones de la seleccin de variables. Sesiones del consejo tcnico Considerando siempre los propsitos que se desean cumplir con la evaluacin de contexto, los miembros del consejo tcnico revisan la propuesta y los datos
29
empricos que resultaron del piloteo. Al trmino de las sesiones de consejo se deber contar con la estructura del cuestionario, la versin definitiva del cuestionario que se aplicar a los sustentantes y la propuesta de instrucciones que debern ser incorporadas en los manuales para el aplicador o al empezar una sesin en lnea. Revisin editorial Esta fase tambin comprende la revisin de estilo de los cuestionarios de contexto. Una vez corregido cualquier error de redaccin, ortografa o contenido, los cuestionarios que vayan a imprimirse deben de ser revisados y editados nuevamente. Antes de girar la instruccin de impresin, es conveniente realizar una nueva revisin en la que se verifique que las personas que disearon las hojas electrnicas no hayan cometido ningn error y que las preguntas se hayan distribuido correctamente en las hojas.
Fase 10. Aplicacin de los cuestionarios Esta fase tiene como objetivo que los sustentantes respondan el cuestionario de contexto con apego a las recomendaciones del consejo tcnico y siguiendo procedimientos estandarizados que se especifican en los manuales diseados con tal fin. Existen diversas variantes en la aplicacin de los cuestionarios de contexto: Tipo de aplicacin Aplicacin con materiales impresos. En esta categora estn las sesiones de aplicacin en las que cada uno de los sustentantes recibe los cuestionarios de contexto impresos. Se trata de un cuadernillo y una hoja de respuestas de lectura ptica, o bien nicamente hojas en las que se incorporen las preguntas seguidas de las opciones de respuesta. Las aplicaciones en sedes se pueden llevar a cabo: Con un aplicador en el aula dando instrucciones y resolviendo dudas. Con autoadministracin.
30
Cuaderno tcnico
Aplicaciones en lnea. En estas aplicaciones se administra cada una de las preguntas del cuestionario a los sustentantes utilizando una plataforma informtica. Las aplicaciones en sedes se pueden efectuar: Con un aplicador en el aula dando instrucciones y resolviendo dudas. Con autoadministracin. Momento de aplicacin Aplicaciones simultneas. En este tipo de aplicaciones, las pruebas de logro acadmico y los cuestionarios de contexto se proporcionan en sesiones secuenciadas. Generalmente, se aplica primero la prueba de logro y despus el cuestionario de contexto. Aplicaciones diferenciadas. En esta variante los cuestionarios se aplican en das diferentes a los de las pruebas de logro. En esta categora estn las aplicaciones del cuestionario de contexto que se llevan a cabo cuando los sustentantes se registran para un examen. Una vez identificadas las caractersticas que tendrn las sesiones de aplicacin, se elaboran los manuales que guiarn a los aplicadores. Estos documentos, adems de explicar asuntos de logstica y seguridad, comprenden instrucciones que se deben brindar a los sustentantes a efecto de minimizar los errores y garantizar que los cuestionarios se resuelvan completamente. La capacitacin de los aplicadores es de particular relevancia para garantizar que las sesiones fluyan de manera adecuada. Una vez iniciadas las sesiones de aplicacin, el aplicador deber apegarse fielmente a las indicaciones del manual. El sistema de recoleccin del material ya contestado, la clasificacin y su entrega son aspectos que se describen detalladamente en el manual del aplicador. Por supuesto, la aplicacin de las pruebas de logro y de los cuestionarios de contexto requiere de procedimientos de seguimiento y control que garanticen el apego a los estndares de calidad establecidos por la institucin. Por ello, paralelamente se disea una estrategia de supervisin que dar retroalimentacin del alineamiento que se tiene sobre los procedimientos normados.
31
Fase 11. Base de datos y anlisis de datos Una vez ledas las hojas del cuestionario de contexto se conforma una base de datos con las especificaciones asentadas en el diccionario de datos y se procede a realizar los anlisis estadsticos. Antes de ello, la base de datos debe ser validada. En este procedimiento se verifica que cada uno de los campos slo contenga los caracteres permitidos y establecidos en el diccionario. Anlisis estadsticos Los anlisis estadsticos que se realizan con los datos de las aplicaciones definitivas tienen tres objetivos especficos: Elaborar perfiles descriptivos de la poblacin sustentante. En este reporte se incorporan las frecuencias obtenidas en las preguntas del mdulo bsico y del mdulo de los usuarios. En ocasiones, cuando los usuarios lo solicitan, en los perfiles se incorpora informacin sobre las diferencias obtenidas en los puntajes de logro por las variables de contraste seleccionadas (sexo, tipo de escuela, etctera). Analizar el comportamiento de las variables. Se verifican las frecuencias de cada una de las opciones de respuesta que contiene el cuestionario, se identifican las variables que generaron casos faltantes o respuestas mltiples y se analiza la calidad de las escalas y la contribucin de las variables aisladas y escaladas sobre el desempeo acadmico. Al trmino de estos anlisis se puede convocar al consejo tcnico para iniciar el proceso de seleccin de variables de los cuestionarios que se aplicarn en el siguiente ciclo. Realizar estudios sobre los factores asociados al rendimiento. Se procede a efectuar los anlisis correspondientes, de acuerdo con las caractersticas de la informacin que se haya recolectado y de las preguntas de investigacin a las que se haya querido dar respuesta. En el anexo III se incluye informacin pertinente para guiar los anlisis estadsticos que se llevan a cabo con los datos de los cuestionarios de contexto.
32
Cuaderno tcnico
Bibliografa
n esta seccin se presentan algunas de las referencias bibliogrficas ms representativas de la literatura relacionada con las variables de los cuestionarios de contexto. En primer lugar aparecen las referencias generales que se presentaron en el cuerpo del documento y en los anexos, y a continuacin se indican las referencias ordenadas por dominio y por variable. Los dominios de los cuales se presentan referencias son: I. Datos personales II. Recursos cognitivos III. Recursos no cognitivos IV. Situacin laboral V. Comportamientos de riesgo VI. Trayectoria acadmica VII. Caractersticas de las escuelas de procedencia VIII. Calidad de la escuela IX. Familia
Referencias bibliogrficas generales Backhoff, E. et al. (2007). Factores escolares y aprendizaje en Mxico. El caso de la educacin bsica. Mxico: Instituto Nacional para la Evaluacin de la Educacin (INEE) Backhoff, E. et al. (2007). Aprendizaje y desigualdad social en Mxico. Implicaciones de polticas educativas en el nivel bsico. Mxico: Instituto Nacional para la Evaluacin de la Educacin (INEE) Coleman, J. et al. (1966). Equality of Educational Opportunity. Washington DC: U.S. Government Printing Office Collins, W.A. et al. (2000). Contemporary Research on Parenting: The Case for Nature and Nurture. American Psychologist, 2, 218-232
33
Dixon, J.A. y C.F. Moore (1996). The developmental role of intuitive principals of choosing mathematical strategies. Developmental Psychology, 32(2), 241-253 Eccles, J.S., A. Wigfield y U. Schiefele (1998). Motivation to succeed, en W. Damon y N. Eisenberg (eds.), Handbook of child psychology: Social, emotional and personality development. New York, NY, EE. UU: Wiley, pp. 1017-1095 Henrik, J. et al. (2005). Explaining Student Performance. Evidence from the international PISA, TIMSS and PIRLS surveys. Holland: Danish Technological Institute Hernndez, J., A. Mrquez y J. Palomar (2006). Factores asociados con el desempeo acadmico en el EXANI-I. Zona Metropolitana de la Ciudad de Mxico 1996-2000. Revista Mexicana de Investigacin Educativa, 11, 547-581 Johnson, E. (2008). Ecological Systems and Complexity Theory: Toward an alternative of accountability in education. Complicity: An International Journal of Complexity and Education, 5(1), 1-10 Ketsetzis, M., B.A. Ryan y G.R. Adams (1998). Family processes, parentchild interactions, and child characteristics influencing school-based social adjustment. Journal of Marriage and the Family, 60, 374-387 Masters, G.N. (1982) A Rasch model for partial credit scoring. Psychometrika, 47, 149-174 Monroy, L., E. Backhoff, y M.L. Tanamachi (2005). Marco de Referencia de los Cuestionarios de Contexto de los Excale-03. Mxico: Instituto Nacional para la Evaluacin de la Educacin (INEE) Mullis, I. (2002). Background Questions in TIMSS and PIRLS: An Overview. TIMSS and PIRLS International Study Center. Department of Educational Research, Measurement, and Evaluation. Lynch School of Education, Boston College Mullis, I. et al. (2005). TIMSS 2007 Assessment Frameworks. Boston: TIMSS & PIRLS International Study Center, Lynch School of Education, Boston College Mullis, I. et al. (2002). Marcos tericos y especificaciones de evaluacin de TIMSS 2003. Madrid: Ministerio de Educacin, Cultura y Deporte, Instituto Nacional de Calidad y Evaluacin
34
Cuaderno tcnico
(2003). Background information framework for the Educational Progress. National Assessment of Educational Progress. Disponible en: http:// www.nagb.org/pubs/backin foframenew.pdf [consulta: 1 de septiembre de 2005] Program for International Student Assesment (2004). Contextual Framework for PISA 2006. Monitoring Knowledge and Skills in the New Millennium. National Project Managers Meeting, Draft version. Program for International Student Assessment OECD-NPM (0408)8 Pierce, S. et al. (1998). Examining proximal processes in young childrens home environments: A preliminary report. Family & Consumer Sciences Research, 27 (1), 3-34 Program for International Student Assesment (2001). Knowledge and Skills for Life. First Results from PISA 2000. OECD-publication Program for International student Assesment (2004a). Learning for tomorrows world. First results from PISA 2003. OECD-publication Program for International Student Assesment (2004b). Message from PISA 2000. OECD-publication Scheerens, J. & Creemers, B.M. (1989). Towards a more comprenhensive conceptualization of school effectiveness, en B.M.P. Creemers, T. Peters y D. Reynolds (eds.), School effectiveness and school improvement. Lisse: Swets&Zeitlinger, 265-278 TIMSS (1995). Study International versions of the background questionnaires, population 2. User guide. Trends in International Mathematics and Science Supplement TIMSS (2003). Study International versions of the background questionnaires 2003. Trends in International Mathematics and Science Supplement TIMSS and PIRLS (2002). Background Questions in TIMSS and PIRLS: An Overview. TIMSS and PIRLS International Study Center TIMSS and PIRLS (2007). Assessment Frameworks. TIMSS and PIRLS International Study Center Wachs, T.D. (1996). Known and potential processes underlying developmental trajectories in childhood and adolescence. Developmental Psychology, 32(4), 796-801
NAEP
35
Webster-Stratton, C. y M. Hammond (1997). Treating children with early onset conduct problems: A comparison of child and parent training interventions. Journal of Consulting and Clinical Psychology, 65 (1), 93-109
Dominio I. Datos personales Variable: Sexo Hyde, J. (2005). The Gender Similarities Hypothesis. American Psychologist. 60(6) 581-592 Variable: Edad Velez, E., E. Schiefelbein, y J. Valenzuela (1994). Factores que afectan el rendimiento acadmico en la educacin primaria. Revisin de la literatura de Amrica Latina y el Caribe. Revista Latinoamericana de Innovaciones Educativas, 17, 29-53 Variable: Estado civil INEGI (2000). Distribucin porcentual de la poblacin de 12 y ms aos segn estado conyugal para cada sexo y grupo decenal de edad, 2000. Disponible en: http://www.inegi.gob.mx/est/contenidos/espanol/rutinas/ept. asp?t=mpob75&s=est&c=3252 [consulta: 13 de febrero de 2008] Variable: Grupo tnico INEGI (2004). Estadsticas a propsito del da internacional de las poblaciones indgenas: Datos nacionales. Mxico: Instituto Nacional de Estadstica, Geografa e Informtica Variable: Necesidades especiales INEGI (2008a). Discapacidad en Mxico. Disponible en: http://cuentame. inegi.gob.mx/poblacion/discapacidad.aspx?tema=P# [consulta: 16 de enero de 2008]
36
Cuaderno tcnico
Dominio II. Recursos cognitivos Variable: Cmputo Atwell, P. (2000). Beyond the digital divide [Working paper No. 164]. New York: Russell Sage Foundation Gross, E.F. (2004). Adolescent Internet use: What we expect, what teens report. Journal of Applied Developmental Psychology, 25, 633-649 Jackson, L.A. et al. (2006). Does home Internet use influence the academic performance of low-income children? Developmental Psychology, 42, 429-435 Wenglinsky, H. (1998). Does it compute? The relationship between educational technology and student achievement in mathematics. Princeton, NJ: Educational Testing Service. Disponible en: http://72.14.253.104/search?q= cache:2da4agan4wJ:ftp://ftp.ets.org/pub/res/technolog.pdf+wenglinsky+does +it+compute%3F&hl=es&ct=clnk&cd=2&gl=mx [Consulta: 2 de agosto de 2007]
Dominio III. Recursos no cognitivos Bowles, S., S. Gintis, y M. Osborne, (2001). Incentive-Enhancing Preferences: Personality, Behavior and Earnings. American Economic Review, 91, 155-158 Heckman, J. y Y. Rubinstein, (2001). The Importance of Noncognitive Skills: Lessons from the GED Testing Program. The American Economic Review, 91(2): 145-149 Heckman, J., J. Stixrud, & S. Urzua (2006). The effects of cognitive and noncognitive abilities on labor market outcomes and social behavior. Journal of Labor Economics, 24 (3), 411-482 Sedlacek, W. (2004). Why we should use noncognitive variables with graduate and professional student. The Advisor: The Journal of the National Association of Advisors for the Health Professions, 24, 32-39
37
Variable: Motivacin Barron, K.E. & J.M. Harackiewicz, (2001). Achievement goals and optimal motivation: Testing multiple goal models. Journal of Personality and Social Psychology, 80, 706-722 Elliot, A.J. & H.A. McGregor (2001). A 2 x 2 achievement goal framework. Journal of Personality and Social Psychology, 80, 501-519 Gottfried, A.E. (1990). Academic intrinsic motivation in young elementary school children. Journal of Educational Psychology, 82, 525-538 Gottfried, A.E. (1985). Academic intrinsic motivation in elementary and junior high school students. Journal of Educational Psychology, 77, 631645 Hanushek, E.A. & L. Wmann (2007). Education Quality and Economic Growth. The World Bank. Washington, D.C. Harackiewicz, J.M. et al. (2002). Revision of achievement goal theory: Necessary and illuminating. Journal of Educational Psychology, 94, 638645 Harter, S. & J.P. Connell (1984). A model of childrens achievement and related self-perceptions of competence, control, and motivational orientation. En Nicholls, J. Advances in motivation and achievement, 219-250. Greenwich, CT: JAI Press Lloyd, J. & L. Barenblatt (1984). Intrinsic intellectuality: Its relations to social class, intelligence, and achievement. Journal of Personality and Social Psychology, 46, 646-654 Menon, M.E. (1997). Perceived Economic Benefits of Higher Education: The Case of Cyprus. Education Economics, 5, 53-61 Snyder, T. & C. Hoffman (2002). Digest of educational statistics 2001. Washington, DC: National Center for Education Statistics Statistics Canada. (2002). Youth in Translation Survey. Ottawa, Ontario, Canada: Statistics Canada
38
Cuaderno tcnico
Variable: Manejo de tiempo Britton, B.K. & A. Tesser (1991). Effects of time-management practices on college grades. Journal of Educational Psychology, 83, 405-410 Macan, T.H. et al. (1990). College students time management: Correlations with Academic Performance and Stress. Journal of Educational Psychology, 82, 760-768 Variable: Compromiso acadmico Coie, J.D. & M.R. Jacobs (1993). The role of social context in the prevention of conduct disorder. Development and Psychopathology, 5, 263-75 Cooper, H.M. et al. (1998). Relationships among attitudes about homework assigned and completed and student achievement. Journal of Educational Psychology, 90, 70-83 Finn, J. (1989). Withdrawing from school. Review of Educational Research, 59, 117-42 Rumberger, R.W. (1983). Dropping out of high school: The influence of race, sex, and family background. American Educational Research Journal, 20, 199-220 Rumberger, R.W. (1995). Dropping out of middle school: A multi-level analysis of students and schools. American Educational Research Journal, 32, 583-625 Willms, D. (2003). Student engagement at school. A sense of belonging and participation. Results from PISA 2000. OCDE, Organization for Economic Cooperation and Development Yoshikawa, H. (1994). Prevention as cumulative protection: Effects of early family support and education on chronic delinquency and its risks. Psychological Bulletin, 115, 28-54 Variable: Auto-control Loewenstein, G. & J. Elster (1992). Choice over time. Nueva York: Russel Sage Foundation Rachlin, H. (2000). The science of self-control. Massachussets: Harvard University Press
39
Variable: Auto-concepto Ginsburg-Block, M., J.W. Fantuzzo & C. A. Rohrbeck (2006). A MetaAnalytic Review of Social, Self-Concept, and Behavioral Outcomes of PeerAssisted Learning. Journal of Educational Psychology, 98 (4), 732-749
Dominio IV. Situacin laboral Greenberg, E. et al. (1980). Adolescence who work: Effects of part-time employment on peer relations. Journal of Youth and Adolescence, 9, 189202 INEGI (2004a). El Trabajo Infantil en Mxico.1995-2002. Aguascalientes: Instituto Nacional de Estadstica, Geografa e Informtica Marsh, H.W. (1991). Employment during high school: Character building or subversion of academic goals?. Sociology of Education, 64, 172-189 UNICEF (2008). Trabajo infantil. Disponible en: http://www.unicef.org/mexico/spanish/proteccion_6928.htm [consulta: 7 de febrero de 2008] Variable: Antecedentes laborales Goldschmidt, P. & J. Wang (1999). When can schools affect dropout behavior? A longitudinal multilevel analysis. American Educational Research Journal, 36, 715-738 Rumberger, R.W. (2001). Who drops out of school and why?. En Beatty, A. et al. Understanding Dropouts: Statistics, Strategies, and High-Stakes Testing. Washington, D.C.: National Academy Press Seltzer, M.H. (1994). Studying variation in program success: A multilevel modeling approach. Evaluation Review, 18, 342-361
40
Cuaderno tcnico
Variable: Trabajo actual Bachman, J.G. (1983). Premature affluence: Do high school students earn too much?. Economic Outlook USA, 10, 64-67. Chaplin, D. & J. Hannaway, (1996). High school employment: meaningful connections for at-risk youth. Research report. The Urban Institute, Washington, D.C. Disponible en: http://www.urban.org/publications/406506. html [consulta: 25 de septiembre de 2007] Fazio, M.V. (2004). Incidencia de las horas trabajadas en el rendimiento acadmico de estudiantes universitarios argentinos. Universidad Nacional de la Plata, Facultad de Ciencias Econmicas. Disponible en: http://www. depeco. econo.unlp.edu.ar/doctrab/doc52.pdf [consulta: 5 de junio de 2008] Kablaoui, B.N., & A.J., Jr. Paulter (1991). The effects of part-time work experience on high school students. Journal of Career Development, 17, 195-211 McNeil, L. (1984). Lowering expectations: The impact of student employment on classroom knowledge. Madison, WI: Wisconsin Center for Educational Research Patrinos, H.A. & G. Psacharopoulus (1997). Tamao de la familia, escolarizacin y trabajo infantil en el Per: un anlisis emprico. Peridico de Economa de la poblacin, 10, 337-386 Schoenhals, M., M. Tienda & B. Schneider (1998). The educational and personal consequences of adolescent employment. Social Forces, 77, 723762 Steinberg, L.D. (1982). Jumping off the work experience bandwagon. Journal of Youth and Adolescence, 11, 183-205 Steinberg, L.,S. Fegley, & S.M. Dornbusch (1993). Negative impact of parttime work on adolescent adjustment: evidence from a longitudinal study. Developmental Psychology, 29, 171-180 UNICEF-DIF (2000). Programa para la prevencin, atencin, desaliento y erradicacin del trabajo infantil urbano marginal. Mxico: UNICEF-DIF
41
Dominio V. Comportamientos de riesgo Consejo Nacional Contra las Adicciones (2003). Observatorio Mexicano en tabaco, alcohol y otras drogas 2003. Mxico, Consejo Nacional Contra las Adicciones, Secretara de Salud Variable: Consumo de sustancias adictivas Benton, S. et al. (2004). College student protective strategies and drinking consequences. Journal Studies on Alcohol, 65, 115-121 Carson, J., J. Barling, & N. Turner (2007). Group Alcohol Climate, Alcohol Consumption, and Student Performance. Group Dynamics: Theory, Research, and Practice, 11, 31-41 Medina-Mora, M.E. et al. (2003). Uso y Abuso de alcohol en Mxico. Resultados de la Encuesta Nacional de Adicciones 2002. En Consejo Nacional Contra las Adicciones. Observatorio Mexicano en tabaco, alcohol y otras drogas 2003. Mxico, Consejo Nacional Contra las Adicciones, Secretara de Salud SEP (2007). Encuestas de consumo de drogas en estudiantes 2006. Disponible en: http://www.afsedf.sep.gob.mx/drogas_estudiantes/index.jsp [consulta: 4 de marzo de 2008] Tucker, J.S. et al. (2008). Temporal Associations of Cigarrette Smoking With Social Influences, Academic Performance, and Delinquency: A Four Longitudinal Study From Ages 13 to 23. Psychology of Addictive Behaviors, 22, 1-11 Villatoro, J. et al. (1999). Consumo de drogas, alcohol y tabaco en estudiantes del Distrito Federal. Medicin de otoo 1997. Reporte global del Distrito Federal. SEP, IMP Mxico Variable: Consumo de sustancias ilegales Dryfoos, J.G. (1990). Adolescents at risk: Prevalence and prevention. New York: Oxford University Press
42
Cuaderno tcnico
(2004b). Encuesta Nacional de Adicciones 2002. Aguascalientes: Instituto Nacional de Estadstica, Geografa e Informtica Shaffi, M. & S.L. Shaffi (2000). School Violence. Assessment, Management, Prevention. Washington, D.C., Estados Unidos
INEGI
Variable: Comportamiento antisocial Battin-Pearson, S.P. et al. (2000). Predictors of Early High School Dropout: A Test of Five Theories. Journal of Educational Psychology, 92(3), 568-582
Dominio VI. Trayectoria acadmica Barrington, B. & B. Hendricks (1989). Differentiating Characteristics of High School Graduates, Dropouts, and Non-graduates. Journal of Educational Research, 82, 309-19 Bloom, B. (1964). Stability and change in human characteristics. New York: John Wiley & Sons Ensminger, M. & A. Slusarcick (1992). Paths to High School Graduation or Dropout: A Longitudinal Study of a First-Grade Cohort. Sociology of Education, 65, 95-113 Garnier, H.E., J.A. Stein & J.K. Jacobs (1997). The process of dropping out of high school: A 19- year perspective. American Educational Research Journal, 34, 395-419 Variable: Trayectoria acadmica en Educacin Media Superior Alexander, K.L., D.R. Entwisle & S.L. Dauber (1996). Children in motion: School transfers and elementary school performance. Journal of Educational Research, 90, 3-12 McDonnell, L.M. (1995). Opportunity to learn as a research concept and a policy instrument. Educational Evaluation and Policy Analysis, 17, (3) 305-322
43
Rhodes, V.L. (2005). Kids on the move: The effects of student mobility on NCLB school accountability ratings. Urban Education Journal, 3(3) Rumberger, R.W. et al. (1999). The educational consequences of mobility for California students and schools. Berkeley, CA: Policy Analysis for California Education
Dominio VII. Caractersticas de las escuelas de procedencia Schiefelbein, E. & J. Farrell (1982). Eight years of their lives: Through schooling to the labour market in Chile. Ottawa: IDRC Schiefelbein, E. & J. Farrell (1984). Education and Occupational Attainment in Chile: the Effects of Education Quality, Attainment, and Achievement. American Journal of Education, 92, 125-162 Variable: Primaria Willms, D. (2006). Las brechas de aprendizaje: Diez preguntas de la poltica educativa a seguir en relacin con el desempeo y la equidad en las escuelas y los sistemas educativos. Instituto de Estadstica, UNESCO, Montreal Variable: Secundaria Kursat, A. (2005). Predicting Turkish Ninth Grade Students Algebra Performance. The Mathematics Educator, 15 (1), 25-34
Dominio: VIII Calidad de la escuela Cuttance, P. (1987). Modelling variations in the effectiveness of schooling. Edinburgh: Centre for Educational Sociology Brookover, W. et al. (1979). School social systems and student achievement: schools make a difference. New York: Praeger Mayer, D.P. et al. (2000). Monitoring School Quality: An Indicators Report. Washington, D.C.: National Center for Education Statistics
44
Cuaderno tcnico
Rutter, M. et al. (1979). Fifteen thousand hours: Secondary schools and their effects on children. Cambridge, MA: Harvard University Press Variable: Exigencia de la escuela NCES National Center for Education Statistics (2001). Monitoring School Quality: An Indicators Report. Disponible en: http://nces.ed.gov/pubs 2001030.pdf [consulta: 30 de septiembre de 2008] Rivkin, S., E. Hanushek and J. Kain (2005). Teachers, schools and Academic Achievement. Econometrica, 73 (2), 417-458 Variable: Calidad de los maestros Hanushek, E.A. (1996). A More Complete Picture of School Resource Policies. Review of Educational Research, 66, 397-409 Hedges, L.V., R.D. Laine and R. Greenwald (1994). Does Money Matter? A Meta-Analysis of Studies of the Effects of Differential School Inputs on Student Outcomes. Educational Researcher, 23, 5-14 McKeachie, W.J. (1990). Research on College Teaching: The Historical Background. Journal of Educational Psychology, 82, 189-200 Schwartz, W. (1995). Opportunity to Learn Standards: Their Impact on Urban Students. ERIC/CUE Digest Number110 Variable: Clima escolar Freiberg, H.J. (1998). Measuring school climate: Let me count the ways. Educational Leadership, 56 (1), 22-26 Hanna, J.W. (1998). School climate: Changing fear to fun. Contemporary Education, 69, (2) 83 Lpez, J.A. & M.L. Moreno (1997). Resultados de Matemticas. Tercer Estudio Internacional de Matemticas y Ciencias (TIMSS). Espaa: Ministerio de Educacin y Cultura. Secretara General de Educacin y Formacin Profesional Trevio, E. y G. Trevio (2003). Estudio sobre las desigualdades educativas en Mxico: la incidencia de la escuela en el desempeo acadmico de los alumnos y el rol de los docentes. Mxico: Instituto Nacional para la Evaluacin de la Educacin
45
Dominio IX. Familia Hong, S. & H. Hsiu-Zu (2005). Direct and Indirect Longitudinal Effects of Parental Involvement on Student Achievement: Second-Order Latent Growth Modeling Across Ethnic Groups. Journal of Educational Psychology. 97(1), 32-42 Noack, P. (2004). The Family Context of Preadolescents Orientations Toward Education: Effects of Maternal Orientations and Behavior. Journal of Educational Psychology, 96:4, 714-722 Variable: Capital econmico Muoz-Izquierdo, C. (2001). Educacin y desarrollo econmico y social. Polticas pblicas en Mxico y Amrica Latina durante las ltimas dcadas del siglo XX. Revista Perfiles educativos, 23 (91), 7-36 Variable: Capital cultural Bourdieu, P. (1977). Cultural reproduction and social reproduction. En J. Karabel & A.H. Halsey (eds.). Power and ideology in education. New York: Oxford University Press Variable: Estructura familiar Monroy, L., E. Backhoff & H. Tanamachi (2005). Marco de Referencia de los Cuestionarios de Contexto de los Excale-03. Mxico: Instituto Nacional para la Evaluacin de la Educacin Sigle-Rushton, W. & S. McLanahan (2002). Father absence and child wellbeing: A critical review. Center for Research on Child Wellbeing Working Paper #02-20 FF
46
Cuaderno tcnico
Variable: Involucramiento de los padres Barber, B.K., J.E. Olsen, & S.C. Shagle (1994). Associations between parental psychological and behavioral control and internalized and externalized behaviors. Child Development, 65, 1120-1136 Fehrmann, P.G., T.Z. Keith & T. Reimers (1987). Home Influence on school learning: Direct and indirect effects of parental involvement on high school grades. Journal of Educational Research, 806, 330-37 Galambos, N.L. & J.L. Maggs (1991). Out-of-School Care of Young Adolescents and Self-Reported Behavior. Developmental Psychology, 27, 644-655 Kurdek, L.A. & M.A. Fine (1994). Family acceptance and family control as predictors of adjustment in young adolescents: Linear and curvilinear, or interactive effects?. Child Development, 65, 1137-1146
47
Anexo I. Cuestionarios de contexto asociados a las principales pruebas de logro
ara sustentar la estrategia de evaluacin de los cuestionarios de contexto asociados a las principales pruebas de logro del Ceneval, se realiza un anlisis minucioso; se revisan los instrumentos elaborados por instancias nacionales e internacionales. En esta revisin se considera el anlisis de los objetivos, de los contenidos y algunos de sus resultados. A continuacin se presentan las caractersticas de las pruebas de logro y de sus cuestionarios de contexto.
PISA En 1997, la Organizacin para la Cooperacin y el Desarrollo Econmicos (OCDE) puso en marcha el Programa para la Evaluacin Internacional de Estudiantes (PISA por sus siglas en ingls), como un esfuerzo de distintos pases para evaluar los resultados de sus sistemas educativos (OCDE, 2004a; OCDE, 2004b). La prueba se aplica a los alumnos de 15 aos con el objetivo de medir hasta qu punto se encuentran preparados para afrontar los retos que les plantear su vida futura. La primera evaluacin fue en el 2000 y se realiza cada tres aos. En cada evaluacin se analiza a profundidad un rea especfica, y de las otras dos se obtiene un sumario de habilidades. Las reas evaluadas han sido la competencia lectora en 2000, la competencia matemtica en 2003 y la competencia cientfica en 2006. Para poder entender los resultados y explicar las diferencias en el desempeo de los estudiantes, PISA elabora cuestionarios de contexto para estudiantes y para directivos. Adems, estudia el contexto de los estudiantes en tres niveles: Caractersticas individuales de los estudiantes: antecedentes, actitudes hacia el aprendizaje, compromiso hacia la escuela, estrategias de aprendizaje, el entorno familiar de los alumnos (capital econmico, social y cultural). Caractersticas de las escuelas: el ambiente en el saln de clases descrito por los estudiantes, la calidad de los recursos y materiales escolares, as como las prcticas de los maestros. Adicionalmente, se evalan recursos y procesos escolares descritos por los directores de las escuelas.
49
Caractersticas de los sistemas escolares: se estudia por ejemplo, la autonoma que se da a las escuelas en la toma de decisiones y la manera en la que se agrupan a los estudiantes en las escuelas. Se pueden encontrar algunos de los resultados de los cuestionarios de contexto en PISA (2001), PISA (2004a), PISA (2004b) y PISA (2004c).
TIMSS y PIRLS Para comparar polticas y prcticas educativas de diferentes pases, la Asociacin Internacional para la Evaluacin del Rendimiento Escolar (IEA por sus siglas en ingls) aplica el examen TIMSS (Estudio Internacional de Tendencias en Matemticas y Ciencias) y el examen PIRLS (Estudio Internacional de Progreso en Comprensin Lectora). TIMSS se ha aplicado en 1995, 1999, 2003 y 2007 (Mullis et al. 2005, Lpez y Moreno, 2007). La aplicacin de TIMSS 2003 incluy la participacin de ms de 50 pases y se aplic a estudiantes de cuarto y octavo grado (segundo de secundaria). Mientras que PIRLS se aplic por primera vez en 2001, participaron 35 pases y la poblacin objetivo fueron los estudiantes del cuarto ao del sistema educativo estadounidense. Tanto TIMSS como PIRLS incluyen cuestionarios de contexto (Mullis, 2002; Mullis et al., 2002). Los objetivos especficos de estos cuestionarios de contexto son: Entender los niveles de resultados educativos y las diferencias que existen entre los niveles de los estudiantes. Documentar las brechas en el desempeo entre los grupos favorecidos y los desfavorecidos, y cmo estas discrepancias cambian con el tiempo. Informar sobre el acceso que tienen los alumnos a los contenidos curriculares, indicando si el tiempo es suficiente para cubrir todo el currculo, si los docentes imparten el tiempo reglamentario de clases, cmo se est enseando el contenido y si el ambiente familiar favorece el aprendizaje de estos contenidos. Estos rubros en la literatura se denominan como oportunidades de aprendizaje.
50
Cuaderno tcnico
Documentar la manera en la que se distribuyen los recursos educativos entre diferentes grupos de sujetos. Tanto TIMSS (2003) como PIRLS incluyen adems del cuestionario para el estudiante, cuestionarios para el maestro y para la escuela (directores). Adicionalmente, PIRLS incluye un cuestionario para padres y TIMSS, cuestionarios acerca de los currculos de matemticas y ciencia. Algunas de las referencias con los resultados ms relevantes son TIMSS (1995), TIMSS (2003), TIMSS y PIRLS (2002), TIMSS y PIRLS (2007).
NAEP La Evaluacin Nacional para el Progreso Educativo (NAEP por sus siglas en ingls) es un proyecto de Estados Unidos que busca evaluar de manera nacional y continua lo que estudiantes estadounidenses saben y pueden hacer en varias materias (National Assessment Governing Board, 2003). NAEP no evala estudiantes de manera individual, sino grupos de estudiantes (por gnero, grupo tnico, estado, etctera) con el propsito de identificar las tendencias en su desempeo. Los exmenes de NAEP han sido aplicados en muestras nacionales en Estados Unidos desde 1969 y han evaluado lectura, matemticas, escritura, ciencia, historia estadounidense, arte e idiomas extranjeros en alumnos de cuarto, octavo y doceavo grado de acuerdo con el sistema educativo de ese pas. Adems de la evaluacin acadmica, NAEP recolecta informacin de preguntas sobre variables no-cognitivas, de los antecedentes de los estudiantes, de sus experiencias educativas en la clase y en sus casas y de las caractersticas de sus maestros y sus escuelas. Los propsitos de los cuestionarios de contexto para NAEP son: Definir los grupos de estudiantes en los que se reportarn los resultados. Por ejemplo, por gnero, raza, nivel educativo de los padres y tipo de escuela. Informar sobre las oportunidades de aprendizaje. Fomentar la investigacin de los factores que pueden estar asociados con el aprovechamiento de los estudiantes.
51
NAEP tiene cuestionarios para alumnos, maestros y directores. Los cuestiona-
rios de los alumnos slo duran 10 minutos aproximadamente, ya que se tiene un sistema en el que, ao con ao, se rotan las preguntas de los cuestionarios de contexto. Se manejan evaluaciones estndar con un conjunto de preguntas esenciales asociadas a un rea especfica en cada ao y, peridicamente, se aplican cuestionarios que evalan de manera extensiva esa rea. Las variables del cuestionario de contexto se pueden dividir en: Categoras requeridas por ley, como raza o etnicidad, gnero, estatus socioeconmico, habilidades diferentes y habilidad en el uso del idioma ingls. Factores que proveen un contexto para interpretar los resultados, como los cursos tomados, la movilidad de los estudiantes, la seguridad escolar y la disciplina, las caractersticas demogrficas de los maestros, su preparacin y experiencia. Variables relacionadas con la materia evaluada, el contenido del curso y la preparacin del maestro. Para una revisin de sus principales resultados puede verse NAEP (2003).
Excale El Instituto Nacional para la Evaluacin de la Educacin (INEE) fue creado en 2002, con el propsito de evaluar lo que los estudiantes mexicanos aprenden del currculo nacional. Para esto, elabora los Exmenes de Calidad y Logro Educativo (Excale) cuyo objetivo es evaluar las habilidades y conocimientos que los estudiantes adquieren al enfrentarse a experiencias de aprendizaje contenidas en los programas de estudio establecidos por la Secretara de Educacin Pblica, para todas las escuelas de educacin bsica que se encuentran en el pas (Monroy, Backhoff y Tanamachi, 2005). El INEE incluye cuestionarios de contexto para identificar los factores que se asocian al rendimiento escolar de los alumnos evaluados. Estos cuestionarios tienen como objetivos prioritarios:
52
Cuaderno tcnico
Conocer las caractersticas de los estudiantes, su familia, salones de clases y maestros, escuelas y directores. Conocer diferencias segn gnero, edad y nivel socioeconmico. Comparar resultados de logro escolar a nivel estatal, por estrato, modalidad educativa y grupos socioeconmicos. Identificar factores que favorecen el aprendizaje. Generar modelos explicativos de los factores que impactan el rendimiento escolar. El cuestionario de contexto de alumnos de tercero de primaria consta de 76 preguntas y explora las siguientes reas nodales: caractersticas personales, de la familia y de la escuela. Para una revisin de sus principales hallazgos se puede revisar Backhoff et al. (2007a), Backhoff et al. (2007b) y Monroy, Backhoff y Tanamachi (2005).
53
Anexo II. Recomendaciones para evitar errores en la construccin de los cuestionarios de contexto
continuacin se presentan algunas recomendaciones que tratan de evitar algunos de los errores que se cometen con frecuencia al elaborar los cuestionarios de contexto. Los sustentantes cometen menos errores cuando las preguntas se encuentran ordenadas de manera lgica en el cuestionario. 1) Ordenamiento no conveniente
2) Ordenamiento conveniente
55
Los sustentantes suelen reportar menos fatiga y tienen menos errores cuando las preguntas se presentan seguidas de las opciones de respuesta. Por lo que se recomienda evitar cuadernos donde aparezcan nicamente las preguntas y hojas de respuesta independientes. 1) Presentacin no conveniente
2) Presentacin conveniente
56
Cuaderno tcnico
Las opciones de respuesta deben corresponder de forma natural con las preguntas. Por ejemplo, si se explora la frecuencia con que se realiza un comportamiento, generalmente las opciones podran ser variables de conteo (nmero de veces que se realiza por semana), u ordinales (nunca, rara vez, frecuentemente, siempre). 1) Correspondencia no natural con la pregunta
2) Correspondencia natural con la pregunta
57
En las preguntas dicotmicas siempre deben presentarse las opciones s y no. Algunos investigadores slo presentan un alveolo con la respuesta s en este tipo de preguntas, asumiendo que si el sustentante lo dej en blanco se debe codificar como no. Sin embargo, ste es un gran error ya que se est otorgando al sustentante una respuesta que no dio y se est confundiendo a la poblacin que dej la pregunta sin contestar (casos faltantes) con la que reporta ausencia del atributo evaluado. 1) Formato incorrecto
2) Formato correcto
58
Cuaderno tcnico
Presentar preguntas en tablas suele ser una buena opcin para evitar la fatiga de leer mltiples preguntas. Sin embargo, las tablas en las que se exploran dos o ms dimensiones de un aspecto o comportamiento pueden ocasionar datos faltantes. 1) Tabla compleja
2) Tabla simple
59
En poblaciones juveniles o de baja escolaridad se debe evitar utilizar preguntas de rbol. 1) Pregunta de rbol
2) Pregunta secuencial
60
Cuaderno tcnico
Anexo III. Anlisis de datos
n este anexo se presentan los anlisis estadsticos que generalmente se realizan a las variables y escalas de las versiones preliminares del cuestionario con la finalidad de contar con elementos empricos que permitan tomar decisiones sobre las variables que sern seleccionadas para conformar el instrumento que se aplicar a la poblacin objetivo.
I. Evaluacin de la calidad de las preguntas Objetivo: Identificar el comportamiento estadstico del total de preguntas del cuestionario. 1.1. Comportamiento de las preguntas Identificar el nmero de participantes que contest todas las preguntas del cuestionario y el nmero de participantes que dej sin contestar 1%, 2%, 3%, 4%, 5% y ms de 5%. Recomendacin. Si un nmero elevado de participantes dej de contestar 5% o ms de las preguntas, debern revisarse las incidencias, los manuales y procedimientos de la aplicacin. Identificar la frecuencia obtenida en cada una de las opciones de respuesta de cada pregunta. Recomendacin. En caso de que la frecuencia de respuestas en alguna o en varias opciones sea muy baja, se debe identificar si stas pueden ser agregadas para tener un menor nmero de opciones. En cambio, si la frecuencia de una opcin de respuesta es muy alta, hay que valorar si conviene desagregarla para tener un mayor nmero de opciones. El propsito es que las respuestas se distribuyan y no se agrupen en una sola opcin. Identificar los datos faltantes por pregunta. Recomendacin. Las preguntas que generan ms de 5% de casos faltantes pueden presentar alguno de los siguientes problemas: a) la pregunta est mal redactada por lo que no se comprende, b) la pregunta no es ade-
61
cuada para la poblacin que se evala o c) hace falta una o varias opciones de respuesta. En todo caso, si una pregunta genera ms de 5% se debe revisar y valorar su exclusin del instrumento. Detectar las preguntas que generaron respuestas equvocas (respuestas mltiples a la misma pregunta). Recomendacin. Si una pregunta genera ms de 1% de casos con respuesta mltiple se debe revisar y valorar su eliminacin. 1.2. Asociacin con el desempeo Objetivo: Identificar el grado de asociacin de cada una de las variables del cuestionario con el rendimiento acadmico, Antes de iniciar los anlisis de correlacin se identifica la mtrica de cada una de las variables del cuestionario: variables nominales, dicotmicas, ordinales y continuas. La asociacin entre las variables se detecta utilizando correlaciones. El tipo de correlacin que se utiliza est determinado por el nivel de medicin de cada una de las variables. Recomendacin: Dependiendo del tamao de la muestra se debe determinar el valor de las correlaciones para considerarlas como aceptables.
Variable de desempeo en el examen Continua Continua Continua Variable del cuestionario de contexto Dicotmica Ordinal Continua Tipo de correlacin Punto biserial Poliserial Pearson
En el caso de las variables que tienen un nivel de medicin nominal, se obtienen las medias del porcentaje de aciertos de cada opcin de respuesta para compararlas entre ellas mediante un anlisis de varianza de un solo factor (ANOVA).
62
Cuaderno tcnico
II. Evaluacin de la calidad de las escalas Objetivo: Identificar las caractersticas psicomtricas de cada escala y su asociacin con el rendimiento acadmico. 2.1. Comportamiento de las preguntas que conforman la escala Identificar los casos faltantes de cada una de las preguntas de la escala. Recomendacin: Si una pregunta presenta ms de 5% de casos faltantes, se debe valorar su exclusin. Cuando las variables de la escala tengan casos faltantes menores a 5% stos se imputan. 2.2. Dimensionalidad de la escala En esta fase, se determina si las escalas son instrumentos unidimensionales, es decir, que las variables manifiestas incluidas en el anlisis miden el mismo constructo o variable latente. Para confirmar la dimensionalidad de la escala se realiza un anlisis factorial. Es importante que en el anlisis factorial se considere la mtrica de las variables: nominales, dicotmicas, ordinales o continuas. Cuando las variables bajo anlisis no tienen una distribucin normal, los anlisis factoriales deben realizarse utilizando matrices tetracricas o policricas, segn sea el caso. Las preguntas que obtengan cargas factoriales bajas podran ser excluidas de la escala si esas preguntas no son un factor esencial del modelo conceptual que sustenta a la escala. 2.3. Obtencin de indicadores El puntaje de cada sustentante en el indicador se obtiene utilizando como herramienta estadstica el Modelo de Crdito Parcial (Masters, 1982), con lo cual se obtiene: a) el ajuste de cada reactivo al modelo, b) la dificultad de cada reactivo y c) la confiabilidad de la escala.
63
Se calcula el ajuste de cada reactivo al modelo, se estiman los puntajes de respuesta de los sustentantes en lgitos, y se obtienen los valores de infit y outfit. El ajuste que las preguntas deben tener para poder ser aceptadas es de: 0.7 y 1.3 en el infit y outfit. Se analiza si los reactivos utilizados tuvieron la dificultad adecuada para el nivel de habilidad de los sustentantes. Se calcula el valor del alfa de Cronbach. Si es de 0.70 o ms se considera adecuado. A partir de este anlisis se obtienen los indicadores o gradientes que representan el valor que le corresponde a cada sustentante en la variable latente medida. 2.4. Contribucin de la escala sobre el desempeo Se realiza una regresin lineal simple para modelar la relacin entre el porcentaje de aciertos como variable dependiente y el indicador obtenido como variable independiente.
III. Seleccin de las preguntas para el nuevo cuestionario Con los resultados obtenidos de este proceso, se eligen las preguntas y escalas con caractersticas psicomtricas adecuadas y se modifican las preguntas y opciones de respuesta que no hayan cubierto los criterios estadsticos mencionados. Sin duda, el universo de variables que se pueden explorar en este tipo de instrumentos es muy extenso, por lo que su seleccin es un aspecto medular que debe responder claramente a los propsitos de la evaluacin y del marco de referencia.
64
Cuaderno tcnico
El Centro Nacional de Evaluacin para la Educacin Superior es una asociacin civil sin fines de lucro constituida formalmente el 28 de abril de 1994, como consta en la escritura pblica nmero 87036 pasada ante la fe del notario 49 del Distrito Federal. Sus rganos de gobierno son la Asamblea General, el Consejo Directivo y la Direccin General. Su mxima autoridad es la Asamblea General, cuya integracin se presenta a continuacin, segn el sector al que pertenecen los asociados, as como los porcentajes que les corresponden en la toma de decisiones: Asociaciones e instituciones educativas (40%): Asociacin Nacional de Universidades e Instituciones de Educacin Superior, A.C. (ANUIES); Federacin de Instituciones Mexicanas Particulares de Educacin Superior, A.C. (FIMPES); Instituto Politcnico Nacional (IPN); Instituto Tecnolgico y de Estudios Superiores de Monterrey (ITESM); Universidad Autnoma del Estado de Mxico (UAEM); Universidad Autnoma de San Luis Potos (UASLP); Universidad Autnoma de Yucatn (UADY); Universidad Nacional Autnoma de Mxico (UNAM); Universidad Popular Autnoma del Estado de Puebla (UPAEP); Universidad Tecnolgica de Mxico (UNITEC). Asociaciones y colegios de profesionales (20%): Barra Mexicana Colegio de Abogados, A.C.; Colegio Nacional de Actuarios, A.C.; Colegio Nacional de Psiclogos, A.C.; Federacin de Colegios y Asociaciones de Mdicos Veterinarios y Zootecnistas de Mxico, A.C.; Instituto Mexicano de Contadores Pblicos, A.C. Organizaciones productivas y sociales (20%): Academia de Ingeniera, A.C.; Academia Mexicana de Ciencias, A.C.; Academia Nacional de Medicina, A.C.; Fundacin ICA, A.C. Autoridades educativas gubernamentales (20%): Secretara de Educacin Pblica. Ceneval, A.C., EXANI-I, EXANI-II son marcas registradas ante la Secretara de Comercio y Fomento Industrial con el nmero 478968 del 29 de julio de 1994. EGEL, con el nmero 628837 del 1 de julio de 1999, y EXANI-III, con el nmero 628839 del 1 de julio de 1999. Inscrito en el Registro Nacional de Instituciones Cientficas y Tecnolgicas del Consejo Nacional de Ciencia y Tecnologa con el nmero 506 desde el 10 de marzo de 1995. Organismo Certificador acreditado por el Consejo de Normalizacin y Certificacin de Competencia Laboral (CONOCER) (1998). Miembro de la International Association for Educational Assessment. Miembro de la European Association of Institutional Research. Miembro del Consortium for North American Higher Education Collaboration. Miembro del Institutional Management for Higher Education de la OCDE.
La publicacin de esta obra la realiz el Centro Nacional de Evaluacin para la Educacin Superior, A.C. Se termin de imprimir el 17 de abril de 2009 en los talleres de Winkilis, Bugambilias 131, Col. El Rosario, Mxico, D.F., C.P. 09930, con un tiraje de 1,000 ejemplares

01 Cuestionariosdecontexto

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

01 Cuestionariosdecontexto

Transféré par

Droits d'auteur :

Formats disponibles

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas Cuaderno tcnico 1

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

Luca Monroy Cazorla Directora General Adjunta Tcnica y de Investigacin

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

Uso Impactar en la poltica educativa

Poblacin Estudiantes de 15 aos

Impactar en la poltica educativa Informar sobre el desempeo

Ayudar en las decisiones de admisin

EXANI-I: S, parcialmente EXANI-II: No

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

Importancia de los cuestionarios de contexto

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

Grfica 4. Resultados del EXANI-I

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

Metodologa del Ceneval para elaborar los cuestionarios

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

Anexo I. Cuestionarios de contexto asociados a las principales pruebas de logro

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

NAEP tiene cuestionarios para alumnos, maestros y directores. Los cuestiona-

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

2) Correspondencia natural con la pregunta

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

Anexo III. Anlisis de datos

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

Cuestionarios de contexto: una herramienta medular para el desarrollo de investigaciones educativas

Vous aimerez peut-être aussi