Mayo 2013

ISSN 2216-1104

Editorial
Para el Programa de Investigacin del ICFES es un gusto presentarles la segunda edicin de nuestro boletn del ao 2013. En esta oportunidad les invitamos a leer el artculo Puntajes Promedio vs Valor Agregado, para determinar la efectividad escolar, a partir del cual quisiramos abrir el debate sobre la interpretacin de los Rankings educativos e introducir la estimacin del valor agregado como una metodologa alternativa para medir el impacto de la gestin educativa sobre los resultados de sus estudiantes en pruebas estandarizadas. Este artculo est basado en la investigacin de Ernesto San Martn y Alejandro Carrasco: Clasificacin de escuelas en la nueva institucionalidad educativa: contribucin de modelos de valor agregado para una responsabilizacin justa que fue presentada en nuestro III Seminario Internacional de Investigacin sobre Calidad de la Educacin. Desde entonces el ICFES se ha propuesto difundir y enriquecer la discusin en torno a este tema, por lo tanto en este boletn tambin presentaremos las respuestas que dio el profesor San Martn a las preguntas que surgieron durante su presentacin en el seminario. Al final del boletn encontrarn todo lo referente a las actividades que estamos adelantando en este ao, con el fin de incentivar a la comunidad educativa en el uso de las bases de datos del ICFES para la investigacin y as contribuir en el mejoramiento de la calidad de la educacin. Esperamos que esta edicin del boletn de investigacin sea de su agrado y utilidad. Del mismo modo ser de nuestro gusto poder contar con su participacin en todos los eventos del Programa de Investigacin del ICFES.
Adriana Molina Mantilla Jefe Oficina Asesora de Proyectos de Investigacin

Tabla de Contenido
Editorial... Puntajes Promedio vs Valor Agregado, para determinar la efectividad escolar..... Los investigadores responden. Sesiones Informativas Talleres para la formulacin de Proyectos de investigacin....... Curso de Bases de datos de pruebas estandarizadas..... Convocatoria para estudiantes de pregrado... Invitacin a presentar trabajos sobre sistemas escolares, evaluacin y calidad de la educacin.. 1 3 6 7 8 8 9 9

Puntajes Promedio vs Valor Agregado, para determinar la efectividad escolar

Los resultados de las pruebas de Estado (SABER 11 y SABER PRO), que reflejan el grado de desarrollo de las competencias de los estudiantes que estn terminando el ltimo grado de secundaria un programa de pregrado, son entregados semestralmente a la sociedad por el ICFES. A partir del promedio de los puntajes obtenidos por los estudiantes, entidades construyen rankings de colegios y universidades, con los cuales se realizan comparaciones entre las instituciones educativas y llegan a conclusiones sobre su evolucin y posicin dentro del sector. Estas clasificaciones brindan informacin til acerca de la preparacin con que se gradan los estudiantes, pero es importante preguntarse si realmente el fundamento de estas conclusiones es suficiente para evaluar la calidad de las instituciones y si los comportamientos evaluados obedecen nicamente a la gestin educativa realizada por los colegios y universidades. Ernesto San Martn1 y Alejandro Carrasco2 en su artculo Clasificacin de escuelas en la nueva institucionalidad educativa: contribucin de modelos de valor agregado para una responsabilizacin justa advierten sobre las clasificaciones errneas en las que se puede incurrir utilizando nicamente los promedios de las pruebas censales. En primera instancia, sealan que stas podran arrojar una clasificacin basada en las capacidades con las cuales los estudiantes ingresan al colegio o en factores socioeconmicos y no en la contribucin de la escuela. En este sentido tomar como referencia solamente el ranking construido a partir del promedio aritmtico, para obtener conclusiones acerca de la calidad de los colegios, puede llegar a ser insuficiente. Es entonces pertinente preguntarse por las mediciones que determinan el impacto que tiene la gestin educativa en el aprendizaje de los estudiantes. La respuesta se centra en lo que en la literatura ha designado el EfectoEscuela, definido como el aporte realizado de la gestin educativa de la entidad al desarrollo cognitivo de sus estudiantes. Pases como Chile estn adoptando sistemas de rendicin de cuentas en el mbito escolar enfocados en la evaluacin de la gestin educativa. El sistema desarrollado parte de la creacin de la Superintendencia de Educacin y la Agencia de calidad de la Educacin, donde esta ltima se encargar de clasificar las escuelas en trminos de su efectividad escolar, con el fin de informar el impacto real de las instituciones educativas.

Profesor asociado del Departamento de Estadstica en la Facultad de Matemticas de la Universidad Catlica de Chile, y miembro de Consejo Directivo del Centro de Medicin (MIDE UC). 2 Profesor Asistente de la Facultad de Educacin de la Universidad Catlica de Chile e Investigador Miembro del Centro de Estudios de Polticas y Prcticas en Educacin (CEPPE UC).

Para llevar esto a cabo, la Agencia se basa principalmente en los resultados de la prueba censal SIMCE3 y eventualmente en modelos de valor agregado. Estos ltimos tienen como objetivo medir la contribucin de una escuela, comparando el desempeo escolar de sus estudiantes en relacin con el que hubiesen alcanzado si hubieran estudiado en una escuela promedio. Para estimar estos modelos de valor agregado es necesario contar con dos mediciones en el tiempo del desempeo de los mismos estudiantes, una antes de empezar el ciclo escolar evaluado y otra al terminar, tanto de estudiantes de la escuela como de individuos que no pertenecen a ella y de esta manera lograr calcular el valor agregado. El valor agregado logra medir el efecto-escuela cuando se logra controlar los factores exgenos que pueden afectar la estimacin. Por ejemplo la seleccin no aleatoria de estudiantes puede llevar a que los resultados no sean el efecto neto de las prcticas educativas, sino de la habilidad de la escuela para escoger estudiantes con mejores condiciones para aprender. Teniendo esto en cuenta, San Martn y Carrasco incluyen en su estimacin indicadores de selectividad que recogen informacin de los cuestionarios de padres que aplica el SIMCE, donde se indaga si sus hijos fueron seleccionados para estudiar en esa escuela y as solucionar este problema de endogeneidad en la estimacin y poder afirmar que la efectividad de la escuela es independiente del tipo de estudiantes que educa. Como problema adicional, el puntaje inicial de un estudiante podra estar correlacionado con el efecto escuela cuando ste ya ha cursado aos de estudio en esa institucin cuando toma la prueba inicial. Para mitigar este efecto y asegurar que el puntaje inicial no est correlacionado, utilizan los datos de la prueba SIMCE que se aplica al finalizar el segundo ciclo acadmico, es decir en 4grado y la medicin final se hace al terminar el tercer ciclo acadmico (8 grado), partiendo de la idea de que los ciclos educativos son periodos de aprendizaje completos. En el artculo de San Martn y Carrasco se realiza una comparacin entre las clasificaciones de acuerdo a los resultados de SIMCE y el indicador de valor agregado que construyen. Al comparar las dos mediciones encuentran que el 41.4% de los colegios particulares subvencionados4 mejor su posicin si es reclasificado con puntajes SIMCE en lugar de emplear el indicador de VA. En cambio, el 48% de los establecimientos municipalizados5 que son reclasificados usando puntajes SIMCE en lugar del indicador de VA, descienden en su posicin de efectividad. (Ver tabla 1). Estos resultados indican la sensibilidad que tienen las clasificaciones respecto al tipo de metodologa que se utilice.
3

La prueba SIMCE evala el desempeo de los estudiantes chilenos al finalizar un ciclo escolar: en 4 Bsico, 8 Bsico y 2 Medio, esta prueba es equivalente a las pruebas SABER que aplica el ICFES al terminar los ciclos de educacin bsica en 5 y 9 y educacin media con la prueba de Estado SABER11.
4 5

Son instituciones que son administradas por entes privados pero que funcionan con recursos publicos. Son aquellos cuya gestin depende de la administracin municipal y que tienen como nica fuente la subvencin del Estado, ya que no cobran co-pago a los padres.

Tabla 1 | Cambio de posicin al reclasificar desde indicador VA a SIMCE

Tipo de establecimiento Municipalizado Particular Subvencionado
Fuente: San Martin y Carrasco.

VA SIMCE

VA SIMCE

48.3% 18.6%

13.2% 41.4%

En este sentido, los modelos de valor agregado se constituyen como otra medida de la calidad educativa, complementaria al uso de los puntajes promedio de las pruebas estandarizadas. Ya que estos modelos aportan un indicador de efectividad escolar que sirve para explicar el mejoramiento de una escuela en trminos de su propia gestin, y que aade informacin til a la brindada por los promedios aritmticos. Adicionalmente, es importante tener en cuenta los elementos relevantes que brinda este tipo de estudios en la reflexin en torno a las mediciones de la calidad de la educacin. En particular la existencia de herramientas de evaluacin adicionales que permiten analizar de manera ms detallada las dinmicas de la educacin, que pueden ser de gran utilidad en la toma de decisiones de poltica pblica. No obstante, es sustancial tener en cuenta que dichos avances, como la medicin del valor agregado, se presenta como un reto para los institutos de evaluacin de la educacin, como el ICFES, dadas las complejidades metodolgicas que estos conllevan y la sensibilidad de las estimaciones. Invitamos a toda la comunidad acadmica a participar en el foro sobre valor agregado que se encuentra disponible en http://www.icfes.gov.co/investigacion/foros

Los investigadores responden

A continuacin presentamos algunas de las preguntas que surgieron durante la presentacin del profesor Ernesto San Martn en el III Seminario Internacional sobre Calidad de la Educacin6. Pregunta 1: Dado que los niveles de aprendizaje se ven afectados por las condiciones de pobreza, en un pas como Chile, con menor desigualdad que Colombia (ndice Gini menor), las variables exgenas pueden tener menos impacto que en Colombia? Respuesta: En una primera aproximacin, es posible que la contribucin de las variables exgenas a la variable dependiente sea mayor en Colombia que en Chile. Sin embargo, es necesario que los puntajes estandarizados del pre-test y post-test entre ambos pases sean comparables, adems de la forma de medir las restantes covariables. De ser esto posible, entonces habra que reportar los efectos marginales de las covariables exgenas y hacer las comparaciones. En mi opinin sera como hacer una suerte de meta-anlisis pero siendo muy cautos en justificar las comparabilidades de todas las covariables inlcudas en el modelo. Pregunta 2: Qu efectos tiene centrarse solo en covariables observables? Respuesta: Los modelos de Valor Agregado no slo se centran en observables, sino tambin en un no-observable, a saber, el efecto escuela. Ahora bien, la utilizacin de modelos psicomtricos y educacionales con variables latentes o no-observables obedece a una tradicin especfica, a saber, que se asume que los fenmenos observables han sido generados por una estructura subyacente. Esta tradicin fue formalizada por Koopmans&Reiersol (1950), quienes a su vez reformularon el problema de especificacin como lo haba introducido Fisher (1922), a saber, la formulacin matemtica de una distribucin de probabilidad de la poblacin observable. Por lo tanto, el centrarse solo en observables significa renunciar a introducir en el anlisis estadstico de fenmenos educacionales las consideraciones sustantivas que dan lugar a formalizar una estructura subyacente a los datos. En los modelos de valor agregado estas consideraciones sustantivas permiten justificar el llamado efecto escuela. Por tanto, en lugar de explicaciones, solo tendramos descripciones. Pregunta 3: El modelo lineal jerrquico con variables instrumentales corrige endogeneidad, es posible establecer efectos causales y no simples correlaciones con este modelo? Respuesta: Esta es una pregunta compleja dado que no parece haber una definicin explcita de causalidad. Qu entendemos por causalidad? Solo para ilustrar la complejidad, sugiero revisitar las consideraciones en torno al tema de Max Born en Natural Philosophy of Cause and Chance (1949). Ah, Born, un fsico cuntico, define causalidad en trminos de dependencia de eventos. Esta dependencia puede ser contigua o tener un ordenamiento en el tiempo. Dicho esto, cules son las definiciones de causalidad en Ciencias Sociales? Unas estn basadas en conceptos de dependencia, como la no-causalidad en el sentido de Granger y la no-causalidad en el sentido de Sims
6

La presentacin se encuentra disponible en http://www.icfes.gov.co/investigacion/seminariointernacional-de-investigacion-sobre-calidad-de-la-educacion/ano-2012/conferencistas-invitados

(ver Florens&Mouchart, 1982); digamos de paso que las discusiones realizadas por Heckman tambin enfatizan los aspectos de dependencia; estos aspectos se formalizan usando el concepto de independencia condicional. Consideraciones similares podran extraerse de la discusin de causalidad desarrollada por Suppes en su libro A ProbabilisticTheory of Causality(1970). Otra perspectiva es la desarrollada en relacin a los potentialoutcomes(Rubin; Raudenbish) que tambin usan la herramienta probabilstica de independencia condicional. Las recientes contribuciones de M. Mouchart (mi antiguo supervisor; hoy profesor emrito del Instituto de Estadstica de la Universidad Catlica de Lovaina; ver http://www.uclouvain.be/isba) enfatiza, por un lado la dependencia, y por otro lado, la estabilidad estructural de una relacin de dependencia. Cuando ambas estn presentes (lo que se concluye de variados estudios empricos y discusiones sustantivas), es posible hablar de causalidad. Con esto en mente, retornemos a los modelos de VA controlando por endogenidad. El modelo que se propone es un modelo estructural. La definicin del efecto escuela es una definicin en trminos de dependencia; hace falta mayor discusin sustantiva de estas aproximaciones y ms estudios empricos para reportar estabilidad estructural. Con esto simplemente queremos decir que es posible responder a la pregunta pero despus de decidir una definicin de causalidad, y luego variados estudios empricos. Pregunta 4: Cmo se determinan los puntos de corte en la escala de valoracin de las escuelas para que sean lo ms equitativos posible, teniendo en cuenta las mltiples variables? Respuesta: Los modelos de valor agregado producen indicadores de valor agregado. Estos indicadores (junto a sus intervalos de prediccin) inducen un orden total (ranking) entre las escuelas. Ahora bien, en ese orden total se puede decidir introducir puntajes de corte. Sin embargo, este criterio es subjetivo. En efecto, se podra decidir definir grupos usando los cuartiles de la distribucin de los estimadores de valor agregado; otra aproximacin sera decidir cuntas escuelas deben quedar como inefectivas (decisin poltica) y as deducir el percentil correspondiente; etc. Por tanto, los puntajes de corte deben definirse de acuerdo a los usos que se les quiera dar a los indicadores de VA. Por lo dems, esto concuerda con lo que tpicamente se hace cuando se definen puntajes de corte usando un procedimiento de Standard Setting. As que la pregunta es: para qu queremos como Estado, por ejemplo, publicar indicadores de valor agregado? En Chile, por ejemplo, es para responsabilizar a las escuelas y eventualmente cerrarlas. An est en discusin cuntas escuelas deberan cerrarse; y de esa discusin depender el criterio de puntajes de corte. Pregunta 5: Cul es el nombre del paquete en R que usted cre y que permite estimar HLIM? Respuesta: El HLIM fue un procedimiento en R que los autores hicimos para realizar nuestras propias estimaciones. Esto lo hicimos para estar seguros de nuestras estimaciones. Ciertamente nuestro cdigo an no est a punto como suele estarlo una librera en R, pero parece posible poder compartirlo para fines de investigacin.

ACTIVIDADES DEL PROGRAMA DE INVESTIGACIN Sesiones Informativas

Con el nimo de ofrecer al pblico informacin sobre el contenido de las bases de datos y el uso que se les puede dar en investigaciones sobre calidad de la educacin, la Oficina Asesora de Gestin de Proyectos de Investigacin realiz, en marzo y abril, sesiones informativas en 5 ciudades del pas: Bogot, Barranquilla, Medelln, Cali y Bucaramanga. Se present el contenido y estructura de las bases de datos de las pruebas Saber 5 y 9, SABER 11 y SABER PRO, estudios latinoamericanos (PERCE, SERCE) y pruebas internacionales donde ha participado Colombia: PISA, ICCS, TIMSS, PIRLS. Esta actividad cont con la participacin de ms de 150 personas provenientes de distintos lugares del pas interesadas en el uso de las bases de datos a quienes se aclararon importantes dudas sobre el adecuado uso de ciertas variables y su anlisis. Las presentaciones de esta sesin se encuentran disponibles en el siguiente link http://www.icfes.gov.co/investigacion/talleres-cursos-y-sesiones-informativas/sesionesinformativas

Sesin Informativa Bogot

Talleres para Formulacin de Proyectos de Investigacin

Dado el inters en apoyar a los interesados en presentarse a las Convocatorias ICFES 2013, la Oficina Asesora de Gestin de Proyectos de Investigacin ofrecer en el mes de mayo talleres para la formulacin de proyectos de investigacin en 5 ciudades del pas: Bogot, Bucaramanga, Cali, Barranquilla y Manizales. Los talleres tienen como objetivo brindar lineamientos generales sobre cmo presentar las propuestas de investigacin a las convocatorias del ICFES. Adicionalmente, en los talleres se ofrece una gua bsica sobre la informacin que est disponible para anlisis y ejemplos de preguntas de investigacin que se pueden responder con dicha informacin. Los talleres estarn a cargo de la Profesora Lina Saldarriga Ph.D. en Psicologa del Desarrollo, de la Universidad de Concordia, Canad. Para inscribirse al taller por favor ingrese a: http://www.icfes.gov.co/investigacion/talleres-cursos-y-sesiones-informativas/cursos

Curso de Base de datos de pruebas estandarizadas

Este taller, de carcter prctico, est dirigido a estudiantes e investigadores con conocimientos bsicos en inferencia estadstica y tiene como objetivo discutir las complejidades metodolgicas, implicaciones en el anlisis, procedimientos y mtodos cuantitativos y estadsticos para el uso de bases de datos de las pruebas estandarizadas censales y muestrales que realiza el ICFES. Los talleres estarn dirigidos por funcionarios del ICFES y se dictarn en junio en 2 ciudades del pas. Para mayor informacin por favor consulte el siguiente link http://www.icfes.gov.co/investigacion/talleres-cursos-y-sesiones-informativas/taller-sobreuso-de-bases-de-datos-de-evaluaciones-estandarizadas

Convocatoria para estudiantes de posgrado

Desde el pasado 21 de marzo hasta el 15 de julio del presente ao estar abierta la convocatoria a estudiantes de maestra y doctorado para presentar propuestas de investigacin que hagan uso de los resultados de las pruebas aplicadas por el ICFES y que estn orientadas a generar conocimiento acerca de la calidad de la educacin en Colombia. Este ao pueden participar estudiantes de maestra o doctorado, colombianos o extranjeros de cualquier programa acadmico en Colombia o en el exterior. Es indispensable que los estudiantes cuenten con el aval de su director de tesis o profesor encargado de dirigir el proyecto as como con un aval de la Universidad en la que adelantan sus estudios de posgrado. Las propuestas deben hacer uso de los datos generados por las pruebas aplicadas por el ICFES dentro de su planteamiento metodolgico para ser tenidas en cuenta. Los estudios se desarrollarn en el ao 2014 en un plazo mximo de 12 meses. Los estudiantes ganadores recibirn $10.000.000 (diez millones de pesos M/Cte) como apoyo para el desarrollo de su investigacin. Para consultar los trminos de referencia de la convocatoria puede seguir el siguiente link http://www.icfes.gov.co/investigacion/investigacion/index.php?option=com_content&view= article&id=165&catid=49&Itemid=375

Convocatoria para grupos de investigacin

A partir del 14 de mayo y hasta el 30 de agosto de este ao, el ICFES tendr abierta la convocatoria dirigida a los grupos de investigacin avalados por Colciencias pertenecientes a instituciones de educacin superior y/o centros de investigacin nacionales a presentar propuestas de investigacin orientadas a generar conocimiento acerca de la calidad de la educacin, las cuales debern ser desarrolladas utilizando los datos obtenidos a partir de los resultados de las pruebas aplicadas por el ICFES. Estos proyectos sern desarrollados en el 2014, con una duracin mxima de 12 meses y recibirn hasta $60.000.000 (sesenta millones de pesos M/Cte) como apoyo al desarrollo de la investigacin. Para consultar los trminos de referencia de la convocatoria puede seguir el siguiente link http://www.icfes.gov.co/investigacion/convocatorias-icfes-de-investigacion/convocatoriasicfes-para-grupos-de-investigacion

Invitacin a presentar estudios en el IV Seminario Internacional de Investigacin sobre Calidad de la Educacin

El ICFES invita a estudiantes de educacin superior, investigadores y responsables de poltica pblica a presentar sus trabajos de investigacin sobre el tema general de Sistemas escolares, evaluacin y calidad de la educacin en el IV Seminario Internacional de Investigacin Sobre Calidad de la Educacin que se realizar en Bogot en el mes de Noviembre de 2013, Existen tres modalidades en las que se puede participar: conferencias, pster o presentaciones cortas interactivas. Las propuestas sern aceptadas desde el 11 de marzo hasta el 30 de agosto de 2013 a media noche (hora local en Colombia). La seleccin de las propuestas ser realizada por los miembros del Comit Acadmico del Seminario. Para inscribir su estudio, por favor ingrese a http://www.icfes.gov.co/investigacion/index.php?option=com_content&view=article&id=159