Académique Documents
Professionnel Documents
Culture Documents
Determinacin del rendimiento escolar bajo una prisma de equidad: la evaluacin del valor agregadoa
CHILE
1. Introduccin desde la Historia de la Educacin en la Segunda Mitad del Siglo XX.
La Educacin en los ltimos cincuenta aos, muestra tres etapas claramente denidas en el nfasis de las orientaciones de las polticas educativas y en el tratamiento de los problemas de equidad. La referencia temporal sealada es propia de la realidad de Amrica Latina ya que, en regiones del mundo desarrollado, estas etapas se presentaron con otras secuencias y duraciones. Una primera etapa -entre nes de los cincuenta y comienzos de los setenta- estuvo caracterizada por la igualdad de oportunidades de acceso a la Educacin. Esta consisti en que todos los alumnos en edad escolar tuvieran la posibilidad de asistir a la escuela y que los sistemas educativos, fundamentalmente en el nivel Bsico, garantizaran un lugar para cada nio. Estuvo marcada por grandes inversiones en infraestructura escolar y en algunos casos por una reduccin en la duracin de la jornada escolar diaria, de manera de dar cabida a un grupo en la maana y a otro en la tarde. La
* 1
evaluacin educativa durante esta etapa, tuvo una connotacin terminal o de producto y su rol primario fue de certicacin. La medicin se reri a normas y la distribucin del rendimiento se concibi como normal. Un segundo perodo - entre los comienzos de los Setenta y nes de los Ochenta- estuvo centrada en la igualdad de oportunidades de aprendizaje y busc no slo garantizar a cada nio en edad escolar un espacio en la escuela, sino que a travs de un enfoque denominado de enseanza individualizada o de educacin personalizada, hacer el aprendizaje accesible a todos los alumnos. Esta orientacin tuvo su origen en los trabajos de Tyler, de Carroll, de Gagn y de Bloom. La evaluacin se focaliz en el aula en un rol formativo. Las diferencias individuales hicieron centrar la atencin en los prerrequisitos y la distribucin de los resultados de aprendizaje se concibieron con un sesgo estadstico negativo. Una tercera etapa se abri a comienzos de la Dcada de los Noventa y contina vigente y podra denominarse la etapa de la igualdad
Director de la Ocina de Medicin del Rendimiento Escolar del Instituto de Evaluacin del Estado de Qatar - Golfo Arbico.
Una versin anterior del presente trabajo fue publicada bajo el ttulo Evaluacin de la calidad de la educacin con equidad: el modelo de valor agregado, en la Revista Persona y Sociedad, Universidad Alberto Hurtado-ILADES, Santiago de Chile. Vol. XVII, No 1, abril 2003, pp. 165-178. Juan Enrique Froemel es Ingeniero, obtuvo un Master of Arts en Ciencias Sociales (1979) y un Doctorado en Educacin (1980), en la Universidad de Chicago. Su rea de especialidad es la medicin y la evaluacin del rendimiento en Educacin. Ha sido Subsecretario de Educacin Pblica en Chile, Rector de la Ponticia Universidad Catlica de Valparaso tambin en su pas, Gerente General de la Fundacin Andes en Chile y Coordinador Tcnico del Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin, operado por UNESCO-Santiago-OREALC. Es profesor en varias universidades, entre ellas en el Programa de Maestra en Poltica Educativa de la Universidad Alberto Hurtado, es consultor internacional y Socio Principal de EvaluArte, Froemel & Asociados. Se desempea en la actualidad como Director de la Student Assessment Ofce, del Evaluation Institute, bajo el Supreme Education Council, del Estado de Qatar, en el Golfo Arbico.
2
1 D1
de progresos de aprendizaje. Ya no slo se debe procurar tomar en cuenta las diferencias individuales de los estudiantes, sino que debe procurar compensarlas e identicar las variables que afectan los resultados y de explicar como esas variables y el rendimiento se conjugan. Nuevos modelos tericos y herramientas estadsticas, han posibilitado la evaluacin de progresos o de valor agregado, ajustndolos por aquellos factores ligados al Contexto Familiar de los estudiantes y focalizndolos simultneamente en varios niveles de agregacin, aunque centrndose en el nivel de la escuela. El nfasis est puesto en lograr una equidad real y efectiva.
y el de las de mega-ciudad, en rendimientos en Lenguaje y Matemtica como en los dems pases. Adems, las escuelas pblicas cubanas estn por sobre todas las escuelas privadas de la Regin. Ms an, cuando se efectu el ajuste de los puntajes de Rendimiento por nivel socioeconmico, en el caso de Cuba el efecto fue menor que en los dems pases, debido a la alta homogeneidad en el pas en esta variable. An ms, al recurrirse a una variable alternativa para tal ajuste, el nivel socio cultural, bsicamente conformado por la escolaridad de los padres, una vez ms, el alto grado de homogeneidad existente en Cuba, hizo que el ajuste mostrara efectos menores. El posible concluir que el tema de la equidad depende del contexto, no siendo slo un tema conceptual sino que un aspecto metodolgico que surge del efecto de la homogeneidad de la distribucin de la variable de ajuste. Una manera de salvar la dicultad consiste en abordar la equidad desde otras variables tales como el nivel sociocultural, el gnero, o las variables tnicas. Por lo sealado parece ya no ser ms vlido plantear comparaciones o ajustes para determinar equidad, sin antes establecer el rango de dispersin de las variables de ajuste. La variedad de perspectivas mostradas por Townsend, Clarke y Ainscow (1999), sealan que en Malasia la equidad se concibe como la necesidad de que la educacin constituya un instrumento para alcanzar la solidaridad nacional y se considera una interaccin entre la educacin y la sociedad y viceversa. En Sudfrica se describe que entre los principios que guan la Reforma Educativa, se encuentran la equidad y el compromiso de todos los sudafricanos. En este caso particular la equidad es un logro deseable ms que una variable puente. Se agrega que quizs las inequidades son aquellas relacionadas con clase, gnero y religin, aunque podra pensarse que en este contexto las ms gravitantes deberan ser aquellas ligadas a temas tnicos. (Mkhatshwa, en Townsend, Clarke, y Ainscow, 1999). En Belarus, se seala que la Educacin Secundaria requiere producir un equilibrio entre
D2
adquirido una dimensin nueva y que hoy es reconocido como una herramienta de aplicacin mltiple en la Educacin y central al tema de la equidad. Se trata de que, como sealan algunos autores (Townsend, Clarke y Ainscow, 1999) el desarrollo de instrumentos vlidos y conables para evaluar la ecacia es an un tema no zanjado. Sin embargo, existen esfuerzos en proceso para desarrollar un conjunto de tareas de evaluacin, aunque los temas de conabilidad siguen siendo su principal obstculo. Al respecto hay varias preguntas an en espera de respuesta: Cules son los sistemas justos y autnticos de evaluar el progreso de los estudiantes que son aceptables para el pblico y que a la vez sirven a las necesidades de los polticos, estudiantes y ciudadanos? Cmo es posible determinar si el mejoramiento de las escuelas est agregando valor a los estudiantes?.
calculaba el nivel de signicacin estadstica de tales diferencias. Sin perjuicio de lo sealado, la idea central de determinar y expresar cambios diferenciales en el rendimiento de los estudiantes, como se puede comprobar por lo recin sealado no es una idea nueva, sino que como seala un autor (Saunders, 1999): Podra decirse que el valor agregado (progreso) era una idea esperando por su momento (... propicio). La expresin progresos como se la maneja hoy en da en Educacin, es asociada al trmino valor agregado, ha pasado por varias etapas evolutivas. Su origen primero se ubica fuera del campo de la Educacin, de modo que para algunos autores El trmino valor agregado se origina en la Economa cuando se hace referencia a la diferencia entre insumos, tales como materias primas y la energa, versus los productos nales representados por el valor de venta... En aos recientes el concepto econmico de valor agregado ha adquirido un signicado adicional, cuando se le asocia con la necesidad de las Economas Occidentales de focalizarse en la manufactura de alta calidad, como una forma de competir exitosamente con economas de rpido crecimiento. El trmino valor agregado en este contexto se aplica a productos elaborados cuya calidad y valor son aumentados por altos niveles de tecnologa y destreza en el proceso de manufactura. (Spours y Hodgson, 1996, citados en Saunders, 1999). Sin embargo, es imprescindible tener en cuenta que las ambigedades asociadas con el trmino valor agregado, que no son pocas, han sido heredadas precisamente del contexto econmico. Es por esto ltimo que el hecho de que el concepto parezca originarse en tal entorno no garantiza en absoluto, ni la precisin ni la claridad conceptual. Por otra parte la denicin de Spours y Hogdson, recin citada, puede llevar a pensar en que no slo el contexto econmico pueda haber afectado al educativo, sino que existira razn para anticipar que
D4
pudiese haber tambin un efecto en la direccin opuesta, dado que en el discurso dentro del cual se sita esta denicin evolucionada del valor agregado (ella) est conectada con la relacin entre la economa (de nivel nacional) y la entrega de educacin/entrenamiento; y en qu medida puede ser demostrado o slo supuesto que la educacin y el entrenamiento sean elementos integrales de la salud econmica de la nacin. ... es posible sealar al respecto que recientemente ha empezado a surgir la sombra de cierta duda acerca de si en realidad la calidad de la educacin/entrenamiento constituye efectivamente una variable clave para el xito de una economa. Algunas consideraciones adicionales parecen ser necesarias (Saunders, 1999) en cuanto a completar esta visin del valor agregado desde la perspectiva de sus orgenes econmicos. El primer aspecto consiste en la exploracin de respuestas a las preguntas valor que se agrega a qu, por parte de quin, y para el benecio de quin? Es as como estas preguntas llevan a tomar cabal conciencia de la antes mencionada ambigedad del concepto, si adems se agregan a la bsqueda de respuestas a otras tales como es el valor agregado un concepto absoluto o relativo? Tiene un rol descriptivo o uno evaluativo? En cuanto a esto ltimo, el tema de la ventaja o benecio es un aspecto muy importante de captar ya que el valor agregado, incluso en un contexto econmico, tiene un signicado evaluativo, aunque ste pueda no estar presente en todas las acepciones del trmino. En este contexto educativo, sera posible argumentar que el potencial evaluativo, presente al interior del trmino se ha convertido ms bien en un propsito evaluativo, en todas sus aplicaciones. La introduccin del trmino al campo de la Educacin, fue por la va de su segmento ms avanzado, esto es por el de la Educacin Superior. Como trmino explcito seala la autora mencionada (Saunders, 1999) su primera aparicin parece haber ocurrido en el sector de la educacin avanzada/superior en el contexto de los indicadores institucionales de desarrollo
con (el propsito de) hacer cada vez ms objetivas y vlidas, las comparaciones entre los desempeos de las escuelas. Esta es una connotacin que persiste en la actualidad, aunque las metodologas estadsticas denominadas como de niveles mltiples hoy permiten efectuar la determinacin del valor agregado en varios niveles de agregacin, en forma simultnea. Uno de los trabajos pioneros en este aspecto se llev a cabo en el Reino Unido y ste fue el de las comparaciones entre los resultados en el Certicado General de Enseanza Media y el Nivel A (universitario), probadas y desarrolladas a travs del sistema denominado ALIS (Sistema de Informacin del Nivel A), desde los comienzos de los Ochenta, por Fitz - Gibbon, quin en aquella poca se desempeaba en el Centro de Currculum, Evaluacin y Gestin de la Universidad de Newcastle. Los resultados de tal estudio sealaron -por ejemplo que las diferencias entre escuelas parecen no constituir una fuente muy importante de las diferencias alcanzadas por los estudiantes individuales, de distintos niveles de habilidad/rendimiento que asisten a distintas escuelas; y (tambin) que existe evidencia contrapuesta en cuanto a la pregunta de si ciertas escuelas muestran una ecacia diferente para estudiantes cuyas habilidades / logros (tambin) diferan al ingreso- tambin (de ese modo) pregurando mucha de la evidencia acumulada, desde ese entonces, respecto de la ecacia relativa de tales mediciones. (Gray, Jesson y Jones, 1986, citados en Saunders, 1999). Lo recin sealado, estableci la necesidad de contar con una forma de medir distinta a la tradicional, por dos razones concretas. Por una parte se planteaba que metodolgicamente dos temas emergen de la intencin de comparar el desempeo de las escuelas: primero, que debe introducirse algn concepto de contextualizacin, de modo de dar posibilidad de manifestarse al hecho de que las escuelas estn tratando con poblaciones estudiantiles
que dieren considerablemente en trminos de rendimiento previo y en otras variables claves (el tema de los insumos) Por otra parte, desde el momento en que las escuelas son parte de un sistema educacional que posee jerarquas naturales o niveles de inclusin (por ejemplo, los estudiantes agrupados en secciones, dentro de cohortes, a su vez al interior de escuelas), el modelo estadstico adoptado para efectuar los anlisis de los datos de desempeo, debe reejar esta estructura. (Gray, Jesson y Jones, 1986, citado en Saunders, 1999). Las razones recin enunciadas tienen una relevancia especial, dado que inciden en varios aspectos que por largo tiempo se han considerado centrales en la actividad evaluativa en Educacin. El primero de ellos consiste en que aquella debe proporcionar informacin que permita tomar decisiones que estn encaminadas a producir efectos en las decisiones de poltica educativa y que necesariamente tales decisiones tienen que ser pertinentes. Pertinentes, en cuanto a que la evaluacin genere informacin que permita adoptar las medidas necesarias sobre las escuelas, eso s cuidndose que ello ocurra en la medida en que stas sean realmente responsables del desempeo de los alumnos. En segundo lugar, es crucial poder tomar en cuenta cul es la contribucin de cada uno de los niveles jerrquicos del sistema educativo y de sus variables asociadas, sobre el rendimiento. En ste ltimo sentido, el nuevo enfoque a cuya aplicacin se reere este documento permite, casi por primera vez, considerar en forma exhaustiva los abundantes hallazgos que demuestran, por una parte, que los nios provenientes de entornos socialmente deprivados tienden a obtener puntajes en los exmenes y resultados en las pruebas, inferiores a los de aquellos nios de entornos ms privilegiados. De similar modo y an ms relevante que los aspectos recin sealados, es el hecho de que este enfoque evaluativo permite, a diferencia de otros anteriores, tomar en cuenta que el logro de los nios cuando entran por primera vez a la escuela, constituye el factor ms determinante
D6
del rendimiento posterior (Goldstein y Cuttance, 1988, citado en Saunders, 1999). Otro aspecto central que est incluido en el enfoque en cuestin es ... que la ecacia de las escuelas vara en trminos del desempeo relativo de diferentes sub-grupos. Intentar resumir las diferencias entre escuelas, an ajustando por caractersticas de ingreso, sexo y antecedentes tnicos de los alumnos y por las caractersticas jas de las escuelas, en una sola cantidad, es engaador... . El concepto de ecacia total, no es til (Nuttal, Goldstein, Prosser y Rabash, 1989, citado en Saunders, 1999). Un tema adicional que es abordado por el enfoque en cuestin es que el ordenamiento de las escuelas por jerarqua de resultados, sean estos brutos o ajustados por estatus socioeconmico y/o rendimiento previo es, en cualquier caso, altamente problemtico, ya que el propio mtodo usado para arribar a esas estimaciones de desempeo de las escuelas, parcialmente determina el orden resultante. Es necesario, por lo tanto, asumir que el mtodo en este caso abarca (e inuye sobre) ambos, el tema de cules productos son usados, particularmente aquellos que son capaces de diferenciar entre diferentes grupos de alumnos y el tema de cules tcnicas de modelacin estadstica son usadas. (Goldstein y Cuttance, 1988). Adems, estos mismos autores previenen en cuanto a que mientras mayor es el nmero de factores de contexto que se incluyen en el anlisis, ms inestables y menos conables resultan las comparaciones. Este es un principio importante de tener en cuentas, dado que han existido demandas, razonables desde el punto de vista de aquellos que buscan administrar y mejorar las escuelas, por un modelo que incluyese todo aquello, que pudiese hacer pensar que constituye factores que afectan el desempeo de las escuelas. Es por estas razones que el principio subyacente en la mayor parte del trabajo de valor agregado, ha sido ms restrictivo que inclusivo... Su relacin con la ecacia de las escuelas ha
debe estar basada en una teora explcita slidamente sustentada, que est abierta al escrutinio y renacin y que incluya elementos tales como: el rendimiento previo de los alumnos. la naturaleza longitudinal del progreso. la naturaleza multinivel de las escuelas. la naturaleza multivariada de los factores involucrados, especialmente factores ajenos a la escuela que pueden potenciar o retardar el progreso, tales como los antecedentes socioeconmicos de los estudiantes. la ecacia diferencial de escuelas especcas para distintos grupos de estudiantes.
condiciones a saber: que cuente con una lnea de base; que la evaluacin se realice a nivel censal y no muestral y; que los alumnos que sern parte de la evaluacin, estn plena e inequvocamente identicados. Respecto de la primera de las condiciones, ello es contar con una lnea de base, que permita sustentar la estimacin estadstica por regresin, existen varias alternativas de acuerdo a su diferente poder predictivo. La opcin por una u otra alternativa congura, a la larga, distintos modelos que pueden, a su vez, ser clasicados de acuerdo a ese variado poder predictivo y explicativo, respecto de la variacin en rendimiento. Tales modelos sern reseados ms adelante. Sin perjuicio de la abundancia de alternativas, la opcin ms conveniente y ortodoxa para constituir la lnea de base, se apoya en el empleo, como Primera Medicin, de resultados obtenidos por los alumnos evaluados en pruebas estandarizadas de rendimiento, aplicadas idealmente con anterioridad al Grado en el cual se encuentren al momento de la Segunda Medicin, lo que permitir la determinacin del progreso, a travs del valor agregado. Sin embargo, la opcin ms conveniente, en la mayora de los casos no es la ms factible. Lo recin sealado, por cuanto en la mayora de las situaciones los sistemas de medicin de amplia cobertura tienen carcter muestral y por la misma razn no siempre registran de manera utilizable la identicacin de los sujetos que incluyen en sus evaluaciones. Por otra parte, el hecho de que el enfoque de valor agregado constituya una forma innovativa de evaluacin en el campo educativo, requiere que sus aplicaciones puedan exhibir en tiempo relativamente breve, resultados que sean utilizables con nes de generar decisiones en poltica educativa. Estas dos ltimas razones llevan, la mayora de las veces a emplear como lnea de base alternativas
D8
diferentes, menos ecaces y ecientes, que las mediciones estandarizadas. Respecto de la condicin relativa al carcter censal de las mediciones, tampoco sta es una condicin habitualmente encontrada en los sistemas de medicin de amplia cobertura. Lo ms comn es que se estructuren de manera muestral y en el mejor de los casos que, si bien pueden en algunos, alcanzar dimensiones que se aproximan al universo de su poblacin objetivo, dejan fuera segmentos de ste, aunque no de manera sistemtica. En otras situaciones aunque existe cierta sistematicidad, las exclusiones involucran marginar segmentos de la poblacin que por sus caractersticas son signicativos en el sistema educativo. Esto ltimo tiene por resultado que existan, en esos casos, prdidas de informacin importantes que afectan el mbito de generalizacin de la respectiva evaluacin. En cuanto a la identicacin plena y unvoca de los sujetos participantes en el proceso evaluativo, la tendencia general ha sido, por una parte, que los resultados de las mediciones y evaluaciones no entreguen datos por estudiante, sino que agregados por cursos o por establecimientos. Por otra parte, situaciones an ms extremas han implicado que no existan mecanismos habilitados dentro de los sistemas de evaluacin educativa y en algunos, ni siquiera dentro de los sistemas educativos como tales, que permitan identicar a los estudiantes. Ambas situaciones y en particular la segunda de las nombradas conspira en contra de la posibilidad de estructurar sistemas bajo el enfoque de valor agregado. Paradjicamente, aunque el establecimiento de mecanismos de identicacin de los sujetos pareciera constituir el problema ms difcil de resolver por lo largo y trabajoso, la decisin poltica de no hacer pblica la informacin respecto de los sujetos individuales, es an ms difcil de remontar que aquellos, especialmente para nes evaluativos.
Cada punto en que se intersectan ambas medias para cada escuela constituye la relacin que existe para cada establecimiento entre ambas variables. De modo estadstico, luego se ajusta una recta que se site a las mnimas distancias de cada punto y su inclinacin (pendiente) revela el grado de asociacin entre ambas medidas, estando la magnitud de tal asociacin expresada por el coeciente de correlacin. La correlacin que como sabemos vara entre 1 y +1, si fuese 0, lo que indicara ausencia de relacin entre ambas variables implicara que la lnea fuese ms o menos horizontal. Una correlacin de 1 o +1 que mostrara una recta inclinada en un ngulo de 45 grados, involucrara una alta correlacin. La pendiente de la recta es utilizada para determinar el puntaje estimado para cada escuela. Mientras ms alejada la posicin de una escuela de la recta implicar que su resultado bruto diere del esperado y que la escuela tendr mejores o peores resultados en trminos de valor agregado. La diferencia entre el puntaje nal esperado y el puntaje nal real de una escuela provee la medida del valor agregado, la cual es denominada en trminos estadsticos como residuos de la escuela. Las escuelas ubicadas exactamente sobre la recta muestran total coincidencia entre su desempeo real y su desempeo esperado. Aquellas que estn por sobre la recta, a su vez, muestran estar desempendose mejor que lo esperado y tienen residuos positivos, mientras que las escuelas bajo la recta estn desempendose peor de lo esperado y los tienen negativos. Claramente las escuelas con altos o bajos puntajes de rendimiento previo pueden obtener cualesquiera de los dos tipos de resultados, mejores o peores. (Sammons, Thomas y Mortimore, 1997). Si bien la forma ms evidente y simple de calcular el valor agregado es utilizando el mtodo de Regresin Simple por Mnimos Cuadrados, hay autores como Goldstein (1987, 1995) que han destacado la importancia de utilizar tcnicas de niveles mltiples y datos detallados respecto del nivel de los estudiantes, para cada alumno
individual, en el clculo del valor agregado. La ventaja de utilizar tales mtodos es que ellos permiten explotar la estructura jerrquica de los datos educativos, los que estn congurados por estudiantes agrupados en secciones, stas dentro de escuelas y stas ltimas dentro de distritos, etc. Del mismo modo en que la Regresin Mltiple es usada, esta metodologa puede ser empleada para ubicar diferencias tales como aquellas existentes en los desempeos de nias y nios, los cuales al haber tomado en cuenta sus respectivas situaciones al ingreso, permiten una comparacin equitativa. Sin embargo, aunque ecaz, la metodologa reseada no permite distinciones nas entre escuelas, tales como aquellas que emergen de las comparaciones de puntajes brutos. Ms bien el valor agregado posibilita obtener indicadores de ecacia y de la medida en que algunas escuelas se estn desempeando mejor o peor que otras, una vez que se ha ajustado por las condiciones de entrada de sus estudiantes. Dos aspectos adicionales deben ser mencionados antes de dar por terminada esta seccin. El primero se reere al hecho de que, si bien es posible entregar informacin a varios niveles de agregacin, debe tenerse en cuenta que la comparacin tanto de los alumnos de un aula determinada, como la de las aulas dentro de una escuela y las escuelas al interior de un distrito, deben llevarse a cabo con respecto de la Media de los alumnos del universo completo al cual se reri la medicin. Lo que se acaba de sealar implica no intentar comparaciones de alumnos en un aula respecto de la Media de esa aula o de aulas dentro de una escuela respecto de la Media de esa escuela o de las escuelas de un distrito con referencia a la Media de ese distrito. La razn es, ni ms ni menos, que el hecho de que al hacer la comparacin que se acaba de sealar, implica que la suma algebraica de todas las diferencias sera Cero. El segundo aspecto se reere a que se debe tener presente que un anlisis inferencial por
D 10
regresin, utilizando el valor agregado como variable dependiente, dara en general por resultado que el porcentaje de varianza explicado fuese mnimo. La razn estriba en el hecho de que la determinacin del valor agregado, de entrada implic controlar por las variables de contexto y ya se hizo cargo de gran parte de la varianza. Es por lo sealado de que la mayora de los estudios que pretenden relacionar valor agregado y Factores Asociados, por lo general utilizan como nica manera de determinar el efecto de estos ltimos sobre el primero, el hacer uso de estudios cualitativos que no requieren el uso de tcnicas de estadstica inferencial y en especial las de regresin.
Modelo I Modelo II
No incluye variables explicativas. Incluye por ejemplo: gnero, edad, etnia y derecho a alimentacin en la escuela. Incluye medidas tales como: resultados de pruebas estandarizadas anteriores o notas. Incluye por ejemplo: gnero, edad, etnia y derecho a alimentacin escolar, adems de medidas de rendimiento previo tales como: resultados de pruebas estandarizadas o notas.
Modelo III
Modelo IV
Completo.
A continuacin se muestran, de acuerdo a un estudio realizado por los autores antes nombrados, los porcentajes de varianza explicados por cada modelo, en Lenguaje, Matemtica y en Puntaje Total.
D 11
Lenguaje
Modelo II. Varianza total explicada. Modelo II. Varianza de la escuela explicada. Modelo III. Varianza total explicada. Modelo III. Varianza de la escuela explicada. Modelo IV. Varianza total explicada. Modelo IV. Varianza de la escuela explicada.
Como es posible apreciar, los modelos, a medida en que aumentan en los elementos que incorporan, aumenta tambin su capacidad de explicacin de la varianza en los resultados, tanto de la escuela como en el total. En este sentido el Modelo IV es el de mayor capacidad para tal propsito. Como sealan Sammons, Thomas y Mortimore (1997) la bondad de ajuste de los distintos modelos est representada en funcin del porcentaje de varianza explicada en cada asignatura y en el Puntaje Total. Como puede verse, el uso de medidas previas de rendimiento solamente, como variables explicativas (Modelo III) produce resultados ms pobres que el Modelo Completo IV. Esto indica que el hecho de controlar por medidas adicionales de contexto, tales como gnero, es necesario para obtener medidas precisas de ecacia de las escuelas (residuos) Es importante tambin notar que el slo uso de factores de contexto (Modelo II), explica un porcentaje substancialmente menor de la varianza total, que los Modelos III y IV, sugiriendo en forma clara que el Modelo II -caso en el cual el anlisis carece de rendimiento previo- es inadecuado en cuanto a proveer controles debidos de las condiciones de ingreso de los estudiantes.
Matemtica
6,9 37,1 33,7 48,1 36,6 53,9
Total
11,6 43,8 40,4 57,4 45,9 70,0
Otro aspecto necesario de considerar es el hecho de que parte de los insumos para la determinacin del valor agregado son de naturaleza retrospectiva, basndose en perodos previos del devenir de las escuelas. Este es un aspecto que es preciso tener en cuenta al momento de interpretar los resultados obtenidos. Es por ello que desde la perspectiva de quin interprete los resultados, sea esta de la esfera acadmica, poltica o docente, es imprescindible que previamente a extraer conclusiones se las ponga en el contexto temporal en que se sitan ambas mediciones. Un tercer aspecto a considerar es que el valor agregado en general, presenta inestabilidades en el tiempo, lo cual hace aconsejable, de acuerdo a la opinin de la mayora de los autores, que para poder emitir y sustentar conclusiones respecto de una escuela, seccin o individuo, se disponga de a lo menos de dos determinaciones secuenciales del valor agregado e idealmente de tres. Finalmente, el otro aspecto que debe considerarse es el hecho de que el valor agregado no necesariamente muestra comportamientos consistentes a travs de diversas asignaturas, por lo cual es preciso interpretar sus resultados en cada materia y ser muy cuidadoso en cuanto a extrapolar o comparar los resultados obtenidos en diferentes materias. En la raz de las objeciones existen preocupaciones que exceden a los aspectos exclusivamente operativos. Uno de ellos emerge
D 12
Bibliografa
Byatt, A. S. (1997). The inequality express. The American Prospect. 20, 81-93. Emonds, R. (1979). Some schools work and more can. Social Policy, 9, (4), 28-32. Goldstein, H. (1987). Multilevel models in educational and social research. London: Charles Grifn and Company. New York: Oxford University Press. Goldstein, H. (1995). Multilevel Statistical Models (2nd. Ed.). London: Edward Arnold. New York: Halsted Press. Goldstein, H. y Thomas, S. (1995). School effectiveness and value added analysis. Forum. 37, 3638. Goldstein, H. y Cuttance, P . (1988). A note on national assessment and school comparisons. Journal of educational policy, 3, 197-202. Gray, J., Jesson, D., y Jones, B. (1986) The search for a fairer way of comparing schools examination results. Research papers in education, 10 (1), 45-68. Kozol, J. (1991). Savage Inequalities: Children in Americas schools. New York: Harper Perennial. Laboratorio Latinoamericano de Evaluacin de la Calidad de la Educacin, UNESCO-SANTIAGO, Ocina Regional de Educacin para Amrica Latina y El Caribe (1998) Primer Estudio Internacional Comparativo sobre Lenguaje, Matemtica y Factores Asociados en Tercero y Cuarto Grado, Primer Informe. Santiago de Chile: UNESCO.
D 13
McGeevor, P ., Giles, C., Little, B., Head, P . y Brennan, J. (1990) The measurement of Value Added in higher education. A joint PCFC/CNAA project report. London: Council for national academic awards. McPherson, A. (1992). Measuring value added in schools (NCE brieng 1). London: National Commission on Education. Mkhatshwa, S. en Townsend, T., Clarke, P ., y Ainscow, M (Eds.) (1999) Third Millenium Schools. A world of differences in effectiveness and improvement. Lisse: Swets and Zeitlinger, 339-351. Nuttal, D. (1991) An instrument to be honed: Tables do not reect schools true performance. Times educational supplement, 22. Nuttal, D., Goldstein. H., Prosser, R y Rabash, J. (1989). Differential school effectiveness. International journal of educational Research, 1 769-776. Sammons, P . (1996). Complexities in the judgment of school effectiveness. Educational research and evaluation. 2, (2),113-149. Sammons, P ., Thomas, S., Owen, C. y Pennell, H. (1994). Asssesing school effectiveness: Developing measures to put school performance in context. London: Ofce for Standards in Education (OFSTED). Sammons, P ., Thomas, S. y Mortimore, P . (1997). Forging Links. Effective schools, effective departments. London: Paul Chapman. Saunders, L. (1999). A brief History of educational Educational Value Added: How did we get to where we are? School efecctiveness and school improvement. Spours, K. y Hogdson, A. (1996). Value Added and raising attainment: A formative approach. A resource pack for practitioners. Poole: BP Education Service. Thomas, S. y Mortimore, P . (1996) Comparison of value added models for secondary school efectiveness. Research papers in education, 1, (11), 5-33. Townsend, T., Clarke, P ., y Ainscow, M (Eds.) (1999) Third Millenium Schools. A world of difference in effectiveness and improvement. Lisse: Swets and Zeitlinger. Willms, J. D. (1992). Monitoring of school performance: A guide for educators. London: Falmer.
D 14