El Concepto de Escuela Efectiva en un

Sistema de Responsabilizacin de
Escuelas
Ernesto San Martn
Facultad de Educacin, Ponticia Universidad Catlica de Chile
Facultad de Matemticas, Ponticia Universidad Catlica de Chile
Centro de Medicin MIDE UC, Ponticia Universidad Catlica de Chile
Centro de Polticas y Prcticas Educacionales CEPE-UC
Center for Operations Research and Econometrics CORE, Universit catholique de Louvain, Blgica
Seminario Clasicacin de Escuelas : Antecedentes y Escenarios Probables
Septiembre 24, 2013
Trabajo conjunto con Alejandro Carrasco
Contexto Legal
El Artculo 17 de la Ley 20.529 establece que la Agencia de Calidad de
la Educacin debe ordenar los establecimientos educacionales.
Para ello, la Agencia debe determinar una metodologa de ordenacin,
para lo cual debe considerar los siguientes aspectos:
Resultados de aprendizaje en pruebas estandarizadas.
Otros indicadores de calidad de la educacin (ya aprobados por el CNED).
Caractersticas de los alumnos de cada establecimiento educacional.
Indicadores de progreso o valor agregado.
Ponticia Universidad Catlica de Chile, E. San Martn Septiembre 2013
El alcance de la interpretacin de esta ley
La legislacin debe ser interpretada por medio de posibles
metodologas estadsticas que sean tiles para ordenar escuelas.
No es la primera vez en la historia de Chile que un texto legal requiera
una interpretacin formal (matemtica o estadstica):
La Constitucin de 1925, en su Artculo 25 requiere que se establezca un
porcedimiento de eleccin de Senadores y Diputados que d por
resultado una efectiva proporcionalidad en la representacin de las
opiniones y partidos polticos. El Decreto Ley 542 interpret este
requerimiento por medio del establecimiento de un mtodo matemtico
que formaliza el concepto de proporcionalidad.
Una situacin similar ocurre con la Constitucin de 1980, Artculo 47, y el
establecimiento de un mtodo matemtico a cargo de la Ley 18.700,
Artculo 109bis.
Ponticia Universidad Catlica de Chile, E. San Martn Septiembre 2013
El alcance de la interpretacin de esta ley
La legislacin debe ser interpretada por medio de posibles
metodologas estadsticas que sean tiles para ordenar escuelas.
No es la primera vez en la historia de Chile que un texto legal requiera
una interpretacin formal (matemtica o estadstica):
La Constitucin de 1925, en su Artculo 25 requiere que se establezca un
porcedimiento de eleccin de Senadores y Diputados que d por
resultado una efectiva proporcionalidad en la representacin de las
opiniones y partidos polticos. El Decreto Ley 542 interpret este
requerimiento por medio del establecimiento de un mtodo matemtico
que formaliza el concepto de proporcionalidad.
Una situacin similar ocurre con la Constitucin de 1980, Artculo 47, y el
establecimiento de un mtodo matemtico a cargo de la Ley 18.700,
Artculo 109bis.
Ponticia Universidad Catlica de Chile, E. San Martn Septiembre 2013
Prctica poltica y Consenso terico
Al menos el ejemplo de la Constitucin de 1925 nos muestra cmo la
prctica poltica fue asegurada y fundamentada en un consenso
terico: desde inicios del siglo XX se fue elaborando una interpretacin
formal del concepto de proporcionalidad (Maza, 1913).
Dicha interpretacin se enriqueci por medio de una teora matemtica
de los sistemas de asignacin parlamentaria (Huntington 1921, 1928,
1931, 1941), de modo que la discusin de la prctica poltica en torno a
la representaccin proporcional debe (debera) centrarse en los
aspectos terico-conceptuales, y no en posibles escenarios resultantes
de determinadas prcticas polticas (escenarios simulados).
Ponticia Universidad Catlica de Chile, E. San Martn Septiembre 2013
Partiendo por donde no hay que partir . . .
Motivads por el Acta No. 32 del Consejo de la Agencia de Calidad de la
Educacin, podramos preguntarnos cmo decidir por las virtudes de
una u otra metodologa en base a escenarios simulados.
Con nes ilustrativos, utilizaremos las aplicaciones 2004 y 2006 del
SIMCE de matemticas. Ajustamos 5 modelos de ordenacin:
Modelo M1: similar al usado por la Agencia (segn el Acta mencionada; ver tambin OECD, 2008),
donde uno de los factores explicativos es el SIMCE Matemticas 2004, adems de un efecto
composicional y una proporcin de selectividad declarada.
Modelo M2: M1 ms los niveles educacionales de padre y madre.
Modelo M3: similar al usado por la Agencia (segn el Acta mencionada), donde los factores
explicativos son la proporcin de selectividad y los niveles de educacin de padre y madre.
Modelo M4: similar a un HLM (segn consta en el Acta mencionada).
Modelo M5: una extensin de M4.
Ponticia Universidad Catlica de Chile, E. San Martn Septiembre 2013
Simulaciones empricas . . . hay diferencias y no hay
diferencias!
50 0 50

5
0
0
5
0
Efectividad bajo M1
E
f
e
c
t
i
v
i
d
a
d

b
a
j
o

M
4
50 0 50

5
0
0
5
0
Efectividad bajo M1
E
f
e
c
t
i
v
i
d
a
d

b
a
j
o

M
3
50 0 50

5
0
0
5
0
Efectividad bajo M3
E
f
e
c
t
i
v
i
d
a
d

b
a
j
o

M
4
50 0 50

5
0
0
5
0
Efectividad bajo M1
E
f
e
c
t
i
v
i
d
a
d

b
a
j
o

M
5
Ponticia Universidad Catlica de Chile, E. San Martn Septiembre 2013
Escuela, lo haces bien o lo haces mal? . . . esa es la
cuestin
El objetivo del Sistema Nacional de Aseguramiento de la Calidad es
identicar las escuelas que lo hacen bien, as como las escuelas que lo
hacen mal.
Esta identicacin tiene consecuencias importantes para las escuelas:
Las escuelas que lo hacen bien podrn, si as lo estiman conveniente,
trasferir sus prcticas educativas a las escuelas que lo hacen mal: la
legislacin permite que dichas escuelas formen ATEs.
Las escuelas que lo hacen mal de forma permanente, caern en causal
de cierre, siendo el incumplimieto de ciertos estndares de calidad lo que
las llevar al cierre denitivo.
La metodologa de ordenacin de escuelas tiene por objetivo distinguir
esos dos tipos de escuelas.
Ponticia Universidad Catlica de Chile, E. San Martn Septiembre 2013
Sigamos por donde no hay que ir . . .
Consideremos el 10 % de las escuelas que lo hacen mal segn M1: el
62.1 % de stas cambia de categora con M3.
150 200 250 300 350 400

1
0
0

5
0
0
5
0
SIMCE 2006 promedio
I
n
d
i
c
a
d
o
r
e
s

d
e

e
f
e
c
t
i
v
i
d
a
d
o
o
M1
M3
Ponticia Universidad Catlica de Chile, E. San Martn Septiembre 2013
Un paso en falso ms . . .
51 % de escuelas que lo hacen mal con M3 cambia de categora con
M5, y el 38 % de las que lo hace bien con M3 bajan con M5.
150 200 250 300 350 400

1
0
0

5
0
0
5
0
SIMCE 2006 promedio
I
n
d
i
c
a
d
o
r
e
s

d
e

e
f
e
c
t
i
v
i
d
a
d
150 200 250 300 350 400

1
0
0

5
0
0
5
0
SIMCE 2006 promedio
I
n
d
i
c
a
d
o
r
e
s

d
e

e
f
e
c
t
i
v
i
d
a
d
Ponticia Universidad Catlica de Chile, E. San Martn Septiembre 2013
Conceptualizacin de una escuela efectiva
Una interpretacin coherente de la legislacin debe centrarse en
aspectos conceptuales:
Sentido educacional del output.
La efectividad de una escuela est entre los inputs.
Requerimiento bsico: responsabilizar a la escuela por aquello de lo cual
es responsable, y no por aquello que nno est a su alcance.
Es necesario enfatizar la relacin conceptual entre outputs e inputs: lo
que hace la escuela como input es siempre en relacin al output . . . de
ah que el output debe tener sentido educacional.
Ponticia Universidad Catlica de Chile, E. San Martn Septiembre 2013
Descomposicin fundamental
En general, todo output se puede descomponer de la siguiente manera:
Output
ij
= Inputs a nivel de estudiante y de escuela
ij
+
+ Efecto escuela
j
+
+Error idiosincrtico
ij
.
El efecto escuela se dene formalmente como aquel que induce una
correlacin entre los outputs de los estudiantes que pertenecen a una
misma escuela.
Una especicacin que conlleva a responsabilizar de manera no justa a
una escuela, no distingue entre el efecto escuela y el error
idiosoncrtico.
Ponticia Universidad Catlica de Chile, E. San Martn Septiembre 2013
Escuela efectiva: una analoga
La efectividad de una escuela se dene como la diferencia entre el
output predicho por covariables y el efecto escuela, y el output predicho
por solo las covariables (lo cual signica estar en una escuela
promedio).
Y = Logro
X = Educ. madre
E(Yij | Xij)
E(Yij | Xij, uj)
E(Yij | Xij, uj)
Ponticia Universidad Catlica de Chile, E. San Martn Septiembre 2013
Criterios para evaluar crticamente la interpretacin de la
legislacin
La escuela debe estar presente en la metodologa de ordenacin de
forma tal que los outputs de los estudiantes pertenecientes a una
escuela estn correlacionados entre s precisamente porque la escuela
induce dicha correlacin.
Dichos outputs deben tener sentido educacional.
Satisfechas las dos condiciones anteriores, es necesario usar la
denicin formal de efectividad escolar para decidir qu covariables
incorporar en el modelo. En particular, es necesario insistir en el uso de
uan caracterstica individual qu incluye con creces aspectos
socio-econmicos y de capital cultural: mediciones estandarizadas
(puntajes longitudinales). Omitirla signica crear un problema de
especicacin incorrecta.
Hay sistemas nacionales de calidad de la educacin que se cien al
canon anterior (UK, Polonia) . . . es el consenso terico que, una vez
asumido, permite interpretar las simulaciones de prcticas polticas.
Ponticia Universidad Catlica de Chile, E. San Martn Septiembre 2013
Referencias
Esta presentacin est basada en investigaciones desarrolladas en el contexto de los siguientes proyectos:
Proyecto FONDECYT No. 1110315, School Effectiveness and Value Added Models: From
Quantitative Analysis to Qualitative Outcomes (E. San Martn (IP), A. Carrasco).
Proyecto ANILLO SOC 1107, Statistics for Public Policy in Education: Analysis and
Decision-Making of Observational Studies (E. San Martn (Director), J. Gonzlez, C. Flores, A.
Carrasc, G.Page, R. De la Cruz).
FONIDE FE-11268, Polticas de admisin, evolucin composicional y efectividad escolar de
escuelas ante la reciente institucionalidad que prohbe seleccionar alumnos (A. Carrasco (IP), C.
Flores, E. San Martn, G. Gutirrez).
Ponticia Universidad Catlica de Chile, E. San Martn Septiembre 2013
Referencias
E. San Martn y A. Carrasco (2012). Clasicacin de Escuelas en la Nueva Institucionalidad Educativa:
Contribucin de Modelos de Valor-Agregado para una Responsabilizacin Justa. Serie Temas de la Agenda
Pblica, Centro de Polticas Pblicas UC 7, No. 53.
A. Carrasco and E. San Martn (2012). Voucher System and School Effectiveness: Reassessing School
Performance Difference and Parental Choice Decision-making. Estudios de Economa 39, 123-141.
J. Manzi, E. San Martn and S. Van Bellegem (2013). School System Evaluation by Value Added Models
Under Endogeneity. Forthcoming in Psychometrika.
E. San Martn & A. Carrasco (2013). Criterios para Evaluar la Metodologa Ocial de Clasicacin de
Escuelas: Un Asunto Tcnico o Conceptual?. Aparecer en Propuestas para Chile 2013, Centro de
Polticas pblicas UC.
Ponticia Universidad Catlica de Chile, E. San Martn Septiembre 2013