A troca de professores durante o ano letivo

reduz a prociencia dos estudantes?

Evidencias com base em uma vis ao
econometrica dos dados do SAEB, analisando
alunos de 4
o
serie e sua prociencia em
matem atica.

Michel Cantagalo

e Rafael Gomes Duarte

3 de janeiro de 2009
1 Introducao
Os ultimos dez anos foram muito produtivos em estudos sobre assuntos escolares.
Apesar disso ainda ha muitas d uvidas e diculdades metodologicas na determinacao dos
processos que denem a prociencia dos alunos. Desconsiderando os fatores individuais,
que tambem se tornaram foco de diversos estudos, as caractersticas das escolas denem
boa parte desta prociencia dos alunos.
Segundo WALBERG (1985) existem nove fatores que determinam a produtividade
educativa, com base em analises de aproximadamente 3000 estudos realizados a partir
de 1970. Ja SAMMONS et al (1995) enumera onze caractersticas determinantes das es-
colas ecazes, e conjuntamente apresenta detalhada revisao bibliograca sobre o tema.
Diretamente, nenhum dos dois autores cita a questao da continuidade do trabalho dos
professores como central a ecacia da escola, porem cremos que indiretamente ela inu-
encia no processo de aprendizagem do aluno, dado que a troca de professores gera uma
descontinuidade e com esta descontinuidade um perodo de readaptacao dos alunos ao
novo professor. Este perodo de readaptacao deve ser menos produtivo educacionalmente
e isto se pode justicar por diversos aspectos. Muitas vezes os professores exigirao novos

Artigo escrito para a conclusao da disciplina Avalia cao de Polticas P ublicas. Univer-
sidade de Sao Paulo, Faculdade de Economia, Administra cao e Contabilidade de Ribeirao
Preto, Departamento de Economia

Contato: cantagalo@fearp.usp.br

Contato: monguinho@gmail.com
1
habitos de estudo do aluno que levarao tempo a serem assimiladas, ou ainda o novo pro-
fessor repetira conte udos ja passados por desconhecer o que ja foi, e como foi, passado aos
alunos. Pode ser ainda que o professor e trocado por ser considerado incompetente e que
seja custoso ao novo professor recuperar o nvel de conhecimento dos alunos.
Independentemente dos motivos por traz do fato, buscaremos identicar neste tra-
balho, atraves de uma analise econometrica, se a troca de professores reduz a prociencia
dos estudantes.

E importante para este teste o uso da metodologia do matching, dado que
a troca de professores provavelmente e uma variavel endogena a muitas outras com poder
de explicacao sobre a prociencia dos alunos. Os motivos que levam o professor a trocar
de escola devem estar relacionados `a qualidade da escola, e esta qualidade e explicativa
quanto `a prociencia de seus alunos. Desta maneira utilizaremos os recursos do matching
para eliminar estas variaveis endogenas `a variavel troca de professor.
Como base de dados utilizaremos a base do Sistema Nacional de Avaliacao da Ed-
ucacao Basica (SAEB) analisando as turmas que cursaram a 4
o
serie do ensino fundamen-
tal e os impactos da troca de professores na prociencia em matematica dos alunos destas
turmas.
2 Revisao de literatura
Nenhum trabalho que analise a questao da troca de professores como variavel explica-
tiva da prociencia do aluno foi encontrado. Desta maneira, restringimos nossa revisao
bibliograca a trabalhos sobre educacao que tenham usado a metodologia do matching em
sua analise.
O trabalho de NASCIMENTO (2008), merece ser citado pela sua grandiosa revisao
bibliograca sobre as discussoes entre pesquisadores sobre a relevancia ou irrelevancia das
caractersticas das escolas em explicar a performance de seus estudantes.
Segundo o autor, as questoes nascidas na literatura sobre a Funcao de Producao da
Educacao, desde a publicacao de COLEMAN, no ano de 1966 nos Estados Unidos da
America, tem alimentado grande controversia sobre o papel dos recursos da escola em
relacao `a performance de seus estudantes. Com muitas revisoes de literatura e algumas
estimativas proprias, HANUSHEK (1986, 1997, 2006) sistematicamente arma que estes
dois fatores nao estao associados um com o outro, tanto nos EUA como em outros pases.
Em uma recente analise entre pases WOESSMANN (2003, 2005a, 2005b) relaciona as
diferencas internacionais encontradas com diferencas institucionais entre os distintos sis-
temas educacionais, e nao `a questao dos recursos disponveis.
Ainda segundo NASCIMENTO (2008), na posicao contraria HEYNEMAN e LOXLEY
(1982 e 1983) tentam demonstrar que nos anos 80, ao menos nos pases com rendas baixas,
as caractersticas das escolas obtiveram maior poder explicativo que as caractersticas
familiares na determinacao da performance dos estudantes, mesmo que outros autores
mostrem que isso ocorreu apenas durantes um curto perodo do seculo XX. Nos anos 90
algumas analises surgiram argumentando que os recursos da escola eram sucientemente
signicantes para serem resguardados como pedagogicamente importante.
Para o autor, com a virada do seculo vem um novo movimento que busca reconhecer
que a determinacao endogena da alocacao dos recursos e um problema substancialmente
metodologico. Entao, esfor cos foram feitos para incorporar os processos de tomada de
decis ao, que envolvem famlias, escolas e polticos em modelos economicos. Isto implica em
mudancas na estrutura cao de novas pesquisas, que afetarao diretamente futuras orientacoes
polticas de orgaos internacionais e organiza coes educacionais.
2
O segundo trabalho a ser citado e de FEL

ICIO e VASCONCELLOS (2008), que elab-

oraram um estudo em que se propos a investigar o efeito da freq uencia `a educa cao infantil
sobre o desempenho escolar em matematica, observado na quarta serie do ensino funda-
mental da rede p ublica, aplicando metodologias e dados diferenciados dos ja existentes na
literatura. No primeiro exerccio, as autoras utilizaram dados do SAEB 2003 e, aplicando
metodos de pareamento (propensity score matching), resolveram potenciais problemas de
selecao.
Os resultados encontrados pelas autoras evidenciam que ingressar na escola antes da
primeira serie tem efeito positivo e signicativo sobre o desempenho na avaliacao. Esse
efeito e de, em media, cerca de 28% do desvio padrao do SAEB 2003, em matematica.
Na estimacao utilizando um painel de escolas do SAEB 2003 e Prova Brasil 2005 em que
foi aplicado o metodo de efeitos xos para corrigir possveis problemas de endogeneidade,
os efeitos encontrados pelas autoras sao um pouco maiores. Na estimacao com os dados
de todo o Brasil obtiveram que freq uentar a escola infantil eleva a prociencia media em
cerca de 39% do desvio padrao.
No trabalho ainda e possvel vericar algumas simulacoes que mostraram que seria
possvel elevar em mais de 11% a prociencia se 100% das crian cas freq uentassem a ed-
ucacao infantil. Desta maneira, as autoras encontraram em seu trabalho a conrmacao
da existencia de uma rela cao de causalidade entre a freq uencia `a educacao infantil e os
resultados escolares, resultados estes que podem ser importantes para subsidiar polticas
educacionais.
3 O Sistema Nacional de Avaliacao da Ed-
ucacao Basica - SAEB
O Sistema Nacional de Avaliacao da Educacao Basica (SAEB) coleta informacoes sobre
o desempenho academico dos alunos brasileiros, apontando o que sabem e sao capazes de
fazer, em diversos momentos de seu percurso escolar, considerando as condicoes existentes
nas escolas. Os dados, obtidos com a aplicacao de provas aos alunos e de questionarios
a alunos, professores e diretores, permitem acompanhar a evolucao do desempenho e dos
diversos fatores associados `a qualidade e `a efetividade do ensino ministrado nas escolas.
A partir das informa coes do SAEB, o Ministerio da Educacao - MEC e as Secretarias
Estaduais e Municipais podem denir acoes voltadas para a corre cao das distorcoes e
debilidades identicadas e dirigir seu apoio tecnico e nanceiro para o desenvolvimento
e a reducao das desigualdades ainda existentes no sistema educacional brasileiro. Alem
disso, realizar avaliacoes e divulgar seus resultados e uma forma do poder p ublico prestar
contas da sua atuacao a alunos, professores, pais e `a sociedade em geral, proporcionando
uma visao clara do processo de ensino e das condi coes em que ele e desenvolvido.
Assim, o SAEB tem como principal objetivo oferecer subsdios para a formulacao,
reformulacao e monitoramento de polticas p ublicas, contribuindo, dessa maneira, para
a universaliza cao do acesso e a amplia cao da qualidade, da eq uidade e da eciencia da
educacao brasileira.
Dentro dos microdados do SAEB utilizamos os dados referentes `as turmas, para obter-
mos informacao sobre a troca de professores, aos alunos, para os dados de prociencia, e
`as escolas para outros dados que serviram de orientacao ao processo de matching.
Apenas turmas da quarta serie do ensino fundamental foram consideradas em nossa
analise. E quanto `a analise sobre a prociencia, apenas a prociencia em matematica foi
3
utilizada como variavel dependente da regressao.
4 Metodo econometrico
Os metodos de matching podem ser classicados no contexto de estimacoes nao parametricas
da rela cao entre o variavel dependente para o indivduo i (por exemplo, Y
i
) e uma variavel
dummy indicando a participacao, ou nao, do indivduo em uma situa cao ou evento, e um
grupo de outras caractersticas a serem utilizadas. Estas outras caractersticas tambem sao
conhecidas como covariadas e sao assumidas como exogenas ao modelo, ou seja, considera-
se que elas nao inuenciam no que foi denido como tratamento no modelo. Tal rela cao
pode ser formalizada como em MOFFIT (2004):
y
i
= f(d
i
, x
i
). (1)
No contexto de estudos de observacao, as pressuposicoes chaves que fazem fundo aos
metodos de matching buscam criar condicoes similares para um experimento para que
a analise do impacto do tratamento possa ser embasada em comparacoes de grupos de
indivduos com tratamento (d
i
= 1) e sem tratamento (d
i
= 0).
Para se construir estimativas consistentes do impacto de um tratamento, os metodos
de matching devem apoiar-se em uma das pressuposicoes fundamentais, conhecidas como
independencia condicionalou selecao de observacoes. A independencia condicional
pode ser formalizada como:
(y
0
, y
1
) d|x. (2)
A expressao acima dene que os possveis resultados sao ortogonais `a condicao de
tratamento, dadas as covariadas observaveis. Em outras palavras, condicionado a car-
actersticas das observacoes, a participacao no tratamento e independente dos possveis
resultados. Assumindo que nao existam diferen cas nao observaveis depois de condiciona-
dos em suas caractersticas (x
i
), qualquer diferenca nos resultados entre participantes ou
nao do tratamento podem ser atribudos ao tratamento.
Para o matching ser plausvel precisam existir indivduos com caractersticas (x
i
)
semelhantes no grupo tratado e no grupo nao-tratado. Isto requer sobreposi cao na dis-
tribui cao das observacoes entres os dois grupos analisados. A pressuposi cao de sobreposicao
e normalmente denida como:
0 < Pr(d = 1|x) < 1. (3)
Tal sobreposicao cria a possibilidade da existencia de um indivduo nao-tratado
analogo a cada tratado, e isto e tudo o que e requerido para a estima cao do impacto
medio do tratamento
1
.
Quando assumimos selecao de observacoes, o processo adequado de matching requer
que selecionemos da amostra dos n ao-tratados, um grupo de compara cao cuja distribuicao
das caractersticas observaveis seja o mais similar possvel da distribuicao no grupo tratado,
que e o caso utilizado neste trabalho.
IMBENS (2004) faz as seguintes considera coes sobre a plausibilidade da suposicao
de selecao de observaveis em contexto economico. A avaliacao de qualquer tratamento
1
Ver SMITH e TODD (2005) para maior detalhamento.
4
primeiramente se inicia com a compara cao dos resultados de participantes e nao partici-
pantes. A questao central se torna entao a identica cao dos indivduos nao-tratados que
melhor representam os indivduos tratados.
Na pratica os metodos de matching podem se tornar mais e mais difceis, na medida
em que mais caractersticas observaveis adentram o processo, assim deve-se buscar um
matching signicativo que seja possvel de testar, ou seja, que nao elimine do modelo
demasiados graus de liberdade.
5 Analises e Resultados
Para a analise criamos uma variavel binaria de tratamento que se iguala a 1 nos casos
onde o aluno teve um ou dois professores de matematica durante o ano letivo, e a zero
caso tenha tido mais que 2 professores de matematica no ano. Nossa variavel dependente
e a prociencia do aluno em matem atica e nossas caractersticas observaveis, utilizadas no
processo de matching sao: Tipo de local onde a escola se insere (rural ou urbano) , tipo
de instituicao de ensino (p ublica ou privada), regiao aonde esta a escola (Norte, Nordeste,
Sul, Sudeste, Centro-Oeste), caracteristicas do municpio (metropolitano ou nao), sexo do
aluno, etnia do aluno, idade do aluno e nvel de educacao dos pais do aluno. Seguem as
tabelas com os dados:
Tabela I - Tabulacao da variavel de Tratamento.
Amostra: 3957 observacoes
Observacoes includas: 3957
Categorias: 2
Valor Freq uencia Porcentagem
1 ou 2 professores de matematica no ano: 3664 92.60%
3 ou mais professores de matematica no ano: 293 7.40%
Tabela II - Tabulacao da variavel Localizacao.
Amostra: 3244 observacoes
Observacoes includas: 3244
Categorias: 2
Valor Freq uencia Porcentagem
Urbano: 2991 92.20%
Rural: 253 7.80%
Tabela III - Tabula cao da variavel Institui cao.
Amostra: 3244 observacoes
Observacoes includas: 3244
Categorias: 2
Valor Freq uencia Porcentagem
P ublica: 2008 61.90%
Privada: 1236 38.10%
5
Tabela IV - Tabulacao da variavel Regiao.
Amostra: 3244 observacoes
Observacoes includas: 3244
Categorias: 5
Valor Freq uencia Porcentagem
Norte: 416 12.82%
Nordeste: 1199 36.96%
Sudeste: 636 19.61%
Sul: 534 16.46%
Centro-Oeste: 459 14.15%
Tabela V - Tabulacao da variavel Regiao Metropolitana.
Amostra: 3244 observacoes
Observacoes includas: 3244
Categorias: 2
Valor Freq uencia Porcentagem
Sim: 2117 65.26%
Nao: 1127 34.74%
Tabela VI - Tabulacao da variavel Sexo.
Amostra: 46131 observacoes
Observacoes includas: 45867
Categorias: 2
Valor Freq uencia Porcentagem
Masculino: 23171 50.52%
Feminino: 22969 49.48%
Tabela VII - Tabula cao da variavel de Etnia.
Amostra: 46131 observacoes
Observacoes includas: 45750
Categorias: 5
Valor Freq uencia Porcentagem
Branco: 18473 40.38%
Pardo: 19617 42.88%
Preto: 4384 9.58%
Amarelo: 1331 2.91%
Indgena: 1945 4.25%
6
Tabela VIII - Tabula cao da variavel Idade.
Amostra: 46131 observacoes
Observacoes includas: 45948
Categorias: 8
Valor Freq uencia Porcentagem
8 anos ou menos: 105 0.23%
9 anos: 22480 48.92%
10 anos: 10355 22.54%
11 anos: 4360 9.49%
12 anos: 2450 5.33%
13 anos: 1337 2.91%
14 anos: 1223 2.66%
15 anos ou mais: 293 7.40%
Tabela IX - Tabulacao da variavel Educacao da Mae.
Amostra: 46131 observacoes
Observacoes includas: 45893
Categorias: 10
Valor Freq uencia Porcentagem
Nunca estudou: 1584 3.45%
Nao completou a 4
o
serie: 3867 8.43%
Completou a 4
o
serie: 6432 14.02%
Nao completou a 8
o
serie: 2807 6.12%
Completou a 8
o
serie: 3912 8.52%
Nao completou o ensino medio: 1349 2.94%
Completou o ensino medio: 4742 10.33%
Comecou, mas nao completou a faculdade: 2396 5.22%
Completou a faculdade: 7089 15.45%
Nao sabe: 11715 25.53%
Tabela X - Tabulacao da variavel Educacao da Pai.
Amostra: 46131 observacoes
Observacoes includas: 45890
Categorias: 10
Valor Freq uencia Porcentagem
Nunca estudou: 2009 4.38%
Nao completou a 4
o
serie: 2740 5.97%
Completou a 4
o
serie: 4687 10.21%
Nao completou a 8
o
serie: 2000 4.36%
Completou a 8
o
serie: 3286 7.16%
Nao completou o ensino medio: 1053 2.29%
Completou o ensino medio: 3758 8.19%
Comecou, mas nao completou a faculdade: 1720 3.75%
Completou a faculdade: 7170 15.62%
Nao sabe: 17467 38.06%
Regredindo entao a prociencia pela variavel de tratamento, antes de realizar o match-
ing, encontramos o seguinte resultado:
7
Tabela XI - Estimando o coeciente da variavel de Tratamento na variavel dependente
Prociencia.
Fonte SS df MS N um. de Obs. = 44874
F (1, 44872) = 138.99
Modelo 301467.038 1 301467.038 Prob > F = 0.0000
Resduo 97326946.4 44872 2168.9906 R-quad = 0.0031
R-quad ajust. = 0.0031
Total 97628413.4 44873 2175.6605 Raiz MSE = 46.572
Prociencia Coef. Er. Pad. t P > |t| [Interv. de Con. (95%)]
Tratamento 8.472358 0.718643 11.79 0.0000 7.063806 9.880911
Constante 178.5024 0.6800525 262.48 0.0000 177.1695 179.8353
Transformando as caractersticas observaveis em variaveis dummy, para que possam
participar da regressao, e descartando algumas informa coes que se mostraram nao signi-
cativas na analise
2
o processo de matching foi realizado. O processo utilizado e conhecido
como Metodo de pareamento por vizinhos proximos
3
. Seguem os resultados.
Tabela XII - Estimando os coecientes da variavel de Tratamento e das outras
Caractersticas na variavel dependente Prociencia.
Fonte SS df MS N um. de Obs. = 44592
F (1, 44575) = 1347.57
Modelo 31570052 164 1973128.25 Prob > F = 0.0000
Resduo 65267402.1 44575 1464.21541 R-quad = 0.3260
R-quad ajust. = 0.3258
Total 96837454.1 44591 2171.6816 Raiz MSE = 38.265
Prociencia Coef. Er. Pad. t P > |t| [Interv. de Con. (95%)]
Tratamento 3.257504 0.5945591 5.48 0.000 2.092158 4.42285
Urbano 6.983054 0.8245519 8.47 0.000 5.366918 8.59919
Particular 37.25357 0.4565389 81.60 0.000 36.35875 38.1484
Norte 9.483263 0.6870891 13.80 0.000 10.82997 8.136556
Nordeste 10.00559 0.5845875 17.12 0.000 11.15139 8.859787
Sudeste 12.43151 0.6271848 19.82 0.000 11.20222 13.66081
Sul 9.752446 0.6670668 14.62 0.000 8.444984 11.05991
Metropole 3.372855 0.3775394 8.93 0.000 2.632871 4.112839
Homem 5.552527 0.3649719 15.21 0.000 4.837176 6.267878
Pardo 1.522648 0.411088 3.70 0.000 2.3283884 .7169089
Negro 13.60688 0.6694187 20.33 0.000 14.91895 12.29481
Oriental .0233054 1.107281 0.02 0.983 2.193595 2.146984
Indgena 3.69307 0.9291294 3.97 0.000 5.51418 1.871961
Idade 4.619335 0.1498245 30.83 0.000 4.912994 4.325677
Mae 0.7079768 0.0444761 15.92 0.000 0.6208028 0.7951508
Pai 0.4419871 0.0426924 10.35 0.000 0.3583092 0.525665
Constante 208.4492 1.972647 105.67 0.000 204.5827 212.3156
2
Como a regiao Centro-Oeste e a etnia branca.
3
Nearest Neighbor Matching method.
8
Tabela XIII - Matching: Diferenca entre o grupo tratado e o grupo nao-tratado.
N umero de tratados N umero de nao-tratados ATT Er. Pad. t
40184 4567 3.233 0.898 3.600
6 Conclusao
Pelos resultados podemos concluir que as turmas que tiveram no maximo dois pro-
fessores de matematica no ano letivo possuem em media 3.23 pontos de prociencia em
matematica a mais, quando comparados com o grupo de alunos que tiveram mais de dois
professores no ano. Tal efeito pode ser fruto da questao da descontinuidade das aulas ou
de outros processos descritos na introducao deste trabalho.
Porem, considerando que a media de prociencia em matematica da amostra analisada
e de 185.74 pontos, a diferenca entre o grupo tratado e o grupo nao-tratado e de menos de
2%. Assim, nao urge uma interven cao governamental no que diz respeito `a substituicao de
professores durante o ano letivo, dados que devem existir diversos outros pontos de maior
relevancia a serem considerados pelo governo em seu planejamento da educa cao nacional.
Referencias bibliogracas
COLEMAN, J. S. (1966) Equality of educational opportunity. Washington: U. S.
Oce of Education.
FEL

ICIO, F. e VASCONCELLOS, L (2008) O efeito da educac ao infantil sobre o

desempenho escolar medido em exames padronizados. Instituto Nacional de Estudo
e Pesquisas Educacionais Ansio Teixeira - Ministerio da Educacao, Braslia.
HANUSHEK , E. A. (1986) The economics of schooling: production and eciency
in public schools. Journal of Economic Literature, 24, 1141-1177.
HANUSHEK , E. A. (1997) Assessing the eects of school resources on student
performance: an update. Education Evaluation and Policy Analysis, 19, 141-
164.
HANUSHEK , E. A. (2006) School resources, in E. A. Hanushek and F. Welch (eds)
Handbook of the Economics of Education (Vol. 2). Amsterdam: Elsevier.
HEYNEMAN, S. e LOXLEY, W. (1982) Inuences on academic achievement across
high and low income countries: a re-analysis of IEA data. Sociology of Educa-
tion, 55, 13-21.
HEYNEMAN, S. e LOXLEY, W. (1983) The eect of primary school quality on aca-
demic achievement across twenty-nine high- and low-income countries. American
Journal of Sociology, 88, 1162-94.
IMBENS, G. W. (2004) Nonparametric Estimation of Average Treatment Eects
under Exogeneity: A Review. The Review of Economics and Statistics, 86(1):
4-29.
MOFFIT, R. A. (2004) Introduction to the Symposium on the Econometrics of
Matching. The Review of Economics and Statistics, 86(1): 1-3.
9
NASCIMENTO, P. A. M. (2008) School Resources and Student Achievement:
Worldwide Findings and Methodological Issues. Educate Journal march , pp
19-30.
SAMMONS, P., HILLMAN, J. e MORTIMORE, P. (1995). Key character-
istics of eective schools. Oce for Standards in Education, Londres.
SIMTH, J. A. e TODD, P. E. (2005) Does Matching Overcome LaLondes Critique
of Nonexperimental Estimators? Journal of Econometrics, Volume 125, No.
1-2: 305-353.
WALBERG, H. J. (1984). Improving the productivity of Americas schools. Edu-
cational Leadership, 41,19-27.
WOESSMANN , L. (2003) Schooling resources, educational institutions and student
performance: the international evidence. Oxford Bulletin of Economics and
Statistics, 65, 117-170.
WOESSMANN , L. (2005a) Educational production function in Europe. Economic
Policy: Centre for Research on Economic Performance.
WOESSMANN , L. (2005b) Educational production in East Asia: the impact of
family background and schooling policies on student performance. German Eco-
nomic Review 6, 331-353.
10