Anais 1997 Avaliação Internacional

ANAIS DO SEMINÁRIO INTERNACIONAL
DE AVALIAÇÃO EDUCACIONAL
Rio de Janeiro-RJ – 1º a 3 de dezembro de 1997
Coordenador: Alejandro Tiana

Professor Titular da Facultad de Educación da Universidad
Nacional de Educación a Distancia (UNED)/Espanha
ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
MEC / INEP / Unesco

Brasília-DF – 1998
1
EDITOR
Jair Santana Moraes
TRADUÇÕES
Jonh Stephen Morris
REVISÃO
Jair Santana Moraes
José Adelmo Guimarães
José Alfredo Paiva Dezolt
Marluce Moreira Salgado
Rosa dos Anjos Oliveira
NORMALIZAÇÃO BIBLIOGRÁFICA
Regina Helena Azevedo de Mello
Rosa dos Anjos Oliveira
PROJETO GRÁFICO
Rodrigo Godinho A. da Silva
ARTE-FINAL
Márcia Terezinha dos Reis
TIRAGEM
500 exemplares
ENDEREÇO
INEP
MEC – Esplanada dos Ministérios, Bloco L, Anexos I e II, 4 º Andar, Sala 416
CEP 70047-900 – Brasília-DF – Brasil
Fones: (061) 224-7092
(061) 224-1573
Fax: (061) 224-4167
http://www.inep.gov.br
E-mail: editoria@inep.gov.br
Os conceitos e opiniões emitidos são de exclusiva responsabilidade dos seus autores. ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
Dados Internacionais de Catalogação na Fonte (CIP)
Seminário Internacional de Avaliação Educacional (1997 : Rio de Janeiro).

Anais do Seminário Internacional de Avaliação Educacional, 1º a 3 de dezembro
de 1997 / Coordenador: Alejandro Tiana. - Brasília : Instituto Nacional de Estudos e
Pesquisas Educacionais, 1998.
165 p. : il., tab.
1. Avaliação da educação. I. Tiana , Alejandro. II Ministério da Educação e do

Desporto. III. Instituto Nacional de Estudos e Pesquisas Educacionais. IV. Unesco.
V. Título.
CDU 371.26
Impresso no Brasil
2
S UMÁRIO
Apresentação ............................................................................................................................................. 5
Lista de Siglas ........................................................................................................................................... 7
Palestra Inaugural
Maria Helena Guimarães de Castro (Inep/Brasil) .......................................................................................... 9
Pronunciamento
Jorge Whertein (Unesco/Brasil) .................................................................................................................... 13
O Sistema de Avaliação Brasileiro

Maria Inês Pestana (Inep/Brasil) ................................................................................................................... 15
Educação para Todos:

Acesso à Aprendizagem e Conquista do Conhecimento Útil
Robert Glaser (LRDC/EUA) .......................................................................................................................... 31
O Potencial dos Estudos Comparativos Internacionais

para o Controle da Qualidade da Educação
Tjeerd Plomp (IEA/Países Baixos) ............................................................................................................... 41
Os Indicadores Educacionais da OCDE:

Propósitos, Limites e Processos de Produção
Norberto Bottani (SER/ Suíça) ...................................................................................................................... 53
Avaliação de Alunos e Aprendizagem para uma Sociedade em Mudança

Caroline Gipps (University of London/Inglaterra) ............................................................................................ 65
Abordagens de Valor Agregado para a Auto-Avaliação Escolar no Reino Unido

Sally Thomas (University of London/Inglaterra) ............................................................................................. 75
Avaliação por Diálogos:

uma Contribuição Possível para o Aprimoramento Escolar

David Nevo (Tel-Aviv University/Israel) ........................................................................................................... 89
Avaliação do Sistema Educativo:

As Estruturas Institucionais na França
Jacqueline Heritier (DEP/França) .................................................................................................................. 99
Avaliação e Monitoramento dos Estabelecimentos Escolares

Claude Sauvageott e J. C. Emin (colaborador) (DEP/França) ....................................................................... 103
Arranjos Institucionais para Avaliação

Ernest R. House (University of Colorado/EUA) ............................................................................................. 113
Como Pode a Avaliação Contribuir para a Política Educacional?

Os Usos da Informação
Barry MacGaw (Acer/Austrália) .................................................................................................................... 119
3
Onze Dilemas com que se Defrontam os Estudos Internacionais:
Comentários para a Mesa
Juan Casassus (Orealc/Chile) ...................................................................................................................... 133
Estatísticas Educacionais na América Latina e no Caribe:

Resumo dos Resultados
Robert W. McMeekin (Orealc/Chile) ............................................................................................................. 139
O Projeto Institucional do Sistema Nacional de Avaliação Educacional

da Tailândia
Nongram Setapanich (NEC/Tailândia) ........................................................................................................... 145
O Papel dos Meios de Comunicação na Divulgação dos Resultados da Avaliação

Demócrito Rocha (Fundação Demócrito Rocha/Brasil) ................................................................................. 159
Documento de Trabalho: Seminário Internacional de Avaliação Educacional ................................... 161
4
A PRESENTAÇÃO
Na década de 90, especialmente nos últimos encontra importantes referenciais nas experiências de
quatro anos, a avaliação educacional assumiu um lugar diversos países. Os avanços obtidos nesta direção –
de grande destaque na agenda das políticas públicas como a consolidação do Sistema Nacional de Avalia-
de educação no Brasil, acompanhando uma tendência ção da Educação Básica (SAEB) e a implantação do
que já vinha sendo seguida por diferentes países desde Exame Nacional de Cursos (ENC) e do Exame Nacio-
os anos 70. Hoje, existe sólido consenso entre os nal do Ensino Médio (ENEM) – qualificaram o Brasil para
gestores, educadores e especialistas sobre a relevân- uma participação mais ativa no debate internacional. Em-
cia dos processos de avaliação para o balizamento das bora sejam ainda bastante recentes, sobretudo quando
reformas educacionais e, sobretudo, para o ajuste das comparadas com a larga tradição de outros países, as
políticas voltadas para a melhoria da qualidade do ensi- iniciativas brasileiras são inovadoras em vários aspec-
no. Nota-se, portanto, uma preocupação cada vez mai- tos, tanto metodológicos quanto institucionais. Por isso,
or com a construção de instrumentos adequados para já atraem a curiosidade de especialistas e organismos
avaliar o desempenho dos sistemas de ensino, com foco internacionais, que reconhecem os passos importan-
centrado na aprendizagem dos alunos e abertura sufi- tes dados nos últimos anos e apontam o Brasil como
ciente para enquadrar as diferentes variáveis que referência na América Latina.
incidem sobre o rendimento escolar. Foi neste contexto que o Instituto Nacional de
A convergência em torno da importância es- Estudos e Pesquisas Educacionais (INEP), o Bureau
tratégica deste tema para o desenvolvimento educaci- International d'Education da Unesco e a representação
onal reflete-se na sua escolha, definida por diferentes da Unesco no Brasil se aliaram para promover o Semi-
fóruns, como área prioritária para a cooperação multi- nário Internacional de Avaliação Educacional, realizado
lateral em educação. Com o apoio de associações e no Rio de Janeiro (RJ), de 1º a 3 de dezembro de 1997.
organismos internacionais, têm prosperado diversos pro- Este evento – que reuniu dirigentes do MEC, secretári-
jetos que promovem a avaliação da qualidade da edu- os estaduais e municipais de Educação, técnicos das
cação numa perspectiva comparada. É o caso da pes- Secretarias Estaduais de Educação e conceituados es-
quisa em andamento do Laboratório Latino-Americano pecialistas de 10 países, inclusive do Brasil – , teve como
de Qualidade em Educação (Orealc/Unesco), que en- objetivo identificar e discutir os novos desafios e as ten-
volve 15 países, entre os quais o Brasil. Outra iniciativa dências da avaliação educacional. O debate, obviamen-
relevante é o Programa de Avaliação da Qualidade da te, teve como pano de fundo a comparação entre as
Educação, mantido pela Organização dos Estados experiências desenvolvidas pelo Brasil nos últimos anos
Ibero-Americanos (OEI). É preciso mencionar ainda, e as experiências realizadas por diversos países.
por constituírem-se as principais referências internaci- A pauta do evento privilegiou a reflexão sobre
onais, o TIMSS (IEA) e o PISA 2000 (OECD), que está as três questões das quais se ocupa o debate con-
sendo desenvolvido com a participação do Brasil. temporâneo na área: O que e como avaliar? Como or-
Esta cooperação tende a se alargar, no âmbito ganizar institucionalmente um sistema de avaliação?
hemisférico, a partir da implementação do Plano de Ação Como disseminar e utilizar as informações da avalia-
em Educação aprovado pela última reunião dos chefes ção? Esta publicação – que reúne os papers dos 17
de Estado da Cúpula das Américas (Santiago, Chile, expositores convidados, os documentos apresentados
1998). Por sugestão do Brasil, incorporou-se proposta durante o seminário e as palestras proferidas na ses-
de desenvolvimento de um projeto interamericano de são de abertura – apresenta a abordagem dessas ques-

avaliação educacional, com o objetivo de promover e for- tões sob diferentes enfoques que contribuem para que
talecer os sistemas nacionais de avaliação, facilitando o debate possa avançar e, em última instância, orien-
o intercâmbio de experiências e a geração de padrões tar o aperfeiçoamento dos sistemas de avaliação. Ao
que permitam comparar o desempenho dos alunos. O tornar este documento acessível a um público mais
governo brasileiro também estabeleceu recentemente amplo, pretende-se suscitar novas linhas de análise e
parcerias educacionais bilaterais com os EUA e a Ingla- de pesquisa que ofereçam respostas completas e con-
terra, privilegiando a avaliação como uma das áreas de clusivas para as questões levantadas.
maior interesse para o estabelecimento de cooperação Por fim, merece um registro especial a indis-
técnica. A desenvoltura com que o Brasil tem assumido pensável colaboração prestada pela Unesco, por meio
estes compromissos, especialmente de participar de da sua representação no Brasil e do Bureau
pesquisa para comparação internacional dos resultados International d'Education, na realização do Seminário
da aprendizagem dos alunos, revela a disposição do e na preparação desta obra.
País de enfrentar o desafio de melhorar a qualidade do
seu sistema de ensino.
Observa-se, portanto, que a ênfase atribuída
pelo Ministério da Educação e do Desporto (MEC) ao Maria Helena Guimarães de Castro
desenvolvimento de sistemas nacionais de avaliação Presidente do INEP
5
6
L ISTA DE SIGLAS
ACER – Australian Council for Educational Research ISO – International Standards Organization
(Austrália) LEA – Local Education Authorities (Inglaterra)
ADEA – Associación para el Desarrollo de la LRDC – Learning Research and Development Center/
Educación Africana University of Pittsburgh (Estados Unidos)
AERA – American Educational Research Association MEC – Ministério da Educação e Desporto (Brasil)
(Estados Unidos) NAEP – National Assessment of Educational
BID – Banco Interamericano de Desenvolvimento Progress / National Center for Education Statistics
CAT – Cognitive Abilities Test / NFER-NELSON (Estados Unidos)
(Inglaterra) NAPS – National Assessment in Primary Schools
CELADE – Centro Latinoamericano de Demografia (Inglaterra)
CEPAL – Comisión Económica para America Latina NCES – National Center for Education Statistics
y el Caribe (Estados Unidos)
CINE – Clasificación Internacional Normativo de la NCTM – National Council for the Teaching of
Educación Mathematics (Estados Unidos)
CIENES – Centro Interamericano de Enseñanza NEC – National Education Comission (Tailândia)
Estadística [da OEA] NESIS – National Education Statistical Information
CSF – Curriculum and Standards Framework (Austrália) Systems (em espanhol: Sistemas Nacionales de
DENI – Department of Education for Nothern Ireland Información sobre la Educación) [ligados à Unesco]
(Inglaterra) NFER – National Foundation for Educational
DEP – Direction de l'Évaluation et de la Prospective Research (Inglaterra)
(França) NSELS – National School English Literacy Survey
DfEE – Department of Education and Employment (Australia)
(Inglaterra) NSF – National Science Foundation (Estados
ENC – Exame Nacional de Cursos (Brasil) Unidos)
ENEM – Exame Nacional do Ensino Médio (Brasil) OCDE – Organização para a Cooperação e
ERO – Education Review Office (Nova Zelândia) Desenvolvimento Econômico (a sigla original é
ETS – Educational Testing Service (Estados Unidos) OECD)
FBI – Federal Bureau of Investigation (Estados Unidos) OECD – Organization for Economic Co-operation and
GAT – General Achievement Test (Austrália) Development (a sigla traduzida para o português é
GCSE – General Certification of Secondary OCDE)
Education (Inglaterra) OECS – Organización de Estados Caribeños
GQT – Gestão da Qualidade Total (a sigla original, Orientales
em inglês, é TQM) OFSTEAD – Office for Standards in Education
GTZ – Deutsch Gesellschaft für Technisch (Inglaterra)
Zusammenarbeit (Alemanha) ONEC – Office of the National Education
HMI – Her Majesty Inspectors (Inglaterra) Commission (Tailândia)

IEA – International Association for the Evaluation of ONPEC – Office of the National Primary Education
Educational Achievement Comission (Tailândia)
IGEN – Inspection Générale de l'Éducation National OREALC – Oficina Regional da Unesco para la
(França) Educación en America Latina y el Caribe
IMD – International Institute for Management PIB – Produto interno bruto
Development PNUD – Programa das Nações Unidas para o
INEP – Instituto Nacional de Estudos e Pesquisas Desenvolvimento
Educacionais (Brasil) PROAV – Programa de Apoio à Avaliação
INES – International Indicators Systems / OECD Educacional (Brasil)
IPES – Indicateurs de Pilotage des Établissementes RSSI – Raising Schools Standards Initiative (Inglaterra)
du Second Degré (França) SACMEQ – Southern Africa Consortium for
ISEIC – International School Effectiveness and Monitoring Educational Quality
Improvement Center / Institute of Education / SAEB – Sistema Nacional de Avaliação da
University of London (Inglaterra) Educação Básica (Brasil)
ISEP – Improving Schools Effectiveness Project SCAA – School Curriculum and Assessment
(Inglaterra) Authority (Inglaterra)
7
SIEd – Sistema Integrado de Informações TIMMS – Third International Mathematics and
Educacionais (Brasil) Science Study
SIMCE – Sistema de Medición de Calidad de la TQM – Total Quality Management (em português, a
Educación (Chile) sigla é GQT)
SIMS – Second International Mathematics Study
UNE – União Nacional de Estudantes (Brasil)
SIRI – Sistema de Información Regional / Unesco (Chile)
SITES – Information Technology in Education Study Unesco – Organização das Nações Unidas para a
SRED – Service de la Recherche en Éducation (Suíça) Educação, a Ciência e a Cultura
TGAT – Task Group on Assessment and Testing WGES – Working Group on Education Statistics
(Inglaterra) [vinculado ao NESIS] / ADEA
8
P ALESTRA INAUGURAL
Maria Helena Guimarães de Castro*
O Brasil atravessa um período de profundas rença básica que deve ser considerada: enquanto na
mudanças sociais, políticas e econômicas, que confi- Europa esta reforma foi desencadeada pela crise fiscal
guram um novo modelo de desenvolvimento. No plano do "Welfare State", no Brasil tem sido impulsionada
político-institucional, o País avançou na consolidação pelo esgotamento do modelo de desenvolvimento ba-
da democracia, superando instabilidades que marca- seado numa forte intervenção estatal na economia.
ram o longo período de regime autoritário. No campo O que se pretende, portanto, é redirecionar a
econômico, vem aplicando desde 1994 um rigoroso atuação do Estado, reduzindo seu papel de produtor
plano de estabilização monetária, com resultados no- de bens econômicos e ampliando suas funções na área
táveis no combate à inflação e com repercussões bas- social, especialmente no provimento de serviços de
tante positivas sobre a distribuição de renda. saúde e educação. Obviamente, essa remodelação do
Graças a esse esforço do governo e da socie- Estado passa por adoção de medidas semelhantes em
dade brasileira, o País vive um novo ambiente todos os países, como a privatização de empresas
institucional, com expectativas otimistas para o futuro. estatais, a desregulamentação da economia tendo por
A estabilidade da economia e o saneamento das finan- escopo estimular os investimentos privados, a realiza-
ças públicas criam condições muito favoráveis para o ção de parcerias com o setor empresarial para amplia-
desenvolvimento das políticas sociais, especialmente ção da oferta de serviços públicos e o fortalecimento
na área da educação, onde se verificaram os maiores do papel regulador do Estado.
avanços nos últimos três anos. Portanto, com a atual reforma, sai de cena o
Enfrentamos, nas últimas semanas, graves tur- Estado-executor, assumindo seu lugar o Estado-regu-
bulências na economia. Com a inexorável globalização lador e o Estado-avaliador. Essa mudança de paradigma
dos mercados financeiros, o Brasil se ressentiu dos exige uma verdadeira reengenharia do setor público.
abalos provocados pela crise cambial que se espraiou Trata-se da difícil tarefa de substituir controles buro-
pelas economias emergentes do Sudeste Asiático. O cráticos por uma nova cultura gerencial, que incorpora
governo respondeu a essa ameaça com um duro ajus- a política de avaliação como elemento estratégico da
te fiscal, o que mostra que há firme determinação polí- gestão pública.
tica de defender as conquistas do Plano Real. O atual governo promoveu importantes avan-
A crise atual ajudou a reforçar a convicção – ços neste sentido, assumindo uma postura muito cla-
compartilhada hoje pelas lideranças políticas e por ra quanto à necessidade de desenvolver a prática
amplos segmentos da opinião pública – que para tor- avaliativa no âmbito das políticas públicas. Na realida-
nar definitivas essas conquistas, o Brasil precisa levar de, este esforço responde a uma exigência da própria
adiante as reformas estruturais iniciadas pelo governo sociedade, cada vez mais ciosa e vigilante em relação
Fernando Henrique Cardoso. à aplicação dos recursos públicos.
Consolidadas por meio de um conjunto de A educação é, sem qualquer dúvida, a área
emendas constitucionais, essas reformas buscam atin- onde a política de avaliação vem merecendo maior ên-
gir três metas estratégicas: em primeiro lugar, a mo- fase. Este é um componente do processo de
dernização da economia, a fim de dotar o País de me- descentralização das políticas de educação básica.
lhores condições de competitividade no comércio in- Sob a liderança do ministro Paulo Renato Sou-
ternacional e torná-lo menos susceptível ao efeito de za, o Ministério da Educação e do Desporto (MEC)
crises externas; em segundo lugar, a reestruturação definiu como prioridade desenvolver e implantar siste-
do setor público, nas áreas administrativa, tributária e mas de avaliação abrangendo todos os níveis de ensi-
fiscal; por último, a reorientação das políticas sociais, no. A mesma prioridade foi dada à reestruturação e
visando ampliar sua cobertura e alcançar um novo per- modernização do sistema de estatísticas e indicado-
fil de eficiência e eqüidade. res educacionais.
Essas reformas implicam uma profunda Em 1994, quando estávamos elaborando o pro-
redefinição do papel do Estado, seguindo tendência grama de governo para a área da educação do então
verificada em outros países e que reflete uma crise candidato Fernando Henrique Cardoso, os dados edu-
estrutural do setor público. No entanto, há uma dife- cacionais disponíveis mais recentes eram do Censo
*Maria Helena Guimarães de Castro, mestre em Ciência Política, pela Unicamp, é presidente do Instituto Nacional de Estudos e Pesquisas Educacionais (INEP)
desde fevereiro de 1997. O INEP é responsável pela realização dos censos: Escolar, do Professor e do Ensino Superior; pelo Exame Nacional de Cursos (o
"Provão" do Ensino Superior), pelo Exame Nacional do Ensino Médio (ENEM), e pelo Sistema Nacional de Avaliação da Educação Básica (SAEB).
9
Escolar de 1989 e do Censo Populacional de 1991, O Sistema Nacional de Avaliação da Educa-
que não cobrem todos os aspectos relevantes. Portan- ção Básica (SAEB), embora não tenha sido criado na
to, enfrentamos no início do atual governo uma grave atual administração, passou por um processo de aper-
dificuldade na hora de definir as ações mais urgentes feiçoamento e consolidação. A primeira mudança que
do MEC, pois estávamos trabalhando com dados ab- merece registro foi a sua realização com regularidade,
solutamente desatualizados. a cada dois anos, o que é fundamental para efeito de
Nos últimos três anos, graças ao esforço lide- comparabilidade dos resultados e para o desenvolvi-
rado pelo MEC, em parceria com as Secretarias Esta- mento de uma cultura de avaliação junto aos sistemas
duais de Educação, esta situação foi completamente rede ensino.
vertida, a ponto de o Brasil ser apontado hoje como uma O SAEB abrange uma amostra probabilística
referência para a América Latina na área da produção de representativa dos 26 estados e do Distrito Federal,
indicadores educacionais. Este reconhecimento é feito pela sendo aplicado às escolas públicas e privadas de en-
própria Unesco, nossa parceira na realização deste Semi- sino fundamental e ensino médio. O sistema tem como
nário Internacional sobre Avaliação Educacional. objetivos: aferir os conhecimentos e habilidades dos
Com o desenvolvimento do Sistema Integrado alunos, mediante aplicação de testes, com a finalida-
de Informações Educacionais (SIEd), o Censo Escolar de de avaliar a qualidade do ensino; verificar os fatores
ganhou em agilidade e confiabilidade. Hoje, todos os contextuais e escolares que incidem na qualidade do
procedimentos já estão informatizados e em breve as ensino – condições de infra-estrutura das unidades es-
Secretarias Estaduais de Educação estarão ligadas colares; perfil do diretor e mecanismos de gestão es-
ao MEC, por meio de uma rede on-line, o que deverá colar; perfil do professor e práticas pedagógicas
tornar o sistema ainda mais eficiente. adotadas; características socioculturais e hábitos de
Na última sexta-feira, o ministro Paulo Renato estudo dos alunos.
apresentou os resultados finais sobre matrícula do A análise dos resultados dos levantamentos
Censo Escolar/1997. A divulgação dos resultados do do SAEB permite acompanhar a evolução do desem-
Censo no mesmo ano da sua realização é um fato iné- penho dos sistemas de ensino e dos diversos fatores
dito, o que comprova os avanços alcançados nesta área. incidentes na qualidade e na efetividade do ensino mi-
Com a criação do Fundo de Manutenção e Desenvolvi- nistrado pelas escolas, possibilitando dessa forma a
mento do Ensino Fundamental e de Valorização do definição de ações voltadas para a correção das defici-
Magistério, o Censo Escolar ganhou uma importância ências identificadas. Um exemplo bem concreto e atu-
ainda maior, pois será com base nos seus dados soal de política subsidiada pelo resultado do SAEB é o
bre matrícula que serão calculados os coeficientes para Programa de Aceleração de Aprendizagem, criado pelo
a redistribuição dos recursos a partir do próximo mês MEC para apoiar os sistemas estaduais e municipais
de janeiro. de ensino a multiplicar ações visando corrigir um dos
Com a implementação de uma audaciosa po- principais problemas do ensino fundamental, que é a
lítica de avaliação educacional e com a reestruturação incidência de índices muito elevados de distorção ida-
do sistema de estatísticas e indicadores educacionais, de/série.
o MEC oferece informações atualizadas para subsidiar O SAEB mostrou que os alunos com essa
a formulação e o monitoramento das políticas do setor característica apresentam um desempenho inferior aos
em todos os níveis de governo. O próprio ministério alunos que freqüentam a série correspondente à sua
utiliza hoje os resultados do Censo Escolar e dos sis- idade. Portanto, torna-se prioritário criar classes de
temas de avaliação como base para a formulação e aceleração de aprendizagem para estes alunos. O
implementação dos seus principais programas. SAEB também ofereceu importantes subsídios para a
Observa-se, portanto, uma situação bem dife- definição da política de formação de professores.
rente daquela que existia há três anos. Mas, realiza- Com a aplicação do quarto ciclo do SAEB, no ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
mos apenas os primeiros passos na construção de último mês de outubro, este sistema se consolida como
um modelo de indicadores educacionais que atenda o mais importante e abrangente instrumento de avalia-
às reais necessidades do País. O importante, no en- ção da educação básica em todo o País.
tanto, é a determinação de continuar avançando nesta Por último, cabe registrar que o INEP criou um
direção, aprendendo com as experiências de outros Banco Nacional de Itens, que forneceu as questões uti-
países e este é o principal objetivo deste seminário. lizadas na elaboração das provas do SAEB deste ano.
Nossa experiência na área da avaliação edu- Além de atender a essa necessidade, o Banco Nacio-
cacional é bastante recente, embora o Brasil já reúna nal de Itens poderá fornecer às redes estaduais de ensi-
um conjunto de iniciativas que podem ser comparadas no que queiram implementar sistemas próprios de avali-
com o que vem sendo feito por países que têm maior ação itens pré-testados e calibrados nacionalmente.
tradição nesta área. Portanto, esta iniciativa fortalece a política de avaliação
Queremos destacar, rapidamente, as principais educacional, estimulando a implementação de sistemas
ações concretizadas pelo Ministério da Educação neste que permitam a comparabilidade dos resultados.
domínio nos últimos três anos. Certamente, essas A principal inovação do MEC na área da avali-
ações serão referidas de forma mais detalhada ao lon- ação educacional foi a instituição e implementação do
go dos debates que serão realizados nestes três dias Exame Nacional de Cursos, para avaliar o ensino de
do nosso evento. graduação oferecido pelas instituições de ensino su-
10
perior, públicas e privadas. Este exame, que a impren- Ensino Médio (ENEM), a partir de 1998. Este exame
sa alcunhou de "Provão", integra um sistema será facultativo para os alunos – ao contrário do
abrangente de avaliação do ensino superior, orientado "Provão", que é obrigatório para os formandos do ensi-
para a melhoria da qualidade dos cursos. no superior. Outra diferença básica é que este exame
O "Provão" está sendo implementado gradual- vai avaliar o desempenho do aluno, enquanto o "Provão"
mente, tendo começado em 1996 com apenas três tem como objetivo avaliar os cursos.
cursos: Direito, Engenharia Civil e Administração. Este O Exame Nacional do Ensino Médio vai criar
ano, foram incorporados mais três cursos: Odontolo- um parâmetro nacional, podendo ser adotado pelas
gia, Medicina Veterinária e Engenharia Química – e universidades como um dos requisitos para adoção de
em 1998 será avaliado um total de dez cursos. Entre- sistema seletivo alternativo ao atual modelo dos con-
tanto, desde que foi lançado, o programa repercutiu cursos vestibulares.
intensamente, produzindo um debate que ganhou as Por fim, o Brasil se abriu para a participação
manchetes dos principais jornais e revistas. em projetos de avaliação educacional comparada,
O estabelecimento de uma sistema externo como o TIMMS, que será aplicado em 1998. Este ano,
de avaliação do ensino superior rompe com uma tradi- participamos também do projeto de avaliação da Ofici-
ção credencialista e burocrática, na qual o papel exer- na Regional da Unesco para la Educación en América
cido pelo MEC se limitava ao credencimento das insti- Latina y el Caribe (Orealc), envolvendo 15 países da
tuições e à autorização para a abertura de cursos. Isso América Latina e do Caribe. Merece referência, ainda,
implica uma verdadeira mudança cultural, que não acon- o convite feito ao Brasil para participar do projeto de
tece sem resistências. As reações mais fortes, obvia- indicadores educacionais da OECD.
mente, são de natureza corporativa. O Instituto Nacional de Estudos e Pesquisas
Quando o Exame Nacional de Cursos foi lan- Educacionais (INEP), que temos a honra de presidir, é
çado, no ano passado, assistimos a uma tentativa da responsável pela implementação de todos esses sis-
União Nacional dos Estudantes (UNE) - felizmente fra- temas de avaliação e de estatísticas educacionais. Na
cassada – de mobilizar os alunos para promover um verdade, esta atribuição foi delegada ao INEP em feve-
boicote a esta iniciativa do Ministério da Educação. A reiro deste ano, como conseqüência da política de for-
abstenção em todo o País foi inferior a 5%, o que com- talecimento institucional definida pelo Ministério da
prova que a maioria absoluta dos estudantes compre- Educação.
endeu o verdadeiro objetivo do "Provão", não se dei- Esta mudança coincidiu com a comemoração
xando levar pelo discurso maniqueísta da UNE. dos 60 anos do INEP, resgatando assim os ideais do
O que surpreendeu foi a enorme aceitação do grande educador Anísio Teixeira, que presidiu a insti-
"Provão" pelos formadores de opinião, o que se reflete tuição na década de 50. Hoje, o INEP assume clara-
na própria cobertura amplamente favorável dedicada mente a missão de se especializar como instituto de
pelos meios de comunicação. A dificuldade maior, que avaliação e informação educacional, exercendo, des-
começa a ser superada, foi convencer os diferentes sa forma, um papel estratégico para o desenvolvimen-
segmentos da comunidade universitária, sobre os ob- to do sistema educacional brasileiro.
jetivos do Exame Nacional de Cursos e da sua inser- Para desempenhar com competência suas
ção como um dos instrumentos que integram o Siste- novas atribuições, o INEP tem envidado esforços para
ma de Avaliação Institucional do Ensino Superior. Acre- ampliar o intercâmbio internacional, estabelecendo re-
ditamos que este entendimento já é partilhado pela lações com instituições similares de outros países. Da
maioria dos dirigentes, professores e alunos. mesma forma, buscamos ampliar o diálogo com as
O terceiro programa avaliativo que o Ministério universidades, estando em andamento um projeto para
da Educação está desenvolvendo aplica-se ao ensino estimular a criação de programas de pós-graduação
médio. A primeira experiência foi feita recentemente, no no âmbito da avaliação educacional.
último dia 5 de novembro, com a aplicação de um exa- A realização deste seminário, em parceria com
me para os concluintes do ensino médio em nove Esta- a Unesco, insere-se dentro desta perspectiva de cons-
dos brasileiros, abrangendo cerca de 660 mil alunos. truir referências para que o Brasil aprimore sua política
É importante notar que essa iniciativa foi conde avaliação educacional, incorporando os conhecimen-
cretizada a partir de uma solicitação formal do Conse- tos e experiências de outros países. Este evento reú-
lho Nacional de Secretários de Educação, fórum que ne especialistas de 14 países, incluindo o Brasil. Cons-
reúne os secretários de educação dos 26 estados e do titui-se, portanto, um fórum altamente qualificado, que
Distrito Federal. A adesão ao exame foi voluntária, ten- muito contribuirá para o avanço do debate sobre os
do sido muito expressiva a participação de nove siste- diferentes aspectos da avaliação educacional.
mas estaduais de ensino, que respondem por cerca Em nome do ministro da Educação, Paulo
de 70% dos concluintes do ensino médio. Renato Souza, a quem representamos neste ato, sau-
Esta experiência foi apoiada com entusiasmo damos todos os participantes, agradecendo a disponi-
pelo ministro da Educação, pois oferecerá importantes bilidade e o interesse manifestado em atender ao con-
indicativos para a implantação do Exame Nacional do vite do INEP e da Unesco.
11
12
P RONUNCIAMENTO
Jorge Werthein*
Junto com nossos colegas e amigos do Mi- objeto tem de satisfazer às nossas necessidades,
nistério da Educação e do Desporto, assumimos a expectativas ou desejos. Deste modo, falar de qua-
tarefa, quase a missão, de montar este espaço que, lidade leva, de forma necessária e orgânica, a falar
realmente esperamos, permita debater e trocar ex- de avaliação.
pectativas e experiências sobre um tema que, pela sua Mas, quando a questão da qualidade é circuns-
significação atual, reveste-se hoje de enorme relevân- crita ao educacional, entram em julgamento não só
cia: os novos desafios da avaliação educacional. um campo substantivo e complexo da atividade huma-
Como aponta o Documento de Trabalho que na, mas também as necessidades que este campo
serviu de base para a convocatória do seminário: "em deveria satisfazer. Por um lado, as demandas da soci-
diversos foros internacionais foi salientado que o prin- edade em seu conjunto, as demandas dos diversos
cipal desafio dos sistemas educacionais atuais não é subsistemas sociais (o político, o econômico, o cultu-
mais apenas proporcionar educação a todos os cida- ral, etc.), por outro lado as demandas dos agrupamen-
dãos, mas também assegurar que esta seja de quali- tos humanos que interagem na sociedade (família, co-
dade". munidade, etc.) que exprimem demandas concretas
Este é, realmente, o eixo central, o pano de e, até, muitas vezes contraditórias. Estas demandas e
fundo que deverá orientar nossas preocupações e dis- a forma de satisfazer às mesmas é o que se encontra
cussões ao longo dos três dias de trabalho: como con- atualmente na berlinda, mas nos orientam na questão
tribuir, desde o campo da avaliação, para a melhoria da do que avaliar.
qualidade de nossos sistemas de ensino. O tema da avaliação educacional não é novo.
O tema da qualidade não é novo nem recente. Longe disso, muito se tem falado, escrito e praticado
Podemos dizer que é uma questão sempre presente neste campo. Mas, a recente emergência da questão
na pauta de discussões dos educadores e gestores e da qualidade colocou a avaliação em um novo pata-
também uma enorme preocupação das famílias que mar, do qual surgem novas configurações e desafios
procuram esse ou aquele caminho para assegurar o que constituem os tópicos que deverão ser abordados
destino social de seus filhos. Mas, desde meados da neste seminário.
década de 80, observamos um fenômeno novo e signi- Em primeiro lugar, hoje, quando falamos de
ficativo: de questão "sempre presente", a qualidade avaliação, estamos fazendo referência a algo bem dife-
transforma-se em "eixo central". Destaca-se como
rente do que significava a avaliação há 15 ou 20 anos
campo prioritário de intervenção e meta das diversas
atrás. Nessa época, a avaliação estava imbricada com
reformas educacionais que vêm acontecendo no mun-
os grandes nomes que atuavam no campo: Coleman,
do todo.
Scriven, etc. Falávamos das grandes avaliações feitas
Um indicador privilegiado desta nova
por grandes figuras. Mas eram avaliações que aconte-
centralidade é o seu destaque, como eixo, na Declara-
ciam de forma esporádica, quando as circunstâncias e
ção Mundial de Educação para Todos, resultante da
as possibilidades o permitiam.
Conferência de Jomtien, convocada pela Unesco, a
Hoje falamos das avaliações do SAEB, do
Unicef, o Programa das Nações Unidas para o Desen-
TIMMS, do SIMCE, do NAEP, sem levar muito em con-
volvimento (PNUD) e o Banco Mundial. Ao definir as

grandes linhas estratégicas para a virada do século, a ta que nossos mapas mentais mudaram. Nossas refe-
Declaração estabelece, no seu artigo terceiro, que "a rências, hoje, são grandes sistemas de avaliação,
prioridade mais urgente é melhorar a qualidade". Liga- rotinizadas por atividades periódicas e recorrentes, sis-
do a isto, a seguir, o artigo quarto estabelece a neces- temáticas, de caráter longitudinal e quase anônimas.
sidade de implementar sistemas de avaliação do de- Passamos do esporádico e circunstancial da avalia-
sempenho dos alunos. ção à consolidação de grandes sistemas, com todos
Essa proximidade entre a qualidade e a avali- os ganhos, mas também com as grandes dificulda-
ação educacional não é casual ou mero produto de des, que isto origina. A avaliação deixou de ter um
circunstâncias conjunturais. O próprio conceito de qua- início – o projeto, um meio (a coleta e análise dos da-
lidade, sob qualquer perspectiva teórica e qualquer que dos) e um grande final: o relatório. Passou a ser uma
seja o objeto de referência, leva implícito a noção de atividade permanente, periódica e cíclica, que gera ro-
julgamento, a idéia de ponderar a capacidade que o tinas, manuais, problemas de divulgação e questões
*Jorge Werthein é o representante da Unesco no Brasil e o coordenador do Programa Unesco/Mercosul.
13
metodológicas e técnicas bem específicas, que deve- do País, está sendo realizado este ano, pela primeira
rão construir os temas de nosso debate. vez, o Exame Nacional do Ensino Médio (ENEM), ini-
Para acharmos exemplos paradigmáticos des- ciativa que pretende, num futuro bem próximo, avaliar,
tas transformações e da modernização da avaliação de forma sistemática, a qualidade dos egressos do en-
educacional, não temos de ir muito longe; vamos sino médio do País.
encontrá-los aqui mesmo, no Brasil, onde o Ministério Sem pretendermos ser exaustivos nesta enu-
da Educação deu, em poucos anos, passos gigantes- meração, não poderíamos deixar de mencionar uma
cos nesta direção. À longa tradição que já possuía a iniciativa recente do Ministério da Educação nesta área,
avaliação dos cursos de pós-graduação, tradição com iniciativa que, pelas suas possíveis conseqüências,
mais de 20 anos de prestígio e experiência, soma-se achamos de importância e relevância transcendentais
hoje uma série de processos e sistemas que cobrem, para os temas que nos preocupam. Decidido a encarar
praticamente, todos os níveis do ensino. de frente a questão da formação e desenvolvimento dos
Temos, por exemplo, o Sistema Nacional de
recursos humanos para a área, acaba de ser instituído
Avaliação da Educação Básica (SAEB), uma sofistica-
um Programa de Apoio à Avaliação Educacional
da e complexa operação que, a cada dois anos, além
(PROAV). É um ambicioso projeto, que inclui doutora-
de testar alunos do ensino fundamental e médio nas
do, pós-doutorado, implantação de cursos de mestrado
disciplinas básicas Português, Matemática e Ciênci-
em avaliação educacional, laboratórios de medidas edu-
as, levanta informações sobre o professor, o diretor da
escola, a própria escola, os hábitos de estudo e o uni- cacionais, cursos de especialização em temas espe-
verso sociocultural dos alunos, enfim, o nível e o con- cíficos relacionados com a metodologia e as técnicas
junto de possíveis determinantes, intra e extra-escola- da moderna avaliação educacional. Enfim, um grande
res, que incidem na qualidade do ensino ministrado. programa de formação de recursos humanos para a
Recentemente, foi também instituído o Exame avaliação educacional.
Nacional de Cursos (ENC), mais conhecido como o Por último, queremos agradecer ao Ministério
Provão que, mediante diversos mecanismos, incluindo da Educação e do Desporto nas figuras de seu titular,
uma avaliação do desempenho dos egressos, pretende o Dr. Paulo Renato Souza, e da Presidente do INEP,
aferir, de forma sistemática, a qualidade dos cursos de Drª Maria Helena Guimarães de Castro, por todo o
graduação das universidades do País. esforço e apoio dado para a concretização deste
Ainda em fase experimental, mas contando já seminário.
com a ativa participação e parceria de diversos estados Muito obrigado.
14
O SISTEMA DE
AVALIAÇÃO BRASILEIRO
Maria Inês Pestana*
Pretendemos fazer um rápido histórico do de- mensão territorial e de grandes desigualdades

senvolvimento do Sistema Nacional de Avaliação da socioeconômicas. A função supletiva, portanto, deve
Educação Básica – o SAEB. ser cumprida no sentido da redução das desigualda-
Ao desenvolvermos o SAEB, iniciamos um des existentes no Brasil. Talvez esta seja uma das
processo que tem começo, mas parece não ter fim. O funções mais importantes do MEC.
SAEB tem, portanto, as características de qualquer O sistema de avaliação surge, então, a partir
processo: não está pronto; tão cedo não estará; tal- destas questões, quer dizer, em um momento de de-
vez, nunca esteja pronto e acabado. Por isso estamos mocratização do País, quando a sociedade, estados,
construindo um sistema de avaliação. E é sobre a his- municípios e a própria União estão discutindo a
tória desta construção, algumas características mais redefinição de seus papéis, a divisão de funções e atri-
técnicas e as questões com que estamos nos depa- buições e, também, o sentido da cooperação, da arti-
rando nesse momento que pretendemos falar neste culação, da integração e da parceria entre as instânci-
seminário. as de governo.
Concretamente, o processo de democratização
do País refletia-se na educação, destacando a questão
da democratização do ensino, ressaltando neste caso,
A ntecedentes e breve histórico dois aspectos: o primeiro relacionava-se ao acesso à
escola. Reconhecia-se que o País tinha feito um grande
esforço de construção de escolas e realmente tinha
Primeiramente, é necessário contextualizar o ampliado bastante o número de pessoas que ingressa-
momento do surgimento do SAEB. vam na escola. Porém, os resultados que estavam sen-
A idéia de se montar um sistema de avaliação do gerados não eram, ou pelo menos havia uma impres-
da educação nacional surgiu, no Ministério da Educa- são geral de que não pareciam ser o que se desejava.
ção, durante o período de redemocratização do País, Nada tinha sido medido, mas havia uma percepção muito
logo no início da Nova República, em meados de 1985/ forte de que era preciso implementar a qualidade ou dar
1986, quando se discutia a questão da federação, da mais qualidade ao sistema educacional. Agora, que qua-
redefinição dos papéis e das atribuições dos diversos lidade é esta? É isso que um sistema de avaliação tam-
níveis de governo existentes no Brasil. Claro que estas bém tentaria examinar. Ficou claro, então, que um sis-
questões permanecem em discussão ainda hoje. tema nacional de avaliação do sistema educacional po-
Aqui, vale fazer um parêntese sobre a distri- deria trazer informações úteis sobre o que está sendo
buição de funções na área educacional, entre as esfe- gerado no setor educacional, como, onde, quando e
ras administrativas brasileiras. quem é responsável pelo produto obtido.
Existem três instâncias de governo no Brasil: Dessa forma, surgiu o Sistema Nacional de
os municípios, que são responsáveis basicamente pela Avaliação da Educação Básica (SAEB) como uma
administração de escolas que oferecem educação pré- atribuição do Ministério da Educação e do Desporto,
escolar e fundamental; os estados, que além de admi- para coletar informações sobre a qualidade dos resul-
nistrarem uma rede de escolas de Ensino Fundamen- tados educacionais, sobre como, quando e quem tem
tal e Médio, têm um papel de supervisão do sistema acesso ao ensino de qualidade.
estadual de educação, isto é, supervisionam o funcio-
namento das demais redes de ensino (municipal, par-
ticular e federal); e a União, que, por intermédio do
aracterísticas do sistema
Ministério da Educação e do Desporto (MEC), além de
gerenciar uma rede federal de ensino médio, muito
C nacional de avaliação
pequena, restrita a escolas técnicas e agrotécnicas,
tem como principais papéis a formulação das grandes O SAEB nasceu caracterizado por uma ne-
diretrizes para o sistema educacional e, destaca- cessidade permanente de articulação e de construção
damente, a ação supletiva, em um País de grande di- de consenso e acordos ou, pelo menos, de uma toma-
* Maria Inês Gomes de Sá Pestana é diretora de Avaliação da Educação Básica, no INEP, e, desde 1995, é responsável pelo desenvolvimento do Sistema
Nacional de Avaliação da Educação Básica (SAEB).
15
da de decisão mais coletiva, pois o objeto do SAEB é O arcabouço do SAEB é resultado de uma
o sistema nacional de educação, que diz respeito a ampla discussão, onde se debateu a necessidade de
toda a sociedade, além de ser gerenciado por várias dar transparência ao sistema educacional, sendo im-
instâncias. prescindível para isso responsabilizar os diversos agen-
Também caracteriza este sistema de avalia- tes do sistema educacional pelos produtos e resulta-
ção o objetivo de monitorar as políticas voltadas para a dos apresentados pelo sistema de ensino brasileiro.
melhoria da qualidade, da eqüidade e da eficiência do Para efetivar estes objetivos, foi preciso incorporar a
sistema educacional, problemas ainda hoje centrais, idéia de produto do sistema educacional definindo tam-
no caso brasileiro. bém o que seria este produto e, em seguida, determi-
Sendo assim, ele tem como intenção prover nar que aspectos relacionados ao processo de obten-
informações para tomada de decisões, por isso desti- ção do produto deveriam ser observados.
na-se, no primeiro momento, aos gestores do sistema Como a base do sistema de avaliação é o de-
educacional (ministro da Educação, os secretários bate, o convencimento e o estabelecimento de acor-
estaduais e municipais de Educação) procurando tra- dos, na realidade conseguiu-se, à época, o seguinte
zer informações sobre a qualidade da educação; a eqüi- consenso entre o Ministério da Educação e do Des-
dade, ou seja, como a qualidade está sendo alcançada porto e os secretários estaduais de educação: não só
no espaço brasileiro; e a eficiência do sistema, ou seja, era possível, como necessário, que os agentes do sis-
há ou não maneiras melhores de se obter qualidade na tema educacional e a sociedade passassem a olhar a
educação. escola como uma prestadora de serviços e que estes
As características gerais do sistema de avali- deveriam concretizar-se gerando resultados (um pro-
ação em termos de objetivos, estrutura e concepção duto) que seria o desempenho do aluno.
mantêm-se constantes. As mudanças que foram É claro que o desempenho do aluno é bastan-
efetuadas no sistema (iniciado em 1988) nesses qua- te abrangente, e o SAEB não é capaz, ainda, de medir
se 10 anos são de cunho metodológico e operacional. os vários aspectos nele contidos - principalmente ati-
Do ponto de vista conceitual, o SAEB procura tudes, aspectos afetivos e valores - que fazem parte do
articular diversos aspectos relacionados à educação, fazer educacional, que são objetivos da escola. Mas o
tentando superar uma tendência muito forte à
desempenho do aluno, em termos de aprendizagem
compartimentalização da educação, bastante eviden-
de determinados conteúdos e de aquisição de deter-
te na política educacional e, conseqüentemente, no
minadas habilidades e competência, é passível de
investimento em educação.
medição. O SAEB começaria, então, medindo o de-
Tradicionalmente, a ação governamental con-
sempenho acadêmico dos alunos brasileiros. Com base
cretiza-se em grandes programas ou projetos de in-
nos resultados obtidos, poder-se-ia fazer análises e
vestimentos educacionais: investe-se milhões em cons-
comparações e discutir se os resultados concretos
trução de escolas, outros milhões em capacitação de
possuíam ou não qualidade, isto é, poder-se-ia avaliar.
professores, e ainda outros milhões em material didá-
Há hoje um grande debate sobre o fato da edu-
tico, quase sempre sem nenhuma articulação entre
estas partes. Com base nessa visão focalizada, ao fi- cação não acontecer no vazio, e sim a partir de condi-
nal dos programas e projetos, sabia-se quantas esco- ções iniciais da aprendizagem de um indivíduo, sendo
las foram construídas, quantos professores foram ca- muito importante determinar o valor agregado aos indi-
pacitados e quantos livros didáticos foram impressos víduos pela educação e pela escola.
e distribuídos, mas não se podia afirmar se qualitativa- Relaciona-se a essa discussão um outro pon-
mente o sistema havia melhorado, nem qual tinha sido to fundamental da concepção do SAEB. ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
a contribuição efetiva de cada uma das partes (a cons- No SAEB, parte-se do princípio que o desem-
trução de escola, a capacitação de professores e o penho do aluno sofre múltiplos condicionamentos, os
material didático) para a melhoria do sistema. quais devem ser considerados pela avaliação. Para tanto
O sistema de avaliação procurou trabalhar ar- deve-se somar ao desempenho do aluno, pelo menos,
ticuladamente com esses diversos aspectos, de modo mais três dimensões, quais sejam: a determinação de
a possibilitar a determinação não do componente que contextos em que acontecem o ensino e a aprendiza-
de fato causou ou foi responsável pela melhoria do sis- gem; a identificação de processos de ensino e apren-
tema, mas sim da melhoria real da qualidade do siste- dizagem e, por fim, o dimensionamento dos insumos
ma, em primeiro lugar e, em seguida, do arranjo de utilizados.
fatores que possibilitou tal melhoria, uma vez que difi- A inclusão destas dimensões é fundamental,
cilmente um fator responde sozinho por qualquer mu- por exemplo, para determinar a eqüidade na oferta edu-
dança no campo educacional. cacional. Quando os insumos estão bem distribuídos
Muito já foi dito aqui neste seminário sobre a e as escolas têm o mesmo padrão de infra-estrutura
"caixa preta" que a escola esconde. O SAEB pretende ou um padrão semelhante, pode-se afirmar que a po-
abrir esta caixa, descobrir o que acontece na escola, pulação está tendo as mesmas oportunidades educa-
principalmente na escola bem-sucedida. cionais. Indo além e examinando em que medida a
16
oferta de oportunidades semelhante gera resultados As dimensões contexto, processo e insumos
diferenciados, e quais as possíveis razões da diferen- são examinadas por meio da aplicação de questionári-
ciação, poder-se-ia determinar até que ponto os bons os aos professores (sobre a prática docente, o perfil
resultados educacionais estariam efetivamente sendo profissional e as condições de trabalho), aos diretores
democratizados, isto é, se pelo menos a maioria dos (também sobre o perfil, a prática e as condições de
alunos teria de fato garantido o direito à educação de trabalho) e aos alunos (sobre nível socioeconômico e
qualidade. hábitos de estudo). Além disto é feito um levantamen-
Para coletar informações sobre cada uma das to sobre as condições das escolas (instalações, equi-
três dimensões abrangidas pelo sistema de avaliação, pamentos e materiais disponíveis).
foram desenvolvidos instrumentos e procedimentos As informações resultantes destes levantamen-
específicos. tos permitem fazer associações, correlações, análises
A dimensão produto é examinada por meio da hierárquicas, estudos mais ou menos complexos so-
aplicação de provas que medem o nível de competên- bre a realidade educacional brasileira.
cia e/ou habilidades que os alunos brasileiros apre- O quadro a seguir apresenta o arcabouço do
sentam ou demonstram possuir. SAEB.
Enfoque D im ensão Indicador/Variável Instrum ento
• Taxas de a cesso
A te ndim ento
• Taxas de e sco larização
A cesso • Qu estionários do
ao E nsino C enso Escolar do
B ásico • Taxas de p rodutividad e
S EEC /IN E P/M E C
E ficiência • Taxas de transição
• Taxas de e ficiência interna
• D esem pen ho do aluno , em
term o s de:
P roduto • apren dizage m de conteúdos • Qu estões de provas
• desen volvim ento de h abilidade e
com petências
• N ível so cioeconô m ico do s alu nos.
• H ábito s de estudo dos aluno s
• P erfil e con dições de trabalho dos
Qu alid ade, C ontexto docen tes e dos d iretores.
• Tipo de escola . • Qu estionários para:
E ficiência,
• Gra u de au ton om ia da esco la. • alu nos;
• M atriz orga nizacion al da esco la. • professores;
E qüid ade • dire tores.
• P lane jam ento do ensino e da escola.
do sistem a P rocesso • P rojeto pedag ógico.
• R elação entre conteúd os
propo stos/ensina dos e conteúd os
de ensino
ensin ados/aprend idos.
básico • U tilização do te m p o p edagó gico.
• E stratégias e técnicas d e e nsino
utiliza das.
• Infra-e strutura (a dequação,
m anutenção e conservação): • Qu estionário sobre
Insum o • espaço físico e instalações; condições d a e scola
• equ ipam entos;
• recursos e m ateriais did áticos.
Este é, portanto, o esquema básico da avalia- ração, 2 mil escolas de todas as redes de ensino (fe-
ção, que pouco mudou desde que começou a ser de- deral, estadual, municipal e particular) e uma amostra
de alunos que está hoje em torno de 220 mil alunos, e
senvolvido.
deve ficar, a partir de 1999, com cerca de 300 mil
Quanto à abrangência, o sistema caracteriza- alunos, 3 mil diretores e aproximadamente 20 mil
se pela participação de todas as 27 unidades da Fede- professores.
17
O esquema amostral é de amostras se a examinar conteúdos que cobrem praticamente todo
probabilísticas de alunos mais amostras relacionadas, o espectro curricular das propostas de Ensino Funda-
ou seja, os alunos que são selecionados para partici- mental e Médio ou de Educação Básica no Brasil.
par do sistema de avaliação têm a mesma probabilida- A segunda alteração metodológica realizada
de de seleção, e têm seus professores e seus direto- em 1995 se deu na maneira como se media o desem-
res automaticamente selecionados para responder aos penho do aluno. Nesse caso, a metodologia e as pro-
questionários. Com isso, estrutura-se uma base de da- vas utilizadas até então tinham muitas limitações. Uti-
dos que permite as análises e estudos já mencionados. lizava-se provas clássicas de conteúdo, de 30 ques-
Não foi fácil começar o sistema nacional de tões que, por exemplo, não podiam ser comparadas
avaliação utilizando-se provas únicas a serem aplica- no tempo e tampouco entre as diferentes séries. Por
das em todo o território nacional. Na primeira avaliação isso iniciou-se o processo de elaboração e interpreta-
(ou primeiro ciclo do SAEB), houve a participação de ção de escalas de proficiência, construídas com base
23 estados. Somente em 1995 todos os estados bra- na Teoria de Resposta ao Item. Esta técnica permite
sileiros e todas as redes de ensino passaram a partici- os dois tipos de comparação (no tempo e entre as sé-
par, voluntariamente, do Sistema Nacional de Avalia- ries), pois a unidade de análise passa a ser o item da
ção da Educação Básica. prova, e não mais a prova completa, nem o aluno.
O sistema começou avaliando a 1ª, 3ª, 5ª e a O uso da Teoria de Resposta ao Item e das
7ª séries do Ensino Fundamental com base em con- Escalas de Proficiência associados a uma técnica de
teúdos mínimos comuns. Para defini-los, fazia-se um balanceamento de conteúdos nas provas permitiu tam-
levantamento dos currículos estaduais, os aspectos bém a superação de uma terceira dificuldade que era a
comuns eram identificados (era considerado comum o pequena amplitude de conhecimentos que uma prova
que aparecia em, pelo menos, 70% dos estados) e de 30 questões tem. O SAEB de 1995 já utilizou cerca
após uma série de discussões e negociações com as de 150 questões em cada uma das disciplinas avalia-
equipes técnicas dos estados eram definidos os con- das. Embora cada aluno continue respondendo entre
teúdos a serem avaliados por meio das provas. Os 30 e 35 questões, é possível avaliar o desempenho do
demais instrumentos, isto é, questionários para direto- grupo de alunos em todas as 150 questões utiliza-
das, cobrindo, portanto, um espectro mais amplo
res, professores e sobre a escola também eram discu-
do currículo.
tidos e incorporavam as sugestões das equipes esta-
Até este momento o SAEB avaliou os alunos
duais. Esta negociação é um traço característico do
em Matemática, Língua Portuguesa e Ciências; nesta
SAEB, e é por meio dela que o SAEB adquire
última, a partir de 1997. Em 1999, vamos introduzir
pertinência e legitimidade.
História e Geografia.
Nesta base foram então realizados os levanta-
Um grande esforço tem sido feito para manter
mentos de dados nos ciclos de 1990 e 1993.
a transparência da avaliação e torná-la amplamente
No entanto, em 1995, foi realizada uma avalia-
conhecida. Embora os instrumentos que examinam os
ção externa do próprio SAEB que trouxe à tona algu-
fatores associados ao desempenho sejam conhecidos
mas questões que ao serem respondidas implicaram de todos, por questões técnicas, ainda não podemos
uma mudança metodológica no sistema de avaliação. dar a conhecer as questões das provas.
Uma primeira questão relacionava-se aos con- Buscando minimizar esta impossibilidade, está
teúdos mínimos comuns, que eram a referência das sendo realizado um trabalho bastante interessante, e
provas. Na realidade, os conteúdos eram mínimos para de certa maneira inovador, que é a elaboração da ma-
um ciclo de estudos e não para a série em que aplicá- triz curricular de referência para avaliação. ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
vamos as provas. Por exemplo: parte do conteúdo da Esta matriz é quase uma tabela de
1ª série do Ensino Fundamental que era comum a to- especificação para a elaboração das questões das pro-
dos os estados poderia aparecer em cinco estados na vas do SAEB.
1ª série e em outros cinco na 2ª série, ou em outra Para elaborar essa matriz, o procedimento uti-
série. Neste caso era introduzido um viés que distorcia lizado foi o mesmo de quando foram definidos os con-
os resultados da prova, já que os alunos estavam em teúdos mínimos comuns. Novamente, buscou-se tudo
diferentes condições de aprendizagem: uns foram ex- o que havia de comum nas propostas curriculares dos
postos aos conteúdos, outros não. estados para os três ciclos de ensino. Foram incorpo-
Para superar esta dificuldade e também para radas as propostas dos Parâmetros Curriculares Naci-
acompanhar uma tendência do desenvolvimento onais, elaboradas pelo Ministério da Educação e que
curricular no caso brasileiro, passou-se a avaliar, en- servem de referência para o País, e também foram con-
tão, as séries finais de ciclos. Os três ciclos avaliados siderados os "estados da arte" de cada disciplina e os
são os seguintes: as primeiras quatro séries do Ensi- níveis de desenvolvimento cognitivo associados aos
no Fundamental (1ª a 4ª), as outras quatro séries do ciclos de ensino. Mais uma vez todo o material elabo-
Ensino Fundamental (5ª a 8ª) e as três séries do Ensi- rado foi encaminhado para críticas e sugestões das
no Médio ou secundário. Com esta alteração, passou- equipes das secretarias de educação dos estados.
18
A matriz de referência para a avaliação apre- e por estado, rede de ensino, localização, característi-
senta uma série de descritores do desempenho do alu- cas dos alunos, dos professores, diretores e das es-
no. Cada descritor é um cruzamento ou associação colas; em segundo lugar, os resultados de aproveita-
entre conteúdos curriculares e operações mentais (com- mento médio do aluno, isto é, qual foi o comportamen-
petências e habilidades). Nesse ponto reside a nossa to dos alunos em relação a cada um dos descritores
ousadia e a nossa dificuldade. de desempenho que constam das Matrizes de Refe-
A matriz parece ser uma maneira de se con- rência da Avaliação bem como ao seu conjunto, sen-
seguir superar a quase eterna divisão que há, em quado, portanto, uma informação de cunho curricular bas-
se toda proposta curricular, entre os objetivos tante detalhada.
curriculares e a lista de conteúdos, pois concretiza, Todos estes dados devem possibilitar análises
em cada descritor, a articulação entre objetivo curricular bem interessantes sobre o currículo aprendido no Bra-
ou objetivo de desenvolvimento e o conteúdo. Segundo sil e provocar discussões e aperfeiçoamentos nos cur-
diversos depoimentos de professores, a matriz de fato rículos propostos.
conseguiu descrever, em cada descritor, o desempe- Também estão disponíveis todas as demais
nho desejado do aluno, ou seja, que operação mental informações sobre variáveis associadas ao rendimento
o aluno tem de realizar com cada conteúdo. escolar e de caracterização das escolas, alunos, pro-
É claro que todo este trabalho está em perma- fessores e diretores.
nente processo de discussão, para que possa ser sem-
pre aperfeiçoado.
No momento, as matrizes de referência para a debate sobre o sistema nacional de
avaliação devem cumprir dois objetivos: dar transpa-
rência à avaliação e diminuir um dos maiores riscos da
O avaliação hoje
avaliação que é o da redução daquilo que é ensinado
somente ao que é avaliado. Por isso, o desenvolvimen- No estágio de desenvolvimento em que se en-
to das matrizes associado à utilização de modelos da contra o SAEB, uma grande questão começa a ser
teoria de respostas ao item para análise e construção debatida: até aonde vai a real capacidade de um siste-
de escalas de desempenho permite que se faça uma ma nacional de avaliação de informar sobre todos os
descrição bastante ampla daquilo que se espera que aspectos relacionados à educação e sobre a diversi-
seja desenvolvido e seja atingido, ou esteja sendo al- dade e a singularidade das escolas?
cançado pelos alunos brasileiros. Apesar de todo esforço até aqui realizado no
Completando a descrição das matrizes, resta desenvolvimento do SAEB, da legitimidade que o sis-
dizer que ela organiza os descritores de desempenho tema possui, da parceria que foi estabelecida com os
em tópicos, temas e assuntos (conteúdos) e opera- sistemas de ensino, e embora a avaliação venha sen-
ções mentais (competências e habilidades) distribuí- do progressivamente apropriada pelos sistemas de
dos em três ciclos (até a 4ª série do Ensino Funda- ensino e o SAEB esteja tornando-se uma referência,
mental, até a 8ª do Ensino Fundamental e até a 3ª um sistema nacional de avaliação não responde, nem
série do Ensino Médio) e três categorias: competênci- poderia responder a todas as necessidades de infor-
as básicas, operacionais e globais, isto é, em cada mação, e também não tem capacidade de apreender
um dos ciclos aparecem as três categorias de compe- toda a diversidade e singularidade das escolas, por isso
tências. tem de ser complementado.
Mais uma vez é importante destacar que a A luz que o SAEB joga sobre o sistema de
matriz baseia-se no que consta das propostas ensino e as escolas não é suficiente, por exemplo,
curriculares em vigor no Brasil. para iluminar o que acontece dentro da sala de aula.
Após realizar a coleta e análise dos dados, o Neste e em outros aspectos, é preciso que os estados
SAEB informa à sociedade os resultados mais gerais e municípios e as escolas promovam a realização de
e coloca à disposição de administradores, gestores, estudos e pesquisas que sustentem o desenvolvimen-
professores, diretores de escolas, de alunos, de espe- to de sistemáticas de avaliação capazes de informar
cialistas, uma série de informações que permitem um sobre questões mais específicas e singulares de um
olhar mais qualitativo sobre o sistema de ensino. estado, de um município e de uma escola. Estas ava-
Em relação ao desempenho dos alunos são liações poderiam ter um caráter complementar ao sis-
fornecidos dois tipos de informação: primeiramente as tema de avaliação nacional, tanto em termos de objeto
médias de proficiência, que é uma informação mais quanto em termos conceituais e metodológicos.
geral sobre a capacidade do aluno, isto é, aquilo que À medida que se amplia a utilização das infor-
os alunos de cada uma das três séries avaliadas são mações do SAEB, ampliam-se os usuários da infor-
capazes de fazer. Esta informação baseia-se na es- mação e, talvez por isso, surjam muitas questões para
cala de proficiência construída para o País, que inter- as quais o SAEB não pode fornecer elementos. Esta
preta e sintetiza o desempenho dos alunos. Estas in- impossibilidade tem gerado críticas ao sistema de ava-
formações podem ser obtidas desagregadas por região liação, sendo a principal delas a que vê como falha do
19
sistema o fato de não serem encaminhados resulta- ções da avaliação que deve ser destacado. Trata-se da
dos da avaliação às escolas e, em conseqüência dis- sociedade, que tem no sistema de avaliação um ins-
so, as escolas fazerem pouco ou nenhum uso dos trumento de controle social de um serviço público. É
dados da avaliação nacional. por meio do sistema de avaliação que a sociedade é
Embora esta crítica tenha fundamento e seja informada sobre os resultados obtidos pelos diferentes
desejável devolver os resultados da avaliação para as sistemas de ensino, sobre as diferentes condições de
escolas, deve-se discutir alguns outros aspectos que oferta de educação e sobre as diferenças e as desi-
também compõem o quadro da avaliação nas escolas. gualdades educacionais que possam existir no País.
Primeiramente, como a avaliação não é um Nesse caso, a utilização de tais informações tem um
fim em si mesma e sim um instrumento que deve ser cunho eminentemente político, de fortalecimento do
utilizado para corrigir rumos e pensar o futuro, parece jogo democrático, que é gerar pressão social tanto para
ser muito importante assegurar que juntamente com correção das distorções e superação dos problemas
as informações que a avaliação fornece sejam criados quanto para preservação de conquistas e ganhos.
e utilizados instrumentos que viabilizem a superação Considerando a descentralização, a
dos problemas diagnosticados, ou a reafirmação das desconcentração e a autonomia da escola como ten-
medidas e práticas bem-sucedidas. dências irreversíveis do nosso sistema educacional, o
É preciso fazer a ponte entre a avaliação e a sistema nacional de avaliação reveste-se de fundamen-
ação. Ou seja, não basta informar ou iniciar um pro- tal importância para servir como referência a esse sis-
cesso de reflexão na escola sobre os problemas ou tema descentralizado e autônomo e reduzir o risco de
deficiências pelos quais ela passa sem colocar à sua desarticulação e pulverização dos objetivos do siste-
disposição os recursos de que precisa para superar ma educacional. Isto é, o SAEB, ao fornecer informa-
suas dificuldades, pois nesse caso a avaliação tende ções sobre os resultados que vêm sendo obtidos no
a exercer somente o papel cruel, inútil e vazio de tes- País, nas regiões, nos estados e nas escolas, permite
temunha, e não de agente transformador e pró-ativo. que a população avalie a escola que freqüenta, infor-
Serem informadas, portanto, é condição ne- mando-se sobre a qualidade do ensino que lhe é
cessária mas não suficiente para que as escolas utili- oferecido.
zem dados de avaliações. À informação deve-se so-
mar o conhecimento e a capacidade técnica para lidar
com a informação, a autonomia para decidir e os re-
cursos para implementar as decisões tomadas. Caso
estes três elementos não existam na escola, a infor-
A lguns resultados obtidos pelo SAEB
mação da avaliação será abandonada, na melhor das
hipóteses.
Outra possibilidade mais pessimista é que a Dos resultados da avaliação realizada em
avaliação, na medida em que as intervenções propos- 1995, aqui serão destacadas, de maneira muito breve,
tas não sejam coerentes com o diagnóstico da avalia- somente a título de ilustração, apenas algumas das
ção, isto é, na medida em que não tenha seus resulta- principais evidências encontradas.
dos incorporados na linha de atuação da escola e das Primeiramente, mais uma vez os resultados
secretarias estaduais e municipais de educação, pas- afirmam o caráter desigual da oferta educacional, tan-
se a exercer um papel paralisante e desestruturador to em termos da infra-estrutura escolar quanto dos re-
da ação educacional, gerando mais impasses do que sultados do ensino. Essa segmentação pode ser ob-
soluções. A capacitação de professores pode ser exem- servada tanto na heterogeneidade de instalações, ma-
plo deste tipo de situação. Caso a avaliação mostre teriais, equipamentos e condições de funcionamento
que há problemas de aprendizagem em determinados das escolas quanto nos diferenciais de desempenho
conteúdos de matemática, seria desejável que fossem entre os alunos dos diferentes estados e regiões brasi-
oferecidas capacitações de professores relacionadas leiros, conforme os Gráficos 1 a 6, em anexo.
a este aspecto, mas não, são oferecidas capacitações De fato, somente a infra-estrutura básica das
em outras disciplinas ou em outros aspectos da mate- escolas está universalizada, ou seja, a grande maioria
mática, ficando evidente o desprezo aos resultados da de alunos da quarta série do Ensino Fundamental é
avaliação e a incoerência na ação educacional. atendida em escolas que possuem salas de aula, li-
Por isso parece ser mais prudente que os re- vros e quadros-negros. Os demais recursos pedagógi-
sultados da avaliação nacional cheguem às escolas cos (laboratórios, bibliotecas, quadras de esportes,
mediados pelos estados e municípios, que poderão computadores, televisões, etc.) estão restritos a par-
estabelecer os vínculos e a coerência entre o diagnós- celas de estudantes da 8ª série do Ensino Fundamen-
tico e suas linhas de ação. tal e da 3ª série do Ensino Médio. Esta situação suge-
Até aqui foi enfatizado o uso dos resultados re uma questão bastante significativa: se a expansão
da avaliação pelas escolas e pelos sistemas de ensi- quantitativa das séries finais do Ensino Fundamental e
no. No entanto, existe um outro usuário das informado Ensino Médio, já em processo, acontecer com a
20
mesma intensidade e nos moldes da expansão que de qualidade do sistema educacional estão socialmen-
ocorreu com as quatro primeiras séries do Ensino te bem distribuídos.
Fundamental, haverá a mesma perda de qualidade O caso brasileiro não é diferente. O SAEB tem
das condições estruturais e de funcionamento das procurado ser um instrumento para a superação de uma
escolas? das falhas mais flagrantes do sistema educacional hoje,
Outro aspecto que merece destaque são os qual seja: as escolas não têm clareza sobre onde de-
diferenciais de desempenho dos alunos dos diferentes vem chegar e, muitas vezes, nem sabem de que ba-
estados e regiões e das diferentes séries (ver Gráficos ses estão partindo.
7 e 8 e Tabelas 1, 2 e 3, nos Anexos). A desigualdade O caminho escolhido para identificação des-
observada nos resultados do SAEB adquire grande pro- tes objetivos foi o da negociação, da transparência e
porção quando comparamos o desempenho entre alu- do debate. Por isso o SAEB vem assegurando o cum-
nos de 4ª e 8ª séries do Ensino Fundamental de al- primento dos seguintes princípios ou diretrizes no seu
guns estados. É possível observar alguns casos onde processo de desenvolvimento técnico e institucional:
quase não há diferença entre a média alcançada por 1) Visibilidade social: identificando e apresen-
alunos de 4ª série de alguns estados e alunos de 8ª tando para gestores, administradores, professores, pais
série de outros. Isto é, nesses casos, os alunos de 8ª e alunos os resultados e produtos obtidos pelo siste-
série após freqüentarem oito anos de escola demons- ma de ensino.
traram um nível de desempenho semelhante àquele de 2) Responsabilização: procurando identificar a
crianças que passaram apenas quatro anos na esco- parcela de contribuição de cada segmento envolvido
la. Isto é pura desigualdade. E não é somente um re- na obtenção dos resultados do processo educacional,
flexo de desigualdades econômicas, a escola brasilei- o que induz ao comprometimento com a busca e a
ra também está contribuindo para a formação de cida- implementação de ações corretivas e de aperfeiçoa-
dãos de diferentes categorias. mento.
Por fim, nos Gráficos 9 e 10 (ver Anexos) ob- 3) Desenvolvimento de competência técnico-
serva-se o caráter negativo da distorção idade-série no científica: sendo fundamental a capacitação de recur-
desempenho do aluno. Mesmo que se admita que a sos humanos para o desenvolvimento e fortalecimento
distorção idade-série é causada tanto pelo ingresso da competência avaliativa nos sistemas educacionais.
tardio, quanto pela repetência e pela evasão, pode-se 4) Estabelecimento de parcerias: entre o Mi-
questionar até que ponto a escola brasileira reforça esta nistério da Educação, sistemas de ensino, universida-
tendência ao não adequar suas estratégias de ensino des e instituições de pesquisa para o desenvolvimento
à real clientela que atende, quando não considera as e execução dos projetos de avaliação.
diferenças de idade dos alunos. 5) Utilização dos resultados: para formulação,
reformulação de políticas, programas e projetos edu-
cacionais, de maneira a ampliar (e mesmo induzir, em
alguns momentos) a reflexão sobre questões da quali-
C onsiderações Finais
dade dos resultados e sobre a atuação de todos os
envolvidos no processo educacional (gestores, profes-
sores, pais, alunos e educadores).
Em síntese, o SAEB vem gradativamente tra-
O desenvolvimento de sistemas nacionais de zendo elementos que permitem identificar as significa-
avaliação é um fenômeno bastante recente, e por isso tivas diferenças que existem entre o que a sociedade
mesmo, pouco analisado em sua diversidade e limites. espera como resultado do processo escolar, o que é
De maneira geral, os sistemas nacionais de possível dele esperar e o que efetivamente dele resulta
avaliação apresentam-se como um instrumento de ges- em termos de desenvolvimento, nos alunos, de com-
tão do sistema escolar. Um instrumento bastante petências básicas, capacidade de pensar e qualida-
poderoso e arriscado, na medida em que sinalizam des pessoais, isto é, a contribuição da escola para o
padrões de aprendizagem que a escola básica deve desenvolvimento da cidadania.
assumir como seu objetivo, e mostram se os ganhos Este é o rumo e este tem sido o grande desafio.
21
ANEXOS
Gráfico 1 – Percentagem de Alunos x C ondições Físicas da Escola

4 a Série do Ensino Fundam ental – B rasil
%
100
12 15
17 19 18 20 21 19
25
80 33 31
35
36
36 32
60 36 33
31 44 42
33 35
40
51 48
46 43 46 44
20 40
32 31 35 35
0
Telh ado Pa re des Piso Po rtas e Ba nheiro C ozin ha Inst. Inst. C arteiras M e sas, Área
Janelas H idrául. Elétrica cadeira s, Externa
arm ários
Bo m R eg ular R uim
Gráfico 2 – Percentagem de Alunos x Condições Físicas da Escola

8 a Série do Ensino Fundam ental – Brasil
100
9
14 16 16
21 16 19 22 ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
23 25
30
80
31
31 31
27 33
60 34 27
33 46 38
31
40
58
52 52 52 49
43 46
20 41 38
37 33
0
Janelas H idrául. Elétrica cadeiras, Externa
arm á rios
22
Gráfico 3 – Percentagem de Alunos x Co ndições Físicas da Escola
8 a Série do Ensino Fundam ental – Brasil
%
100
8
15 17 16 14
18 17
14 24 21
80 28
34
34 33 33
60 36 32
28 32 40 42
28
40
54
48 47 48
43 44 43 42
20 38 38 37
0
Janelas H idrá ul. Elétrica cadeira s, Externa
arm ários
Gráfico 4 – Percentagem de Alunos x Recursos Pedagógicos

4 a série de Ensino Fundam ental – Brasil
23
8 a série de Ensino Fundam ental – Brasil
11 32
17 9 4
28 5 3
36 32
23 15 6
32 6 7
38 8 5
32 25 20
35 25 18
36 32 12
68 9 5
69 10 5
36 37 17
50 30 11
44 29 18
50 30 16
53 32 12
0 20 40 60 80 100 120

3 a série do Ensino Médio – Brasil
24
Gráfico 7 – M atem ática
Proficiência M édia – Brasil e Regiões
298 301
295 290
271
300 266
262
259 253
253
225 237 230
150
75
188 181 182 174
145 153
0
N orte N ordeste Su deste Su l C en tro -O este Brasil
3 a série 8 a série 4 a série
Gráfico 8: Português
Proficiência M édia - Brasil e Regiões
3 a série 8 a série 4 a série
25
G ráfico 9 − M atem ática - 3ª série Ensino M édio
Proficiência m édia segundo a idade dos alunos
BR AS IL
35 0
N O RT E
NO RDESTE
32 5 SU D E S TE
SU L
C -O E ST E
30 0
27 5
25 0
22 5
=< 1 7 18 19 20 21 => 22
IDADE DO ALUNO
Gráfico 10 − Português - 3ª série Ensino Médio

Proficiência m édia segundo a idade do aluno
350 BR ASIL
N O RT E
N O R D ES T E ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
325
SU D ES TE
SU L
C -O EST E
300
275
250
225
=< 17 A nos 18 An os 19 An os 20 An os 21 An os =>22 A nos
IDADE DO ALUNO
26
Tabela 1 – Distribuição de proficiências da 4ª série do Ensino Fundam ental
Brasil, Regiões e Estados
M atem ática Leitura
5% 25% 50% M édia 75% 95% 5% 25% 50% M édia 75% 95%
BR 73 129 170 174 212 269 72 136 178 177 217 271
N 54 109 147 145 185 238 63 117 161 154 198 250
NE 59 117 158 153 201 264 62 124 166 160 208 264
SE 92 149 190 188 231 283 86 152 193 187 231 284
S 98 150 188 181 222 271 84 151 193 181 231 281
CO 89 145 181 182 220 273 91 150 188 185 223 275
RO 60 112 153 150 189 241 52 118 158 152 194 245
AC 46 94 132 129 167 216 61 105 145 147 186 237
AM 80 123 158 156 192 239 67 123 163 159 198 240
RR 77 125 157 157 190 241 76 130 167 162 201 246
PA 51 112 148 140 184 237 57 126 168 154 203 254
AP 33 85 128 127 168 232 25 89 135 134 184 249
TO 51 113 149 147 184 233 49 111 152 151 193 243
MA 41 98 140 141 181 237 34 91 138 139 183 240
PI 71 125 167 172 219 293 71 134 179 176 225 299
CE 57 116 156 151 198 259 77 134 173 163 214 263
RN 59 117 162 155 204 260 53 123 167 157 205 265
PB 41 101 150 148 198 264 56 117 161 160 209 271
PE 60 117 160 153 205 262 57 125 167 159 206 261
AL 41 91 138 137 181 246 45 105 152 150 197 257
SE 67 126 160 162 202 254 76 133 173 171 209 257
BA 68 121 156 156 194 250 62 133 175 167 213 261
MG 110 166 207 195 243 289 88 159 200 185 238 288
ES 77 129 162 166 199 257 80 131 168 169 206 261
RJ 84 139 179 181 224 280 91 150 190 187 226 281
SP 96 150 189 189 229 283 85 153 193 189 229 282
PR 99 155 196 190 233 278 82 162 203 189 238 283
SC 106 154 189 188 223 258 91 145 187 179 223 268
RS 91 140 175 170 209 260 79 143 181 175 220 279
MS 89 145 180 179 217 268 93 149 185 183 219 267
MT 71 123 162 157 198 259 62 118 162 153 197 247
GO 98 151 187 191 226 277 103 155 192 192 226 276
DF 107 157 191 191 226 276 119 170 202 203 237 288
27
Tabela 2 – Distribuição de proficiências da 8ª série do Ensino Fundam ental
5% 25% 50% M édia 75% 95% 5% 25% 50% M édia 75% 95%
BR 172 216 247 253 279 324 163 217 249 252 279 319
N 167 206 233 237 260 298 158 208 237 238 264 304
NE 159 199 229 230 263 311 142 197 232 227 264 306
SE 192 233 264 262 293 336 186 234 263 262 291 330
S 195 236 263 259 290 327 192 235 261 257 289 325
CO 184 225 255 253 283 328 178 226 255 252 283 322
RO 168 207 233 234 261 300 154 207 236 234 261 294
AC 162 197 222 223 249 282 158 199 225 224 251 288
AM 170 209 237 236 265 301 154 209 236 233 262 303
RR 172 212 235 235 261 294 158 206 237 234 266 298
PA 176 215 244 249 273 314 182 222 252 253 278 312
AP 162 200 226 224 252 288 160 205 234 230 259 297
TO 157 194 224 222 252 287 140 191 227 218 255 293
MA 150 188 215 215 242 282 131 184 221 216 252 287
PI 158 199 229 228 257 291 138 195 226 224 255 292
CE 159 203 233 235 269 316 149 204 236 234 268 310
RN 156 196 230 232 270 321 143 195 236 232 271 312
PB 164 207 236 236 271 308 154 203 235 233 268 304
PE 158 196 228 230 262 314 141 192 228 227 261 306
AL 150 187 216 217 252 300 131 182 218 215 252 296
SE 168 208 237 240 268 316 155 206 237 236 266 308
BA 163 203 233 231 263 310 138 200 235 226 266 309
MG 199 239 267 265 297 341 190 236 265 260 293 332
ES 179 220 250 249 278 318 164 215 245 245 274 317
RJ 192 233 264 257 293 330 187 236 264 259 292 330
SP 190 233 263 263 293 332 189 235 265 264 291 329
PR 190 231 260 254 291 331 187 233 259 254 287 326
SC 199 234 257 256 282 314 190 230 254 253 280 310
RS 203 242 269 265 294 327 198 239 267 263 293 328
MS 180 220 248 246 272 310 168 220 249 247 276 317
MT 175 216 245 245 272 307 171 216 245 243 271 308
GO 180 217 248 248 280 328 178 223 252 250 281 323
DF 204 246 274 275 304 342 200 244 270 269 295 334
28
Tabela 3 – Distribuição de proficiências 3ª série do Ensino M édio
5% 25% 50% M édia 75% 95% 5% 25% 50% M édia 75% 95%
BR 207 252 285 290 321 370 187 242 275 277 306 347
N 195 239 267 271 299 348 179 230 263 262 294 333
NE 194 235 267 266 301 360 172 223 257 253 290 334
SE 229 268 298 298 329 373 207 256 287 285 315 353
S 235 276 305 301 333 371 207 256 287 283 315 355
CO 219 262 295 295 332 385 206 255 284 283 314 356
RO 204 255 294 280 328 359 178 251 285 279 313 344
AC 194 240 268 264 299 332 177 222 252 250 282 319
AM 208 242 266 275 294 354 192 234 266 265 296 338
RR 195 236 261 263 292 327 186 224 256 255 284 323
PA 198 238 267 269 296 335 173 229 263 262 293 332
AP 204 244 270 274 297 338 190 232 262 265 294 332
TO 179 223 264 266 307 361 166 218 253 249 287 326
MA 180 228 265 256 297 344 151 212 250 242 281 324
PI 187 231 261 258 296 342 165 217 252 245 283 319
CE 198 241 275 277 311 369 170 224 258 255 290 336
RN 183 230 262 260 296 338 164 219 255 252 291 333
PB 191 238 265 266 296 357 175 224 257 254 288 326
PE 192 230 258 262 291 346 170 216 249 247 281 324
AL 201 248 280 280 317 359 185 231 267 261 299 331
SE 215 257 288 294 341 392 191 238 273 272 309 363
BA 197 236 265 266 298 375 179 230 260 261 292 344
MG 233 272 302 303 332 370 203 258 287 283 314 351
ES 225 263 289 285 318 363 199 241 272 271 300 336
RJ 229 267 299 289 332 382 205 254 284 275 312 351
SP 227 269 300 300 330 373 219 263 293 291 319 355
PR 229 270 297 298 325 371 198 251 281 279 309 348
SC 233 271 298 292 328 359 209 256 285 281 313 352
RS 249 288 317 311 342 374 218 269 295 289 321 360
MS 216 254 281 282 311 351 205 248 274 273 300 338
MT 204 242 270 272 300 338 196 241 271 268 295 329
GO 217 257 287 290 328 377 201 253 284 282 314 357
DF 253 296 330 328 365 404 227 275 306 302 331 369
29
30
E DUCAÇÃO PARA
TODOS: ACESSO À
APRENDIZAGEM E CONQUISTA
DO CONHECIMENTO ÚTIL
Robert Glaser*
I ntrodução
Todos nós sabemos que os indivíduos são edu- A segunda função, avaliação do desempenho
cados de acordo com as condições culturais e econô- e do produto da aprendizagem, evoluiu, em muitos de
micas que prevalecem no momento. Entretanto, as con- países, para testes de desempenho padronizados nos
dições do passado poderão permanecer em vigor, mal- quais o desempenho dos alunos é comparado a nor-
adaptadas e retardando o progresso, mesmo que a mas que proporcionam informação comparativa, mas
cultura tenda à mudança. À medida que trabalhamos que não reconhecem os padrões de desempenho ne-
para a avaliação e o aprimoramento dos nossos siste- cessários. Além disso, o que freqüentemente se ava-
mas de educação, é necessário examinar as nossas lia, é conveniente aos formatos estabelecidos de tes-
metas e as nossas realizações à luz do conhecimento tes, e às formas de instrução baseadas em teorias
moderno; ao mesmo tempo, devemos identificar as res- mais antigas da aprendizagem, em que a lembrança
da informação predomina, e em que os processos de
trições e os obstáculos que nos emperram, e que tor-
raciocínio e de solução de problemas, bem como o
nam difícil a mudança.
uso eficaz do conhecimento, são menos evidentes. Para
Tendo em mente este tema da mudança, con-
que possa haver progresso e aprimoramento, os resul-
sideraremos dois aspectos fundamentais de um siste- tados do ensino e o desempenho dos alunos precisam
ma de educação: como é determinado o acesso à opor- ser avaliados de acordo com padrões de mentalidade
tunidade da educação, e como são avaliados os resul- ativa, e com base em critérios de desempenho compe-
tados da educação. Estas questões, acesso e realiza- tentes, em vez de normas de grupo apenas.
ção, refletem-se em: como os alunos são seleciona-
dos para a entrada na escola, como as suas habilida-
des de aprender são facilitadas, e como a qualidade
da aprendizagem, a competência alcançada e as me-
tas de educação são avaliadas.
A cesso à educação
A primeira função, acesso à educação, foi in-
fluenciada por práticas sociais que tentam identificar
aqueles que aparentam a habilidade, a aptidão ou a As práticas de seleção e colocação na escola
classe social para aproveitarem a escolaridade num podem produzir efeitos variados. Alguns indivíduos são
sistema de educação. O acesso à instrução é admi- promovidos ao nível seguinte da escolaridade como
nistrado através de testes e de outros procedimentos resultado desses procedimentos, e com vantagens sig-
de seleção, e do uso de métodos para a classificação nificativas para eles mesmos e para a sociedade. Ou-
e a colocação diferenciada dos indivíduos (a teoria tros são excluídos e poderão ser dirigidos a uma ins-
psicométrica teve a sua expansão principalmente nes- trução menos avançada ou diluída, que pouco contri-
te contexto de utilização). Atualmente, enquanto tra- buirá para aumentar as suas oportunidades de educa-
balhamos para melhorar os nossos sistemas, deve- ção. Superficialmente, o processo de seleção pode
mos nos perguntar se os métodos de seleção e de aparentar que escolhe os melhores talentos; contudo,
classificação desenvolvidos são agora funcionais e existe a possibilidade de estar baseado em princípios
aceitáveis, para uma sociedade que deseja maximizar de aptidão e de inteligência, que desencadeiem um
as capacidades e as realizações da maior parte de ciclo de habilidade não desenvolvida. Um número de-
todos os cidadãos, que são o ponto focal de um siste- masiadamente alto de alunos poderá ser excluído de
ma de educação. determinadas experiências de educação,
*Robert Glaser, doutor em Psychological Measurement and Learning Theory (Indiana University), é diretor do Learning Research and Development Center, da
University of Pittsburgh (Estados Unidos). Autor e editor de extensa bibliografia (livros, artigos de periódico, coletâneas e relatórios técnicos), foi também editor
da revista The New Educational Researcher.
31
presumivelmente porque lhes faltam os atributos e os melhor contribuir para o crescimento dos alunos e para
antecedentes que sejam promissores do êxito na o seu potencial. A condição (e o problema de pesquisa
aprendizagem; entretanto, é preciso termos consciên- e desenvolvimento para o futuro) é projetar uma socie-
cia de que esses mesmos atributos poderiam ser apren- dade educacional aberta à ajuda, que possa "ser
didos, em ambientes apropriados de educação. julgada em termos da sua habilidade de facilitar adap-
Freqüentemente, os indivíduos se vêem afastados de tações construtivas dos programas educacionais para
experiências de aprendizagem legítimas, que poderi- os indivíduos" (Thorndike, 1975), em que o conheci-
am desenvolver neles as capacidades de que necessi- mento utilizável e socialmente reconhecido possa ser
tam para virem a ser incluídos em um processo eficaz realizado por todos os alunos, e em que altos níveis de
de educação. competência sejam atingidos por muitos. O objetivo é
Freqüentemente, as experiências vividas pe- incrementar o acesso à oportunidade de educação, de
los alunos que apresentam baixo desempenho não os forma que possam maximizar o bem-estar da pessoa
expuseram à informação e aos modos de cognição que e da comunidade.
poderiam ser úteis para a aprendizagem escolar; por
outro lado, estes podem ser aprendidos se tais alunos
puderem exercitar esse conhecimento e essas habili- primorando o acesso à oportunidade
dades em ambientes adequados. Os testes de avalia-
ção e outros critérios usados para determinar a pronti-
A da educação
dão e a retenção poderão revelar um número despro-
porcional de crianças em situação de desvantagem,
como não estando prontas para as atividades regula- Para sermos, agora, mais específicos, discu-
res da escola, e dirigi-las a currículos mais leves que, tiremos várias áreas em que o uso e o desenvolvimen-
muito provavelmente, não promoverão nelas as habili- to das habilidades dos alunos para aprender possam
dades de aprendizagem. Separar esses alunos da cor- ser consideradas com o propósito de facilitar ambien-
rente principal da educação, com freqüência, resultará tes de aprendizagem adaptativa. Focalizaremos três
pontos fortes, sobre os quais pode ser fundamentada
na sua exclusão de experiências educacionais fecun-
a educação na escola: 1) conhecimento baseado na
das, impedindo-os de usar capacidades de aprendiza-
comunidade, 2) habilidades para auto-regulação, e 3)
gem onde poderiam exercitar o conhecimento e a ha-
convicções sobre esforço e habilidade predeterminada.
bilidade que eles têm disponíveis para o aprimoramen-
to do seu rendimento educacional (Glaser, Silver, 1994;
1) Conhecimento baseado na comunidade
Oakes, 1985, 1990; Oakes, Lipton, 1990; Shepard,
1991).
A educação que é adaptável ao aluno pode
Para possibilitar o acesso à oportunidade da
considerar os altos níveis de desempenho que resul-
educação, e para reduzir os aspectos de exclusão da
tam das exigências de solução de problemas e racio-
avaliação estudantil, as práticas do futuro deverão ser
cínio que os jovens enfrentam na sua vida quotidiana.
projetadas para a investigação das possibilidades de Fora do ambiente formal da escola, os indivíduos de-
crescimento dos alunos. É preciso que a avaliação e a senvolvem competências para solucionar problemas
instrução sejam mais integradas, além de baseadas quantitativos e verbais, que surgem nas atividades co-
em padrões de desempenho. Dessa maneira, os pro- munitárias. Isso ocorre com a necessidade de empre-
fessores estarão mais capacitados a reconhecer e a go precoce e com a participação como aprendiz em
apoiar os pontos fortes de suas crianças, e a organizar uma atividade comercial ou profissional (Lave, 1988; ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
ambientes de aprendizagem que possam desenvolver Rogoff, 1990). A participação nessas práticas sociais
nelas as habilidades de aprender. Os alunos com bai- é uma forma fundamental de aprendizagem, e é preci-
xo desempenho deverão ser dirigidos a formas de edu- so considerar a sua importância para o plano pedagó-
cação que não restrinjam as suas oportunidades de gico que se quer implantar. Este conhecimento dispo-
aprender e que desenvolvam capacidades de aprendi- nível pode ser relacionado ao conhecimento escolar,
zagem. de modo que os indivíduos adquiram confiança nas suas
Para maior clareza sobre a questão do aces- próprias habilidades de aprender. A escola precisa iden-
so à educação, devemos repetir que o emprego de tes- tificar as estratégias que já foram absorvidas pelos alu-
tes para a seleção e a colocação é uma prática impor- nos durante a sua vida quotidiana e no trabalho que
tante em determinados momentos do desenvolvimento podem transformar-se na base para a futura aprendiza-
de uma sociedade, mas o apoio exagerado neles po- gem. As formas de competência e de experiência
derá significar escrever as biografias dos indivíduos trazidas para a escola por muitos dos alunos são so-
antecipadamente, determinando as suas vidas e as fisticadas nos seus ambientes de utilização fora da
suas carreiras. Essa filosofia determinística precisa ser escola, e podem ser imediatamente menos aplicáveis
suavizada e já não é mais a única opção. Agora, preci- aos objetivos da escolaridade formal, mas geram co-
samos perguntar como o acesso à educação poderá nhecimento e habilidades que podem tornar-se base
32
de real educação e treinamento (Carraher, Carraher, desempenho de um aluno que tenha um nível deter-
Schliemann, 1985; Greeno, 1991; Rogoff, Lave, 1984; minado de habilidade (Dweck, 1988; Dweck, Leggett,
Saxe, 1990). As habilidades de cooperação utilizadas 1988; Resnick, 1995; Resnick, Nelson-LeGall, no prelo).
no trabalho junto com outros podem ser aplicadas às Em contraste com essa visão, estudos com-
relações escolares, para o trabalho com os compa- parativos entre países e entre sociedades descreve-
nheiros e com os professores, para o êxito na escola ram padrões distintos de crenças em aptidão e habili-
(Sternberg et al., 1995). dade, e as práticas escolares resultantes (Holloway,
1988; Peak, 1993; Stevenson, Lee, 1990). Determina-
2) Habilidades para a auto-regulação dos ambientes escolares enfatizam muito os hábitos
de aprendizagem e os modos de interação com os
A aprendizagem e a instrução são influencia- outros para aprimorar a aptidão para aprender. Os alu-
das pela habilidade dos indivíduos acompanharem e nos acreditam que desenvolver as habilidades que pos-
regularem as próprias ações. À medida que o desen- sam capacitá-los a melhorar a sua aprendizagem é
volvimento e a aprendizagem humana passaram a ser tão importante quanto demonstrar o que foi aprendido.
vistos como o resultado da atividade construtiva, as- Os objetivos de aprendizagem têm a mesma importân-
sim como da memória, houve uma consciência mais cia que os objetivos de desempenho. O indivíduo não
intensa das habilidades de auto-regulação emprega- apenas esforça-se para mostrar quão bem uma deter-
das por crianças e por adultos para o desempenho de minada matéria foi aprendida, mas trata também de
uma tarefa, ou para a solução de um problema. Essas desenvolver novas formas para aprimorar a sua própria
atividades reguladoras permitem que os alunos acom- capacidade de aprender. Os alunos iniciam comporta-
panhem e exercitem o controle sobre o seu desempe- mentos de aprendizagem, como o teste do seu próprio
nho, à medida que vão desenvolvendo o seu trabalho entendimento, conscientes dos padrões para o seu
(Brown, 1978). Essas habilidades incluem estratégias desempenho.
de controle, como: a previsão dos resultados dos es- O acesso à educação melhoraria se os siste-
forços; o planejamento antecipado; a divisão apropria- mas tradicionais, que valorizam excessivamente a ha-
da do tempo; a explicação para si mesmo, a fim de bilidade predeterminada e a aptidão, se voltassem para
elaborar a aprendizagem e o entendimento; a identifi- os ambientes educacionais que enfatizam a importân-
cação das falhas para entender e o uso do conheci- cia de realizar esforços para desenvolver a capacidade
mento adquirido anteriormente que seja relevante para de aprender. Os sistemas baseados em esforços po-
a situação. Os aprendizes podem usar essas habilida- dem motivar a aprendizagem e restaurar nos jovens a
des de monitoramento à medida que forem necessári- consciência de que eles podem apresentar contribui-
as, durante o desenrolar de uma tarefa nova, ou na ções positivas e produtivas, para o seu próprio proces-
tentativa de compreender uma situação. so de aprendizagem e para a sociedade.
Os bons aprendizes usam freqüentemente Ressaltarei, mais uma vez, este ponto geral.
essas habilidades, mas muitos indivíduos precisam ser Muitos dos atuais sistemas de educação e seus mo-
ensinados a exercer essas capacidades. Assim, es- dos de entrada na escola e na força de trabalho são
sas habilidades de regulação e de monitoramento tor- principalmente elaborados a partir da crença de que o
nam-se candidatas importantes para a avaliação das talento e a habilidade são, em grande parte, herdados
habilidades para o sucesso escolar, transformando-se e fixos. Como resultado, as práticas educacionais são
também em práticas importantes que precisam ser destinadas a selecionar aqueles que possuam talento
ensinadas na escola, para expandir a habilidade de para os currículos com altos níveis de exigência: evita-
aprender. se o currículo que envolva desafio para um número enor-

me de alunos, o que termina por confirmar as suas
3) Convicções sobre o esforço e sobre a habilidade próprias convicções de que não possuem talento para
predeterminada o raciocínio avançado. Os alunos não tentam romper a
barreira das baixas expectativas, uma vez que eles
Em certas sociedades (por exemplo, a socie- mesmos, assim como seus professores e seus pais,
dade dos Estados Unidos), existe uma compreensão aceitam o julgamento de que a sua habilidade é prede-
muito forte da aptidão ou da habilidade predetermina- terminada e que não possuem o nível correto de apti-
da, como fator decisivo para o progresso e o desempe- dões. Não surpreende que o seu desempenho perma-
nho. Administradores escolares, professores e os pró- neça baixo e o sistema se torne auto-sustentável.
prios alunos acreditam que nasceram com um certo Por outro lado, para o futuro, não será neces-
nível de habilidade, que determina os objetivos para os sário prosseguir desta forma. A escolaridade e a pre-
quais deverão dirigir a sua atenção. Nos sistemas es- paração para a vida e para o trabalho poderão ser
colares associados a essa crença, alunos e professo- construídas com base em suposições alternativas de
res agem de acordo com programas alternativos, des- que o esforço efetivamente cria a habilidade de apren-
tinados a serem os ideais para conseguir o melhor der, e de que o desenvolvimento de estratégias de apren-
33
dizagem e as expectativas de esforço e de realização cos com entendimento e raciocinar com conhecimen-
podem gerar a habilidade. Um ambiente que estimule to histórico e cívico, para vivermos, efetivamente, como
o desenvolvimento de habilidades de aprendizagem e cidadãos nas sociedades em desenvolvimento. Em
propicie o esforço pessoal influenciará a natureza da geral, a avaliação dos resultados da educação deve
competência nos indivíduos. Não é questão, apenas, considerar não apenas o conteúdo do que é aprendido,
de ser recompensado pelo trabalho perseverante, mas,
mas também as maneiras de usar essa informação, e
é o resultado do encadeamento de esforços voltados
as formas de saber que proporcionem conhecimento
para a aprendizagem e para padrões de desempenho,
de modo que, provavelmente, possam desenvolver não intelectual e poder criativo.
apenas o conhecimento específico, mas também as Devemos avaliar os tipos de aprendizagem que
habilidades para aprender com eficiência. contribuam para a competência individual e para o uso
da mentalidade humana. À medida que acontecem
mudanças no conhecimento dos alunos, precisamos
observar o desenvolvimento concomitante dos proces-
R esultados da educação
sos cognitivos envolvidos em solucionar problemas e
em pensar com aquilo que eles conhecem (Anderson,
1985). Devemos ir além do teste da mera memória, e
avaliar o poder das estruturas interligadas de conheci-
Considerei aqui, na verdade, apenas um dos mento que representam significado, e que levam em
lados da equação, o acesso à educação – ou seja, os conta os níveis complexos de explicação e entendi-
pontos fortes e habilidades que as crianças e os jo- mento. Os conceitos de estruturas coerentes e interli-
vens trazem para a escola. Elas englobam competên- gadas de informação, e a natureza do conhecimento
cias que podem ser usadas e desenvolvidas para ga- organizado para o raciocínio devem dirigir os procedi-
rantir uma educação mais eficaz. Examinaremos ago-
mentos modernos de avaliação dos resultados da apren-
ra o lado do resultado da equação – os produtos ou os
dizagem. Os nossos conceitos do passado, muitas
resultados da escolaridade e da aprendizagem.
Para poder indicar possibilidades de progres- vezes, resultaram na testagem de informações frag-
so nesta área, devemos, mais uma vez, fazer referên- mentadas, utilizando o formato de múltipla escolha,
cia ao peso da atual prática disfuncional. Para a avali- que não estimula a inferência e o raciocínio com o que
ação dos resultados da educação, foi dada demasiada sabemos. Agora, os educadores enfrentam o desafio
ênfase às medidas "com referência a normas" do de- de desenvolver e avaliar o conhecimento interligado e
sempenho educacional, onde, como já disse anterior- utilizável.
mente, a eficácia da educação é julgada em termos da
posição de um indivíduo em relação ao desempenho
do grupo (Glaser, 1994). O aluno é julgado de acordo
desenvolvimento da competência
com graduações em porcentagens, como estando no
percentil 25 ou 75, ou tantos pontos acima da média.
O como base para a avaliação
Índices desse tipo podem dar a informação de que uma
escola, uma comunidade, ou um estado podem estar
apresentando um desempenho relativamente melhor do Podemos fazer referência a estudos que com-
que outros, mas há uma quantidade menor de informa- param o desempenho de iniciantes e de indivíduos já ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
ções sobre a verdadeira natureza do desempenho ad- treinados em vários campos, para entendermos o que
quirido e sobre a qualidade das realizações conquista- se quer dizer com o desenvolvimento de conhecimento
das. Para melhorar a educação, é necessário julgar o organizado e interligado. Esses estudos descrevem
sucesso da escola e o desempenho dos alunos em como o conhecimento e a habilidade são alterados à
relação àquilo que eles realmente sabem e podem fa- medida que os indivíduos vão aprendendo e tornando-
zer, e em termos de padrões de desempenho. se mais competentes nos domínios de várias matéri-
Além disso, é possível avaliar até que ponto as, e à medida que vão ganhando experiência nas suas
os alunos conseguem ler palavras, efetuar operações áreas de trabalho (Chi, Glaser, Farr, 1988; Glaser, 1996).
aritméticas, e recordar eventos históricos e literários. A modificação nas características de desempenho
Mas, nos tempos modernos, tudo isso já não é bas- enquanto os indivíduos vão evoluindo da condição de
tante. Mais do que nunca, o nosso trabalho e a própria principiantes para a atividade já mais treinada, possibi-
sociedade exigem a capacidade de usar esse conhe- lita uma estrutura para a avaliação de níveis de desem-
cimento para o pensamento e para o raciocínio, e de penho (e um enfoque para a instrução) (Glaser, Chi,
empregar o que sabemos dentro do contexto das infor- 1988; Lane, Glaser, 1994). Permitam-me apresentar
mações que vão mudando. Precisamos ler para poder- cinco exemplos dessas características da evolução da
mos compreender, resolver procedimentos matemáti- proficiência.
34
1) Conhecimento integrado, coerente disponível e em evolução forçará as nossas avaliações
de desempenho a enfatizarem a utilidade da aprendi-
A aprendizagem efetiva e a experiência desen- zagem atual, para capacitar os alunos a usarem o seu
volvem conexões significativas no conhecimento do conhecimento para a aprendizagem futura. Os alunos
aluno. Tal integração e conectividade está intimamen- precisam atingir o conhecimento e a habilidade neces-
te ligada à habilidade do indivíduo para compreender e sários para trabalharem com grandes volumes de infor-
solucionar situações problemáticas, em comparação mação; por exemplo, necessitam aprender a examinar
com a memória mais fragmentada de um iniciante, com uma variedade de perspectivas e a gerar conceitos de
trechos isolados de informação. O conhecimento inte- organização para que possam empregar o que sabem
grado permite que os alunos mais proficientes façam em situações novas. Basicamente, uma boa parte da
inferências, pensem através de analogias com o que já educação dos alunos precisa focalizar habilidades ge-
conhecem e dêem explicações significativas sobre o radoras, para a atualização do seu conhecimento. É
seu próprio desempenho. A instrução de boa qualida- um problema difícil de avaliação, que precisará ser re-
de enfatiza o conhecimento organizado. solvido no futuro.
2) O estabelecimento de procedimentos e a capacida-

de de utilização do conhecimento 5) Integração de habilidades básicas com desempe-
nho avançado
O desempenho competente está relacionado
a procedimentos para o uso do conhecimento. À medi- As avaliações precisam medir se as habilida-
da que vai acontecendo a aprendizagem, a informação des fundamentais atingiram ou não uma eficiência que
declarativa e os fatos de que temos conhecimento dei- permita o desenvolvimento de um nível mais alto de
xam de ficar meramente armazenados na memória, e desempenho coordenado. As avaliações desse tipo são
passam a se relacionar às maneiras de usar essa in- extremamente importantes para se relacionar as pri-
formação. A avaliação eficaz determina não apenas o meiras habilidades de leitura à compreensão de pala-
que se conhece, mas também como o que é conheci- vras e de histórias que tenham significado, e na
do deve ser empregado. Ainda que tanto os iniciantes integração de operações quantitativas básicas com
quanto os já mais treinados possam ser igualmente procedimentos de solução de problemas matemáticos.
competentes na lembrança de um princípio ou de uma Essa forma de avaliação pode também ser feita em
regra, os novatos reconhecem com menos freqüência etapas posteriores da educação, com aspectos
onde poderá ser aplicado esse conhecimento e como conceituais e relativos a procedimentos da álgebra avan-
implementá-lo. Nas avaliações típicas, é muito comum çada e de cálculo, que são necessários na solução
haver uma natureza dissociada daquilo que medimos, eficiente de problemas complexos. (Isso poderá ser
que não inclui o sentido de aplicação ativa do conheci- um problema de menor importância quando houver dis-
mento de cada um. ponibilidade da utilização de computadores para as
operações fundamentais; os alunos necessitarão de
3) Reconhecimento e representação de problemas menos prática nas habilidades básicas, embora preci-
sem ser ensinados a compreendê-las).
À medida que os alunos vão se tornando mais Os componentes gerais do desempenho profi-
competentes em uma determinada matéria, muda a ciente, como os cinco exemplos que acabamos de
sua maneira de considerar problemas e situações, e descrever, diferenciam e contrastam os resultados de
esta mudança pode também ser avaliada. Um exem- aprendizagem de alunos bem e mal-sucedidos em
plo freqüentemente citado vem de um estudo feito com muitas áreas de conteúdo. Juntamente com o teor da
alunos durante a sua aprendizagem da física elemen- aprendizagem, esses componentes dão significado às
tar. Ao serem expostos a problemas de movimento formas como o conhecimento é usado na atividade
(mecânica), os alunos iniciantes vão classificar o pro- cognitiva de nível superior, que determina a excelência
blema em termos de características óbvias de superfí- dos nossos alunos, a competência das nossas comu-
cie como um problema que envolva um plano inclina- nidades e as expectativas de alunos e de pais.
do, ou que inclua uma roldana. Um aluno mais adian-
tado visualizaria a parte mais básica dos princípios
subjacentes, e diria: "Aí está um problema que envolve
a Concentração de Energia, ou as Leis de Newton".
Com base na forma como o problema é representado,
através da superfície ou através dos princípios P adrões de aprendizagem e avaliação
subjacentes, a solução é executada mais ou menos
segundo a forma avançada (Chi, Feltovich, Glaser,
1981). Com esta aspiração geral de desempenho de
alto nível em mente, há muito trabalho em curso na
4) Gerenciamento de informação
área do enunciado explícito e concreto de padrões para
Avaliar a forma como as pessoas gerenciam a o trabalho prático tanto de professores quanto de alu-
informação deverá ser, cada vez mais, um problema nos. Em muitos países, este é um empreendimento
principal da nossa época. A quantidade de informação patrocinado pelo governo, com a assistência de vários
35
grupos dedicados ao desenvolvimento de currículos e crianças e dos jovens, e que possam auxiliar muitos
organizações de professores, preocupados com os ní- professores na utilização de habilidades profissionais
veis de desempenho nas áreas de Leitura e Lingua- para a realização desses objetivos. Precisamos expe-
gem, Artes, Matemática, Ciência e Aprendizagem Apli- rimentar formas de pedagogia que possam desempe-
cada ao Trabalho. Estes grupos estão publicando pro- nhar a tarefa e atualizar os melhores professores com
dutos específicos, que podem ser úteis para a reforma conhecimento moderno sobre a aprendizagem e a
da educação. cognição. A aprendizagem escolar e as experiências
Nos Estados Unidos, um Sistema de Avalia- educacionais, tanto na escola quanto fora dela, preci-
ção de Novos Padrões, criado por um consórcio de sarão destinar-se a alcançar as características do de-
organizações profissionais e escolas (National Center sempenho competente como descrito, que permitem
on Education and the Economy, University of Pittsburgh, habilidades de ordem superior no emprego do conheci-
1997), considerou três componentes inter-relacionados mento adquirido (Bruer, 1993).
para um sistema de avaliação. Em várias das matérias As modificações na natureza do ensino de-
escolares, esses componentes são: 1) Conteúdo de vem ser consideradas, e cuidadosamente avaliadas.
desempenho e descrições de processos: essas des- Em particular, a pesquisa pedagógica sugere que, para
crições especificam o que os alunos devem saber, ofe- muitas situações de instrução, há a necessidade de
recendo exemplos como eles devem demonstrar o co- mudança de enfoque: do professor como transmissor
nhecimento e as habilidades que tiverem adquirido. 2) e relator de conhecimento, para o aprendiz como cons-
Amostras de trabalho e comentários: são as amostras trutor e planejador da sua própria aprendizagem, sob a
de trabalhos dos alunos que ilustram tipos de desem- orientação do currículo. Somos impelidos a considerar
penho em situações padronizadas, acompanhadas por que houve mudanças quando da aprendizagem passi-
comentários que apontam as relações entre os padrões va se passa para o desempenho ativo do aluno, que
e as amostras de desempenho estudantil. 3) Exames adquire competência.
e portfólios de alunos: os padrões de desempenho são Com este objetivo, ambientes educacionais
apoiados por exames e por um sistema de pastas, foram projetados, tanto na escola elementar quanto em
que complementam as provas; os portfólios contêm outras onde os alunos aprendem como se fossem uma
evidência acumulada do desempenho de alunos, bem comunidade. Trabalham juntos para compreender e
como trabalhos ao longo de um período de tempo. As organizar a informação em uma determinada área do
provas e os trabalhos selecionados dos alunos são dis- conhecimento como parte do seu currículo. Durante
cutidos tendo em vista as descrições dos padrões de essa atividade, eles desenvolvem a capacidade para
desempenho. esforços intelectuais conjuntos enquanto aprendem com
Atualmente, em muitos países, existem ex- a ajuda do professor e ensinando uns aos outros. Os
celentes exemplos de padrões e de sugestões de prá- alunos aprendem nesses grupos através de perguntas
ticas de avaliação que podem ser usadas como base e pesquisa, mais do que pelo que lhes é dito. São
para o aprimoramento educacional. O segredo é a estimulados à investigação de um tema científico,
implementação onde as comunidades e os sistemas como: a natureza de uma prova geométrica, as propri-
estaduais se associam a alunos, pais, professores, edades dos números, e as características dos diferen-
sociedades dedicadas a currículos e ministérios de tes gêneros literários e da escrita em geral. Enquanto
educação, visando ao desenvolvimento de empreendi- vão pesquisando, fazem perguntas, testam o que es-
mentos que sejam cuidadosamente avaliados, e visan- tão aprendendo, comparam-no com o conhecimento
do à realização de metas estabelecidas. A coopera- do professor ou de outro especialista, e questionam os ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
ção através de todo o sistema, as expectativas com- detalhes desse conhecimento.
partilhadas de alto nível e a própria avaliação são as Como trabalham juntos, a aprendizagem é
chaves para o sucesso. muito intencional e dirigida. Os alunos têm o firme pro-
pósito de atingir padrões; adquirem formas de desem-
penho que podem exibir, e usam conhecimento e habi-
scolaridade e comunidades para
E a prendizagem e instrução
lidades que lhes permitem aprender a lição seguinte.
Essa aprendizagem intencional pode ser vista nas tro-
cas entre alunos em sala de aula, onde uns comentam
o que outros disseram, para, em seguida, testarem o
Se aceitarmos objetivos educacionais que es- próprio raciocínio, afirmando: "Bem, o que eu acho
timulem o pensamento e o uso ativo do conhecimento, sobre este assunto é isso", chegando ao ponto de ex-
então será preciso considerar as inovações nos ambi- pressarem o que sabem. Nesse tipo de ambiente edu-
entes escolares e nas salas de aula que ajudem a pro- cacional, o que se torna evidente é o modo competen-
duzir esses resultados. É necessário estender o ensi- te de pensar das pessoas, nas várias disciplinas. Por
no e a natureza dos ambientes escolares em direções exemplo, os alunos não apenas aprendem os fatos de
que possam alcançar altos padrões para a maioria das história ou de biologia, mas aprendem, além disso, como
36
o historiador ou o biólogo pensam ao acumularem evi- te por cuidadosa avaliação e estudo (Cognition and
dências para chegar a conclusões e para propor expli- Technology Group at Vanderblit, 1992, 1994).
cações.
Nesses ambientes de aprendizagem, fatos e
informações tornam-se parte dos dados de um esforço integração da avaliação e da
de aprendizagem e de raciocínio. Os alunos podem
sentir-se ligados a eventos que estejam ocorrendo tan-
A instrução
to no mundo quanto nas suas comunidades, utilizando
essa informação oriunda de eventos exteriores para o
No futuro, testes e ensino, avaliação e apren-
que estiverem aprendendo. Por exemplo, podem em-
dizagem deverão ser eventos que se tornarão mais in-
pregar o seu conhecimento nas áreas de Matemática
tegralmente relacionados (Frederiksen, Collins, 1989).
e Ciências para o estudo de ecossistemas, podendo
À medida que for acontecendo o processo de aprendi-
enviar essa informação (pela Internet) para uma comu-
zagem, haverá disponibilidade de evidências para a
nidade próxima, para maiores informações. Podem
avaliação das realizações e para o julgamento das eta-
empregar as suas habilidades de escrever para expli-
pas seguintes da instrução. As características da ava-
car a outros alunos e aos seus pais como eles inter-
liação, que são parte integrante da instrução, deverão
pretam o que estão aprendendo. De uma forma geral,
incluir, pelo menos, seis aspectos:
os alunos, com a orientação do professor, podem ava-
1) Acesso à oportunidade da educação – Como
liar a sua informação e as suas interpretações, ou ten-
já tive a oportunidade de enfatizar, para limitar os as-
tar encontrar evidências em outras fontes para apoiar
as próprias idéias. pectos de exclusão dos sistemas de educação, é ne-
Esses ambientes educacionais foram denomi- cessário que a avaliação seja destinada a examinar as
nados "comunidades para a construção do conheci- possibilidades de crescimento dos alunos. Os progra-
mento" (Brown, Campione, 1990, 1994; Scardamalia, mas de avaliação e de instrução deverão capacitar os
Bereiter, 1991, 1996). Os alunos participam na trans- professores a reconhecer e apoiar os pontos mais for-
missão do conhecimento procurando, compartilhando tes dos aprendizes, de maneira que possam chegar a
e adquirindo conhecimento entre eles mesmos com currículos com maior eficácia.
uma quantidade de orientação cada vez menor. Essas 2) A exibição de competência – O conheci-
comunidades para a construção do conhecimento dis- mento e as habilidades deverão ser medidos de forma
tinguem-se pelos esforços de transferir aos alunos os que sejam abertamente mostrados os processos e os
processos que normalmente ficam sob o controle do produtos da aprendizagem. Os critérios de desempe-
professor. Os alunos são ajudados a formular metas, a nho através dos quais serão julgados os alunos serão
dirigir a sua própria atividade de consulta, a monitorar evidentes e claros, de forma que possam motivar e
o seu entendimento e a utilizar os recursos que lhes direcionar a aprendizagem e o ensino.
são oferecidos para planejar o seu próprio ambiente de 3) Auto-avaliação – A avaliação deverá impli-
aquisição de conhecimento. Nesse ambiente car o ensino da auto-avaliação. Uma vez que a avalia-
participativo de aprendizagem, professores e alunos ção e a instrução são intimamente relacionadas, as
compartilham a experiência de que dispõem, ou assu- situações instrucionais deverão fornecer estímulo e
mem a responsabilidade de descobrir e trazer para o prática, de forma que possam auxiliar os alunos a re-
grupo o conhecimento de que precisam. Existe uma fletirem sobre o seu desempenho. Essas ocasiões para
comunidade de discurso no qual a aprendizagem atra- avaliação permitem aos alunos estabelecerem padrões
vés da discussão construtiva, de conjecturas, de graduais através dos quais possam julgar as próprias
questionamento, de crítica e apresentação de evidên- realizações, além de desenvolver a autodireção para
cia é a coisa normal a ser feita, e não a exceção (Brown, atingir níveis mais altos de desempenho.
Campione, 1994; Campione, Brown, Jay, 1992).1 Um 4) Avaliação situada em termos sociais – As
importante conceito instrucional é que à medida que condições da avaliação podem exigir um desempenho
os alunos progridem para níveis superiores de conhe- em um cenário social no qual os alunos contribuam
cimento e de desempenho, tornam-se também cada para uma tarefa e para dar assistência aos outros. Com
vez mais hábeis, como agentes ativos, em apoio à sua isso, há a vantagem de estimular os alunos a desen-
própria aprendizagem e à aprendizagem dos outros. volver e a questionar as suas definições de competên-
As comunidades de construção de conhecimento, en- cia; eles observam como os outros raciocinam, e rece-
quanto ambientes de aprendizagem, passam atualmen- bem feedback sobre os seus próprios esforços. Neste
1
Com o objetivo de facilitar uma comunidade de aprendizagem, foram projetados sistemas de computadores através dos quais as crianças podem interagir, com
os objetivos de construir, explorar e compartilhar o conhecimento. Sua atividade concentra-se em uma base de dados da comunidade, gerada pelos próprios
alunos, onde estes fazem comentários sobre as anotações uns dos outros, levantando questões, sugerindo fontes de informação e contribuindo com contra-
argumentos ou com estímulo (Scardamalia, Bereiter, 1991).
37
contexto, não apenas o desempenho poderá ser avali- R. (Ed.). Advances in instructional psychology.
ado, mas também a facilidade com que um aluno re- Hillsdale, NJ: Erlbaum, 1978. v. 1. p. 77-165.
cebe e se adapta à ajuda e à orientação.
5) Eficácia da instrução – As avaliações são BROWN, A. L., CAMPIONE, J. C. Communities of
julgadas em termos da sua eficácia em informar os learning and thinking, or a context by another name.
professores no sentido de dedicarem tempo a determi- In: KUHN, D. (Ed.). Contributions to human
nados conceitos e conteúdos, e a habilidades cognitivas development: development perspective on teaching
do currículo. Os produtos da avaliação poderão ser in- and learning thinking skills. Basel, Switzerland:
Karger, 1990. v. 21. p 108-126.
terpretados em termos de como influenciam o ensino
e a instrução, e em termos da informação que forne-
________. Guided discovery in a community of learners.
cem para o desenvolvimento de atividades de sala de In: McGILY, K. (Ed.). Classroom lessons: integrating
aula que se relacionem às metas de aprendizagem. cognitive theory and classroom practice. Cambridge,
6) Significado cognitivo – As avaliações pro- MA: MIT Press/Bradford Books, 1994. p. 229-270.
porcionam cobertura do conteúdo, mas não negligen-
ciam processos significativos de desempenho, como BRUER, J. Schools for thought. Cambridge, MA: MIT
o levantamento de perguntas, a representação e o pla- Press, 1993.
nejamento de um problema antes da solução, e a pro-
posta de explicações conceituais para os procedimen- CAMPIONE, J. C., BROWN, A. L., JAY, M. Computers
tos de soluções. A construção de procedimentos de in a community of learners. In: DeCORTE, E. et al.
avaliação exige a análise dos aspectos cognitivos de (Ed.). Computer-based learning environments and
uma atividade e a determinação de procedimentos re- problem solving. Berlin: Springer-Verlag, 1992. v. 84.
lacionados de pontuação que ofereçam evidência do p. 163-192.
desempenho cognitivo envolvido.
CARRAHER, T. N., CARRAHER, D. W., SCHLIEMANN,
A. D. Mathematics in the street and in school. British
Journal of Developmental Psychology, v. 3, p. 21-
C omentários finais
29, 1985.
CHI, M.T.H., GLASER, R., FARR, M. (Ed.). The nature

of expertise. Hillsdale, NJ : Erlbaum, 1988.
As avaliações das habilidades de aprendiza-
gem e das realizações de alunos devem ser projetadas CHI, M. T. H., FELTOVICH, P., GLASER, R.
e empregadas de forma que levem em consideração Categorization and representation of physics
os propósitos da sociedade moderna e do conhecimen- problems by experts and novices. Cognitive Science,
to atual da aprendizagem humana. Reforma e aprimo- v. 5, p. 121-152, 1981.
ramento contínuo serão impossíveis se continuarmos
COGNITION AND TECHNOLOGY GROUP AT
a carregar o peso de práticas que foram estabelecidas
VANDERBLIT. From visual word problems to learning
para um tempo que já passou. Novas perspectivas são communities : changing conceptions of cognitive
oferecidas, hoje em dia, sobre a natureza do conheci- research. In: McGILLY, K. (Ed.). Classroom lessons:
mento e das habilidades trazidas para a aprendizagem, integrating cognitive theory and classroom practice.
e sobre a natureza do desempenho competente que Cambridge, MA: MIT Press/Bradford Books, 1994.
resulta da instrução. Sistemas inovadores, que inte- p. 157-200. ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
grem o acesso à aprendizagem, à instrução e à avalia-
ção podem hoje determinar o projeto de ambientes ________. The Jasper experiment: an exploration of
educacionais que apóiem e respeitem a habilidade issues in learning and instructional design.
cognitiva humana, e que preparem as pessoas para Educational Tecnology Research and Development,
vidas dignas, para o trabalho competente e para o cres- v. 40, p. 65-80, 1992.
cimento social.
DWECK, C. W. Motivation. In: GLASER, R., LESGOLD,
A. (Ed.). Handbook of psychology and education.
Hillsdale, NJ : Erlbaum, 1988. p. 187-239.
R eferências bibliográficas
DWECK, C. S., LEGGETT, E. L. A social-cognitive
approach to motivation and personality.
ANDERSON, J. R. Cognitive psychology and its Psychological Review, Washington, DC, v. 95, p. 258-
implications. San Francisco : Freeman, 1985. 273, 1988.
BROWN, A. L. Knowing when, where, and how to FREDERIKSEN, J. R., COLLINS, A. A system's
remember : a problem of metacognition. In: GLASER, approach to educational testing. Educational
38
Researcher, Washington, DC, v. 18, n. 9, p. 27-32, York : College Entrance Examination Board, 1990.
1989. p. 187-204.
GLASER, R. Changing the agency for learning : PEAK, L. Academic effort in international perspective.
acquiring expert performance. In: ERICSSON, A. In: TOMLINSON, T. (Ed.). Motivating students to
(Ed.). The road to excellence: the acquisition of learn: overcoming barriers to high achievement.
expert performance in the arts and sciences, sports Berkeley, CA: McCutchan Publishing, 1993. p. 41-
and games. Mahwah, NJ : Erlbaum, 1996. p. 303- 59.
311.
RESNICK, L. B. From aptitude to effort : a new
________. Criterion-referenced tests: Part I. Origins, foundation for our schools. Daedalus, v. 124, p. 55-
Part II. Unfinished Business. Educational 62, 1995.
measurement : issues and practice, v. 13, n. 4, p.
9-30, 1994. RESNICK, L. B., NELSON-LeGALL, S. Socializing
intelligence. In: SMITH, L., TOMLINSON, P. (Ed.).
GLASER, R., CHI, M.T.H. Overview. In: CHI, M. T. H., Piaget, Vygotsky and beyond. Londres : Routledge.
GLASER, R., FARR, M. J. (Ed.). The nature of 267p. (no prelo)
expertise. Hillsdale, NJ: Erlbaum, 1988. p. xv-xxviii.
ROGOFF, B. Apprenticeship in thinking: children's
GLASER, R., SILVER, E. Assessment, testing and guided participation in culture. New York: Oxford
instruction. In: DARLING-HAMMOND (Ed.). Review University Press, 1990.
of research in education. Washington, DC: American
Educational Research Association, 1994. v. 20. p. ROGOFF, B., LAVE, J. (Ed.). Everyday cognition: its
393-419. development in social context. Cambridge, MA:
Harvard University Press, 1984.
GREENO, J. Number sense as situated knowing in a
SAXE, G. B. Culture and cognitive development: studies
concept domain. Journal for Research in
in mathematical understanding. Hillsdale, NJ :
Mathematics Education, Reston, VA, v. 22, p. 1-49,
Erlbaum, 1990.
1991.
SCARDAMALIA, M., BEREITER, C. Adaptation and
understanding: a case for new cultures of schooling.
HOLLOWAY, S. Concepts of ability and effort in Japan In: VOSNIADOU, S., DeCORTE, E., GLASER, R.,
and the U.S. Review of Educational Research, MANDL, H. (Ed.). International perspectives on the
Washington, DC, v. 58, p. 327-345, 1988. design of technology-supported learning
environments. Mahwah, N.J.: Erlbaum, 1996. p. 149-
LANE, S., GLASER, R. Assessment in the service of 163.
learning. In: HUSEN, POSTLETHWAITE, T. N. (Ed.).
The international encyclopedia of education. 2. ed. ________. Higher levels of agency for children in
Oxford/Leuven : Pergamon Press, 1994. p. 370-374. knowledge building: a challenge for the design of
new knowledge media agency for children in
LAVE, J. Cognition in practice: mind, mathematics and knowledge. Journal of the Learning Sciences,
culture in everyday life. Cambridge, England: Hillsdale, NJ, v. 1, p. 37-68, 1991.
Cambridge University Press, 1988.
SHEPARD, L. A. Negative policies for dealing with
NATIONAL CENTER ON EDUCATION AND THE diversity: when does assessment and diagnosis turn
ECONOMY, UNIVERSITY OF PITTSBURGH. into sorting and segregation? In: HIEBERT, E. H.
Performance standards . Pittsburgh, PA: New (Ed.). Literacy for a diverse society: perspectives,
Standards, 1997. v. 1-3. practices and policies. New York: Teachers College
Press, 1991. p. 279-298
OAKES, J. Keeping track: how schools structures
inequality. New Haven, CT: Yale University Press, STERNBERG, R. J. et al. Testing common sense.
1985. American Psychologist, v. 50, n. 11, p. 912-926, 1995.
________. Multiplying inequalities: the effects of race, STEVENSON, H., LEE, S. Contexts of achievement:
social class, and tracking on opportunities to learn a study of American, Chinese and Japanese children.
mathematics and science. Santa Monica, CA : Rand, 1990. Monografias da Sociedade de Pesquisa em
1990. Desenvolvimento Infantil, 55. (1 & 2, Número de Série
221).
OAKES, J., LIPTON, M. Tracking and ability grouping:
a structural barrier to access and achievement. In: THORNDIKE, E. L. Mr. Binet's test 70 years later.
GOODLAD, J., KEATING, P. (Ed.). Access to Educational Researcher, Washington, DC, v. 4, p.
knowledge: an agenda for our nation's schools. New 3-7, 1975.
39
40
O POTENCIAL DOS
ESTUDOS COMPARATIVOS
INTERNACIONAIS PARA O
CONTROLE DE QUALIDADE
DA EDUCAÇÃO
Tjeerd Plomp*
I ntrodução
hird International Mathematics and
T Science Study (TIMSS)
O trabalho preparado para este seminário des- O TIMSS é o mais extenso e o mais ambicio-
creve o contexto para as principais metas do evento: so estudo do desempenho educacional comparativo
discussões e reflexões sobre o significado da avalia- jamais realizado; seus testes de desempenho nas áre-
ção de um sistema de educação e a forma adequada as de Matemática e de Ciências incluíram:
de realizá-la. Propõe políticas baseadas em informa-
ção, argumentando que "o aprimoramento qualitativo l 45 países;
na educação... só poderá fundamentar-se na informa- l cinco séries (3ª, 4ª, 7ª, 8ª e o último ano da
ção rigorosa, comparada e bem equilibrada" (p. 1). A escola secundária);
avaliação é considerada "um instrumento de primeira l mais de meio milhão de alunos;
classe, a serviço de um novo estilo de política de edu- l testes aplicados em mais de 30 idiomas
cação, e na operação de sistemas educacionais" (p. diferentes;
1). Outro aspecto importante é o de que o trabalho l mais de 15.000 escolas participantes;
defende a posição de que "uma das maneiras mais l quase 1.000 questões dissertativas, que
eficientes de executar a reflexão (sobre a qualidade da geraram milhões de respostas dos alunos;
educação) está em comparar as nossas próprias idéi- l avaliação de desempenho;
as e iniciativas às de outros países"(p. 1), e de que "a l questionários de alunos, professores e dire-
adoção de uma perspectiva supranacional dá outra vi- tores de escolas, contendo em torno de 1.500 questões;
são das experiências locais, tornando possível analisá-
l milhares de indivíduos, para a aplicação
las a partir de pontos de vista novos" (p. 2).
dos testes e para o processamento dos dados.
De acordo com este contexto, o trabalho dis-
cute a importância de estudos comparativos internaci-
onais para avaliação e controle da qualidade dos siste- O TIMSS foi conduzido com atenção dedicada
mas de educação. Inicialmente, serão discutidos al- à qualidade, a cada um dos passos do caminho. Fo-
guns dos resultados do Third International Mathematics ram aplicados princípios rigorosos para a tradução dos
and Science Study (TIMSS), que está, no momento, testes, sendo oferecidas numerosas sessões de trei-
sendo realizado sob os auspícios da Associação Inter- namento, com respeito aos procedimentos emprega-
nacional para Avaliação do Desempenho em Educa- dos para a coleta de dados e para a pontuação, sendo
ção (IEA). Esses resultados serão utilizados para ilus- todas acompanhadas por observadores do controle de
trar a importância da missão da IEA, bem como os qualidade. As amostras de alunos selecionados para
tipos de comparações proporcionados por ela. O tipo o teste foram examinadas de acordo com rigorosos
de estudo desenvolvido pela IEA pode envolver uma padrões, com o objetivo de evitar parcialidades e asse-
variedade de funções para os responsáveis pela políti- gurar a comparabilidade. Esse controle da qualidade
ca em educação e para os que praticam atividades do estudo resultou na indicação daqueles países que
ligadas à educação, o que será ilustrado a partir de não atendiam a todos os critérios de qualidade nas
alguns exemplos. Finalmente, alguns comentários de tabelas de apresentação dos resultados.
conclusão indicarão alguns dos aspectos importantes Os resultados de desempenho do TIMSS fo-
da participação de um país em estudos internacionais ram publicados pelo Centro Internacional de Estudos
de avaliação comparativa. da Universidade de Boston (EUA), e pode-se consultar
* Tjeerd Plomp, professor da Faculty of Educational Science and Technology, da University of Twente, em Enschede (Países Baixos), é, desde 1990, presidente
da International Association for the Evaluation of Educational Achievement (IEA). Na sua produção bibliográfica, destaca-se a International Encyclopedia of
Educational Technology (2.ed. Oxford : Elsevier, 1996), inclui-se a colaboração em diversas coletâneas, a co-edição de livros e anais de conferências, além
da publicação de artigos em periódicos, como: Higher Education, Studies of Educational Evaluation, Computers in Education.
41
a bibliografia, para a lista completa de publicações pro- A Tabela 1 contém os resultados dos testes
duzidas pelo estudo. Alguns desses estudos apare- de desempenho para Matemática na 7ª e na 8ª séries
cem resumidos e discutidos, para ilustração da poten- (Beaton et al., 1996a), enquanto que a Figura 1 apre-
cial riqueza dos estudos internacionais de avaliações senta as várias comparações para o desempenho em
comparativas. Ciências de 8ª série (Beaton et al., 1996b).
Tabela 1 – Desempenho médio em Matemática

8ª Série* 7ª Série*
Cingapura 643 Cingapura 601
Coréia 607 Coréia 577
Japão 605 Japão 571
Hong Kong 588 Hong Kong 564
Bélgica (Fl) 565 Bélgica (Fl) 558
República Checa 564 República Checa 523
República Eslovaca 547 Países Baixos 516
Suíça 545 Bulgária 514
Países Baixos 541 Áustria 509
Eslovênia 541 República Eslovaca 508
Bulgária 540 Bélgica (Fr) 507
Áustria 539 Suíça 506
França 538 Hungria 502
Hungria 537 Federação Russa 501
Federação Russa 535 Irlanda 500
Austrália 530 Eslovênia 498
Irlanda 527 Austrália 498
Canadá 527 Tailândia 495
Bélgica (Fr) 526 Canadá 494
Tailândia 522 França 492
Israel 522 Alemanha 484
Suécia 519 Suécia 477
Alemanha 509 Inglaterra 476
Nova Zelândia 508 Estados Unidos 476
Inglaterra 506 Nova Zelândia 472
Noruega 503 Dinamarca 465
Dinamarca 502 Escócia 463
Estados Unidos 500 Letônia (LSS) 462
Escócia 498 Noruega 461
Letônia (LSS) 493 Islândia 459
Espanha 487 Romênia 454
Islândia 487 Espanha 448 ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
Grécia 484 Chipre 446
Romênia 482 Grécia 440
Lituânia 477 Lituânia 428
Chipre 474 Portugal 423
Portugal 454 República Islâmica do Irã 401
República Islâmica do Irã 428 Colômbia 369
Kuwait 392 África do Sul 348
Colômbia 385
África do Sul 354
Fonte: Third International Mathematics and Science Study (TIMSS), 1994-1995.
* Oitava e sétima séries na maior parte dos países.

A sigla LSS após Letônia indica escolas falando letão apenas.
Os países que aparecem em itálico não atenderam a uma ou mais diretrizes, referentes a taxas de participação nas amostragens, idade/série, especificações
ou procedimentos de amostragem em sala de aula. O relatório apresenta desvios-padrão estimados para toda a pesquisa.
42
Figura 1 – Comparação de desempenho em Ciências: última série (8ª série*)
Instruções para ler a Figura 1:Procure o país a ser comparado em termos de desempenho na coluna vertical,
comparando-o com os países relacionados na linha superior. Os símbolos indicarão se o desempenho médio do
país é significativamente mais baixo do que o outro país comparado, significativamente mais alto do que o outro, ou
se não há diferença estatística significativa entre os dois países.
R e p ú b lica Islâm ic a d o Irã

R e p ú b lica E slo va c a
Bé lg ic a (Fra ncê s )
Fe d e ra ç ã o R us sa
R e p ú b lica C he ca
Es ta d o s U n ido s
P a ís
N o va Ze lâ n d ia
Pa ís e s B a ix o s
Áfric a d o S u l
H o n g Ko n g
D in a m a rc a
C in g a p u ra
Ale m a n h a
Es lov ê n ia
In g la te rra
C o lô m b ia
R o m ê nia
Ta ilâ n d ia
Es p a n h a
Au s trá lia
N o ru e g a
Po rtu g al
Bu lg á ria
H u n g ria
Canadá
L itu â n ia
Es c óc ia
Islâ n d ia
Bé lg ic a
L e tô nia
Áu s tria
Fra n ç a
Ku w a it
Irla nd a
Su é c ia
C o ré ia
G ré cia
C h ip re
Ja p ã o
Isra el
Su iça
C in gapura
R e pública C heca
Jap ão
C o réia
B u lgária
P a íses B aixo s
E slovên ia
Á u stria
H u ngria
Ing laterra
B é lgic a
A u strália
R e pública E slova c a
Fe deração R us sa
Irla nda
S u écia
E stados U nidos
A le m an ha
C a nadá
N o rueg a
N o va Z elândia
Ta ilândia
Is rael
H o ng K ong
S u iça
E sc óc ia
E spanh a
Fra nça
G récia
Is lâ ndia
R o m ên ia
Le tônia
P o rtuga l
D in am a rca
Litu ânia
B é lgic a (Fra ncês)
R e pública Islâm ica do Irã
C h ipre
K u w ait
C o lôm b ia
Á frica d o S ul
F onte : T hird Internationa l M athem atics and Scien ce Stud y (T IM SS ), 19 94-1995 .
O s p aíses foram orde nados po r d esem pen ho m édio, tan to na linha h orizontal qua nto n a co lun a.
D esem penho m éd io sig nificativam ente N en hum a diferença estatistica m ente D esem penho m éd io sig nificativam ente
▲ superior ao do país com pa ra do. ● sign ifica tiva do país co m parad o.
▼ inferio r ao do país com pa rad o.
*Oitava série na maior parte dos países. Ver Tabela 2, para maiores informações sobre as séries testadas em cada um dos países.
1
Estatisticamente significativo na 5ª série, ajustado para várias comparações.
Porque a cobertura está abaixo de 65%, a Letônia aparece com a sigla "LSS", indicando apenas as escolas de língua letã.
Os países representados em itálico não atenderam a uma ou mais diretrizes, referentes às taxas de participação na amostragem, especificações de idade/série,
ou salas de aula.
Procedimentos de amostragem: consultar Apêndice A, para maiores detalhes.
43
A Tabela 1 e a Figura 1 ilustram um dos obje- em 37° (de 41 países), e, para a 7ª série, a Espanha
tivos dos estudos internacionais de desempenho com- em 32° e Portugal em 36°. A Figura 1 mostra maiores
parativo, que é especificamente fornecer aos respon- informações para a área de ciências, em especial para
sáveis pela política de educação e aos que trabalham um determinado país, em relação a outros países que
em educação informações (indicadores) sobre a quali- não apresentam pontuações médias de desempenho
dade do seu sistema educacional, em relação a gru- e que sejam significativamente inferiores ou superio-
pos relevantes de referência de nações semelhantes. res, ou que não têm pontuações estatisticamente sig-
Esta é a função de "espelho": os países têm a possibi- nificativas.
lidade de determinar se gostam ou não do seu quadro Aplicando a abordagem da Figura 1 há, por
ou do seu perfil como país, quando comparados aos exemplo, os resultados relativos à Espanha, em um
outros. exame geral dos países que apresentam em Matemá-
A Tabela 1 apresenta apenas dados "de clas- tica um desempenho significativamente melhor/pior, ou
sificação", como, por exemplo, Matemática de 8ª sé- ainda não estatisticamente diferente da Espanha (ver
rie, a Espanha aparecendo em 31° lugar e Portugal, Quadro 1).
Qu ad ro 1 –TIM S S – Ciê ncias: Espanha e ou tros pa íse s
Dese m penho s ignificativam e nte superior
C in gapura Á ustria A ustrália

C oréia H ung ria A lem anh a
R epú blica C heca P aíse s B aixos C ana dá
Japão Inglaterra Irlanda
B ulgá ria R epú blica E slovaca Tailândia
E slovênia E stad os U nidos S uécia
B élgica (fl.)
Nenhum a diferenç a significa tivam e nte diferen te
H ong K ong N orue ga N ova Ze lândia

Fe deração R ussa S uíça E scó cia
Dese m penho s ignificativam e nte inferior
Islândia D in am a rca C hipre

R om ênia Irã Lituân ia ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
Fra nça Letônia (LS S ) C olôm b ia
G récia P ortu gal Á frica do S ul
B élgica (fr.)
Este tipo de dado fornece informações aos melhor do que a Escócia, ou pior do que a Suíça, mas
responsáveis pela política na Espanha sobre o nível de mostra também que outros parceiros da União Euro-
desempenho do seu país em relação a outros países péia, como é o caso da Irlanda, da Bélgica, dos Paí-
importantes de referência. Além disso, demonstra que ses Baixos, da Alemanha e da Suécia, estão apresen-
as tabelas de grupos, como a Tabela 1, geram um tipo tando um desempenho significativamente melhor.
limitado de informação, podendo resultar em interpre- Entretanto, informações em tabelas e figuras,
tações enganosas, uma vez que não reflete nenhuma como as apresentadas, não ajudam os responsáveis
informação estatística. A Figura 1, que reflete esse tipo pela política, pelo desenvolvimento de currículos e aque-
de informação, revela que não apenas em Ciências a les que trabalham na área de Educação a compreen-
Espanha, na verdade, não apresenta um desempenho derem por que o seu sistema de educação apresenta
44
o tipo de desempenho específico; por exemplo, por que Através dos anos, a IEA realizou vários estu-
a Espanha mostra um desempenho pior do que muitos dos de avaliação sobre temas escolares básicos. A
de seus parceiros da Europa. maior parte deles foi determinada pelos próprios currí-
Tudo isso nos leva a um segundo objetivo dos culos, ou seja, foram desenvolvidas estruturas de tes-
estudos internacionais de desempenho comparativo, tes para a avaliação de resultados educacionais, com
ou seja, a algum nível de entendimento dos motivos base na análise do currículo dos países participantes.
para as diferenças observadas nos desempenhos, en- Todos esses estudos incluíram também instrumentos
tre os sistemas de educação. para mensuração de variáveis de processos escolares
e de sala de aula, assim como variáveis primárias tan-
Para esse segundo objetivo, é necessária a
to de professores quanto de alunos. Como exemplos,
informação sobre os processos de aprendizagem e
citamos os estudos nas áreas de Matemática e Ciên-
ensino, além de uma análise profunda dos resultados
cias, habilidades em Leitura, Educação Cívica, e In-
de desempenho, de acordo com o contexto desses glês e Francês como línguas estrangeiras.
dados primários. Os estudos comparativos da IEA es- Ao lado disso tudo, a IEA realiza também ou-
tão também obtendo os diferentes tipos de dados pri- tros estudos, não baseados em currículos. Como exem-
mários. No TIMSS, essa análise profunda ainda está plos, o Pre-Primary Project and the Computers in
por ser feita. A International Association for the Education Study, do qual está sendo preparado um
Evaluation of Educational Achievement (IEA) conside- sucessor (o Second Information Technology in
ra esta uma importante tarefa dos próprios países par- Education Study).
ticipantes, uma vez que são eles que estarão prepara- Atualmente, há vários estudos em curso na IEA.
dos para determinar as melhores questões para a pes- O TIMSS é o mais extenso já realizado, cujos
quisa e a análise, que sejam relevantes para o seu resultados são discutidos por este trabalho. Os resul-
sistema de educação. Mais adiante, será apresentado tados da população número 3 (final da educação com-
pulsória) serão divulgados em fevereiro de 1998. A IEA
um exemplo da Suíça.
tem planos para repetir o TIMSS para a 8ª série em
1998, para o Hemisfério Sul, e em 1999 para o Hemis-
A IEA: o que é, o que faz, sua missão, sua

história
fério Norte. Os países que até agora não tiveram a opor-
tunidade de participar do TIMSS são bem-vindos ao
estudo.
Está em via de ser finalizada a primeira fase
O TIMSS está sendo desenvolvido sob os do segundo Civics Education Study, o desenvolvimen-
auspícios da IEA, organização que realiza estudos to dos perfis dos países, cuja primeira parte, do ano de
comparativos internacionais, nos quais se avalia o de- 1999, será dedicada à coleta de informações nos ní-
sempenho em educação, de acordo com o contexto veis das escolas, professores e alunos.
de variáveis de processo e insumos. A missão da IEA é Um outro estudo, em âmbito distinto, é o Pre-
contribuir para a melhoria de qualidade da educação, Primary Project, um estudo de políticas e práticas na
através de seus estudos. área de atenção infantil.
Foi iniciado no outono de 1997 um segundo
A IEA surgiu há 38 anos, como uma coopera-
Information Technology in Education Study (SITES),
tiva de institutos de pesquisa, que representam atual-
com um módulo de indicadores (uma pesquisa de ava-
mente 55 sistemas de educação (ver, por exemplo, liação escolar limitada, em novembro de 1998). Exis-
Husen e Postlethwaite, para uma descrição resumida tem planos para dois outros módulos, especificamen-
da história da IEA). Vários países estão representados te um módulo de estudos internacionais de casos com-
hoje em dia na Assembléia-Geral da IEA, através das parativos sobre práticas inovadoras no uso da tecnologia
pessoas responsáveis pelas políticas. Os coordenada informação e da comunicação, e (para o ano 2001)
dores nacionais de pesquisa e os centros de estudos uma pesquisa envolvendo escolas, professores e
da IEA são, com freqüência, alguns dos mais proemi- alunos.
nentes em seus países: alguns fazem parte de seus Como já foi mencionado, a IEA reconhece dois
respectivos Ministérios de Educação, e outros têm li- objetivos nos estudos internacionais de desempenho
comparativo: 1) fornecer aos responsáveis por política
gação com universidades, ou são centros independen-
e aos profissionais em educação informações sobre a
tes de pesquisa. Pela sua própria natureza, a IEA pos-
qualidade da sua educação em relação a grupos de
sibilita uma rede de institutos e de indivíduos que, em referência relevantes, e 2) auxiliar no entendimento dos
conjunto, representam grande experiência e capacida- motivos para as diferenças observadas entre os siste-
de intelectual; nesse sentido, passa a ser um local de mas educacionais (o que atende às necessidades dos
reunião para organizadores de política, educadores, organizadores da política, mas que é claramente tema
cientistas e pesquisadores. de interesse dos pesquisadores).
45
Em linha com esses dois objetivos, a IEA tra- 1) Descrição
ta de focalizar dois tipos de comparações em seus
estudos. A primeira, comparações internacionais dire- Fornecer aos responsáveis pela determinação
tas sobre os efeitos da educação em termos de pontu- das políticas e à comunidade da educação informa-
ações (ou subpontuações) nos testes internacionais, ções sobre a condição do "seu" sistema de educação,
segundo a forma ilustrada em relação ao TIMSS, na em um contexto de comparação internacional: muitos
Tabela 1 e na Figura 1. já consideram essa atividade como já sendo interes-
O segundo tipo de comparação refere-se à sante. Muitos dos responsáveis pelas políticas reco-
verificação de até que ponto o currículo proposto de nhecem atualmente que esse tipo de informação é um
um país ("aquilo que deveria ser ensinado em uma de- bom ponto de partida para a geração de questões para
terminada série") é implementado nas escolas, e al- análise em maior profundidade (função "de espelho").
cançado pelos alunos. Esse tipo de comparação é A nossa discussão dos resultados apresentados como
basicamente dirigido às análises nacionais dos resul- exemplos na Tabela 1 e na Figura 1 ilustra isso.
tados de um país, ainda que essas análises possam O amplo interesse demonstrado em todo o
ser desenvolvidas de acordo com uma abordagem in- mundo pelos resultados do TIMSS ilustra a importân-
ternacional comparativa. cia dessa função.
Um estudo típico da IEA trabalha com níveis
de séries de três populações: educação elementar, iní- 2) Comparação com uma referência (benchmarking)
cio e final da educação secundária.
A IEA foi fundada como cooperativa de pes- Esta função é melhor ilustrada através de um
quisa. No início, o seu interesse básico eram estudos exemplo. No estudo TIMSS, alguns países da Ásia, e,
internacionais comparativos, a partir de uma perspec- na Europa, a parte flamenga da Bélgica e a República
tiva de pesquisa. Na segunda metade da década de Checa apresentam as pontuações mais altas nos tes-
80, a IEA começou a reconhecer o interesse cada vez tes de Matemática. Caso outro país se mostrasse in-
maior dos responsáveis pela determinação de políti- teressado no aprimoramento da sua própria educação
cas nos indicadores de educação. Desde então, a IEA na área de Matemática, poderia analisar o seu "pró-
assumiu como desafio atender também aos interes- prio" caso em comparação com os países da Ásia e/
ses dessas pessoas, através de seus estudos. A in- ou da Europa, considerando muitas variáveis, relacio-
clusão dos indicadores de desempenho da IEA nas nadas a aspectos curriculares da Matemática e da
publicações da OCDE ilustra o êxito da Associação educação científica (incluindo materiais curriculares),
nesse esforço. A última edição da publicação Education abordagens pedagógicas e processos de instrução,
at a Glance, da OCDE (1996), apresenta um número variáveis escolares, preparação de base e treinamento
de indicadores baseados nos resultados do TIMSS. de professores (e treinamento no trabalho), etc. Possi-
Exemplos de publicações da IEA que examinam ques- velmente, essas análises poderão resultar em propos-
tões relevantes referentes à política são Postlethwaite, tas de mudanças, ainda que não devam ser esperadas
Ross (1994) e Keeves (1996), sendo Kellaghan (1996) respostas fáceis. No caso desses países, uma ques-
outra fonte de relevo. tão importante em um próximo estudo da IEA seria
Nem todos os estudos deveriam incluir uma verificar se o seu desempenho teria se aproximado
extensão e um desenho tão abrangentes quanto o es- daquele dos países de referência escolhidos.
tudo TIMSS. Entretanto, a IEA acredita firmemente que
a conceitualização desses estudos (que é resumida 3) Controle de qualidade da educação
na seção a seguir) permita a organização de estudos
que possam atender às necessidades tanto dos res- O controle está um passo a frente da atividade
ponsáveis pelas políticas quanto dos profissionais de de benchmarking: a avaliação regular dos processos
educação. educacionais em diferentes níveis do sistema de edu-
cação, com o propósito de gerar a mudança, no mo-
mento e onde quer que seja necessário ("tomada de
decisões informada"). Essa função é um exemplo do
F unções dos estudos da IEA controle do currículo baseado na avaliação (mas, no
caso dos estudos da IEA, com base na avaliação ba-
seada no currículo). Para ela, são necessários dados
Como já foi mencionado anteriormente, a im- de tendência, ou seja, um ciclo de avaliações feitas de
portância dos estudos desenvolvidos pela IEA vai mui- forma regular naquelas matérias que estejam sendo
to além da pura realização de comparações diretas, controladas (como é o caso do ciclo de estudos da
sob a forma de tabelas de grupos. As funções, a se- IEA e da OCDE nas áreas de Matemática, Ciências e
guir, ilustram a importância dos estudos internacionais Habilidades de Leitura). Por esse motivo, a IEA foi so-
de desempenho comparativo (e dos indicadores de licitada a repetir o estudo TIMSS para a população de
educação). 8ª série, em 1999.
46
4) Entendimento dos motivos para as diferenças ob- ue dados coletar: algumas
servadas Q considerações práticas e teóricas
É possível que os responsáveis pela política
desejem compreender as diferenças entre sistemas de
educação, ou mesmo as que possam existir dentro A questão de quais os tipos de dados devem
deles, do ponto de vista da determinação de políticas ser coletados em um estudo de avaliação comparativa
nacionais (esta função deve ser diferenciada da pes- internacional não pode receber qualquer resposta que
quisa nacional). não inclua ambigüidades. O tema certamente não é
Esta função, mais uma vez, está um passo a trivial, quando se percebe que na maior parte dos estu-
frente da mera coleta de dados, com o objetivo de acom- dos da IEA há a participação de mais de 20 países, e
panhamento: em última análise, atende às necessida-
no TIMSS, de mais de 40. Muitos participantes even-
des dos responsáveis pela determinação de políticas,
além de ser nitidamente também do interesse dos pes- tualmente terão diferenças nas funções ou mesmo nas
quisadores. Um bom exemplo é a análise feita nos metas que desejam alcançar através do estudo. Al-
Estados Unidos dos dados do Second International guns, talvez, desejam enfatizar apenas a descrição ao
Mathematics Study (SIMS), da IEA, que resultou numa redor de um pequeno número de indicadores, enquan-
monografia. O currículo com desempenho insuficiente to que a intenção de outros poderá ser trabalhar com
(McKnight et al., 1989), como exemplo do TIMSS, será um número maior de variáveis (ligadas a desempenho),
discutido mais adiante. Mais uma vez, nenhum estudo para terem a possibilidade de analisar adequadamente
propõe respostas fáceis com respeito a que medidas as informações sobre o seu país. Além disso, em con-
devem ser tomadas, para o aprimoramento da educa- sonância com a sua missão, a IEA não deseja criar
ção em um país. Por outro lado, este tipo de pesquisa oportunidades para a condução de uma análise nacio-
poderá levar a decisões quanto a políticas, sobre mu- nal, com o intuito de expandir o entendimento sobre o
danças na educação ("tomada de decisões informa- funcionamento dos sistemas educacionais em todos
da"), ou sobre iniciativas como a dos EUA, em que o os níveis. Ainda existe um dilema entre o que é dese-
National Council for the Teaching of Mathematics (NCTM)
jável e o que é viável: eventualmente, os pesquisado-
desenvolveu os bem conhecidos padrões para o ensi-
no da Matemática. res desejarão coletar um número máximo de dados,
para terem a possibilidade de realizar análises secun-
5) Pesquisa nacional dárias em profundidade de uma base de dados rica,
enquanto que as possibilidades em geral restritas para
Esta função refere-se à pesquisa exploratória a coleta de dados nas escolas, bem como os orça-
e/ou em profundidade das bases de dados da IEA. mentos limitados, impõem limitações severas sobre a
Muitos exemplos podem ser encontrados nos volumes extensão da coleta de dados. Assim sendo, nesses
da IEA, e aqui mencionamos apenas dois outros. tipos de estudos, é necessário encontrar um meio-ter-
Postlethwaite e Ross (1994) desenvolveram uma pes- mo, entre os interesses de todos os países participan-
quisa exploratória da base de dados da IEA, com rela- tes. A IEA, portanto, está-se esforçando para determi-
ção à Proficiência em Leitura (dados coletados entre nar um tipo de projeto e instrumentos que sejam tão
1990 e 1991), em um esforço para encontrar indicado- "igualmente injustos" quanto for possível para todos os
res que pudessem discriminar entre as escolas mais países participantes.
e menos eficazes (na área de Leitura).
Ao lado de tudo isso, para um estudo eficaz e
O segundo exemplo é a monografia de Keeves
(1996), The world of school learning: selected key eficiente, é preciso haver uma estrutura conceitual bem
elaborada, que considere os aspectos a serem focali-
findings from 35 years of IEA research, em que o autor

discute, com base em todos os estudos da IEA de- zados no estudo. Praticamente todas as funções men-
senvolvidos até 1994, dez conclusões principais, com cionadas acima precisam de medidas para o desem-
sugestões de implicações para o planejamento educa- penho educacional, além de outros resultados da edu-
cional. cação, e em três níveis do sistema de educação:
Qu adro 2 – Níveis do sistem a de educação
Avaliação Nível d o sistem a
l do que os alunos aprende m m icro
l do que e com o ensin am as esco las e os professores m eso
l de quais os valores da com unidade ( o que os alun os de ve m apren der) m acro
47
Os estudos da IEA focalizam os três níveis, ue dados devem ser coletados: alguns
distinguindo três facetas do currículo:
l O currículo pretendido: aquilo que deve ser
Q exemplos
ensinado e aprendido, que pode ser medido através da
análise de documentos, como programas oficiais, des-
Entre as considerações tanto práticas quanto
crições de cursos, livros-texto;
teóricas já discutidas, as questões de quais os dados
l O currículo implementado: o que está ver-
que devem ser coletados em estudos nacionais e in-
dadeiramente sendo ensinado, ou ocorrendo nas es-
ternacionais de avaliação podem ainda ser respondi-
colas e nas salas de aula – conteúdo, carga horária,
das de várias maneiras. Mais uma vez, as respostas
estratégias institucionais, etc.–, que pode ser medido
dependem das funções, bem como das questões de
através de questionários (ou observações);
pesquisa a serem focalizadas pelo estudo. Por cima
l O currículo atingido: aquilo que os alunos
disso tudo, os países participantes eventualmente de-
atingem ou aprendem, em termos de habilidades
sejarão empregar um estudo internacional comparati-
cognitivas, atitudes, etc., que pode ser medido através
vo para encontrar também respostas para algumas
de testes.
questões nacionais. Destarte, a questão de "que da-
No modelo conceitual do estudo TIMSS, por
dos" tem de ser respondida em separado, para cada
exemplo, as variáveis que exercem influência sobre a
um dos estudos. Apresentaremos aqui alguns exem-
educação são vistas como "situadas em uma série de
plos típicos para estudos da IEA.
contextos embutidos, a partir do mais global e avan-
çando para o mais pessoal", segundo a forma ilustra-
a) Dados de quais populações-alvo?
da na Figura 2 (Robitaille, 1993, p. 26-27).
A escolha da(s) população(ões)-alvo é nitida-
Figura 2 – A estrutura conceitual para o TIMSS
mente um reflexo das questões de interesse (para po-
(Robitaille, 1993)
líticas ou para pesquisa). Por exemplo, como parte do
seu ciclo de coleta de dados de desempenho, a OCDE
deverá concentrar-se em dados de jovens de 15-16 anos
de idade, de forma poder fornecer aos responsáveis
pela política um perfil básico do desempenho dos alu-
nos no final (ou próximo) do período de escola compul-
C urrícu lo
A ting id o sória.
(A lun o) Por outro lado, no estudo TIMSS da IEA, fo-
ram coletados dados (entre outros) relativos às 3ª e 4ª
An te ced entes P ess o ais
séries (população 1), às 7ª e 8ª séries (população 2) e
C urrícu lo no último ano da escola secundária (população 3), o
Im plem en tado
(Sala d e A ula) que permite uma série de comparações. Em primeiro
lugar, pode ser medida a evolução entre duas séries
Co m u nid ade L ocal adjacentes. Entretanto, incluindo itens comuns nos
testes para as duas populações, pode ser medida tam-
C urrícu lo bém a evolução em Matemática e em Ciências, da 4ª
Pre tend ido série (escola primária) à 8ª (fase inicial da escola se-
(Sis tem a )
cundária). No TIMSS, podem também ser feitas com- ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
parações entre as populações 2 e 3. Ainda, as popula-

S oc ie dad e em G eral
ções-alvo da IEA permitem o acompanhamento da qua-
lidade da educação durante o período de escola com-
pulsória.
Para maiores informações sobre a abordagem
conceitual da IEA, consultar, por exemplo, Robitaille e b) Medidas múltiplas de avaliação
Garden (1992), e Plomp (1992).
Em um estudo típico da IEA, é necessário re- No estudo TIMSS/IEAs, foram coletados da-
alizar uma série de atividades, para coletar e fornecer dos de desempenho de duas maneiras. Os testes de
dados e indicadores de boa qualidade, como análise desempenho, aplicados a todos os alunos participan-
de currículos, desenvolvimento de instrumentos (inclu- tes do estudo, consistiam de questões dissertativas e
indo testes-piloto, tradução, etc.), amostragem, pro- de múltipla escolha. Além disso, uma subamostra de
dução de instrumentos, coleta de dados, depuração e alunos das populações 1 e 2 realizou uma série de
elaboração de arquivos, controle de qualidade entre os tarefas para a avaliação de desempenho, nas áreas de
países participantes de cada componente, análise de Matemática e de Ciências. A avaliação de desempe-
dados, elaboração de relatórios. nho, que foi a mesma para as duas populações, foi
48
administrada em forma de "circo", devendo o aluno re- em combinação com os resultados de desempenho
alizar entre três e cinco tarefas. Os resultados apare- tirados da Figura 1 e da Tabela 1, para os países que
cem em Harmon et al. (1997). A Tabela 2 apresenta participaram com relação à 8ª série, tanto nos testes de
alguns dos resultados das avaliações de desempenho, desempenho quanto nas avaliações de desempenho.
Tabela 2 – TIM SS para a 8ª Série: Pontuações de realização e desem penho para M atem ática e C iências
M atem ática Ciências

Teste de Tarefas de de se m pe nho Teste de Tarefas de de se m pe nho
D esem pen ho m édia – (% ) desem pen ho m édia – (% )
(pontos na esca la) (pontos na esca la)
C in gapura 643 C in gapura 70 C in gapura 607 C in gapura 72
R ep. C heca 564 S uíça 66 R ep. C heca 574 Inglaterra 71
S uíça 545 A ustrália 66 P.B aixos 560 S uíça 65
B aixos 541 R om ênia 66 E slovênia 560 E scó cia 64
E slovênia 541 S uécia 65 Inglaterra 552 S uécia 63
A ustrália 530 N orue ga 65 A ustrália 545 A ustrália 63
C ana dá 527 Inglaterra 64 S uécia 535 R ep. C heca 60
S uécia 519 E slovênia 64 EUA 534 C ana dá 59
Ze lândia 508 R ep. C heca 62 C ana dá 531 N orue ga 58
Inglaterra 506 C ana dá 62 N orue ga 527 N .Zelândia 58
N orue ga 503 N .Zelândia 62 N .Zelândia 525 P.B aixos 58
EUA 502 P.B aixos 62 S uíça 522 E slovênia 58
E scó cia 498 E scó cia 61 E scó cia 517 R om ênia 57
E span ha 487 Irã 54 E span ha 517 EUA 55
R om ênia 482 EUA 54 R om ênia 486 E span ha 56
C hipre 474 E span ha 52 P ortu gal 480 Irã 50
P ortu gal 454 P ortu gal 48 Irã 470 C hipre 49
Irã 428 C hipre 44 C hipre 463 P ortu gal 47
C olôm b ia 385 C olôm b ia 37 C olôm b ia 411 C olôm b ia 42
M édia Int. 513 M édia Int. 59 M édia Int. 516 M édia Int. 58
F onte s: B eato n et a l. (19 96a, b ), H arm on e t al. (1 997).
A tabela ilustra a função "de espelho" desses Alguns outros países apresentam um dos re-
dados descritivos, que podem levar a questões impor- sultados desviando-se de um padrão. Por exemplo, a
tantes para os responsáveis pela determinação de po- Suíça apresenta resultados muito bons em tarefas de
líticas e para os profissionais de educação de vários desempenho e em desempenho em Matemática, mas
países. medianos na área de Ciências.
Vários países apresentam pontuações seme- Os exemplos apresentados ilustram o fato de
lhantes para todas as medidas de avaliação: Cingapura que a análise dos resultados descritivos, em múltiplas
entre os mais altos e de forma constante, e, por exem- medidas de avaliação, permite que os países determi-
plo, Espanha, Portugal e Colômbia, abaixo da média nem os aspectos que deverão merecer análises mais
internacional, de modo também consistente. detalhadas ou em maior profundidade e/ou discussões
Podem ser observados aspectos interessan- sobre a ênfase e o enfoque do currículo.
tes, por exemplo, nos Países Baixos e na República
Checa. Os dois países apresentam pontuações nos c) Dados primários
testes de desempenho em Matemática e em Ciências
muito acima da média internacional, mas apenas pró- Sempre são coletados dados primários, como
ximas à média internacional, quando se referem a ta- parte dos estudos da IEA (ver Figura 2). São essas as
refas de desempenho. Caso se valorize a capacidade informações que permitem a atenção sobre questões
dos alunos de resolver problemas e tarefas de desempe- de pesquisa, com relação a que fatores possam estar
nho, então a satisfação desses dois países, com contribuindo para a educação de boa qualidade. Um
as suas altas pontuações nos testes de desempe- outro motivo para a coleta de tais dados é o fato de que
nho, não deverá ofuscar as preocupações que deverão permite que os países busquem os fatores
ter com os seus resultados medianos nas tarefas determinantes dos resultados nacionais num contexto
de desempenho. internacional.
49
No estudo de Proficiência em Leitura da IEA, Um outro exemplo de análise nacional da Su-
Postlethwaite e Ross (1994) concluíram que um gran- íça relaciona-se a nossa conclusão anterior, de que no
de número de variáveis primárias estava influenciando TIMSS a Suíça está alcançando resultados relativa-
o desempenho em leitura, que, por sua vez, foram clas- mente bons nas tarefas de desempenho e no desem-
sificados em várias categorias, basicamente indicado- penho em Matemática, mas medianos em Ciências.
res de: Ramseier (1997) analisou as possíveis causas para
l atividades dos alunos em casa; esse fato, concluindo que pode ser explicado através
l contexto escolar; da discrepância entre o currículo suíço em Ciências
l características da escola; (prioridades de ensino) e a parte de Ciências do teste
l recursos da escola; internacional de desempenho.
l iniciativas da escola; A maioria dos estudos internacionais compa-
l administração e desenvolvimento da escola; rativos permite um número limitado de questões nacio-
l características dos professores; nais ("opção nacional"). O exemplo da Suíça ilustra
l condições das salas de aula, das ativida- até que ponto é importante que os países participan-
des dos professores; tes de um estudo comparativo internacional conside-
l métodos de ensino. rem antecipadamente as questões nacionais (políticas
Postlethwaite e Ross (1994) analisaram es- e/ou de pesquisa) que desejam examinar através des-
ses indicadores por todo o país à luz da questão do ses estudos; além disso, que características peculia-
que faz com que uma escola seja eficaz em leitura. res do sistema nacional precisam ser incluídas nos
Constataram que para aumentar o desempenho dos questionários relativos à situação primária, para permi-
alunos na leitura, seria necessária a promoção da lei- tir análises nacionais relevantes.
tura voluntária, fora do ambiente da escola, em especi-
al durante os anos de escola primária; além disso, as
escolas deveriam dispor de bibliotecas nas salas de
aula e/ou nas escolas, devendo os professores
enfatizarem a leitura para compreensão.
O bservações finais
De uma forma geral, as experiências acumu-

ladas, obtidas através dos estudos da IEA, em combi- Considerando-se a discussão e os reflexos do
nação com as questões a serem discutidas em um
significado da avaliação de um sistema educacional e
estudo, determinaram, em grande parte, que dados
os meios adequados para realizá-la, os comentários a
primários deveriam ser obtidos das escolas, dos pro-
seguir são relevantes para o envolvimento do Brasil e,
fessores e dos alunos.
de uma maneira mais geral, da região latino-america-
na em práticas de avaliação internacional.
d) Necessidade de avaliação nacional
Em primeiro lugar, a importância da participa-
ção de estudos comparativos internacionais aumenta
Os estudos comparativos internacionais podem
para um país, quando países importantes de referên-
ser usados por um país para o estudo da sua própria
cia participam também. Por esse motivo, um estudo
prática educacional, em um contexto de comparação
como é o caso do TIMSS é extremamente relevante
internacional. No caso da Suíça, Moser (1997) anali-
para a União Européia, para a América do Norte e para
sou em Matemática, no TIMSS, a intensidade da influ-
alguns países da Ásia. Para incrementar a importân-
ência das práticas instrucionais (instrução orientada
cia dos estudos da IEA para a América Latina como ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
às crianças, em lugar de orientada às matérias) e das
região, é preciso promover o envolvimento de um nú-
variáveis de instrução (autonomia dos alunos, em au-
mero maior de países. O fato de que recentemente o
las orientadas às crianças, em comparação com o
Brasil e o Chile se juntaram à IEA é, na verdade, um
comportamento baseado em tarefas, em aulas orien-
sinal promissor, e a importância da participação des-
tadas às matérias) sobre os resultados de aprendiza-
gem, não apenas em termos do desempenho em Ma- ses países na versão de 1998/1999 do TIMSS será
temática, mas também da atividade interna, da ativida- intensificada a partir de quando um número maior de
de individual e do interesse pela Matemática. Ele con- países da região passar a participar do estudo.
cluiu que as práticas e as variáveis de instrução não Os estudos do tipo dos da IEA são comple-
exercem efeito significativo sobre o desempenho em xos, dos pontos de vista tanto logísticos como
Matemática, mas muito sobre outros resultados da metodológicos. Uma característica importante dos es-
aprendizagem. Com base nos melhores resultados tudos da IEA é o treinamento dos coordenadores naci-
verificados no Japão (um país que coloca grande ênfa- onais de pesquisa. Esse é um componente essencial
se sobre as práticas de instrução sobre as matérias do estudo, uma vez que muitos coordenadores apa-
individuais, e sobre o comportamento baseado em ta- rentam não estarem tão familiarizados com a
refas), o autor conclui, ainda, que as práticas de instru- metodologia e, principalmente, com as características
ção da Suíça podem ser melhoradas nesses aspectos. específicas dos estudos comparativos internacionais.
50
Um outro benefício da participação nesses estudos, and Science Study. Chestnut Hill, MA : Center for
ainda que não bem tangível, é o desenvolvimento de the Study of Testing, Evaluation and Educational
uma rede de pesquisadores e de especialistas (nas Policy, Boston College, 1996b.
áreas, por exemplo, de Amostragem, Psicometria,
Desenvolvimento de testes, Análises de dados, etc.), HARMON, M. et al. Performance assessment. In:
que pode ser de ajuda quando os países desejam de- INTERNATIONAL ASSOCIATION FOR THE
senvolver os seus próprios estudos de avaliação e de EVALUATION OF EDUCATIONAL ACHIEVEMENT.
exame nacional. Third International Mathematics and Science Study.
Um aspecto importante, mas que Chestnut Hill, MA : Center for the Study of Testing,
freqüentemente não recebe a devida atenção, é a pos- Evaluation and Educational Policy, Boston College,
sibilidade de sintonizar as avaliações nacionais de acor- 1997.
do com as internacionais. A ligação bem feita dos dois
não apenas aumentará os benefícios que poderão re- HUSÉN, T., POSTLETHWAITE, T. N. A brief history of
verter para o país a partir dos investimentos em estu- the International Association for the Evaluation of
dos de avaliação, mas será também custo eficiente. Educational Achievement (IEA). Assessment in
Um outro aspecto relacionado aos custos re- Education, Abingdon, v. 3, n. 2, p. 129-141, 1996.
fere-se à questão de quais dados devem ser coletados.
Como já foi ilustrado através dos exemplos dados, são KEEVES, J. The world of school learning : selected
os aspectos ligados à política e à pesquisa que deter- findings from 35 years of IEA. Amsterdam : IEA,
minarão principalmente quais os dados a serem reco- 1996.
lhidos. Por outro lado, quando entram em cena fatores
relativos a custos, e a partir do momento em que a KELLAGHAN, Thomas. IEA studies and educational
influência sobre que dados receberão atenção (ou não policy. Assessment in Education, Abingdon, v. 3, n.
receberão) fica demasiada, corre-se o risco de limitar 2, p. 143-160, 1996.
a utilidade dos dados coletados. Se a IEA tivesse ape-
nas coletado durante o TIMSS dados referentes a de- MARTIN, M. O. et al. Science achievement in the
sempenho (que na verdade dão lugar a indicadores in- primary school years. In: INTERNATIONAL
teressantes, como os que aparecem na Tabela 1 e na ASSOCIATION FOR THE EVALUATION OF
Figura 1), mas nenhuma informação sobre as escolas, EDUCATIONAL ACHIEVEMENT. Third International
sobre os professores e sobre os alunos, um país como Mathematics and Science Study. Chestnut Hill, MA
a Suíça jamais teria tido a possibilidade de realizar : Center for the Study of Testing, Evaluation and
análises nacionais em meio a um contexto internacio- Educational Policy, Boston College, 1997.
nal, e teria perdido a oportunidade única de focalizar
algumas questões nacionais importantes. Com freqüên- McKNIGHT, C. C. et al. The underachieving curriculum
cia, basta um mínimo aumento de custos para que se : assessing U.S. school mathematics from an
chegue à diferença entre a obtenção apenas de dados international perspective. Champaign, IL : Stipes,
referentes a desempenho ou de um conjunto muito mais 1989.
rico de dados, que permita análises mais profundas de
aspectos importantes. MOSER, U. P. Swiss analysis of the TIMSS data. Chi-
cago, IL, 1997. Trabalho apresentado na Conferên-
cia Anual da American Educational Research
R eferências bibliográficas Association (AERA).
MULLIS, I. V. S. et al. Mathematics achievement in the

primary school years. In: INTERNATIONAL
BEATON, A. E. et al. Mathematics achievement in the ASSOCIATION FOR THE EVALUATION OF
middle school years. In: INTERNATIONAL EDUCATIONAL ACHIEVEMENT. Third International
ASSOCIATION FOR THE EVALUATION OF Mathematics and Science Study. Chestnut Hill, MA
EDUCATIONAL ACHIEVEMENT. Third International : Center for the Study of Testing, Evaluation and
Mathematics and Science Study. Chestnut Hill, MA Educational Policy, Boston College, 1997.
: Center for the Study of Testing, Evaluation and
Educational Policy, Boston College, 1996a. OECD. Education at a glance : OECD indicators. 4.
ed. Paris : OECD/CERI, 1996.
________. Science achievement in the middle school
years. In: INTERNATIONAL ASSOCIATION FOR PLOMP, Tjeerd. Conceptualizing a comparative
THE EVALUATION OF EDUCATIONAL educational research framework. Prospects, v. 22,
ACHIEVEMENT. Third International Mathematics n. 3, p. 278-288, 1992.
51
POSTLETHWAITE, T. N., ROSS, K. Effective schools ROBITAILLE, D. F. (Ed.). Curriculum frameworks for
in reading : implications for educational planners. mathematics and science. Vancouver : Pacific
Amsterdam: IEA, 1994. Educational Press, 1993. (TIMSS monograph, 1).
RAMSEIER, E. Task characteristics and task difficulty ROBITAILLE, D. F., GARDEN, R. (Ed.). The IEA study
: analysis of typical features in the Swiss performance of mathematics II : contexts and outcomes of school
in TIMSS. Frankfurt, 1997. Trabalho apresentado na mathematics. Oxford : Pergamon Press, 1989.
Conferência Européia sobre Pesquisa Educacional.
52
O S INDICADORES
DE EDUCAÇÃO DA OCDE:
PROPÓSITOS, LIMITES E
PROCESSO DE PRODUÇÃO*
Norberto Bottani**
bjetivos do conjunto de indicadores

O de educação da OCDE
A metodologia que utiliza indicadores de edu- da de 80, com ênfase sobre as causalidades e a falta
cação é hoje amplamente adotada para a avaliação de capacidade de interpretação reclamava a adoção
dos sistemas nacionais de educação. Há possibilidade uma estrutura de organização que fosse flexível. A
de de geração de centenas de indicadores, ainda que estrutura conceitual do International Indicators Systems
não haja sentido em produzir tantos deles. Não é a (INES) é organizada em torno de uma abordagem com-
abundância de informações e de medidas que produzi- binada, utilizando bases tanto conceituais quanto prag-
rá um melhor conhecimento. Ainda mais, um conjunto máticas, e incorporando preocupações relativas às
grande de indicadores é muito difícil de ser gerenciado. políticas.
Desde 1991, os países da Organization for Economic Os parâmetros conceituais e teóricos que ex-
Co-operation and Development (OCDE) vêm tentando plicam as opções que influenciaram a construção dos
gerar um conjunto restrito de indicadores em educa- conjuntos de indicadores foram descritos em duas pu-
ção, além de identificar aqueles que sejam centrais blicações: The OCDE International Education Indicators.
para o fornecimento de informação essencial sobre os A framework for Analysis (1992) e Making Education
sistemas de educação. Apesar desses esforços, o Count. Developing and Using International Indicators
conjunto de indicadores em educação da OCDE não (1994).
apresentou grande evolução. O número de indicadores A ambição da OCDE, ao propor um conjunto
incluídos no conjunto permaneceu estável, em torno de indicadores internacionais em educação, era cobrir
de 50. É realmente difícil identificar os critérios para a uma ampla gama de serviços educacionais, ampliar
seleção de indicadores: essa operação exige uma es- os horizontes além do mundo do ambiente escolar for-
trutura conceitual que espelhe os propósitos da avalia- mal, incluindo dados sobre a educação privada – for-
ção e dos sistemas de educação. mas tanto comerciais quanto sem fins lucrativos – ,
sobre as atividades de treinamento executadas nas em-
presas, sobre as compras domésticas de bens e servi-
estrutura conceitual do conjunto de
A indicadores em educação da OCDE
ços de educação, sobre pesquisa e desenvolvimento
em educação, e sobre os profissionais ligados à edu-
cação, e não meramente os professores.
O quadro conceitual que levou à seleção dos

O esquema em torno do qual se organiza o indicadores assumiu, assim, uma função crucial na
conjunto de indicadores em educação da OCDE foi de- implementação de uma estratégia de informação de-
senvolvido através de várias etapas. A insatisfação com senhada para estabelecer os fundamentos para deci-
os modelos de organização que prevaleciam na déca- sões políticas e para uma gestão firme com base nas
*Ao preparar este trabalho, utilizei partes de vários documentos internos não publicados da OCDE, produzidos como parte do projeto dessa instituição,
"International Indicators Systems" (INES), que chefiei de 1988 a 1995. Agradeço, especificamente, a Donald Hirsch e a François Orivel pelos trabalhos que eles
prepararam para a última Assembléia Geral do Projeto do INES, realizada em Lahti (Finlândia), em junho de 1995.
**Norberto Bottani chefiou vários setores da Organization for Economic Co-operation and Development (OECD), entre os quais o (International Indicators of
Education Systems (INES)/ CERI Project, e, desde 1997, é diretor da Unit for Educational Research, do Cantão de Genebra (Suíça). Foi editor dos relatórios
e livros da OCDE sobre Educação Infantil, Educação Multicultural e Indicadores Educacionais publicados entre 1976 e 1996. Juntamente com I. Delfau, foi o
co-editor do fascículo especial do periódico International Journal of Educational Research, v. 14, n.4, sobre indicadores da qualidade dos sistemas educacionais
numa perspectiva internacional, em 1990.
53
quais deveriam desenvolver-se as atividades de obten- pecífico de comprometimento para com a educação,
ção de dados e de iniciativas de informação. Como foi estimula os responsáveis pelas decisões a não desti-
corretamente indicado pelo Sr. Orivel, em sua análise narem significativamente mais ou menos do que a
dos primeiros três conjuntos de indicadores em edu- média." E o Sr. Orivel prossegue, acrescentando que
cação da OCDE, os fatores que influem no desempe- "é esse o tipo de argumento freqüentemente utilizado
nho dos alunos são extremamente numerosos, e o seu na tomada de decisões públicas sobre o financiamen-
impacto varia, dependendo da presença ou não de ain- to de pesquisa e desenvolvimento e em defesa nacio-
da outros fatores. Ainda mais, alguns fatores são nal, com base na lógica de que, quando os parceiros
maleáveis, ou seja, podem ser modificados através da fazem mais, os países precisam acompanhá-los, para
intervenção externa, enquanto que outros não podem não ficarem para trás, ou para reduzirem a probabilida-
ser mudados, ou a própria sociedade se recusa a fazê- de de virem a tomar o rumo errado".
lo. Por exemplo, o tamanho das turmas, ou a duração O Sr. Orivel conclui, afirmando que "em várias
do período de treinamento dos professores podem ser áreas da política educacional, os fatores sobre os quais
mudados; as aptidões naturais, o ambiente familiar ou se baseiam as decisões em educação são mal defini-
geográfico, a aceitação dos pares não podem ser modos ou contraditórios, e pode ser útil para que se deva
dificados. É virtualmente impossível medir todos aque- tomar as decisões e examinar o que outros países
les fatores que poderiam representar um impacto. Por comparáveis estão fazendo, quer seja porque a grande
esse motivo, apesar da importância do trabalho de pes- maioria dos países tenha optado por uma determinada
quisa em educação, não há consenso sobre que fato- solução, ou porque um país que tenha escolhido uma
res exercem maior influência sobre o desempenho dos abordagem original esteja aparentemente obtendo re-
alunos. São extremamente raros os resultados que sultados favoráveis". A competição internacional e a
apresentam um alto grau de consistência. Assim sen- comparação entre os países chamaram intensamente
do, quando se escolhem indicadores que tenham a a atenção para os indicadores, e assumiram importân-
capacidade para rápida e corretamente informar aos cia capital para o desenvolvimento de um conjunto in-
usuários dos sistemas de educação sobre os desem- ternacional de indicadores em educação.
penhos em educação e alertá-los quanto ao estado da Por esse motivo, a OCDE decidiu adotar, no
educação, é preciso fazer algumas opções. Estas op- início do trabalho com os indicadores, uma estrutura
ções não são nem simples, nem neutras. conceitual extremamente simples, que era uma varia-
A OCDE utiliza macrodados para a constru- ção relativamente esparsa de um modelo de entrada e
ção de seus indicadores em educação. A natureza dos saída. Esse modelo foi, e é, muito adequado para a
dados utilizados ajuda a executar uma primeira sele- geração de informações úteis para a platéia dos círcu-
ção entre os distintos fatores a serem mantidos. Ainda los políticos. Virtualmente, todos os esforços para a
assim, os indicadores agregados da OCDE são, via de concepção de indicadores em educação utilizaram um
regra, muito gerais para permitirem uma análise deta- modelo de entrada/saída, ou processado. Para a pro-
lhada das relações entre os recursos investidos e os dução de variáveis relevantes para a política, que pos-
resultados obtidos. Entretanto, sua utilidade reside em sam ser resumidas de modo claro e sucinto, e ser apre-
outro fato: eles ajudam a levantar certos aspectos rele- sentadas e consideradas, não era preciso adotar um
vantes, no nível macroeconômico. Isso foi demonstra- modelo complexo e orientado para a pesquisa. Assim,
do pelo Sr. Orivel, ao examinar o caso de um dos indi- a OCDE recorreu a uma estrutura tripartite de organi-
cadores compostos mais bem conhecidos, os gastos zação dos indicadores, que gerava informações sobre
em educação comparados ao PIB. Desde 1975, vemos resultados da educação, quanto às características
se verificando uma certa convergência entre os res- primárias dos sistemas escolares e às situações soci-
ponsáveis pelas decisões, no sentido de destinar, de ais e econômicas de cada país, nas quais operam os
forma significativa, mais ou menos uma média seme- sistemas de educação.
lhante do PIB à educação – em torno de 6%. "A varia- Propositalmente, os indicadores não eram or-
ção desse indicador pouco a pouco foi-se estreitando. ganizados de acordo com um "modelo". Um modelo
Os países que destinavam mais do que 6% do PIB implicaria conexões sofisticadas e causais entre os
tenderam a estabilizar, ou a reduzir esse valor, enquanto indicadores; não é razoável supor que as variáveis re-
que aqueles que destinavam menos do que 4% do seu presentadas por esses indicadores pudessem funcio-
PIB à educação passaram a tratar de chegar ao valor nar dessas maneiras. Desde o início do trabalho do
médio de 5% ou 5,5%". O Sr. Orivel afirma que "essa INES, sempre houve firme consenso acerca do fato de
tendência, em direção a um certo nível de convergên- que a organização e a seleção dos dados não eram
cia, provavelmente não é nenhuma coincidência, ainda compatíveis com um modelo causal. Esse conceito
que não haja declarações explícitas dos responsáveis era considerado como muito pouco produtivo, conside-
pelas decisões sobre esse ponto. Por outro lado, rando-se a falta de representatividade de relações ge-
sentimo-nos tentados a propor uma hipótese, quanto à ralmente aceitas na educação.
falta de critérios formais sólidos, sobre os quais as Mas, para que possa ser útil e prática, a es-
autoridades públicas possam estabelecer um nível estrutura de organização deve ser simples, global e
54
parcimoniosa. A estrutura de um conjunto internacio- gerem como sendo de interesse poderiam ter apareci-
nal de indicadores em educação não pode pretender do em uma lista eclética. Em vez disso, e como resul-
representar todas as relações entre os elementos do tado da base mista, alguns dos indicadores termina-
sistema, e, ainda assim poder ser trabalhada. Enquanto ram sendo selecionados porque eram de uma nature-
isso, o conjunto precisa ser fiel, até certo ponto, à com- za ao mesmo tempo lógica e empírica, enquanto ou-
plexidade dos sistemas de educação. tros eram práticos e sensíveis a políticas em sua ori-
O objetivo da estrutura não era oferecer um entação.
outro modelo abrangente de educação, mas sim gerar Imaginou-se que, ao adotar uma abordagem
uma forma de colocar os indicadores em contexto, além combinada, causar-se-ia um equilíbrio embutido entre
das relações existentes entre eles. Ainda que a estru- a estabilidade e a flexibilidade, em um conjunto de in-
tura não tenha a intenção de construir ligações de uma dicadores que teria evoluído com o tempo. A referência
natureza causal, certamente ajuda a pôr em perspecti- a um modelo conceitual para o desenho de um conjun-
va algumas das interações que ocorrem no funciona- to de indicadores teria muito provavelmente criado um
mento dos sistemas educacionais. produto relativamente rígido, que arriscaria uma falta
Por esses motivos, a OCDE adotou uma abor- de sintonia com as preocupações da atualidade. Ain-
dagem pragmático-conceitual na organização dos in- da, muito tempo seria dedicado para chegar a um con-
dicadores. Existem várias modalidades de organizar senso sobre o modelo, sem que fosse gerada qualquer
indicadores. Podem ser organizados conceitualmente, informação de utilidade, e sem aprimoramento na es-
refletindo um modelo ativo do sistema que tencionam tratégia de coleta de dados. Uma abordagem ligada a
descrever. Podem ser organizados pragmaticamente, questões políticas muito provavelmente teria tido con-
como as bitolas em um sistema ferroviário, para infor- seqüências semelhantes, do ponto de vista operacional
mar um conjunto de decisões específicas e práticas (é preciso lembrar que havia amplo consenso sobre a
de planejamento, como a contratação de pessoal onde falta de validade dos dados obtidos até ali), e teria ori-
seja necessário a destinação de espaços, ou o exame ginado conjuntos de indicadores muito voláteis, à me-
de problemas específicos de desempenho. Podem ser dida que fossem evoluindo as prioridades.
organizados em volta de aspectos políticos, como eqüi- As áreas incluídas no conjunto de indicadores
dade, aquisição de aprendizagem, contribuição para a englobam informações importantes, que podem ser
produtividade econômica, e assim por diante. O con- exibidas sobre os sistemas educacionais das nações:
junto da OCDE é uma abordagem combinada, que uti- as condições de seus desempenhos, suas caracterís-
liza bases tanto pragmáticas quanto conceituais, in- ticas e aspectos, além das condições sob as quais
corporando ao mesmo tempo preocupações de natu- operam. Em relação aos propósitos analíticos, essa
reza política. Uma abordagem dessa natureza parecia estrutura representa a educação como sendo um pro-
ser a forma mais apropriada para a organização de cesso de vários componentes. É importante observar
dados comparativos internacionais sobre educação, por que muitos dos elementos educacionais da estrutura
vários motivos. interagem de uma forma bastante complexa. Em ter-
Em primeiro lugar, esses indicadores serviri- mos estatísticos, a estrutura de organização não pre-
am menos para objetivos estreitos e imediatos de tende ser um simples modelo de regressão. Muitos de
gerenciamento, e mais para uma análise global de ten- seus elementos são paralelos uns aos outros,
dências gerais e diferenças entre os países. Em se- recursivos, e operam em vários níveis: no nível do país
gundo lugar, as questões mais importantes para vários como um todo, no nível da escola, e no nível das unida-
países deveriam variar até certo ponto, o que impediria des de organização no meio dos dois.
uma orientação a essas mesmas questões. Em ter- Na estrutura, as condições demográficas e

ceiro lugar, o conjunto englobaria tradições intelectu- econômicas são vistas como fatores de fundo, que
ais diferentes dos países-membros da OCDE, estando determinam o trabalho a ser desempenhado pelas es-
o seu ponto forte na sinergia das abordagens combina- colas, e que estabelecem os recursos disponíveis para
das. Finalmente, emergiu uma visão conceitual e sis- o financiamento dos programas escolares. Os siste-
temática da educação, que perece ter conquistado mas mais ricos conseguem apoiar programas mais
aceitação e validade gerais. elaborados. Ao mesmo tempo, níveis inferiores de edu-
Essa natureza mista assumiu implicações cação no passado, ou níveis mais altos de pobreza
importantes com respeito aos tipos de indicadores que hoje, fazem parte da tarefa de oferecer educação de
terminaram por ser sugeridos. Tivesse a abordagem qualidade em muitos países.
sido estritamente conceitual, os indicadores teriam sido Os programas e os processos educacionais
concebidos para o fornecimento de informações sobre são vistos como as variáveis de entrada, que determi-
os principais elementos determinados pela lógica ou nam o sucesso do programa escolar. Representam as
pela pesquisa, como sendo componentes básicos de características com base nas quais podem variar os
um modelo pleno e ativo do sistema educacional. Em programas de educação em vários países, e que po-
uma abordagem puramente pragmática, esses indica- dem explicar, ou pelo menos serem associados aos
dores que a experiência e as prioridades políticas su- resultados da educação.
55
Os resultados são considerados em parte citado que a informação fosse utilizada de forma mais
como reflexos das condições gerais, em seus aspec- sintética e mais analítica, indicando que a escolha dos
tos social, econômico e histórico, que afetam a educa- indicadores deveria ser menos determinada pela dis-
ção de cada país, e também em parte como reflexos ponibilidade dos dados, e mais pela estrutura conceitual
dos efeitos das políticas, dos programas, das práticas e política. Em outras palavras, a abordagem prática e
e das decisões na área de educação, e que constitu- empírica foi considerada como tendo tido mais influên-
em a escola em cada um dos países. cia sobre a construção dos quatro primeiros conjuntos
É imperativo sempre manter em mente a natu- de indicadores do que na abordagem conceitual e polí-
reza repetitiva e de vários níveis dessa estrutura. Em tica. A estrutura existente é antiquada: não é eficaz
primeiro lugar, a repetitividade. Entre muitos dos indi- para guiar e para controlar o desenvolvimento de indi-
cadores constantes da estrutura, as relações podem cadores, nem possibilita apoio analítico para a inter-
acontecer em muitas direções de uma só vez. Por pretação dos dados. As mudanças adotadas na apre-
exemplo, as atitudes de alunos e do pessoal escolar sentação do quarto conjunto demonstram claramente
poderiam melhorar à medida que melhorassem os re- a necessidade de uma nova estrutura, e de revisão da
sultados. O apoio público poderá aumentar como re- original.
sultado de um maior êxito dos programas. Simples
melhorias na taxa de término dos cursos secundários
levariam à melhora também da situação de educação
da população geral de um país. Os recursos disponí- imites do conjunto de indicadores em
veis deverão relacionar-se em parte, ainda que não in-
teiramente, aos recursos despendidos. Esses são al-
L educação da OCDE
guns dos exemplos de algumas das interações e cír-
culos de retroalimentação que poderão existir na es-
trutura. Além disso, eles ilustram e explicam por que Analisando o conjunto de indicadores até ago-
foi adotada uma estrutura geral, em oposição à tentati- ra publicado, parece que a área contexto da educação
va de determinar o entendimento de todas essas inter- é a que mais mudou ao longo das quatro edições de
relações. Education at glace. Houve uma expansão de cinco para
Em segundo lugar, a característica estrutural 13 indicadores, e uma redução para quatro na edição
com vários níveis: em cada um dos elementos, a varia- de 1996, a modificação de maior significado foi a intro-
bilidade no sistema pode ser tão importante quanto a dução na terceira edição dos resultados de uma pes-
variabilidade entre os países. Isso deverá afetar a inter- quisa comum de opinião e expectativas públicas relati-
pretação, uma vez que, com certeza, as comparações vas aos sistemas nacionais de educação (OCDE,
globais entre os países poderão tornar-se irrelevantes, 1995b; INES, 1995). De qualquer forma, é preciso lem-
caso existam grandes disparidades entre as escolas, brar que os indicadores referentes a atitudes e a ex-
ou entre as províncias de um país. Ainda assim, as pectativas não deverão ser gerados todos os anos, uma
disparidades são significativas, enquanto podem refle- vez que a OCDE não dispõe dos recursos para a
tir problemas sistemáticos, tais como serviços diferen- implementação de uma pesquisa anual de opinião.
tes, ou distribuição desigual de recursos, que devem Assim, pode-se esperar uma grande variabilidade nos
ser solucionados. indicadores referentes a essa área para os próximos
Como já foi anteriormente afirmado, o objetivo anos.
principal dos indicadores em educação não é a expli- Nas primeiras edições do conjunto de indica-
cação da educação como um processo, ou a verifica- dores da OCDE, existem dois subgrupos comuns de ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
ção de relações de causa e efeito dentro do sistema. indicadores na área em questão, ou seja, indicadores
Se isso for verdadeiro, então, como, e com que tipo de demográficos e indicadores econômicos. Essas duas
objetivo seriam utilizados indicadores, e principalmen- seções são bastante pobres: fornecem apenas infor-
te indicadores internacionais, como é o caso dos da mação de caráter muito geral, em sua maior parte
OCDE? A melhor resposta é que eles constituem in- dirigida ao desempenho da população em termos de
formação parcial e preliminar sobre o funcionamento educação, diferenças relacionadas a gênero, educa-
de um sistema de educação. Devem levar a pesquisas ção e participação na força de trabalho e renda nacio-
mais detalhadas, ou a consideração do motivo pelo nal per capita. Esses dados demonstram a proporção
qual o sistema funciona do jeito em que funciona, o da riqueza do país devotada à educação, e possibilita
que virá a exigir informação e análise adicionais. um primeiro e interessante quadro sobre a relação en-
A estrutura conceitual e organizacional adota- tre a classificação pelo investimento total em educa-
da até então em 1991 funcionava mais ou menos: pos- ção e a classificação pelo PIB per capita. Alguns paí-
sibilitava um quadro para a produção de quatro conjun- ses, como a Finlândia e o Canadá, gastam considera-
tos de indicadores, mas não era apropriada para esti- velmente mais do que países que têm um PIB mais
mular a produção de novos indicadores, nem comple- alto per capita, como é o caso dos Estados Unidos.
xos nem profundos. Os países-membros haviam soli- Em particular, é interessante observar que alguns dos
56
países menos ricos, como a Irlanda e a Espanha, gas- citas de pagamentos de transferência e subsídios. A
tam uma porcentagem maior do seu PIB per capita mudança tornou possível rastrear os fluxos de recur-
para alcançar o mesmo nível de investimento em edu- sos destinados à educação desde as suas fontes ini-
cação do que alguns dos países mais prósperos, como ciais até os usuários finais, e calcular tanto as distri-
a Holanda, o Japão, a Alemanha e a França. Se consi- buições iniciais (antes da transferência) quanto finais
derarmos que esses países precisam também investir (depois da transferência) dos recursos para a educa-
uma porcentagem maior em outras áreas básicas, e ção por fonte.
que os países menos prósperos precisam educar o Ainda, os novos instrumentos separam os gas-
maior número de alunos, uma vez que o tamanho da tos realizados por instituições de educação, ou os diri-
população jovem nesses países é maior do que em gidos a elas, dos subsídios aos alunos. Essa distin-
outros lugares (por exemplo, a população entre 5 e 29 ção torna-se especialmente relevante no nível da edu-
anos de idade representa a metade da população da cação de terceiro grau. O total dos recursos emprega-
Turquia, e menos de um terço da população da Alema- dos em subsidiar os custos de vida dos alunos é, na
nha), temos aqui uma primeira e interessante base de verdade, bastante impressionante, mas não é possí-
referência para a avaliação das políticas de educação. vel, no momento, obter números adequados ou até
Os indicadores referentes ao contexto de edu- mesmo estimativas aceitáveis, uma vez que as fontes
cação produzidos pela OCDE jamais incluíram qual- de recursos são múltiplas, não apenas em termos dos
quer indicador sobre a produtividade dos países, sen- níveis do governo, mas em termos dos tipos de admi-
do a produtividade definida como o produto interno bru- nistração. Na França, por exemplo, uma estimativa em
to por indivíduo empregado. Em outras palavras, a pro- 1995 era que o valor total de auxílio financeiro para
dutividade é uma medida da capacidade produtiva mé- despesas de subsistência de alunos (subsídios para
dia dos empregados de um país. Os países com níveis hospedagem e outras despesas de manutenção) era
mais elevados de produtividade têm maior capacidade de aproximadamente de 24 bilhões de francos. Ainda
econômica, a partir da qual podem investir em infra- que a exclusão desses recursos do cálculo dos indi-
estrutura socioeconômica, aprimorar a educação, e cadores permita evitar maiores distorções do próprio
elevar o padrão de vida de seus cidadãos. Entre 1961 e cálculo, não é uma solução aceitável. No caso de al-
1991, os Estados Unidos experimentaram o mais bai- guns países, as bolsas para alunos e outros subsídios
xo aumento anual médio em produtividade entre os representam parte importante dos seus orçamentos
países do G-7 (1,05%). O Japão alcançou os mais al- para educação, e não podem ser simplesmente igno-
tos ganhos em produtividade entre os países remanes- rados. Os valores reais das despesas com educação
centes, com um aumento anual médio de 4,8% (NCES, são, portanto, subestimados, e a classificação dos
1996). países, em termos de despesas com educação, pode-
O problema mais frágil e não resolvido nesta ria mudar drasticamente se fosse incluído o total dos
seção é a falta de dados nas áreas de saúde, habita- subsídios canalizados para os alunos.
ção e estatísticas culturais e sociais. Esse tipo de in- Finalmente, como resultado do esforço para
formação é crucial para que seja possível uma melhor reduzir o número de indicadores identificando ao mes-
visão do contexto educacional e das condições de fun- mo tempo aqueles absolutamente necessários, a edi-
cionamento dos sistemas de educação. ção de 1996 de Education at a Glace chegou a simpli-
A área de custos, recursos e processos esco- ficar ainda mais a apresentação de indicadores sobre
lares é a mais estável e a mais desenvolvida. O núme- custos, publicando nada mais do que cinco indicado-
ro de indicadores aqui varia de 21 a 26, que foi o máxi- res de natureza financeira.
mo alcançado em 1995, quando a OCDE calculou dois A seção de indicadores sobre participação
indicadores em pesquisa e desenvolvimento, que de- compreendeu seis indicadores na primeira edição, sete
sapareceram na edição de 1996, além de vários indi- nas duas edições seguintes, e cinco na edição de 1996.
cadores referentes a recursos humanos, que desapa- Nessa última edição, desapareceram dois indicadores:
receram na edição sucessiva. o referente às características da transição da educa-
A fortíssima seção financeira foi reorganizada ção de segundo grau para a de terceiro – ainda que os
de modo substancial entre 1992 e 1996. Graças ao dados fossem incluídos nos indicadores sobre a parti-
trabalho desenvolvido para aprimorar, em termos de cipação na educação – e o indicador sobre acesso à
comparabilidade, a qualidade das definições e a medi- educação de terceiro grau.
ção de recursos financeiros, foram reconsideradas as Os indicadores nessa seção vêm sendo aper-
categorias de despesas. Foi feita uma distinção clara feiçoados e melhorados de modo constante. Um exem-
entre despesas ou custos de educação e fontes de plo é o indicador sobre a participação na educação
recursos para a educação. A implementação de novos formal, em relação à população de 5 a 29 anos de ida-
questionários para a obtenção de dados de natureza de, que fornece, pela primeira vez, informação sobre o
financeira, com as suas respectivas definições e ins- porcentual da população jovem que freqüenta a educa-
truções, permitiu a determinação de categorias explí- ção formal, em tempo integral. Na terceira e na quarta
57
edições de Education at a Glace, o indicador inclui zadas pela OCDE para o cálculo de indicadores sobre
uma tabela sobre a expectativa média de escolarida- a natureza, a eficácia e a qualidade dos processos
de, que dá informação sobre a duração hipotética dos educacionais e das escolas. Devido à natureza diversa
anos de escola para uma criança de 5 anos. A expec- e complexa das atividades desenvolvidas nas escolas,
tativa média é em torno de 14 ou 15 anos. É mais curta muitas dessas questões não são facilmente resolvi-
– 13 anos ou menos – nos países orientais e na Tur- das, como os resultados relativos a matrículas, gastos
quia, sendo mais longa – 15,5 anos ou mais – na Bél- ou exames. Mesmo assim, um determinado número
gica, Dinamarca, França, Alemanha e Holanda. É inte- de características nacionais, regionais, da escola e da
ressante perceber que um aluno de 5 anos de idade sala de aula, pode ser avaliado através da utilização de
em um desses países tem uma média de 15 anos de informações relatadas pelos indivíduos envolvidos, ou
escola à sua frente. O aluno não sairá do sistema for- retirados de enunciados de políticas. A eficácia da fre-
mal de educação antes de atingir os 20 anos de idade. qüência à escola não aparece refletida apenas nas va-
A expectativa de escolaridade aumentou nos anos mais riáveis curriculares, mas também no ambiente de ins-
recentes praticamente em todos os países em que havia trução oferecido pelas escolas, e na importância atri-
dados disponíveis. O aumento desde 1985 excede mais buída à educação fora da escola. A tentativa feita em
de um ano em muitos países, e nos países nórdicos o 1995 de usar dados do IEA gerados pelos questionári-
aumento foi de mais de 18 meses. A maior duração da os de informações primárias do Estudo de Letramento
escolaridade é um outro fator que contribui para a ele- em Leitura, para o cálculo de indicadores sobre práti-
vação observada nas taxas de matrícula ao longo das cas escolares não foi muito bem-sucedida. Os dados
últimas décadas. do International Association for the Evaluation of
Duas outras novas abordagens desenvolvidas Educational Achievement (IEA) foram coletados para
na edição de 1995 são o cálculo da proporção de alu- servirem como auxílio à interpretação à pontuação ob-
nos matriculados em segundos programas de educa- tida pelos alunos na leitura, não sendo apropriados para
ção dos últimos anos da educação secundária e o cál- a construção de indicadores gerais sobre as práticas
culo do indicador sobre a transição da educação infan- escolares. Apenas os indicadores relativos ao número
til para a educação primária para alunos de 4 a 7 anos de horas de instrução e ao agrupamento entre as tur-
mas foram calculados usando-se dados do IEA, oriun-
de idade. Entretanto, o indicador realmente novo nesta
dos do Estudo de Letramento em Leitura. Para a ob-
seção é o que se refere à matrícula de adultos em
tenção de informação adequada sobre o pessoal, tem-
cursos de educação e treinamento continuados, rela-
po de ensino, salários dos professores, currículos e
cionados à atividade profissional, o que anuncia evolu-
processos escolares, a OCDE foi forçada a criar e a
ções futuras na área de indicadores relativos à educa-
implementar uma pesquisa específica, focalizando pro-
ção de adultos e indicadores de aprendizagem no cur-
fessores e escolas. A informação foi obtida através de
so de toda a vida.
uma pesquisa internacional entre as escolas adminis-
A seção de indicadores relativos a "pessoal"
tradas durante o ano letivo de 1995/1996. Baseada
foi substancialmente enriquecida entre a segunda e a
numa amostra de probabilidade de aproximadamente
terceira edições, graças à implementação de uma pes- 400 escolas primárias por país, selecionadas com pro-
quisa entre professores que não foi repetida nos anos babilidades proporcionais ao seu porte, permitiu apre-
subseqüentes. Como resultado, esta seção – como a sentar em 1996 sete indicadores de processos relaci-
seção relativa ao contexto da educação – fica bastan- onados à educação primária. As escolas primárias fo-
te instável através do tempo. Em 1996, não foi possível ram definidas através da estrutura institucional nacio-
calcular alguns dos indicadores muito interessantes nal do sistema de educação, independentemente das ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
relativos aos professores, publicados em 1995. O con- idades e séries dos alunos matriculados. O raciocínio
junto de indicadores em educação da OCDE continua por trás dessa opção era que uma vez que se dispu-
deixando muito a desejar nesta área. A sua limitação sesse de informações que correspondessem às reais
mais séria é a exclusão de dados sobre o pessoal situações das escolas, afastar-se-ia quaisquer perdas
empregado na educação de terceiro grau. Dois indica- em termos de possibilidades de comparações interna-
dores não foram modificados em todas as edições: o cionais, devidas a diferenças nas idades e nas séries.
indicador sobre o pessoal empregado em educação e Os resultados foram ponderados através do número de
o que reflete a proporção entre alunos e o corpo docente. alunos matriculados. Esses sete indicadores exa-
A seção mais original e inovadora dedicada ao minam:
ambiente escolar e aos processos da escola/sala de l a estabilidade dos profissionais de edu-
aula foi incluída pela primeira vez na edição de 1995, cação (como indicador substituto da con-
tendo sido ampliada na edição de 1996, com um au- sistência na educação);
mento no número de indicadores de 7 para 10. Apesar l a liderança escolar (com enfoque especial
dessa evolução tão significativa, esta seção ainda não sobre o papel desempenhado pela lideran-
está plenamente consolidada, uma vez que são bas- ça educacional em comparação com a li-
tante erráticas as fontes de dados que podem ser utili- derança administrativa);
58
l a cooperação entre o pessoal das escolas, foi usado o mesmo conjunto de dados, para o cálculo
e entre diretores e o pessoal; de um indicador do progresso na leitura entre as ida-
l os procedimentos de monitoramento e ava- des de 9 e 14 anos. Os questionários de informações
liação para garantir a extensão até que pos- primárias da pesquisa da IEA foram usados para o
sam ter sido alcançadas metas e intenções; cálculo de um segundo indicador sobre a quantidade
l as formas de encarar a variação no desem- de leitura, baseado na freqüência da leitura, e de acor-
penho dos alunos nas escolas, e como as do com informações fornecidas por jovens de 14 anos.
escolas respondem às diferentes necessi- Apesar do interesse desses indicadores, e do raciocí-
dades dos alunos; nio usado para calculá-los, a impressão que fica é que
l a orientação para o desempenho das políti- esses dados foram inventados, para evitar deixar es-
cas escolares (em relação ao ambiente e paços vazios no subgrupo referente ao desempenho
ao monitoramento de padrões, tanto no ní- dos alunos. Dois outros subgrupos dessa mesma área
vel do aluno quanto da própria escola); e – indicadores de resultados do sistema e resultados
l o ponto até o qual os pais são informados educacionais no nível do mercado de trabalho – são
sobre os vários assuntos ligados à escola, mais estáveis, uma vez que as fontes dos dados são
em especial sobre o desempenho de seus regulares: no caso dos indicadores de resultados do
filhos, bem como o ponto até o qual os pais sistema, os dados vêm de questionários conjuntos da
se vêem envolvidos na instrução, ou contri- UOE, diretamente gerenciados pela OCDE; no caso
buem diretamente na tomada de decisões dos indicadores dos resultados do mercado de traba-
nas escolas. lho, as fontes são as Pesquisas da Força de Trabalho.
Esses indicadores ilustram as diferenças na A vantagem da capacidade de controlar as fontes de
prática educacional, que podem ser influenciadas pe- dados, ou de ter acesso a dados produzidos com re-
las políticas de educação. Podem atuar não só como gularidade e muito bem definidos, está fora de ques-
"modelos" mas também como exemplos de "boas prá- tão. Caso a OCDE deseje produzir indicadores que
ticas", e são um elemento importante no discernimento sejam relevantes para as políticas e indicadores
quanto ao desempenho das escolas. Devem ser inter- atualizados sobre o desempenho dos alunos, será ne-
pretados à luz do contexto nacional da educação. cessário reconsiderar a estratégia dos dados nessa
A seção dos indicadores relativos aos resulta- área.
dos da educação é tanto aquela que menos mudou,
em termos do número de indicadores (10, 10 e 12,
respectivamente), quanto a que mais sofreu mudan-
ças, em termos do teor dos indicadores. Nas quatro O processo de produção
edições, existem três subgrupos comuns, ou seja, in-
dicadores de resultados dos alunos, indicadores de
resultados do sistema, e resultados do mercado de O desafio da tarefa de construir um conjunto
trabalho. O subgrupo mais instável é o que se refere a de indicadores em educação da OCDE obrigou os pa-
resultados dos alunos. Esses indicadores foram modi- íses-membros e a Secretaria da OCDE a inovarem os
ficados em todas as edições, visando utilizar os me- métodos de trabalho e a implementarem uma nova for-
lhores dados gerados por duas fontes não-governamen- ma de cooperação internacional. As principais carac-
tais: a IEA e o Educational Testing Service (ETS). Os terísticas da metodologia implementada para a cons-
indicadores são enfocados no desempenho de mate- trução de uma rede internacional de fornecedores e
mática, ciências e leitura. Às vezes, o cálculo se refe- usuários de dados e para a geração de um conjunto
re à população de crianças de 9 anos de idade, mas consensual de indicadores internacionais sobre a edu-
em geral focaliza os de 14 anos. É evidente que a OCDE cação foram as seguintes:
não conseguiu encontrar os dados apropriados para a – feedback constante entre os países e a Se-
produção de um conjunto estável de indicadores, que cretaria da OCDE;
fornecessem as informações esperadas pela opinião – avaliação periódica do progresso do traba-
pública, pelos usuários dos sistemas de educação e lho;
pelos formuladores de políticas. Na terceira edição de – engajamento coletivo, na identificação de pre-
Education at a Glace, a OCDE foi forçada a usar, pela ocupações comuns e na preparação de fer-
segunda vez, dados oriundos da pesquisa de ramentas também comuns;
Letramento em Leitura da IEA, realizada em 1991. Na – informação constante de todos os atores (ge-
segunda edição, os dados de Letramento em Leitura radores de dados, produtores de dados e ou-
foram usados para calcular três indicadores padroni- tras pessoas envolvidas) sobre os objetivos,
zados sobre o desempenho dos alunos: comparações as tarefas e as prioridades a serem
múltiplas, distribuição da pontuação dos alunos, e den- alcançadas.
tro e entre as variações escolares. Na terceira edição, Considerando a hostilidade de muitos indiví-
59
duos que trabalhavam em educação e dos principais transnacional da educação, que invariavelmente de-
decisores da política contra o desenvolvimento de indi- monstra a homogeneidade do desenvolvimento da edu-
cadores em educação quando foi iniciada a atividade, cação e o peso relativo dos contextos nacional e local.
em 1988, foi necessário inventar um novo estilo de co- Este processo pode ser imaginado apenas com base
operação entre os países-membros, para que fosse na confiança forte e mútua entre os fornecedores, ge-
possível a criação de confiança mútua e consenso en- radores e analistas dos dados.
tre os participantes. A natureza do trabalho, que implica o inter-
O desenvolvimento de um conjunto de indica- câmbio de informação e de comunicação: ao coletar
dores no nível internacional é uma operação complexa os dados, a OCDE manipula informações estatísticas,
e de muitas etapas. São muitos os atores envolvidos, informações que envolvem milhares de indivíduos, suas
com vários graus de responsabilidade. Além disso, a ocupações, suas instituições, sua renda, etc. Não é
obtenção de dados em educação não é um processo possível fazer desenvolver esse tipo de trabalho sem
fácil: alguns são relativamente simples, outros conso- uma forte legitimidade, que pode tão-somente ser deri-
mem muitos recursos, alguns podem ser vistos como vada de uma preocupação comum e de uma concor-
indefensáveis do ponto de vista ético. Assim sendo, é dância sobre as regras do respeito à confidencialidade
essencial encontrar o ponto de concordância entre os e à privacidade.
geradores de dados e os fornecedores sobre: As implicações políticas do trabalho: a gera-
– a relevância conceitual e política dos dados ção de um conjunto internacional de indicadores em
a serem obtidos; educação não significa pura e simplesmente trabalho
– a forma adequada de medir eventos estatístico, ou trabalho de pesquisa, mas essencial-
indicativos, características ou desempe- mente uma tarefa política, que diz respeito não a um
nhos em educação; número limitado de especialistas, mas a um grande
– as convenções para a coleta de dados; número de decisores e usuários. Por isso, o programa
– os procedimentos para publicação e relatos; e estatístico internacional em educação não pode ser
– os recursos financeiros disponíveis para co- gerenciado por um número restrito de profissionais em
brir os custos da obtenção e do estatística. As decisões fundamentais sobre o progra-
processamento dos dados. ma de coleta, processamento e publicação de dados
Quatro motivos principais contribuem para ex- devem ser tomadas de forma coletiva, por todas as
plicar a importância desses componentes. categorias de atores envolvidos com a implementação
O envolvimento de muitos atores, dissemina- de uma estratégia democrática de informação em edu-
dos sobre várias administrações, e engajados em dife- cação.
Esses quatro motivos constituem o raciocínio
rentes funções: pesquisadores nas várias disciplinas;
para a implementação de formas novas de cooperação
planejadores de políticas; administradores; estatísticos,
no domínio da estatística e dos indicadores em educa-
etc. Todos estes interlocutores pertencem a uma vari-
ção. Para alcançar essa meta, a OCDE implementou
edade de culturas, percebem os problemas de modos
um sistema em rede. Considerando a utilidade da rede
diferentes, usam linguagens distintas e têm diferentes
para a operacionalização da confiança mútua e para a
tipos de treinamento de base científica. Uma coopera-
geração de um consenso entre os distintos atores, os
ção efetiva entre eles não pode ser concebida sem pro-
países-membros da OCDE concordaram já em 1988
vidências organizacionais comuns, sem o desenvolvi-
em implementar um novo processo de trabalho, base-
mento de uma linguagem comum, e sem um conjunto
ado na Rede.
de ferramentas comuns. Uma rede, no caso do projeto do INES, é uma ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
A peculiaridade dos aspectos ligados à edu- estrutura flexível e relativamente informal, que recruta
cação. A educação é um terreno extremamente sensí- os seus membros em caráter voluntário, sem elos rígi-
vel: diz respeito à própria sobrevivência de cada uma dos demais com as estruturas de poder e de decisões.
das comunidades, ao bem-estar de um país, à capaci- Foram criadas redes para o desenvolvimento e prepa-
dade da nação de gerar conhecimento, de entender o ração de aglomerados de indicadores identificados como
seu contexto histórico e político, e de produzir e trans- sendo relevantes pelos países-membros. Um país lí-
mitir uma imagem da sua identidade. Assim, a infor- der assume a responsabilidade pela organização da
mação relativa à natureza e aos procedimentos da edu- atividade. A abordagem em rede provou ser extrema-
cação é peculiar, altamente política, e culturalmente mente eficaz, representando uma forma poderosa de
protegida. A construção de um conjunto internacional mobilizar especialistas, e para gerar indicadores em
de dados comparativos sobre a educação modifica as áreas escassamente exploradas pelos estatísticos de
perspectivas tradicionais sobre a singularidade dos sis- educação, como o desempenho dos alunos, rumos no
temas locais, regionais ou nacionais de educação. Os mercado de trabalho de acordo com o nível de educa-
países-membros hesitam em concordar com o ção, qualificação dos profissionais de educação, ex-
desmantelamento dessas crenças e em cooperar aber- pectativas da opinião pública em relação à educação,
tamente para a construção de uma representação e os centros de tomada de decisões nos vários níveis.
60
A idéia de criação de uma rede ficou recente- No centro das atividades de uma rede estão
mente em moda na vida profissional dos setores tanto as reuniões regulares, como um grupo. Estas reuni-
público quanto privado. Entretanto, caso os objetivos ões acontecem duas vezes por ano, estendendo-se
da rede sejam mal definidos, poderão carecer de dire- em geral por dois ou três dias. Um aspecto importante
ção, de comprometimento da parte de seus membros das reuniões da rede é a sua diferença, em termos de
e de impacto. No caso das redes do INES, em con- estilo, da maior parte das reuniões internacionais com
traste, foi estabelecido o objetivo tangível de produzir representação de vários países. Em vez de assumirem
indicadores utilizáveis em suas respectivas áreas. Ainda um comportamento de "delegados", meramente expon-
que esse objetivo tenha sido por vezes pouco claro, do as opiniões de cada país, os membros tendem a
foram desenvolvidos métodos firmes de trabalho, na trabalhar em cooperação, em direção a metas comuns.
tentativa de se chegar a eles. A tarefa freqüentemente elusiva de definir e coletar in-
O processo de criação da Rede do INES vale dicadores que possam ser internacionalmente compa-
a pena ser examinado, como sendo uma metodologia rados no campo educacional é vista como um inter-
inovadora, que alcançou uma série de pontos que difi- câmbio intenso de idéias (através de brainstorming), e
cilmente seriam alcançados através de outros méto- não como uma postura diplomática. O estilo informal
dos. Vários aspectos distintivos merecem ser consi- que foi desenvolvido é reforçado pelas reuniões de na-
derados, com respeito a evoluções futuras tanto no ní- tureza social e pela discussão que se desenvolve fora
vel nacional quanto internacional: das sessões da rede, entre um conjunto relativamente
– O uso da rede para o desenvolvimento de de- estável de membros. Esse método pragmático e pro-
finições padronizadas para a comparação en- dutivo de trabalho nem sempre esteve presente em to-
tre dados obtidos nacionalmente. As redes das as redes, e muito depende da personalidade de
conseguiram chegar a soluções para proble- quem a preside, e do estabelecimento progressivo de
mas há muito existentes com respeito à familiaridade e de confiança entre os membros, à me-
comparabilidade, como, por exemplo, nas dida que se conhecem melhor.
áreas de gastos em educação e proporção É questionável imaginar que a rede tivesse
entre professores e alunos. desenvolvido esse espírito de equipe, limitando-se nada
– O uso da rede para a identificação de áreas mais que a encontros bianuais. Entretanto, a natureza
estratégicas em que sejam necessários no- de suas tarefas que, com freqüência, exigiam um es-
vos dados. Ainda que se tenha levado mais forço "interativo" ao explorar uma variedade de formas
tempo para dominar essa atividade, a rede de definir e de gerar indicadores, exige uma comunica-
gerou instrumentos internacionais para a co- ção contínua, à medida que as propostas circulam e
leta de dados, cuja relevância acordada en- recebem comentários. O principal resultado desse pro-
tre os países participantes é refletida no seu cesso intenso de feedback produziu um sentimento
comprometimento em coletar as informações único de propriedade, e é raro chegar a um resultado
necessárias. semelhante, no nível internacional, quando os grupos
– O gerenciamento de um grande número de em geral têm uma ligação bastante solta.
participantes no processo de desenvolvimen- Em resumo, o processo de rede constituiu uma
to. O alto nível de envolvimento é parcialmen- característica principal e inovadora do Projeto INES, e
te sustentado pela natureza semi-autônoma assumiu importância crucial para as evoluções do pró-
da rede, e pelo diálogo que gera entre os seus prio INES. A rede é a melhor maneira de:
membros, independentemente da Secretaria l obter informação freqüente, senão imediata,
internacional. A rede mostra-se eficaz não sobre as metas básicas, para criar a cons-
apenas em termos da produção de indicado- tância de propósito durante todo o decorrer
res, mas também em termos de entendimento do projeto;
internacional entre os participantes. l gerar feedback freqüente, para chegar a ob-
– O mecanismo da "criação das redes", que jetivos de longo prazo, quando o esforço e
envolveu não apenas reuniões regulares de o sentido de propósito poderiam tender a
trabalho, mas também um feedback cons- perder o ímpeto;
tante entre os participantes da rede e entre a l investir recursos, tempo disponível e ener-
própria rede e a Secretaria internacional. gia para o aprimoramento contínuo do tra-
As redes são parecidas com clubes. Um gru- balho;
po de indivíduos que se encontre com regularidade, e l sustentar o esforço coletivo e construir um
que adquira um senso de "identidade de grupo" faz senso de comunidade e de propriedade,
com que seja mais fácil trabalharem juntos do que com além de um alto nível de confiança mútua
estranhos. Com isso, tornam-se mais eficazes, ainda entre todos os atores engajados no processo;
que, potencialmente possam ser levados a tomar deci- l estimular o esforço coletivo e a cooperação;
sões de interesse do clube, prestando atenção insufi- l criar uma organização dirigida à informação
ciente aos interesses e prioridades mais amplos. e ao propósito;
61
l produzir uma "organização de aprendi- lhor divulgar aproximações do que não publi-
zagem"; e car nada.
l estimular um intenso controle crítico dos 5) Responsabilidade: os que trabalham na área
dados, resultados e informes, além de uma de educação precisam ser responsáveis pe-
vontade bem definida de fornecer dados de los resultados do setor, da forma medida pe-
caráter nacional, de qualidade sempre me- los indicadores. Por sua vez, precisam ter uma
lhorada. voz na avaliação de se os recursos recebidos
correspondem às exigências propostas pelos
que estabelecem as políticas.
São esses os princípios essenciais que orien-
taram o trabalho da OCDE, e graças aos quais che-
C onclusão gou-se ao sucesso, em especial na frente política, como
demonstrado pela grande atenção dedicada pelos meios
de comunicação ao conjunto de indicadores em edu-
cação da OCDE. Hoje, as conclusões da OCDE são
Em resumo, há cinco princípios cruciais que discutidas pelos congressos. O trabalho da OCDE
orientaram a OCDE na preparação da sua coleção de demonstra que a escolha dos indicadores corretos e
indicadores em educação: da população certa pode representar um enorme im-
1) Prioridade dada à determinação de políti- pacto sobre o sistema de educação, além de contri-
cas: o desenvolvimento de um sistema de in- buir para o aprimoramento da sua qualidade de uma
dicadores feito por estatísticos deve respon- extremidade a outra.
der às necessidades de política. Os profissio-
nais de estatística não estão em posição de
determinar o que o público precisa saber. Não
deve haver qualquer conflito entre a comunida-
de científica e os responsáveis pelas políticas
sobre a determinação e a divulgação dos indi-

cadores relevantes.
INES. Public expectations of the final stage of
2) Comparabilidade entre indicadores: a OCDE
compulsory education : technical report Network D.
dedicou todo o esforço na produção de infor-
Edinburgh : The Scottish Office of Education
mação que pudesse ser comparada, de modo
Department, 1995.
que os países pudessem compreender a situ-
ação do seu sistema de educação, com a pers-
NCES. Education indicators : an international
pectiva dos outros países-membros. A possi-
perspective. Washington, DC : US Office of
bilidade de comparação foi o fator de diferença
Educational Research and Improvement, 1996.
que levou a operação da OCDE ao êxito.
3) Comunicação: os indicadores são utiliza-
OECD. Education at a Glance : OECD indicators. Pa-
dos para a comunicação entre os formuladores
ris, 1992a.
de política e a opinião pública. A regra doura-
da da comunicação é a clareza. Por conse- _______. The OECD international education indicators: ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
guinte, os indicadores precisam ser, ao mes- a framework for analysis. Paris, 1992b.
mo tempo, claros e simples, sem serem su-
perficiais. Para isso, é preciso haver um nú- _______. Education at a glance : OECD indicators.
mero limitado de indicadores. O debate atual Paris, 1993.
na OCDE é a redução do núcleo principal de
indicadores dos 40 a 50 de hoje para 20. No _______. Making education count: developing and using
ano passado, foram produzidos dois conjun- international indicators. Paris, 1994.
tos de indicadores: um conjunto técnico, para
os estatísticos, e um conjunto reduzido, de 20 _______. Education at a glance : OECD indicators.
indicadores, para os responsáveis pelas políti- Paris, 1995.
cas e para os jornalistas.
4) Credibilidade estatística (confiabilidade): pre- _______. Education at a glance : OECD indicators.
cisão estatística, confiabilidade ou relevância Paris, 1996a.
não devem ser fatores suficientes que venham
dificultar a divulgação dos indicadores. É me- _______. Education at a glance : analysis. Paris, 1996b.
62
ANEXO S
REDES INES
1ª Fase (1988-1989)
R ede 1 R ede 2 R ede 3 R ede 4 R ede 5
Fluxos de a lunos R esultados de E co logia de Financiam e nto de A titudes
(A US ) aluno s (EU A ) escolas educação e exp ectativas
(FR ) (O S T) (N ET )
2ª Fase (1989-1991)
TG 1 M atrículas (Secr. O C DE ) TG 2 Fina nciam ento de E ducação (S ecr. O C D E)
R ede A R ede B R ede C R ede D
R esultados alcançados D estino no m ercado de E co logia de e scolas A titudes e E xpecta tivas
pelos alunos trab alho (FR ) (N L)
(E U A ) (S UE )
3ª Fase (1992-1996)
C oordenadores N acionais
TG R ede A R ede B R ede C R ede D
(S ecr. O C D E ) R esultados D estino no P rocessos A titudes e
A lcançados pelos M ercado de E scola res E xp ectativas
A lunos Trabalho (N ET ) (R U )
(E UA ) (S U E )
OS INDICADO RES EDUCACIONAIS DA OCDE
Estrutura conceitual
C ondições ditadas p elo h istórico R ecurso s e p rocessos R esultados educacionais
dem ográfico e econ ôm ico educacionais
– Condições Ditadas pelo Histórico Demográfico e – Resultados Educacionais

Econômico l Resultados alcançados pelo alunos
l Características demográficas e l Resultados em disciplinas especí-

socioeconômicas da população ficas
l Recursos financeiros disponíveis l Alfabetização adulta
l Apoio público l Desenvolvimento pessoal
l Grupos de alunos especiais l Resultados alcançados pelo sistema
l Alunos formados em cada nível de
– Recursos e Processos Educacionais educação
l Recursos financeiros l Resultados alcançados no mercado de
l Despesas com educação trabalho
l Fontes de recursos educacionais l Desemprego e educação
l Participação em educação l Educação e renda
l Recursos humanos (funcionários de educação) l Situação após a conclusão do
l Processos escolares processo educativo
l Conteúdo instrucional l Satisfação dos alunos com as escolas
l Características do processo decisório
l Funcionamento & organização da
escola Ciclo de Feedback Recursividade
63
O 4º CONJUNTO DE INDICADORES l P33: Tempo de ensino
EDUCACIONAIS DA OCDE (1966) l P35: Salários determinados por lei para
professores das escolas primárias
Capítulo 1: Contexto demográfico, social e econômico públicas e das primeiras séries das
da educação escolas secundárias públicas
l C1: Resultados educacionais alcançados pela l P22(A): Estabilidade do corpo docente no ní-
população adulta vel primário
l C2: Diferenças de gênero nos resultados al- l P22(B): Liderança escolar no nível primário
cançados pela população adulta l P22(C): Cooperação com a equipe de apoio
l C3: As dimensões relativas da população jovem
l P22(D): Monitoramento e avaliação no nível
l C11: Taxas de participação da força de traba-
primário
lho por nível de resultados educacionais
l P22(F): Orientação de resultados alcançados
alcançados
no nível primário
l P22(G): Envolvimento dos pais nas escolas no
Capítulo 2: Custos da educação e recursos humanos nível primário
e financeiros
l F1: Despesas educacionais em relação ao Capítulo 5: Resultados de graduação em instituições
Produto Interno Bruto educacionais
l F3: Despesas em serviços educacionais por l R11: Alunos formados nas últimas séries do
aluno nível secundário
l F3-R: Disparidades inter-regionais em despe- l R12: Alunos formados no terceiro grau
sas em serviços educacionais por alu- l R14: Qualificações terciárias por campo de
no estudo
l F5: Despesas educacionais por categoria de l R15: Fornecimento de um alto nível de habili-
recursos dades em campos relacionados com a
l F12: Recursos públicos por nível de governo ciência
l F13: Proporção de despesas públicas em edu-
cação Capítulo 6: Resultados alcançados pelos alunos e
l P31: Funcionários empregados na educação alfabetização adulta
l P32: Proporção de alunos em relação ao cor- l R6: Resultados alcançados pelo alunos em
po docente matemática e ciência
l R7: Diferenças entre alunos nos resultados
Capítulo 3: Acesso à educação, participação e alcançados em matemática e ciência
progressão l R9: Diferenças de resultados alcançados por
l P1: Participação em educação formal duas séries em matemática e ciência
l P2: Participação por parte de crianças l R10: Diferenças de gênero em matemática e
pequenas ciência
l R30: Alfabetização e a população adulta
l P3: Participação em educação ao final da
l R31: Alfabetização de adultos por nível de re-
educação obrigatória e posteriormente
sultados educacionais
l P6: Participação em educação do terceiro
l R32: Habilidades de alfabetização de pesso-
grau
as mais jovens em comparação com as
l P8: Educação continuada orientada ao ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
mais idosas
emprego e treinamento para a força de l R33: Alfabetização de adultos por gênero.
trabalho adulta
Capítulo 7: Resultados alcançados pela educação no
Capítulo 4: Ambiente escolar e processos na escola/ mercado de trabalho
sala de aula l R21(A): Desemprego e educação
l P11: Tempo total de instrução pretendido l R21(B): Desemprego entre jovens e a educação
para os alunos nas primeiras séries l R22: Educação e renda gerada por emprego
do nível secundário l R24: Taxas de desemprego das pessoas
que abandonam o sistema educacional
64
A VALIAÇÃO DE
ALUNOS E APRENDIZAGEM PARA
UMA SOCIEDADE EM MUDANÇA
Caroline Gipps*
tífica" quando o paradigma antigo deixa de ser capaz

R esumo de lidar com um problema pendente.
Hoje em dia, a avaliação é necessária para a
realização de toda uma variedade de objetivos: apoiar
o ensino e a aprendizagem, fornecer informações so-
Este trabalho examina as funções tradicionais bre os alunos, professores e escolas, atuar como dis-
da avaliação e as atuais demandas por avaliação, para positivo de certificação e seleção, como procedimento
acomodar os sistemas de educação às mudanças eco- de responsabilização, e para orientar o currículo e o
nômicas globais. O seu argumento é que no próximo próprio ensino. As novas formas, e o leque de objetivos
milênio, e com a revolução da informação, será impor- da avaliação significam que o modelo tradicional, que
tante promover habilidades de uma natureza superior e fundamenta a teoria da avaliação, já não é mais ade-
boas estratégias de aprendizagem para uma grande quado.
parte dos nossos alunos. O trabalho prossegue, con- A mudança é causada em parte por este dile-
siderando a natureza dos programas de avaliação de ma: existe um número cada vez maior de demandas
alta qualidade, de acordo com as relações críticas en- por um sistema de testes que funcione em nível nacio-
tre testes, ensino e aprendizagem principais. Apresen- nal (por toda uma série de motivos, aos que chegarei
tará ainda evidências do impacto do programa nacio- mais adiante) e que possa possibilitar meios de com-
nal de avaliação sobre o ensino na Inglaterra. paração, enquanto que ao mesmo tempo o nosso en-
tendimento da cognição e da aprendizagem nos indica
que necessitamos da avaliação para uma determina-
ção mais direta dos processos que desejamos desen-
volver, incluindo habilidades de ordem superior, o que
I ntrodução torna mais difícil chegar a esses meios de compara-
ção. Entretanto, a questão não é apenas o nosso de-
sejo de ir além dos testes tradicionais e da sua
tecnologia, mas o fato de que a mudança envolve um
Eu mesma já argumentei em outras ocasiões conjunto muito mais profundo de transformações, que
que está em curso uma mudança de paradigma na levam à mudança de paradigma: as nossas concep-
área da avaliação: a passagem de um modelo de tes- ções subjacentes da aprendizagem, da avaliação e do
tes e de exames difíceis (quando se aplicam provas as que conta como sendo realizações são hoje radical-
mais difíceis possíveis, dando ao candidato o mínimo mente diferentes daquelas que estão nas bases do
de orientação, sendo o número de fracassos a prova modelo tradicional de avaliação (Gipps, 1994).
A mensagem deste trabalho é que a avaliação
de qualidade) para um outro modelo de avaliação, em
é uma parte importante da educação, e que, sempre

que tentamos proporcionar a todos os candidatos uma que possível, deve ser de um tipo adequado, e usado
verdadeira oportunidade de demonstrar o que sabem, para a expansão da boa qualidade da aprendizagem.
o que entendem e o que podem fazer (oferecendo mais Tudo isso não quer dizer que os testes e exames pa-
orientação, compartilhando critérios com os alunos, e dronizados tradicionais não tenham mais lugar na polí-
propondo tarefas que estejam de acordo com a vida tica de avaliação, mas sim que precisamos projetar
real, ou com o que é feito em sala de aula). Ocorre programas de avaliação que tenham um impacto posi-
uma mudança de paradigma, ou uma "revolução cien- tivo sobre o ensino e sobre a aprendizagem.
*Caroline Gipps foi professora de Educação e decano de Pesquisa, do Instituto de Educação, da University of London, antes de iniciar sua carreira na área de
pesquisa. Sua pesquisa atual é na área de Estratégias de Ensino, Avaliação e Retroalimentação dos Professores de 2ª a 6ª séries. Publicou vários trabalhos
sobre políticas e práticas na avaliação, e foi presidente da British Educational Research Association (BERA), em 1993. Seu livro A Fair Test? Assessment,
Achievement and Equity (Um Teste Justo? Avaliação, Realização e Igualdade), escrito em conjunto com Patricia Murphy, recebeu o prêmio da SCSE de melhor
livro de Educação publicado em 1994. A terceira edição de Assessment: a Teacher's Guide to the Issues, escrito com Gordon Stobart, acaba de sair.
65
Inglaterra e no País de Gales, como resultado, é um
F unções da avaliação modelo de limites tradicionais de matérias, um modelo
de ensino de "transmissão" dentro de salas de aula
formais, de testes e exames que cada vez mais se
Tradicionalmente, exames extremamente con- tornam formais do tipo lápis e papel, um modelo de
ceituados foram utilizados para selecionar, separar e exames feitos em uma só vez.
classificar. Um exemplo são os exames de admissão Na verdade, o que nós precisamos, para pre-
ao Serviço Público, instituídos na Inglaterra em 1855, parar os jovens para o próximo milênio, é ensinar a
para identificar possíveis membros do funcionalismo todos eles não apenas as habilidades básicas, mas
público sem aceitar um processo paternalista. Aque- também as habilidades de ordem mais superior, de
les primeiros exames eram usados para identificar com- resolução de problemas, raciocínio crítico e avaliação;
petência, e para qualificar para admissão a determina- é necessário também ensiná-los a como tornar-se
das profissões ou universidades. Com eles, surgiram aprendizes eficazes, conscientes e no controle do seu
dois "efeitos colaterais": um, o desenvolvimento da próprio processo de aprendizagem, uma vez que a re-
noção de um currículo, ou de um programa, e o outro, volução da informação do conhecimento, juntamente
o fato de que o uso de provas teóricas e escritas para com as mudanças nas carreiras e nas formas de tra-
admissão a profissões ou instituições de grande status balho regular previstas para o próximo século exigem
dava à própria técnica de avaliação um status elevado que nós todos continuemos a aprender além da escola.
semelhante – que ainda mantém (Broadfoot, 1996).
Os meus colegas sociólogos, notadamente
Tricia Broadfoot, descrevem a avaliação como um dis-
positivo usado nas sociedades desenvolvidas, decor-
rente do fornecimento da educação de massa como
A valiação e aprendizagem
mecanismo de controle social; como base racional,
além de justificável, para a designação de "funções
sociais desigualmente desejáveis", uma vez que os Os teóricos da avaliação tradicionalmente não
indivíduos deviam demonstrar competência através de falaram sobre a aprendizagem. Entretanto, existe uma
um procedimento de certificação baseado na competi- relação crítica entre o que é testado, e como é testa-
ção. O uso de um procedimento justificável e a noção do, com o que é ensinado, e como os alunos apren-
da competição, na qual os indivíduos concorrem em dem. Para estimular o ensino e o desenvolvimento de
bases aparentemente iguais, permitem que aqueles que habilidades de ordem superior, processos de raciocí-
não têm sucesso aceitem o seu próprio fracasso. Os nio e resolução de problemas, precisamos empregar a
testes de QI eram um meio de controle social "sem avaliação que reflita esses processos diretamente.
igual, mostrando à maioria destinada ao fracasso que Os testes padronizados de desempenho tes-
este era o resultado da sua própria inadequação inata" tam as habilidades dos alunos em recordar e em apli-
(Broadfoot, 1979, p.44). car os fatos aprendidos rotineiramente: até mesmo itens
Os sistemas nacionais sempre precisarão destinados à avaliação de atividades de mais alto nível
acompanhar os níveis de desempenho, com fins de com freqüência não exigem mais do que a capacidade
planejamento e demonstração. Por outro lado, surgiu de lembrar da fórmula apropriada, e de fazer substitui-
recentemente uma nova função para a avaliação. A ções, para chegar à resposta certa. Os alunos que
avaliação vem sendo empregada por todo o mundo concebem o conhecimento como uma coletânea de ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
desenvolvido para "sintonizar" os sistemas de educa- fatos empregarão estratégias de aprendizagem super-
ção, em resposta às mudanças globais. A economia ficial, que visem à memorização bem-sucedida. A
gera a retórica: os desenvolvimentos tecnológicos exi- aprendizagem mais profunda, nos "bons" aprendizes,
gem trabalhadores melhor educados, com mais por outro lado, envolve o pensamento sobre o significa-
discernimento e mais flexíveis por todo o mercado de do daquilo que está sendo aprendido (Entwistle, 1992).
trabalho, para fortalecer a base tecnológica do país e (Embora me venha à mente que Bertrand Russel disse
para promover um espírito empreendedor e de iniciati- que "a maior parte das pessoas prefere morrer a pen-
va. A aparente falta de adequação do produto das es- sar, e a maioria delas faz exatamente isso"). Esta no-
colas às necessidades do mercado de trabalho no ção de aprendizagem profunda, ou com um objetivo,
Reino Unido da década de 80, como demonstrado pelo tem claras implicações com respeito ao currículo e à
número de formandos não qualificados das escolas e pedagogia, mas também para a avaliação.
pela quantidade de jovens desempregados, sugere que O ensino tradicional para provas e exames com
a educação se teria afastado do "mundo real" do traba- freqüência estimula a aprendizagem mecânica. E apren-
lho, e o resultado foi o esforço em tentar reagregar a der mecanicamente, que basicamente é uma atividade
educação à economia (Neave, 1988). Por outro lado, o passiva, leva à aprendizagem rasa, ou superficial: o
modelo de escolaridade que se está desenvolvendo na aprendiz domina fatos que ele/ela possa lembrar, na
66
situação de prova. Os alunos tornaram-se bastante efi- ou contextos outros, limitando assim o valor da sua
cientes nessa forma de memorização, mas os fatos aprendizagem.
aprendidos dessa maneira podem ser rapidamente A aprendizagem profunda, por outro lado, en-
perdidos/esquecidos. A informação que deve ser retida volve não apenas entender, mas também a intenção de
precisa ou ser entendida – "interagir com" e ser asso- entender o material, além de exigir uma abordagem
ciada a mapas conceituais no cérebro – ou ser usada ativa à aprendizagem. Por aprendizagem ativa, não
repetidamente após ser aprendida. A aprendizagem quero dizer que os alunos tenham que ser vistos como
superficial permitirá que os alunos manipulem fórmu- estando fisicamente ocupados, ou "descobrindo" coi-
las ou que trabalhem através de exercícios detalha- sas, mas que devem estar pensando ativamente sozi-
dos, ainda que não compreendam os princípios funda- nhos, interagindo com o material. Espera-se que o pro-
mentais. Isso quer dizer que os alunos terão dificulda- fessor ensine, mas a aprendizagem só pode ocorrer
des em usar esses fatos/conceitos em circunstâncias nos alunos.
Qu adro 1 – Ab ordagens d a ap ren dizagem

Ab ord age m d e apren dizagem profunda Ab ord age m d e apren dizagem rasa ou su perficial
Inte nção d e d esenvolver entendim en to pessoal. Inte nção d e ser capaz de reproduzir o conte údo,
na m edida do ne ce ssário.
Inte ra çã o a tiva com o conteúdo , princip alm ente A ceitação passiva de idéia s e da inform a ção.
rela cionand o idéias novas a con hecim ento e
experiência anteriores.
Lig ação entre as idéias, usando princípios de Fa lta de reconh ecim ento d e princípios ou pa drões
integração . de orien tação .
R elação de e vidência s a conclusões. E nfoque da aprend izagem às ne ce ssid ades de

avaliação.
F onte : After Entw istle , 19 92; M ordon, S alzo, 1984 ).
Evidentemente, a aprendizagem mecânica é l Os testes de múltipla escolha, ou de res-

importante para alguns objetivos: existem algumas postas curtas, são uma forma rápida e efi-
coisas que são provavelmente mais eficientes quando ciente de testar a lembrança de fatos sim-
aprendidas de forma automática, como identidades ples, como, por exemplo, identidades nu-
numéricas, ortografia, tabuadas. Essas são habilida- méricas, vocabulário de uma língua estran-
des que nos são mais úteis quando tiverem sido prati- geira, e habilidades básicas, como multi-
cadas o suficiente para tornarem-se automáticas. Além plicação e ortografia. A menos que os itens
disso, são freqüentemente requisitadas na vida quoti- sejam elaborados com cuidado, serão me-
diana, e não são facilmente esquecidas. De modo se- nos eficazes na avaliação do entendimento
melhante, não há tempo para os alunos abordarem toda de conceitos e princípios.
a aprendizagem de forma profunda. Daí a noção de l Respostas dissertativas, tarefas práticas e
"aprendizagem estratégica", que envolve uma combi- projetos, quer sejam parte de uma prova ou
nação conscienciosa de aprendizagem superficial e de um exame com hora marcada ou parte
profunda. do próprio trabalho do curso, ou ainda,parte
da avaliação de sala de aula de todos os
dias, são mais capazes de avaliar o enten-
dimento e de estimular um nível mais pro-
A valiação para apoiar a aprendizagem fundo de aprendizagem. O que é mais im-
portante, se o objetivo é a avaliação do en-
tendimento, são os métodos que envolvam
o aprendiz na aplicação do seu conheci-
Para estimular e apoiar uma combinação de mento e na ligação deste com contextos
abordagens à aprendizagem, precisamos empregar reais. A avaliação não pode ocorrer testan-
uma variedade de abordagens da avaliação: do a lembrança de peças isoladas e
67
descontextualizadas de informação, que
afastem o ensino e a própria aprendizagem
do entendimento, focalizando a
A valiação numa sociedade em mudança
memorização da informação necessária ao Então, o que sabemos sobre as boas práticas

sucesso da avaliação. na avaliação, que nos possa ajudar a projetar a avalia-
l Para um progresso eficaz na aprendiza- ção para o futuro?
gem, é preciso sintonizar as tarefas a um Existem alguns princípios gerais: em vez de
nível adequado de dificuldade. Para que o dirigir a atenção para a classificação e para a compa-
professor possa ter conhecimento da situ- ração em relação a alguma noção de desempenho
ação do aluno no seu nível de progresso, é "médio" – um conceito profundamente limitante – , pre-
importante a observação informal, o cisamos apoiar um tipo de abordagem em que sejam
questionamento e as tarefas de avaliação estabelecidos padrões de desempenho bem definidos,
em bases regulares; essa chamada "avali- para a avaliação de alunos; esses padrões e proces-
ação de professores" tem as principais casos de avaliação são transmitidos aos alunos (progres-
racterísticas da informalidade e da regulari- sivamente, à medida que forem ficando mais velhos).
dade, de forma que as avaliações são fei- A avaliação que gradua e classifica os alunos uns em
tas através do tempo e de contextos, para relação a outros deve ser deixada para o mais tarde
que possa ser construído um quadro mais possível no sistema educacional; não deve ser este o
completo do que o que é possível construir modelo utilizado nos primeiros estágios, principalmen-
mediante um teste ou um exame feito de te antes dos 11 anos de idade. Os alunos devem ser
uma só vez. estimulados a acompanhar e a refletir sobre o seu pró-
Habilidades de ordem superior, como é o caso prio trabalho/desempenho (com a ajuda positiva e cons-
da análise, da interpretação, da crítica, da síntese, da trutiva dos professores). A retroalimentação dada aos
aplicação de conhecimento e habilidade e tarefas no- alunos, que é um fator crucial no processo de avalia-
vas, da construção de um argumento convincente, etc., ção, deve enfatizar o domínio e o progresso.
são atividades complexas, que de uma forma geral não A publicação de informação sobre testes no
podem ser avaliadas de modos simples, que exijam nível da escola e da sala de aula distorce o processo
puramente marcar as respostas certas, ou classifica- educacional e estimula a "burla" de vários tipos; nem
ções mecânicas. Parte do nosso desafio para o novo professores nem alunos conseguem evitar isso - ficam
milênio será ensinar essas habilidades de ordem su- presos em uma armadilha. E, com essa situação, quem
perior a um número muito maior de alunos do que o assume a responsabilidade, se os professores não
fizemos no passado. A avaliação do significado e do ensinarem coisas que não forem ser testadas? Nas
entendimento é portanto crucial no desenvolvimento de situações em que forem inevitáveis os testes externos
de grande importância, o emprego da avaliação basea-
tais habilidades.
da no desempenho, juntamente com a avaliação de
Assim sendo, para estimular e apoiar a apren-
professores, deverá suavizar os piores efeitos sobre o
dizagem estratégica, e para desenvolver aprendizes
ensino; por outro lado, até mesmo isso, se a sua im-
eficazes, é necessário dispormos de toda uma varie-
portância for grande demais, promoverá excessivamente
dade de abordagens de avaliação, adequadas a deter-
as atividades avaliadas e implicará o risco de
minados objetivos de aprendizagem:
estreitamento do currículo. Quando testes e exames
l testes, tanto formais quanto informais, para
muito importantes levam ao fracasso uma grande pro- ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
avaliar a lembrança de fatos, e a aquisição porção dos alunos, aparecem problemas de auto-esti-
de habilidades básicas. ma e motivação entre os alunos com pontuação baixa,
l tarefas e exames mais complexos e deta-
o que significa risco concomitante de evasão escolar.
lhados, que possam avaliar o entendimen- A avaliação, de acordo com padrões claros, em um
to e a aplicação. programa discreto, com retroalimentação construtiva e
l avaliação informal e contínua de professo- um enfoque sobre o próprio desempenho do indivíduo e
res, baseada na observação, questio- não sobre a comparação com outros, tem maior pro-
namento e em tarefas rotineiras de avalia- babilidade de manter o envolvimento dos alunos, reten-
ção de aprendizagem em sala de aula. do-os no sistema.
Em resumo, é preciso testarmos o significa- A avaliação de boa qualidade exige tempo e
do, e avaliarmos o entendimento; não devemos temer precisa assim usar tarefas de boa qualidade, de forma
avaliar habilidades complexas no contexto, ou em ce- a evitar que os alunos terminem por desperdiçar o seu
nários autênticos; as avaliações de boa qualidade mo- tempo: é indispensável que as tarefas estejam ancora-
delam as verdadeiras atividades de aprendizagem com das em matérias importantes e relevantes, e a natureza
que desejamos que os nossos alunos se vejam envol- e o modo dessas tarefas precisam estar baseados na-
vidos, e que sejam ensinadas pelos professores. quilo que conhecemos da avaliação envolvente e justa.
68
No caso da avaliação com objetivos de sele- mação de grupos maiores para determina-
ção e de certificação, é improvável que seja reduzida a dos objetivos, acompanhadas pelo empre-
sua grande importância, e por esse motivo são particu- go de assistentes de ensino, alunos traba-
larmente cruciais o estilo e o conteúdo das tarefas de lhando juntos e usando sistemas de recu-
avaliação: precisamos projetar uma avaliação de res- peração de informações em rede e através
ponsabilidade que gere informação de boa qualidade de computadores, tudo parece provável.
sobre o desempenho dos alunos, sem distorcer a boa O grande educador Jerome Bruner (1996, p.
prática de ensino. Além disso, precisamos lembrar aos 20), escrevendo sobre o futuro, argumenta que nós pre-
responsáveis pelo estabelecimento das políticas a sua cisamos passar de uma concepção empobrecida do
responsabilidade pela avaliação das conseqüências ensino, "... em que um professor único, presumi-
educacionais e sociais da utilização de testes em to- velmente onisciente, explicitamente diz ou mostra a
dos os níveis. aprendizes presumivelmente ignorantes alguma coisa
Existem alguns aspectos já conhecidos so- sobre a qual eles supostamente nada sabem". Em vez
bre a avaliação que deverão ajudar-nos a orientar a pró- disso, Bruner fala do desenvolvimento de uma sala de
pria avaliação em um futuro previsível. Mas, o que dizer
aula como uma comunidade "de aprendizes mútuos,
da avaliação para o futuro que não podemos prever?
com o professor orquestrando as atividades. Observa-
Não será possível descrever a avaliação para
se que, ao contrário do que preconiza a crítica tradici-
o milênio, senão quando conseguirmos descrever a
onal, essas subcomunidades não reduzem o papel do
própria educação para esse mesmo período. Estamos
apenas começando a ter uma visão da educação, no
professor, ou a sua 'autoridade'. Na verdade, o profes-
mundo pós-moderno. Todos concordam que a sor assume a função adicional de estimular outros a
globalização econômica, a visão da cultura como compartilhá-la. Da mesma forma que o narrador onis-
commodity, e a compressão do tempo e do espaço, ciente desapareceu da ficção moderna, o professor
que acompanham a revolução da informação, deverá onisciente deverá desaparecer também da sala de aula
implicar transformações radicais na educação (Kenway, do futuro " (p. 21-22, grifos da autora).
1992; Green, 1994), mas há menos unanimidade so- Como será então que deveremos conceber a
bre o que tudo isso poderia significar, por exemplo, em avaliação, na sala de aula do futuro? Não esperamos,
termos de currículos. É imperioso considerarmos a com as crianças sentadas em frente a fileiras de com-
natureza da educação para o milênio, em relação à putadores, preenchendo séries intermináveis de folhas
revolução do conhecimento e da informação: o conhe- de trabalhos. A má prática pedagógica não irá transfor-
cimento é um dos fatores mais importantes de mar-se em boa prática pedagógica simplesmente se
competitividade, no futuro de qualquer sociedade. Vi- for traduzida de lápis e papel para disco e tela. Nem
vemos em um mundo de informações instantâneas, e pela adoção de testes de múltipla escolha, corrigidos
de 24 horas de continuidade (Dalin, Rust, 1996, p. 33), por uma máquina. O processo é rápido e eficiente, mas
ou ainda, podemos considerar que a informação esta- significa que, com certeza, os alunos não precisam ter
rá a apenas seis segundos de distância. a capacidade para escrever nada. Não posso evitar de
Isso quer dizer que: pensar que, no próximo milênio, vamos ainda desejar
l os alunos ver-se-ão bombardeados com in- que os nossos jovens saibam ler e escrever, ainda que
formação, e os professores precisarão seja através de um teclado.
ajudá-los a organizar, conceitualizar e se- Várias questões continuam a aparecer, nas
lecionar, em meio a essa impressionante discussões sobre o futuro: a ênfase do local, em vez
oferta; do global (Kenway, 1992; Harrison, Bailey, Dewar,

l aprender a aprender tornar-se-á uma meta
1996), do subjetivo, em vez do objetivo (Lincoln, 1992),
fundamental do currículo; a aceitação como válidas de toda uma variedade de
l a noção do livro-texto terá que ser reconsi-
metodologias (Lather, 1992; Griffiths, 1992), e a função
derada (...dando "aos alunos conhecimen-
desempenhada pela tecnologia.
to e visões gerais básicas, e auxiliando-os
Como relacionar essas questões à avaliação?
na exploração das muitas facetas de um
1. o local, em vez do global: é preciso subli-
campo" ) (Dalin, Rust, 1996, p. 146);
nhar o papel do professor, de forma que a
l a sala de aula do futuro deverá extrapolar
as suas quatro paredes, à medida que os avaliação possa ser fundamentada em um
alunos saírem, para ter acesso à informa- contexto "local", apoiando o profissio-
ção e à experiência, enquanto que a infor- nalismo do professor, e a flexibilidade da
mação do mundo exterior será trazida para abordagem (mantendo ao mesmo tempo o
a sala de aula; rigor, subordinando-a a padrões nacionais
l a mudança de papel do professor será ine- e sujeitando-a a moderação externa).
vitável, devido a outras mudanças. Diferen- 2. o subjetivo em vez do objetivo: na minha
tes estruturas organizacionais, com a for- visão, isso quer dizer colocar o aprendiz no
69
centro da avaliação, e espero que tudo o
que eu disse tenha enfatizado exatamente
isso. Entretanto, envolve também uma
O programa nacional de avaliação
redefinição das relações de poder na avali-

ação, e o envolvimento do aprendiz mais A Lei de Educação de 1988 determinou um
como um parceiro. Não quer dizer que os currículo nacional e introduziu a avaliação nacional. O
professores abram mão do controle – quer programa de avaliação nacional é um acompanhamen-
dizer que os aprendizes assumam a res- to crucial em relação ao currículo nacional, uma vez
ponsabilidade pelo seu desempenho, e que era através do programa de avaliação que deviam
acompanhem a própria aprendizagem. É o ser levantados os padrões. O primeiro estágio de de-
que denominamos auto-aprendizagem e senvolvimento do currículo nacional e do programa de
metacognição. Temos consciência de que avaliação foi a criação do Task Group on Assessment
ambos esses aspectos são vitais para a and Testing (TGAT). O relatório produzido por esse grupo
aprendizagem eficaz e de que ninguém é (Grã-Bretanha, 1988b) propôs as bases para a estrutu-
jovem demais para começar. ra do currículo que deveria ser apoiado por todos os
3. aceitação como válidas de toda uma varie- indivíduos. Os indivíduos são divididos em um número
dade de metodologias: já argumentei que a de metas de realização, que são articuladas em uma
boa prática exige que utilizemos toda uma série de oito níveis. A série de níveis tem o objetivo de
série de estratégias de avaliação, de modo permitir uma progressão: a maior parte dos alunos de
que todos os aprendizes tenham uma opor- mais de 7 anos de idade estará no nível dois do siste-
tunidade de apresentar um bom desempe- ma, enquanto que a maior parte dos alunos de mais de
nho, além de uma variedade de estratégias 11 anos estará no nível quatro, e assim por diante. As
pedagógicas (que incluem um leque de metas de realização foram articuladas em cada um
materiais e de conteúdo, estilos de ensino dos níveis, através de uma série de critérios, ou enun-
e disposições de sala de aula) para distin- ciados de realização, que formavam a estrutura básica
tos grupos de alunos e para matérias dife- de um sistema de avaliação baseado em critérios. (Os
rentes (Murphy, Gipps, 1996). A diversida- muitos enunciados de realização foram hoje em dia
de entre os alunos, tanto como indivíduos modificados, para descrições em menor número e em
como aprendizes, fundamenta a proposta um nível mais amplo). A Secretaria de Estado aceitou
de estratégias pedagógicas e de uma vari- em 1988 as recomendações do TGAT, no sentido de
edade de avaliações. Tudo o que conhece- que os alunos deveriam ser avaliados por seus profes-
mos sobre as diferenças entre os aprendi- sores (Avaliação de Professores ou AP), com objeti-
zes, de qualquer maneira desafia os siste- vos formativos e diagnósticos, dos 5 aos 16 anos de
mas tradicionais de educação, que supõem idade, sendo utilizadas tarefas padronizadas de avalia-
podem aprender da mesma maneira, e que ção (TPAs) nacionalmente, para moderação das avali-
realmente o fazem (Gardner, 1991). ações dos professores aos 7, 11 e 14 anos de idade,
quando seriam então formalmente informadas, com
propósito somativo. As TPAs de 7 e 11 anos seriam
avaliações de desempenho, relacionadas a temas es-
onclusões sobre a avaliação nacional
C na Inglaterra
tendidos, e assemelhar-se-iam à boa prática de sala
de aula, ainda que pudessem incorporar testes formais ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
em áreas específicas.
Entretanto, uma grande quantidade de mudan-
Agora, gostaria de ilustrar o impacto de dife- ças de ministros, políticas e de pessoal nos órgãos
rentes tipos de programas de avaliação sobre o ensi- dedicados a currículos e a avaliações significou que o
no. Na Inglaterra e no País de Gales, é feita a avalia- modelo de avaliação nacional implementado hoje em
ção de todas as crianças entre 7 e 11 anos de idade, dia seja diferente em uma variedade de aspectos do
nas escolas primárias. Os alunos são avaliados atra- que foi recomendado pelo TGAT (Black, 1993; Gipps
vés de testes padronizados e das avaliações dos pró- et al., 1992; Daugherty, 1995). As tarefas padroniza-
prios professores, nas áreas de Leitura e Escrita, Ma- das de avaliação transformaram-se em testes nacio-
temática e Ciências. Esse programa de avaliação existe nais formais, restritos aos alunos de 11 anos de idade,
desde 1991, e tivemos a felicidade de ter podido reali- e nas áreas de Matemática, Língua Inglesa e Ciênci-
zar uma avaliação dele durante seis anos, focalizando as. A avaliação no Estágio Principal 1 é hoje limitada à
em primeiro lugar o programa de avaliação para crian- Língua Inglesa e à Matemática, embora Ciências tives-
ças de sete anos de idade (na 2ª série, final do Estágio se sido incluída até 1993. A intenção dos testes é o
Principal 1), e para crianças de 11 anos de idade (na 6ª fornecimento de informações confiáveis de avaliação
série, final do Estágio Principal 2). para cada um dos alunos, tendo assim ficado mais
70
abrangentes, em lugar de examinar estreitas camadas professores; além disso, os professores tinham que
do currículo, para moderar a avaliação dos professores fazer a sua própria avaliação (APs), por todo o currícu-
no nível da sala de aula. A partir de 1996, os testes lo principal, antes da aplicação das TPAs. Foram ob-
dos 11 anos serão utilizados como base das "tabelas servados níveis cada vez maiores de discussões e
de ligas" das escolas primárias, ainda que não exis- companheirismo nas nossas escolas, nas primeiras
tam tabelas do gênero para pontuações de crianças etapas da implementação: de professores de outros
de 7 anos de idade. Muito pouca ênfase ou recursos grupos etários, apoiando professores de segunda sé-
foram investidos na avaliação de professores (AP), que rie que, aparentemente, pareciam estar tendo que en-
permanecem, assim, sem maiores esclarecimentos frentar uma tarefa gigantesca, e entre professores de
com relação aos métodos. A avaliação dos professo- segunda série durante todo o estudo, para a negocia-
res é entregue aos pais juntamente com os resultados ção de significados para os enunciados de realização
de testes nacionais, porém os professores podem pro- e para a padronização dos julgamentos. O envolvimento
por a elaboração de suas avaliações, até depois do dos diretores, em apoio ao corpo docente, significou
recebimento do resultado desses testes, e não há re- que havia um sentimento de "estar no mesmo barco",
quisitos para a moderação dos padrões. o que também ajudou a desenvolver formas de trabalho
em companhia uns dos outros. O esforço de ajuda
mútua com as TPAs, a moderação delas e das avalia-
ções dos professores fizeram com que os professores
O projeto de pesquisa saíssem das salas de aula, levando-os ao contato de
trabalho uns com os outros.
Um tema que primeiro nos chamou a atenção
O projeto "National Assessement in Primary em 1991 (Gipps et al., 1992) foi o maior
Schools: An Evaluation" (NAPS) foi financiado em duas profissionalismo entre professores de segunda série;
fases na Universidade de Londres (Instituto de Educa- foi uma observação feita em um terço das nossas es-
ção e King's College), pelo Conselho de Pesquisa Eco- colas, envolvendo professores de segunda série res-
nômica e Social (números de referência dos recursos ponsáveis pelo treinamento em avaliação e pelo de-
R000232192 e R000234438). A primeira fase (1990- senvolvimento de políticas. Em 1994, cinco dos onze
93) referia-se à introdução da avaliação nacional no diretores de escolas primárias que haviam sobrado do
Estágio Principal 1 (7 anos) (Gipps et al., 1995); a estudo original (tendo continuado pelo segundo está-
segunda fase prosseguiu para o Estágio Principal 2 gio da nossa pesquisa, focalizando o Estágio Principal
(11 anos), mas com uma atividade reduzida de acom- 2) ressaltaram a contribuição dos professores de se-
panhamento continuado do Estágio Principal 1 gunda série para a avaliação no Estágio 2.
(Brown et al., 1996). Somente no segundo ano da avaliação nacio-
O projeto era dirigido a escolas em quatro Ór- nal, o governo conseguiu demonstrar a elevação dos
gãos Locais de Educação da Inglaterra (Local Education padrões: o então secretário de Estado de Educação,
Authorities – LEAs), que, por sua vez, foram selecio- John Patten, concedeu uma entrevista coletiva de im-
nados como sendo tão representativos nacionalmente prensa no final do ano de 1992, divulgando a subida
quanto possível. Foram selecionadas oito escolas ale- dos padrões, uma vez que a percentagem da popula-
atoriamente, através de amostragem estratificada em ção de alunos de 7 anos de idade que havia alcançado
cada LEA, dando um total de 32 escolas. Entre os níveis mais altos havia subido em leitura, ortografia e
métodos de obtenção de dados, incluíam-se observa- matemática (Resultados das "Crianças de 7 Anos"
ção em sala de aula, entrevistas e questionários. demonstram elevação de padrões, comunicado à im-
Outros pesquisadores realizaram estudos do prensa, DfEE, 21 de dezembro de 1992). Patten consi-
tipo pesquisa, com tamanhos maiores de amostras; o derou isso como sendo a evidência de que o currículo
objetivo do nosso estudo foi examinar com maior pro- nacional estava "funcionando". Com base no nosso
fundidade a prática dos professores e suas opiniões. estudo, concluiríamos que essa elevação nos padrões
seria devida ao fato de que os professores estariam
ensinando com mais ênfase o que era pedido nas TPAs:
C onclusões pontuação, ortografia, caligrafia e aritmética mental. Foi

dada mais atenção à parte "básica", e isso ficou reve-
lado nos melhores níveis de desempenho das crian-
ças. A experiência com a aplicação dos TPAs auxiliou
Estágio Principal 1 (avaliação de alunos de 7 anos) também os professores a compreenderem os critérios
de avaliação, ou os enunciados de realização, de for-
A avaliação do Estágio Principal 1 começou ma que pudessem ensinar de uma maneira mais dirigida
em 1991. Nesse estágio, as TPAs eram tarefas base- nos anos posteriores. Evidentemente, considerando-
adas em desempenho, conduzidas e pontuadas pelos se as mudanças no currículo e nas tarefas de avalia-
71
ção em cada um dos três anos, juntamente com a para a Avaliação de Professores, falta de confiabilidade
falta de confiabilidade dos resultados (Shorrocks et al., nos resultados, etc.); o propósito é ressaltar o aspecto
1992), essas modificações nos padrões de desempe- de que, caso queiramos elevar os reais padrões de
nho devem ser tratadas com cautela. ensino e a avaliação formativa (que, por sua vez, apóia
O que os nossos professores da Avaliação tanto o ensino quanto a aprendizagem), precisamos
Nacional nas Escolas Primárias estavam fazendo, de de mais do que testes externos tradicionais que nos
uma forma geral, não era dirigir diretamente o ensino sejam impostos.
aos itens específicos do teste (embora as crianças
exercitassem aritmética mental "rápida", para conse- Estágio Principal 2 (avaliação de crianças de 11 anos
guirem resolver as adições durante a prova em cinco de idade)
segundos), mas ensinar áreas do currículo, de forma
que as suas crianças fizessem avaliações nesses tó- Os testes do Estágio Principal 2 estão em uma
picos. A diferença entre a situação que estamos ob- etapa mais anterior de introdução: começaram seria-
servando ultimamente e a da maior parte dos outros mente em 1995. Na sua maioria, as avaliações são
países, em que se observa o ensino dirigido aos tes- testes padronizados e não tarefas de avaliação. Estão
tes, é que na Inglaterra e no País de Gales nós temos planejadas as tabelas de ligas para este ano, e portan-
um currículo imposto, bem como testes também im- to, pode-se prever um impacto bastante rotineiro dos
postos. Assim sendo, há alguma coisa a mais, além professores ensinando com os testes em vista.
dos itens do teste, para receber a atenção dos profes- Esse impacto pode ser diretamente observa-
sores. Além disso, as tarefas de avaliação foram modi- do das maneiras a seguir. Em 1995, as escolas que
ficadas todos os anos, e verificou-se uma evolução do haviam estado envolvidas desde 1993 na elaboração
programa de enunciados de realização incluídos nos de testes piloto do Estágio Principal 2 relataram que,
testes, de modo que não seja fácil para os professores como resultado, tinham modificado as suas formas de
estreitarem demais as suas atividades, ao prepararem organização:
os alunos para o teste. l quatorze haviam mudado do tipo de ensino
O que foi muito claramente revelado pelo nos- de habilidades combinadas, para algum
so estudo é a mudança na prática de avaliação entre tipo de cenário;
os professores de crianças (respeitadas as variações l oito haviam abandonado o trabalho com tó-
individuais), passando de uma abordagem intuitiva para picos, através de todo o currículo, passan-
outra, baseada em evidências e em registros escritos. do a uma forma de ensino mais baseada
Além disso, fica claro que a grande parte dos nossos em assuntos;
professores ficou mais informada sobre o processo de l quatro haviam passado a oferecer um en-
avaliação, em vez de serem meros técnicos, operando sino mais dirigido a toda a classe;
de acordo com um sistema imposto. Por outro lado, o l quatorze diretores de escolas haviam in-
que foi mais significativo, em nossa opinião, foram as troduzido testes regulares e formais por
mudanças na prática de sala de aula. todo o Estágio Principal;
Foram relatados por mais da metade dos nos- l os testes haviam também significado um
sos professores-chefes um cuidado maior no planeja- impacto no ensino; por exemplo, um
mento, a observação mais cuidadosa das crianças, além enfoque maior sobre a leitura e a escrita, e
de um entendimento mais detalhado do progresso in- a apresentação da Matemática de forma
dividual como tendo influência no ensino. As TPAs atu- que as crianças tivessem maior probabili- ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
aram como dispositivo de treinamento, e a moderação dade de bom desempenho nas provas;
em grupo ajudou a derrubar as barreiras. Tudo isso l além disso tudo, todos os professores ti-
surgiu, entretanto, não pelo fato de ter que ser aplica- nham feito alguma coisa para preparar os
do um teste externo padronizado (como aconteceu com seus alunos para os testes, como, por
os professores de 6ª série e com os testes do Estágio exemplo, revisões de ciências, aplicação
Principal 2, em 1994), mas por causa das exigências de provas passadas em Matemática, testes
da Avaliação do Professor e das atividades do tipo de- com horas marcadas em língua inglesa.
sempenho dos TPAs. Foram essas exigências que, Entretanto, foi também constatado que os pro-
juntamente com as especificações do currículo (ainda fessores, em muitos casos, haviam modificado o seu
que detalhadas demais), tinham levado, segundo a estilo de ensinar. Entrevistamos detalhadamente 29
opinião dos diretores, a um aprimoramento no planeja- professores do Estágio Principal 2, discutindo a sua
mento, ensino e avaliação das turmas de 2ª série. A abordagem ao ensino em 1995. Quinze dos vinte e nove
intenção aqui não é menosprezar os problemas do pro- relataram modos de ensino diferentes, de acordo com
grama de avaliação, uma vez que houve muitos (sobre- as várias e distintas circunstâncias. Descreveram quan-
carga, critérios de avaliação demais, ainda que inade- do se haviam tornado basicamente "transmissores" de
quados, baixos níveis de treinamento, principalmente conhecimento, quando estimulavam as crianças a des-
72
cobrirem sozinhas, e quando sentiam que estavam sua organização e sobre a sua prática de ensino, para
"construindo juntos a aprendizagem". Tudo seria ainda poderem alcançar altos resultados.
modificado de acordo com: Através dos dois Estágios Principais, pode-
- o ensino de diferentes matérias; mos notar muito claramente um efeito de direção do
- o ensino de crianças diferentes; ensino às necessidades dos testes; uma vez que o
- o ensino de distintos grupos etários; currículo é amplo, e que são necessárias habilidades
- o uso de formas diferentes de organização de avaliação do "processo" para a Avaliação de Pro-
de alunos; fessores, este efeito não vem sendo, até agora, parti-
- o espírito da escola. cularmente negativo ou limitante. Embora muitos pro-
Nenhum dos professores endossou a pura fessores lamentem a perda de autonomia, o Currículo
abordagem de "transmissão" ao ensino; de modo se- Nacional e o programa de Avaliação serviram para apro-
melhante, poucos a rejeitaram diretamente. Limitaram ximar as práticas nas escolas, o que poderá ser dese-
esta abordagem a determinados propósitos. jável, em termos de um sistema nacional.
O fato de que a metade dos nossos entrevis- As diferenças no programa de avaliação entre
tados defendeu a abordagem mista ao ensino é inte- os dois estágios principais oferecem uma interessante
ressante, quando consideramos os comentários mais comparação, em relação ao impacto. No Estágio Prin-
gerais dos nossos professores, sobre o efeito do currí- cipal 1, a combinação da avaliação de professores
culo nacional em relação à prática de ensino adotada moderada e da avaliação de desempenho tem um efei-
por eles. Ainda que nenhum dos professores acredi- to amplo sobre a prática dos professores, incluindo uma
tasse que as crianças aprendessem unicamente a partir maior ênfase no ensino do "básico". No Estágio Princi-
da transmissão de fatos, um quarto deles afirmou sen- pal 2, a combinação de testes padronizados, tabelas
tir-se pressionado a optar mais por essa atitude, devi- de ligas e uma redução de importância da avaliação do
do à quantidade de trabalho a ser coberta pelo Currícu- professor levaram à preparação para os testes, à ativi-
lo Nacional, ou, em alguns casos, pelos próprios tes- dade de revisão e a uma modalidade mais "didática"
tes. Afirmaram também a impossibilidade de utilizar de ensino.
as idéias das próprias crianças, como pontos de parti- As conclusões com relação às opiniões dos
da para o trabalho, e lastimaram isso. Alguns de seus professores sobre a avaliação e às mudanças na práti-
comentários foram: ca na fase primária são importantes não apenas na
Inglaterra, mas também para outros países que este-
Considerando o modelo "o professor transmi- jam contemplando a introdução de um sistema nacio-
te informação às crianças, e é assim que acon- nal de testes. O recente boicote acontecido na Ingla-
tece o aprendizado" – acho que foi assim que terra demonstra os problemas da introdução de um sis-
praticamente me senti pressionado a agir, devi- tema sem o apoio dos professores em geral. Parece
do ao peso do currículo. que na Inglaterra, o modelo atual de testes externos
(...) abrangentes e de uma avaliação do professor separa-
"o professor transmitindo informação para as da é agora considerado como amplamente aceito pe-
crianças" – acho que este tornou-se muito mais los professores. Por outro lado, a maioria dos profes-
enfatizado com o Currículo Nacional, simples- sores preferiria em vez de dois resultados separados,
mente por causa do volume de conteúdo que algum tipo de combinação da avaliação do professor
temos que ensinar. com os resultados dos testes nacionais, para que seja
(...) dado um valor único mais válido para cada matéria.
O que eu acho, e o que o governo acha são Dentro das circunstâncias inglesas, parece que vale a
duas coisas completamente diferentes. Se eu pena avançar nessa direção, como sendo a que terá
penso em como estava ensinando há cinco mais impacto positivo no ensino e na aprendizagem,
anos atrás, e como estou ensinando agora. mantendo ao mesmo tempo a amplitude do currículo.
Sempre houve participação minha, mas prova-
velmente cada vez mais hoje, porque há tanta
coisa a ser coberta.
O efeito sobre as habilidades de avaliação dos

professores de Estágio Principal 2 foi menos marcante BLACK, P. The shifting scenery of the National
até agora, do que o foi para os professores de Estágio
Curriculum. In: CHITTY, C., SIMON, B. (Ed.).
Principal 1. Isso se deve, na nossa opinião, aos requi-
sitos limitados para a Avaliação de Professores e à Education answers back : critical responses to
natureza padronizada dos testes. Entretanto, por cau- government policy. London : Lawrence and Wishart,
sa da alta visibilidade, houve um efeito maior sobre a 1993. 181p.
73
BROADFOOT, P. Assessment, schools and society. GREEN, A. Postmodernism and state education.
London : Methuen, 1979. Journal of Education Policy, v. 9, n. 1, p. 67-83, 1994.
BROADFOOT, P. Education, assessment and society GRIFFITHS, M. Making a diference : feminism,

: a sociological analysis. Buckingham : Open postmodernism and the methodology of educational
University Press, 1996. research. Trabalho apresentado durante a Economic
and Social Research Council Conference, Liverpool,
BROWN, M. et al. The validity of national testing at 1992.
age 11 : the teacher's view. Apresentado ao periódi-
co Assessment in Education em 1996. HARRISON, C., BAILEY, M., DEWAR, A. Responsive
reading assessments : is postmodern assessment
BRUNER, J. The culture of education. Cambridge, MA of reading possible? Paradigms in Reading
: Harvard University Press, 1996. Assessment. Routledge, 1996. No prelo.
DALIN, P., RUST, V. D. Towards schooling for the KENWAY, J. Marketing education in the post-modern
twenty-first century. London : Cassell, 1996. age. Trabalho apresentado durante a American
Educational Research Association (AERA)
DAUGHERTY, R. National curriculum assessment : a Conference, San Francisco, 1992.
review of policy 1987-1994. London : Falmer, 1995.
202p. LATHER, P. Critical frames in education research:
feminist and poststructural perspectives. Theory into
ENTWISTLE, N. The impact of teaching in learning Practice, v. 31, n. 2, p. 2-13, 1992.
outcomes in higher education. Sheffield : Sheffield
CVCP Staff Development Unit, 1992. LINCOLN, Y. S. Emergent paradigms and policy
conundra : problems in exercise and use. Trabalho
GARDNER, H. The unschooled mind : how children
apresentado durante a Economic and Social
think and how schools should teach. London :
Research Council Conference, Liverpool, 1992.
Fontana Press, 1991.
MURPHY, P., GIPPS, C. Equity in the classroom :
GIPPS, C. Beyond testing : towards a theory of
towards efective pedagogy for girls and boys. London
educational assessment. London : Falmer, 1994.
: Falmer, 1996.
GIPPS, C., MURPHY, P. A fair test? assessment,
NEAVE, G. Education and social policy : demise of an
achievement and equity. Milton Keynes : Open
ethic or change in values? Oxford Review of
University Press, 1994.
Education, v. 14, n. 3, p. 273-283, 1988.
GIPPS, C. et al. Intuition or Evidence? teachers and
national assessment of seven year olds. Buckingham NUTTALL, D. The validity of assessments. European
: Open University Press, 1995. Journal of Psychology of Education, v. 11, n. 2, p.
108-118, 1987.
GIPPS, C. V. et al. National assessment at seven : ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
some emerging themes. In: GIPPS, C. V. (Ed.). SCHOOLS EXAMINATIONS AND ASSESSMENT
Developing assessment for the national curriculum. COUNCIL. National curriculum assessment at key
London : ULIE/Kogan Page, 1992. stage 3 : a review of the 1991 pilots, with implications
for 1992. EMU/SEAC, 1991.
GREAT-BRITAIN. Department of Education and
Science. The national curriculum 5-16 : a consultation SHORROCKS, D. et al. ENCA 1 Project Report. London
document. London : DES, 1988a. : SEAC, 1992.
________. National curriculum : task group on WOOD, R. The agenda for educational measurement.
assessment and testing: a report. London : DES, In: NUTTALL, D. L. (Ed.). Assessing educational
1988b. achievement. London : Falmer, 1986.
74
A BORDAGENS DE
VALOR AGREGADO PARA A
AUTO-AVALIAÇÃO ESCOLAR
NO REINO UNIDO
Sally Thomas*
I ntrodução
Nos últimos 25 anos, muitos trabalhos de do desempenho acadêmico. Por outro lado, o
pesquisa foram desenvolvidos sobre as influências da alcance deste estudo, é em sua maior parte,
escola. Os primeiros trabalhos de Coleman, Jencks e limitado ao aspecto do desempenho da escola,
outros (Coleman et al., 1966; Jencks et al., 1972) medido através de resultados de exames e de
concluíram que as características familiares e do testes. Mais recentemente, as tendências da
ambiente exercem impacto mais importante sobre o política governamental na Inglaterra vêm dirigindo
desempenho dos alunos do que as de cada escola. a atenção aos resultados brutos de exames
Por outro lado, pesquisas subseqüentes (Rutter et al., escolares, sem levar em consideração o contexto
1979; Mortimore et al., 1988; Goldstein et al., 1993; da escola ou do corpo discente. Entretanto,
muitos profissionais da educação, bem como
Sammons et al., 1997) demonstraram não só que as
vários pesquisadores acadêmicos vêm defendendo
escolas tipicamente recebem contribuições variáveis
enfaticamente o argumento de que, isoladamente,
dos alunos, mas também que os resultados da atividade
os dados relativos aos resultados brutos de
escolar não são completamente determinados pelas
exames escolares – como aqueles publicados
suas contribuições. Por exemplo, Thomas e Mortimore pelo Department for Education and Employment
em 1996 relataram que de 70% a 75% da variação (DfEE) – serão sempre uma medida extremamente
escolar do desempenho entre alunos de 16 anos de inadequada de desempenho, além de serem
idade na General Certification of Secondary Education potencialmente enganosos, se não acom-panhados de
(GCSE) podem ser explicados por medidas de conhecimento sobre o contexto da escola em questão
contribuição dos próprios alunos. Entretanto, o que é (McPherson, 1992; National Commission on
também importante, a variação remanescente entre Education, 1993). Por exemplo, o já falecido Desmond
as escolas, que permanece inexplicada – de 25% a Nuttall (1990) argumentava que
30% – incorpora os impactos de cada uma das escolas
(bem como de outros fatores externos) dos alunos. ...a justiça natural exige que as
A questão de formas apropriadas e válidas escolas sejam responsabilizadas tão
para a descrição do desempenho das escolas tem simplesmente por aqueles aspectos que
uma importância crucial. São poucos os que não possam ser influenciados por elas (para o
concordam com o fato de que há uma grande bem ou para o mal), e não por diferenças
variedade de metas importantes na freqüência preexistentes entre os seus corpos de
escolar, como a intensificação das atitudes positivas alunos. (p. 25)
dos alunos em relação à aprendizagem e ao
comportamento, o estímulo de valores comunitários Os resultados brutos são a resposta
e aspirações vocacionais, juntamente à promoção apropriada à indagação sobre "Como foi o
*Sally Mary Thomas, doutora em Psicologia, é conferencista e pesquisadora sênior do Instituto de Educação, da University of London. Participou da pesquisa
do ESRC: Optimal multilevel models of school effectiveness. É membro do International School Effectiveness and Improvement Center e do conselho editorial
do British Educational Research Journal.
75
desempenho da minha filha, ou do meu filho?",
mas não a quaisquer perguntas sobre o
desempenho da própria escola. Não podem ser
considerados como respostas sobre a eficácia da
aprendizagem ou do ensino em cada sala de aula
ou em cada escola. Não podem ser indicadores
sobre se a escola apresenta o tipo de desem-
penho que deveria.
O objetivo deste estudo é possibilitar uma
visão geral e alguns exemplos daquilo que é
comumente denominado medidas de valor
agregado da eficácia da escola no Reino Unido.
Na Tabela 1, de um total de 402 instituições
Em contraste com os resultados brutos dos
para maiores de 16 anos, seis foram classificadas en-
testes, as medidas de valor agregado determinam
tre os 25% superiores (Grupo A) das pontuações bru-
o ponto de partida para uma maneira de avaliar o
tas de nível A; entretanto, ao serem considerados fato-
desempenho escolar que leva em consideração
res contextuais e de desempenho anterior no GCSE,
os fatores referentes ao corpo discente, que ficam
suas pontuações de valor agregado caíram para os 25%
fora do controle da escola, mas que exercem
inferiores (Grupo C). De uma forma geral, praticamente
significativo impacto sobre o desempenho dos
uma em cada quatro instituições teve as suas classifi-
alunos. Além disso, trataremos de demonstrar
cações com base nos resultados brutos modificadas,
como as medidas mais detalhadas de valor
quando foram considerados os resultados com valor
agregado podem também ser empregadas para o
agregado.
exame das variações internas na eficácia de uma
Portanto, para que seja possível avaliar o de-
escola, nos níveis de sala de aula, das várias
sempenho de uma escola em particular, é preciso con-
matérias e dos departamentos.
siderar toda uma variedade de informações, além dos
resultados brutos dos testes ou dos exames. Uma das
fontes importantes são os dados sobre o valor acres-
dificuldade com as tabelas de
A desempenho
centado pela escola ao progresso de cada um dos alu-
nos.
A avaliação do "valor agregado" em termos de
educação com o qual uma escola contribui para o de-
Os responsáveis pelas políticas do sempenho do aluno tem vários objetivos:
governo e os pesquisadores acadêmicos (Nuttall l oferece uma forma mais justa e mais sig-
et al., 1989; Dearing, 1993) já enfatizaram os nificativa de apresentação dos resultados
riscos de utilizar as tabelas de desempenho dos exames escolares;
baseadas apenas em resultados brutos. Aquelas l é uma ferramenta que gera dados tanto de-
escolas que tiverem um grupo de alunos com alto talhados quanto resumidos, que podem ser
desempenho tenderão a apresentar bons analisados pela escola, como parte da sua
resultados apenas por esse motivo. Nem aquela auto-avaliação;
escola que apresente um alto desempenho inicial, l pode ser utilizada para examinar as ten-
nem a outra, inicialmente com baixo desempenho dências no desempenho de valor agregado ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
receberá qualquer apoio oriundo da publicação das ao longo do tempo, em relação às iniciati-
tabelas brutas de desempenho. No caso da vas para o aprimoramento escolar;
primeira, passará despercebida a necessidade de l gera medidas de desempenho que podem
aprimoramento; na última, poderá acontecer uma ser comparadas a outros tipos de informa-
desmoralização intensa do pessoal, sem que haja ções disponíveis nas escolas, como opini-
qualquer culpa sua. De uma maneira crucial, os ões de grupos-chave, obtidas através de
indicadores de eficácia de valor agregado revelam questionários entregues a professores, pais
se algumas escolas estão apresentando um e alunos; e
desempenho significativamente melhor ou pior do l pode oferecer orientação adicional para o
que outras, tendo levado em consideração aqueles acompanhamento e para o estabelecimento
fatores que dizem respeito ao corpo discente. de metas para alunos específicos ou para
Este aspecto foi firmemente ilustrado na grupos determinados de alunos (como
publicação pelo jornal The Guardian dos meninos ou meninas, ou determinados gru-
resultados tanto brutos quanto de valor agregado pos étnicos).
de exames de nível A, em 1992 e 1993 (Thomas Assim sendo, o conceito de "valor agregado"
et al., 1992), conforme Tabela 1. é tanto um indicador da eficácia de uma escola quanto
76
uma "ferramenta" a ser utilizada por diretores e pelo anterior de desempenho de um aluno, em comparação
seu pessoal, para a análise da intensidade da efetiva com alunos semelhantes de outras escolas. Conse-
elevação do desempenho dos alunos. Como argumen- qüentemente, é preciso dispor de informações bási-
taremos a seguir, entretanto, nada disso é uma vara de cas precisas sobre o desempenho anterior dos alu-
condão: existem verdadeiras limitações, que precisam nos, para que seja possível calcular o componente de
ser bem compreendidas. valor agregado (Mortimore et al., 1994; Thomas et al.,
1995). O Gráfico 1 mostra um exemplo simples de dados
agregados ao nível da escola, para ilustração do com-
ponente de valor agregado. Cada ponto representa uma
O que significa valor agregado escola. Uma pontuação positiva de valor agregado (por
exemplo, residual) indica que a escola poderá estar
apresentando um desempenho acima das expectati-
A expressão "valor agregado" é uma medida vas. Uma pontuação negativa de valor agregado revela
do progresso médio dos alunos ao longo de um deter- que a escola pode estar apresentando um desempe-
minado período de tempo (em geral, do ingresso na nho abaixo da expectativa. Entretanto, é preciso que
escola até os exames públicos, no caso das escolas haja informações sobre o intervalo de confiança de 95%,
secundárias, e ao longo de determinados anos, no caso para que seja possível avaliar se o desempenho de va-
das escolas primárias), e em comparação com outras lor de uma determinada escola pode ter ocorrido por
escolas dentro da mesma amostragem. Compara os acaso. Em outras palavras, é vital o intervalo de confi-
resultados depois de fazer os ajustes relativos aos ança, para a determinação de se o desempenho de
desempenhos variáveis do corpo discente, e reflete o uma escola – acima ou abaixo das expectativas – é
estímulo relativo exercido pela escola sobre o nível estatisticamente significativo (ver Gráfico 2).
Gráfico 1 – Exemplo de valor agregado

40
35
P on tua çã o To tal do G C S E
Va lor A g regad o P o sitivo

30
25
Va lor A g regad o N egativo
20
15
10
85 90 95 100 105 110 115
Teste de Leitu ra de Lo ndres

Além disso, é necessário que haja informa- interpretação dos dados comparativos. Essencialmen-
ções sobre a incerteza estatística das medidas de de- te, os intervalos de confiança refletem a falta de preci-
sempenho, quando estiverem sendo comparadas es- são inerente nos cálculos de quaisquer medidas nu-
colas diferentes. O exemplo do Gráfico 2 mostra que méricas, como é o caso do valor agregado, até mesmo
os das pontuações brutas. Além disso, ao estabele-
há uma superposição dos intervalos de confiança de
cermos comparações entre escolas, o tamanho apro-
95% da maior parte das escolas, o que impossibilita priado do intervalo de confiança muda de acordo com o
distinções mais sutis entre elas. A questão da incerte- número de escolas que estiverem sendo comparadas
za estatística gera uma restrição muito importante na (Goldstein, Healy, 1995).
77
Gráfico 2 – Intervalos de Confiança de 95%
15
10
Agregado
5
Agregado
Valor
Valor
78
0
GCSEdede
-5
Pontuação GCSE
Pontuação
-10
-15
Identidade da Escola
Identidade da Escola

l Das necessidades das LEAs
U ma estrutura nacional de valor agregado Os requisitos da Lei de Educação de 1980, e
do Decreto de 1991 (das escolas), seção 16, no senti-
do de as escolas publicarem os seus resultados "bru-
Um aspecto importante é que o governo acei- tos" dos exames públicos, vieram a colocar uma ênfa-
tou atualmente a importância das medidas de valor agre- se muitas vezes maior sobre a busca por medidas mais
gado, e a School Curriculum and Assessment Authority justas e mais precisas do desempenho escolar, o que
(SCAA) publicou as recomendações transitórias para levou à coleta cada vez mais disseminada e sistemáti-
uma estrutura nacional de valor agregado (SCAA, 1994; ca de dados sobre os alunos pelas autoridades locais
Fitz-Gibbon, 1995). Entretanto, a principal dificuldade de educação, incluindo informações sobre resultados
envolvida na introdução de uma estrutura nacional de de avaliações e exames dos alunos, juntamente com
valor agregado está na falta de avaliações padroniza- outras características, tanto referentes aos alunos quan-
das confiáveis para a medição do desempenho dos alu- to às escolas (Hill, 1994, 1997).
nos antes de sua admissão na escola. Não existem
avaliações nacionais dos alunos admitidos à escola l Das necessidades das escolas em particular
primária, e as avaliações nacionais de currículos para Além disso, as escolas individualmente pas-
os Estágios Principais de 1 a 3 poderão não estabele- saram também a encarar as questões relativas ao de-
cer um nível suficiente de diferenças entre os alunos, sempenho e à eficácia escolares como um aspecto do
ou poderão não ser suficientemente confiáveis para a seu próprio controle e avaliação internos, além das ins-
finalidade de medição do valor agregado. São neces- peções externas, como as realizadas pelo órgão local
sárias medidas confiáveis e sutilmente diferenciadas, de educação, em nível nacional, pelo Office for
para que seja possível descrever com precisão o ponto Standards in Education (OFSTED) e pelo DfEE (DfEE,
de partida dos alunos. Por outro lado, caso a intenção 1996). Vários projetos, como os que foram criados pela
seja implementar qualquer modificação nas avaliações University of Durham e pela National Foundation for
nacionais de currículos, precisarão ser mantidos os Educational Research vieram auxiliar as escolas, atra-
benefícios das avaliações de professores e de tarefas vés da proposta de medidas de valor agregado (Hill, 1997).
padronizadas em relação à qualidade do ensino e da
aprendizagem, havendo ao mesmo tempo a Pesquisadores acadêmicos, LEAs e escolas
complementação através de outras avaliações, que empregaram uma grande variedade de distintos proce-
possam ser empregadas para medir o valor agregado. dimentos para a medição dos efeitos das escolas, uti-
Os novos avanços de hoje incluem o requisito de as lizando fatores relativos aos antecedentes dos alunos
Local Education Authorities (LEAs) implementarem um (como condição socioeconômica) ou dados sobre o
sistema reconhecido de testes básicos para crianças seu desempenho anterior, ou ambos, bem como dife-
de 5 anos de idade (SCAA, 1996). Algumas LEAs, rentes níveis de sofisticação na análise (como, por
como as de Surrey e de Hampshire, já empregaram exemplo, o emprego de dados individuais no nível dos
avaliações básicas para medir a eficácia das escolas alunos, ou dados agregados mais brutos, no nível da
nos períodos pré-escolares (Sammons, Smees, 1997). escola) (Gray et al., 1990; Thomas et al., 1993a, b;
Thomas et al., 1994; Hill, 1994, 1997). Entretanto, a
pesquisa mais recente vem demonstrando que o de-
sempenho anterior dos alunos é o indicador e o fator
desenvolvimento de medidas de valor de previsão mais confiável e mais importante para o
O
agregado seu desempenho posterior, explicando até 59% da va-

riação total dos resultados acadêmicos dos alunos, e,
conseqüentemente, até 76% da variação do desempe-
O desenvolvimento de medidas de valor agre- nho entre escolas (Thomas, Smees, 1997).
gado como indicadores da eficácia escolar foi gerado a Um aspecto importante gira em torno de que
partir de uma variedade de fontes: metodologia de valor agregado deverá ser empregada
na inexistência de dados de desempenho anterior (quer
l Das necessidades da pesquisa acadêmica se considere o nível nacional ou local). Na ausência de
Muitos estudos sobre a eficácia escolar, em dados anteriores de desempenho, foram às vezes utili-
especial os realizados antes de meados da década de zadas informações socioeconômicas e outras carac-
80, foram dificultados pelo número limitado de técni- terísticas dos alunos (como, por exemplo, fluência no
cas estatísticas disponíveis (Scheerens, 1992), além idioma inglês, gênero, idade, nível de educação dos
de não terem acesso aos métodos de análise recente- pais, elegibilidade para refeições escolares gratuitas),
mente desenvolvidos, sofisticados e hoje amplamente como medidas aproximadas do desempenho anterior.
preferidos, a modelagem de vários níveis (Goldstein, Um exemplo dessa abordagem é descrito no
1987; Paterson, Goldstein, 1991; Goldstein, 1995). relatório do OFSTED (Sammons et al., 1994), que pro-
79
põe um procedimento intermediário para a avaliação são múltipla é a técnica estatística que permite que
do desempenho escolar, na ausência de dados de de- essa análise ocorra, enquanto que a modelagem de
sempenho disponíveis em nível nacional, na data de vários níveis é um desenvolvimento mais recente des-
admissão às escolas secundárias. Entretanto, é ne- sa técnica.
cessário ressaltar o fato de que a pesquisa tem de- Um dos principais desafios para os pesquisa-
monstrado que sempre que existem dados de desem- dores foi o desenvolvimento de modelos que permitam
penho do corpo discente disponíveis, a inclusão de in- que a análise estatística isole o efeito da experiência
formações de caráter socioeconômico no cálculo das na escola sobre os resultados de cada aluno (o de-
medidas de valor agregado acrescenta pouco para a sempenho alcançado pelo aluno), e o ponto até o qual
explicação das diferenças reveladas entre as escolas as características do corpo de alunos (aquelas coisas
(Thomas, Mortimore, 1996). Mesmo assim, continua com as quais os alunos chegam à escola – o nível de
sendo útil, como método para "ajuste" das medidas de desempenho que já tenham alcançado, seus antece-
valor agregado, e faz diferença para as estimativas ob- dentes socioeconômicos) afetam os seus resultados.
tidas para algumas poucas escolas específicas. Tudo A modelagem de vários níveis é hoje amplamente re-
isso assume importância especial no caso daquelas conhecida como a ferramenta mais precisa e mais fle-
escolas que atendam a um corpo de alunos que apre- xível para a avaliação da natureza hierárquica dos da-
sente uma tendência qualquer, em direção a determi- dos de desempenho dos alunos, principalmente quan-
nados grupos (por exemplo, meninos, ou alunos oriundo o objetivo for explicar a complexidade da eficácia da
dos de famílias de baixa renda). É necessário também escola (Goldstein, 1987, 1995).
sublinhar o fato de que a presença de dados de de-
sempenho estudantil de boa qualidade relativos a cada
aluno é crucial, uma vez que sem eles fica impossível
a análise válida de valor agregado. Dessa forma, dispor iferentes modelos para separar e
meramente de dados socioeconômicos ou de dados
agregados ao nível da escola é na maior parte das ve-
D medir os efeitos
zes inadequado.
Thomas e Mortimore (1996) compararam cin-

co modelos alternativos para a determinação da me-
écnicas estatísticas e metodologia para lhor abordagem de valor agregado. O melhor modelo
T a medição do valor agregado incluía o controle relativo a toda uma variedade de fato-
res relativos a cada um dos corpos discentes no cál-
culo das medidas de valor agregado:
→ desempenhos anteriores dos alunos em tes-
É importante empregar as técnicas estatísti- tes de habilidades cognitivas verbais, quan-
cas e a metodologia apropriadas para a medição do titativas e não verbais;
valor agregado como indicador da efetividade da esco- → gênero;
la. A seção a seguir descreve várias abordagens e as- → idade;
pectos relacionados a essa metodologia. Os aspectos → etnicidade;
levantados não são exclusivos, ainda que visem esti- → mobilidade;
mular mais pesquisas e o desenvolvimento de medi- → elegibilidade para refeições escolares gra-
das de valor agregado. tuitas. ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
Entretanto, como já foi observado anteriormen-

te, o nível de desempenho que um determinado aluno
possui quando é admitido a uma escola é o compo-
D ados detalhados ao nível do aluno e
modelagem de vários níveis
nente principal nas análises válidas de valor agregado.
O processo de calcular o efeito que uma es- ontinuidade dos efeitos da escola
cola possa exercer sobre o progresso de um determi- C primária
nado aluno é bastante difícil. Quanto mais informação
for possível obter sobre cada aluno, cada subgrupo de
alunos e sobre todos os alunos de uma escola, bem Outros trabalhos de pesquisa na área de valor
como de todas as escolas pertencentes a uma LEA, agregado focalizaram a questão da continuidade dos
mais confiável e mais informativa deverá provavelmente efeitos da escola primária no nível secundário
ser qualquer análise subseqüente. A análise de regres- (Sammons et al., 1995; Goldstein, Sammons, 1997).
80
Os primeiros resultados indicam um impacto duradou- i) estabilidade dos resultados ao longo de três
ro da efetividade da escola primária sobre o progresso anos (1990-1992);
dos alunos durante a escola secundária. Em outras ii) consistência entre várias matérias, e
palavras, os alunos de escolas primárias em que o iii) efeitos diferenciais para os vários grupos
ensino e a aprendizagem eram eficazes parecem conde alunos, como os que apresentavam altos e baixos
tinuar a apresentar um progresso melhor na escola desempenhos.
secundária do que aqueles oriundos de escolas primá- Foi empregada uma abordagem de valor agre-
rias menos eficazes. Conseqüentemente, os novos gado, controlando para determinados antecedentes dos
avanços na metodologia de cálculo das medidas de alunos medidas de desempenho anterior no momento
valor agregado poderão ter que considerar explicitamen- da transferência para a escola secundária: gênero, ida-
te as escolas anteriores freqüentadas pelos alunos. de, grupo étnico e baixa renda. Foram pesquisadas
sete medidas distintas de desempenho escolar: pon-
tuação total no GCSE e pontuações em Inglês, Litera-
tura Inglesa, Matemática, Ciências, Francês e Histó-
A lunos que trocam de escolas ria. A partir desse estudo, chegou-se às seguintes evi-
dências:
Estabilidade ao longo do tempo

Este último aspecto é também diretamente
relevante, quando se considera a ocorrência bastante A evidência no período dos três anos (1990-
freqüente de alunos que trocam de escola no decorrer 1992) demonstrou que os efeitos das escolas sobre a
de uma etapa educacional. Hill e Goldstein recente- pontuação total no GCSE foram mais estáveis (com
mente levantaram que esse aspecto envolve implica- as correlações de ano para ano variando de 0,82 a 0,85
ções importantes para a precisão das medidas de – a relação perfeita sendo expressa em termos de 1)
efetividade das escolas, que se relacionem com um do que no caso das matérias específicas. Aí, os resul-
período no tempo em que muitos alunos tenham saído tados referentes a Francês revelaram-se os menos es-
da escola, e muitos tenham sido admitidos (Hill, táveis, enquanto que os de História, os mais estáveis
Goldstein, a ser publicado). São necessários mais para o período dos três anos. Essas correlações são
estudos, para que seja possível determinar como essa ligeiramente mais baixas do que as do estudo seme-
questão pode ser encarada, em uma estrutura nacio- lhante, realizado por Gray e colaboradores, examinan-
nal de valor agregado. do a pontuação total do GCSE apenas (Gray et al.,
1995; 1996), ainda que isto possa ser explicado pela
influência especial da mobilidade de professores e de
stabilidade através do tempo e alunos nas escolas da cidade.
E variações internas na eficácia da escola Apesar das evidências de uma grande estabi-
lidade em algumas áreas, as correlações indicam que
existe ao mesmo tempo um grau substancial de mu-
dança ao longo do tempo no que tange aos resultados
As estatísticas gerais do desempenho dos alu- nas várias matérias, sublinhando a necessidade de
nos não podem gerar uma representação precisa da exame dos resultados de mais de um dos anos, bem
efetividade de uma escola em elevar e em manter o como das tendências expressas nos resultados du-
desempenho de todos os seus alunos, ou da capaci- rante um período mínimo de três anos. É importante
dade que tem de sustentar os seus padrões através do enfatizar que a melhoria "real" (ou piora) no desempe-
tempo. A disponibilidade e a análise de dados referen- nho seja resultado, talvez, de mudanças nas práticas
tes a cada aluno são essenciais para o exame dos ou políticas de educação somente poderá ser
vários aspectos da eficácia da escola. Algumas esco- identificada através do estudo das mudanças de longo
las, que podem parecer eficazes, em termos da medi- prazo nos resultados, ao longo do tempo (idem).
da geral de valor agregado, poderão não mostrar-se
tão eficazes em termos de cada um dos departamen- Consistência entre várias matérias
tos, ou para os distintos grupos de alunos, ou ainda
através dos diferentes períodos de tempo. As evidências referentes à consistência entre
Como exemplo, utilizaremos os resultados de os resultados dos vários departamentos e os resulta-
um estudo realizado com 94 escolas secundárias da dos gerais das escolas (levando em consideração os
cidade de Londres (Thomas et al., 1997a, 1997b). Este três anos de dados) varia de bastante acentuada, em
projeto focalizou três aspectos do desempenho no alguns casos, a bastante tênue, em outros. No caso
GCSE das escolas: de uma proporção importante das escolas (por exem-
81
plo, praticamente um terço em 1991), foram reveladas sensível dos dados, além de garantir que possam ser
diferenças significativas entre os departamentos, em reconhecidos os baixos desempenhos de grupos es-
termos de eficácia, que não teriam sido ressaltadas pecíficos de alunos.
caso tivessem sido usadas apenas as pontuações to- Foi desenvolvido um estudo semelhante com
tais do GCSE. Essas conclusões estão de acordo com escolas primárias (Sammons et al., 1993; Thomas,
pesquisa anterior, que examinou uma variedade mais 1995), e em instituições para alunos maiores de 16
limitada de resultados (Goldstein, 1993), e que sugere anos (Goldstein, Thomas, 1996; O'Donoghue et al.,
enfaticamente a necessidade de examinar em detalhe 1997), indicando que as variações internas em termos
o desempenho da escola – não apenas em termos de de eficácia precisam ser acompanhadas em todas as
desempenho total no GCSE, mas também no nível das etapas da educação obrigatória. De uma forma geral,
várias matérias – para identificar os departamentos de essa evidência sugere fortemente que as escolas pre-
maior eficácia. Tymms e colaboradores desenvolveram cisam monitorar e avaliar o seu desempenho utilizan-
um trabalho semelhante no nível primário, como parte do uma variedade de diferentes medidas de valor agre-
do projeto nacional de valor agregado da SCAA (Tymms, gado para os grupos específicos de alunos, para cada
Henderson, 1995). Entretanto, uma limitação ao exa- um dos departamentos, para diferentes turmas de alu-
minar cada uma das matérias individuais é o fato de nos e diferentes pontos no tempo (e, sempre que pos-
que, às vezes, o número de alunos que faz um deter- sível, também para distintos grupos de anos dentro da
minado exame é muito pequeno (particularmente no escola).
nível A), e assim a incerteza estatística da pontuação
de valor agregado pode ser relativamente grande. De
esultados de valor agregado como
qualquer maneira, o impacto dessa limitação deverá
naturalmente ir decrescendo, à medida que aumentar R instrumento para a auto-avaliação
das escolas
o número de registros com o passar do tempo, e à
medida que os tamanhos das amostragens forem fi-
cando maiores. Já enfatizamos a necessidade de as escolas
analisarem os dados de uma forma mais sensível e
mais detalhada, em uma variedade de níveis: dos alu-
Efeitos diferenciais para os vários grupos de alunos
nos, dos vários grupos de alunos, subgrupos, o nível
das matérias, toda a escola e todas as escolas de
O estudo focalizou também o aspecto impor-
uma LEA. O que é também importante, é que as esco-
tante se algumas escolas poderão ser mais eficazes
las precisam colaborar com outras escolas, nos níveis
para um determinado grupo de alunos. A análise do
local, regional e nacional, para que possam dispor de
valor agregado revelou que algumas escolas obtiveram
dados comparativos para as análises de valor agrega-
resultados de valor agregado que eram diferentes para
do. Vários projetos da LEA estão em desenvolvimento
os vários grupos de alunos. As conclusões foram es-
atualmente, e um relatório recente da UK's National
pecialmente marcantes para os alunos classificados
Foundation for Educational Research apresenta maio-
através de medidas de desempenho anterior e através res detalhes (Hill, 1994, 1997).
de grupos étnicos. Além disso, foram encontrados efei- Entretanto, a coleta e a análise de dados tan-
tos diferenciais significativos entre meninas em com- to quantitativos quanto qualitativos será essencial, se
paração com meninos, e para os alunos oriundos de as escolas quiserem transformar-se em instituições de
famílias de baixa renda, em comparação com os ou- "auto-avaliação".
tros. ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
Entretanto, os resultados sugeriram também ... os indicadores não dão o diagnóstico, nem
que todos os alunos das escolas e dos departamentos prescrevem a correção – pura e simplesmente
que eram eficazes para o aluno médio tinham probabi- sugerem a necessidade de ação (Nuttall,
lidade de apresentar um desempenho relativamente bom 1990).
no GCSE, ainda que determinados grupos (como os
dos alunos não elegíveis para receberem refeições es- Os dados de valor agregado auxiliam a auto-
colares gratuitas) tinham a probabilidade de apresen- avaliação da escola, levantando aspectos sobre as
tar desempenho especialmente bom. Em contraste, mudanças e/ou a consistência dos resultados ao lon-
todos os alunos das escolas e dos departamentos que go do tempo, sublinhando as diferenças entre os de-
apresentavam um nível mais baixo de eficiência para o partamentos de uma escola quando comparados a todo
aluno médio tinham a probabilidade de apresentar um o valor agregado da escola, e permitindo que as esco-
desempenho fraco, embora grupos específicos (como las se comparem a outras escolas (dentro dos limites
os alunos de origem asiática) apresentassem a proba- da incerteza estatística).
bilidade de um desempenho não tão fraco. Mais uma O Quadro 1 resume os diferentes aspectos e
vez, essas conclusões ressaltam a utilidade das téc- as diferentes abordagens a serem considerados na inter-
nicas de valor agregado para permitir uma análise mais pretação de resultados de valor agregado.
82
Quadro 1 – Abordagens na interpretação de resultados de valor agregado
para estimular a auto-avaliação de escolas e professores
Considerar a importância dos limites de confiança ao fazer comparações entre escolas - se houver superposição
dos intervalos de confiança de duas escolas específicas, não haverá diferença significativa entre o seu desem-
penho (ver, por exemplo, o Gráfico 1).
Manter em mente as limitações da metodologia no caso da sua escola. Até que ponto são relevantes para os
resultados da sua escola os aspectos de: erro de medição, inexistência de dados, precisão de dados e a
natureza retrospectiva dos dados?
Rastrear as mudanças nos resultados ao longo do tempo, para examinar os verdadeiros aprimoramentos e/ou
as flutuações aleatórias no desempenho.
Examinar a eficácia dos departamentos e/ou dos professores, em comparação com as medidas resumidas de
eficácia escolar (por exemplo, desempenho total no GCSE para o aluno médio) e as suas implicações para as
políticas relativas a toda a escola.
Examinar a eficácia diferencial para os diferentes grupos de alunos (por exemplo, meninos/meninas, alunos
com alto/baixo desempenho), bem como as implicações para a igualdade de oportunidades.
Empregar uma maior variedade de medidas de valor agregado, de forma a refletir mais plenamente as metas da
freqüência escolar (por exemplo, utilizando aspectos vocacionais e de atitudes dos alunos bem como resulta-
dos acadêmicos).
m exemplo de uma análise de valor anos (por exemplo, 1993-1996). Foram fornecidas, além
U agregado para auxiliar na
auto-avaliação da escola secundária
disso, pontuações adicionais para cada um dos resul-
tados relativos aos alunos de desempenho superior,
inferior ou médio, na data de admissão à escola. As-
sim, as escolas puderam utilizar essa informação para
Em 1992, foi iniciado um projeto pela LEA de dirigir a sua atenção a determinados alunos, grupos de
Lancashire que visava desenvolver tanto quanto fosse alunos ou departamentos. Além disso, os consultores
possível as medidas mais precisas, mais apropriadas da LEA de Lancashire forneceram informações adicio-
e mais justas para a efetividade da escola secundária. nais às escolas, oferecendo também apoio e desen-
Os resultados deveriam ser devolvidos às escolas, de volvimento no emprego dos resultados de valor agrega-
forma confidencial, para ajudar na auto-avaliação indi-
do para a auto-avaliação escolar (Scanlon, 1996).
vidual. O projeto ainda prossegue, e desde 1993 no-
As novas evoluções do projeto de valor agre-
venta e oito escolas secundárias de Lancashire têm
gado de Lancashire incluem a obtenção de informa-
estado envolvidas na coleta de dados detalhados so-
ções sobre comportamento para todos os alunos da
bre todos os alunos. O método de análise utiliza as
9a série (14 anos de idade) e da 11a (16 anos) durante
técnicas de modelagem de vários níveis, para o cálcu-
os semestres de primavera de 1996 e 1997. Utilizam
lo de toda uma variedade de diferentes medidas de va-
lor agregado (Thomas, Mortimore, 1996). instrumentos inicialmente planejados para o Improving
É usado o desempenho dos alunos na data de School Effectiveness Project (ISEP) (MacBeath,
admissão à escola para a análise do GCSE, incluindo Mortimore, 1994; Thomas et al., 1997). As conclusões
três medidas diferentes de desempenho anterior (pon- de 70 escolas participantes, resumidas na Tabela 3,
tuações NFERCAT nas áreas verbais, quantitativas e sugerem que em alguns casos, os comportamentos
não-verbais). É também incluída uma grande variedade dos alunos (representados por cinco escalas de com-
de fatores relativos aos antecedentes dos alunos – portamentos: cultura do aluno, auto-eficácia,
como gênero, grupos étnicos e mobilidade – que ficam engajamento com a escola, comportamento e apoio
fora do controle da escola, na análise de vários níveis do professor) variam entre as escolas de modo subs-
dos resultados dos alunos. As principais conclusões tancial. Essa informação é usada confidencialmente
do estudo incluem a revelação de que em 1993 um pelas escolas, para avaliação do seu próprio impacto
quarto das 79 escolas subiram ou caíram em 20 ou sobre a experiência do aluno na escola. Em outras
mais casas quando os seus resultados de valor agre- palavras, os comportamentos relatados dos alunos são
gado foram comparados com as pontuações brutas empregados como resultados importantes em si mes-
médias. Mais da metade oscilou em 10 ou mais ca- mos, além dos resultados dos exames do GCSE.
sas. Como se vê na Tabela 2, o projeto foi estendido a Tanto o ISEP quanto o projeto de Lancashire
cada ano, e em 1996, foram dadas 40 medidas de va- visam aumentar a variedade de resultados e de medi-
lor agregado diferentes a cada escola, incorporando das de valor agregado usados para avaliar a eficácia da
cinco resultados diferentes do GCSE (total, melhores escola, para refletir mais plenamente os objetivos es-
5, Inglês, Matemática e Ciências), relativos ao ano em colares. Além disso, os diretores de escolas de
curso (1996) ou aos resultados combinados de três
83
Lancashire preencheram um questionário referente às relacionar as tendências que ocorram com o passar
características e aos processos de sua escola, junta- do tempo a medidas de valor agregado, no contexto,
mente com as suas próprias opiniões sobre as esco- nas metas e nas estratégias individuais para aprimora-
las eficazes de uma maneira geral. A intenção é que mento de cada escola.
esse tipo de informação possa auxiliar as escolas em
Ta bela 2 – Projeto d e valor agregad o da LEA de Lan cash ire:

M edida s de resultados dos alunos e m pregadas ao lo ngo de cinco anos
(1993 1997)
P ontuações de valor P ontuações de valor P ontuações de valor P ontuações de valor

agreg ado agreg ado agreg ado agreg ado
do G C SE – 199 3 do G C S E - 199 4 do G C S E - 199 5 do G C S E – 1 997/1998
P ontuação to tal (por P ontuação to tal (por P ontuação to tal (por P ontuação to tal (por
faixas d e 1 a 3) faixas d e 1 a 3) faixas d e 1 a 3) faixas d e 1 a 3)
P ontuação to tal P ontuação to tal
de 3 anos (por de 3 anos (por
Inglês Inglês (por faixas d e 1 a 3) faixas d e 1 a 3)
faixas d e 1 a 3)
Inglês (por Inglês (por
M ate m á tica faixas d e 1 a 3) faixas d e 1 a 3)
M ate m á tica (por 3 anos de Ing lês (p or
faixas d e 1 a 3) faixas d e 1 a 3)
M ate m á tica (por M ate m á tica (por

C iê ncias (po r faixas d e 1 a 3) faixas d e 1 a 3)
faixas d e 1 a 3) 3 anos de M a tem ática
(por faixas de 1 a 3)
C iê ncias (po r C iê ncias (po r

faixas d e 1 a 3) faixas d e 1 a 3)
3 anos de C iências
(por faixas de 1 a 3)
M elho re s 5 (por
faixas d e 1 a 3)
M elho re s 5 durante
3 anos (por
faixas d e 1 a 3)
Escalas de
co m po rtam ento
do s alu nos
E ngajam ento
com a escola
A uto-eficá cia
C om portam en to
A poio de P rofesso res
Notas:
– GCSE (General Certificate of Secondary Education) - exame realizado aos 16 anos.
– Faixas de 1 a 3 = As pontuações de valor agregado são calculadas em separado,
para os alunos classificados em três grupos (os aproximadamente 25% superiores
- 1; os 50% médios - 2; os 25% inferiores - 3), em termos de desempenho anterior
(aos 11 anos de idade) nos Testes de Habilidades Cognitivas do NFER.
– 3 anos = pontuação de valor agregado, calculada utilizando-se três turmas do
GCSE, incluindo a turma atual do GCSE (por exemplo, 1996), e duas turmas
anteriores (por exemplo, 1994 e 1995).
84
Tabela 3 – Escalas do questionário referente ao com portam ento
dos alunos de Lancashire
Pontuação Desvio
Média* Padrão*
Escala 1: Engajam ento com a escola 2,85 0,08

Item 1: E u sem p re gosto da escola [0 ,17].
Item 3: S em pre me dou be m com os professores [0,27].
Item 5: O s professores são sem pre justos [0,33].
Item 6: O trabalh o escolar é sem pre interessante [0,19].
Item 31: O s professores sã o qu ase se mpre sim páticos co m os aluno s [0,20].
Escala 2: Cultura dos alunos 3,28 0,07

Item 2: S em pre me dou be m com os outros d a m esm a sé rie que eu [0,34].
Item 20: Nu nca m e sinto d eixado de fora [0,38].
Item 33: Ninguém abusa de m im [0,17].
Item 36: Acho fácil fazer am igos [0,28].
Escala 3: Auto-eficácia 2,93 0,08

Item 26: M eu tra balho de aula é m uito bom [0,51].
Item 28: Acho que sou m uito inteligente [0,17].
Item 29: Tod os os m eus p rofessores acham bom o m eu trab alho em sa la de aula [0,37 ].
Escala 4: Com portam ento 3,25 0,10

Item 3: S em pre me dou be m com os professores [0,07].
Item 37: Co mo você descreveria o se u com porta m en to em aula? Bom [0,40].
Item 38: C om o você acha que os professores descreveria m o seu
com portam ento? B om [0,5 6].
Escala 5: Apoio dos professores 2,87 0,12

Item 8: O s professores sem pre m e ajudam a ente nder o m eu de ver [0,1 9].
Item 11: O s professores sem pre m e dizem qu e e u tenho capacida de [0,25].
Item 14: O s professores se mpre m e dizem com o está o m eu desem penh o [0,31].
Item 16: O s professores se mpre m e elogiam quando eu trabalho bem [0 ,29 ].
Item 31: O s professores sã o qu ase se mpre sim páticos co m os aluno s [0,14].
Notas:
*Em todas as escolas.
- Os pesos do LISREL aparecem entre colchetes.

- LISREL (Linear Structural Equation Model for Latent Variables) (Joreskog,
K.G., Sorbom, D., 1989).
- Variação da Escala: 1 (=categoria da resposta mais negativa) a 4 (=cate-
goria da resposta mais positiva, que aparece na tabela).
desempenho, nem leva a distinções ou a comparações

assando da medição da eficácia da
P escola ao aprimoramento escolar
definitivas. Portanto, é importante que as informações
sobre a efetividade da escola, do departamento e da
sala de aula sejam constantemente comparadas à
política e à prática do momento. Por exemplo, algu-
A tarefa de ligar as medidas de efetividade da mas escolas secundárias de Lancashire utilizaram
escola ao aprimoramento escolar começa com a pre- pontuações com valor agregado separadas para as
missa de que a análise é o início, e não o fim do pro- matérias, para que os alunos com desempenhos me-
cesso. O monitoramento em si mesmo não melhora o lhores e piores refletissem e avaliassem os seus siste-
85
mas quanto ao GCSE. Além disso, as escolas da Ir- além de resultados acadêmicos. Mesmo assim, o prin-
landa do Norte envolvidas pela DENI – originalmente, cipal indicador de desempenho das escolas continua
Raising School Standards Initiative (RSSI) – têm a in- a ser o seu sucesso em garantir que o máximo núme-
tenção de empregar as medidas de valor agregado, bem ro possível de alunos alcance o seu potencial acadê-
como outros tipos de evidência, para avaliar o impacto mico pleno.
de determinadas estratégias de aprimoramento Portanto, o monitoramento das variações in-
(Thomas, 1996). ternas de desempenho em um ano e ao longo dos anos
As evoluções futuras na pesquisa de valor agre- deverá ser estimulado, para facilitar uma análise dos
gado provavelmente deverão basear-se nas conclusões padrões para os diferentes grupos de alunos e aos ní-
atuais, que investigam as relações entre as medidas veis dos departamentos, das matérias e das salas de
de desempenho escolar e as condições que parecem aula, bem como no nível geral, para que se possa ob-
aumentar ou dificultar a eficácia da escola nos diferen- servar como esses padrões podem mudar com o pas-
tes tipos de contextos escolares. Esta abordagem exige sar do tempo. Os resultados de pesquisas em que as
o uso de dados tanto qualitativos quanto quantitativos. escolas são agrupadas em categorias de efetividade
Por exemplo, a pesquisa realizada por Sammons e rigidamente definidas demonstram que são poucas as
colaboradores (Sammons et al., 1997) empregou a escolas que apresentam um desempenho tanto con-
metodologia de valor agregado para avaliar o desempe- sistente através das várias matérias quanto com esta-
nho da escola, mas combinando-a a informações ge- bilidade através do tempo (Thomas et al., 1997). Es-
radas por entrevistas e por questionários, para investi- sas conclusões têm importância tanto prática quanto
gação dos fatores e dos processos relacionados a uma teórica. O desempenho da escola que varia muito atra-
maior eficácia dos departamentos ou da escola. vés do tempo, ou entre os departamentos nas escolas
Por outro lado, é preciso dedicar mais aten- secundárias, tem implicações para as políticas esco-
ção à questão crucial de quais iniciativas ou estratégi- lares integrais, e poderá representar evidência impor-
as para o aprimoramento escolar representam alavan- tante do impacto das iniciativas de aprimoramento es-
cas bem-sucedidas para o melhor desempenho esco- colar. O desempenho escolar que varia muito para os
lar ao longo do tempo. Um aspecto específico relacio- distintos grupos de alunos (como meninos e meninas)
na-se à variedade de estratégias que poderão ter su- tem implicações para as questões de oportunidades
cesso nos vários tipos de contextos, como é o caso iguais e direitos dos alunos. De modo semelhante, as
das áreas de alta ou baixa desvantagem diferenças significativas entre as diferentes matérias
socioeconômica. O Improving School Effectiveness no nível primário (Sammons, Smees, 1997) têm impli-
Project (MacBeath, Mortimore, 1994) está no momen- cações importantes para a efetividade dos professores
to examinando esses aspectos, e as conclusões do através de todas as matérias constantes do currículo
projeto deverão gerar informações importantes com nacional.
relação à implementação e ao impacto de determina-
das estratégias para melhorar a escola.
C onclusões
COLEMAN, J. S. et al. Equality of educational
opportunity. Washington : US Government Printing ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
Este estudo focalizou, principalmente, o de- Office, 1966.

sempenho das escolas, em termos dos resultados dos
exames e dos testes. Isoladamente, esses resultados DEARING, R. The National Curriculum and its
são insuficientes para julgamentos adequados sobre o assessment : interim report, July 1993. London :
desempenho escolar. Outros resultados relativos aos
National Curriculum Council, School Examination
alunos, como freqüência, capacidade para aprendiza-
Assessment Council, 1993.
gem independente, atitudes em relação à escola e à
aprendizagem, comportamento e autoconceito são tam-
bém importantes. A pesquisa na área de efetividade da DfEE. Setting targets to raise standards : a survey of
escola visa examinar toda uma variedade de resulta- good practice. London : Department for Education
dos educacionais, e o Junior School Project (Mortimore and Employment, 1996.
et al., 1988), o Lancashire Project (Thomas, Mortimore,
1996) e o Improving School Effectiveness Project na FITZ-GIBBON, C. T. National Value Added Project :
Escócia (MacBeath, Mortimore, 1994) são exemplos general report - issues to be considered in the design
dessa abordagem, que envolve a obtenção de dados of a National Value Added System. London : School
referentes a atitudes de alunos, pais e professores, Curriculum and Assessment Authority, 1995.
86
GOLDSTEIN, H. Assessment and accountability. HILL, P., GOLDSTEIN, H. Multilevel modelling of
Education, v. 183, n. 3, p. 33-34, 1995. educational data with cross-classification and
missing identification for units. Journal of
GOLDSTEIN, H. Multilevel models in educational and Educational and Behavioural Statistics. (1997, a ser
social research. London : Charles Griffin, New York publicado)
: Oxford University Press, 1987.
JENCKS, C. S. et al. Inequality : a reasssessment of
_______. Multilevel statistical models. 2. ed. London : the effect of family and schooling in America. New
York : Basic Books, 1972.
Auckland, Sydney : Edward Arnold, 1995. (Kendall's
library of statistics, 3)
JORESKOG, K.G., SORBOM, D. LISREL 7 : user's
reference guide. Chicago : SPSS, 1989.
GOLDSTEIN, H. et al. A multilevel analysis of school
examination results. Oxford Review of Education, v. MacBEATH, J., MORTIMORE, P. Improving school
19, n. 4, p. 425-433, 1993. effectiveness : a scottish approach. [s.n.t]. Traba-
lho apresentado na 20ª conferência anual da British
GOLDSTEIN, H., HEALY, M. The graphical presentation Educational Research Association, Oxford, setem-
of a collection of means. Journal of the Royal bro, 1994.
Statistical Society, v. 581, n.1, p. 173-177, 1995.
McPHERSON, A. Measuring added value in schools.
GOLDSTEIN, H., THOMAS, S. Using examination In: NATIONAL COMMISSION ON EDUCATION.
results as indicators of school and college Briefing n. 1. London, 1992.
performance. Journal of the Royal Statistical
Society, v. 159, n.1, p. 149-163, 1996. MORTIMORE, P. et al. School matters : the junior years.
Wells : Open Books, 1988.
GOLDSTEIN, H., SAMMONS, P. The influence of
secondary and junior schools on sixteen year MORTIMORE, P., SAMMONS, P., THOMAS, S. School
examination performance : a cross-classified effectiveness and valued added measures.
Assessment in Education: Principles, Policy &
multilevel analysis. School Effectiveness & School
Practice, v. 1, n. 3, p. 315-332, 1994.
Improvement, v. 8, n. 2, p. 219-230, 1997.
NATIONAL COMMISSION ON EDUCATION. Learning
GRAY, J. et al. A multilevel analysis of school to succeed. London : Heinemann, 1993.
improvement : changes in schools' performance over
time. School Effectiveness & School Improvement, NUTTALL, D. Differences in examination performance
v. 6, n. 2, p. 97-114, 1995. RS1277/90 : 25. London : Research and Statistics
Branch, ILEA, 1990.
GRAY, J., JESSON, D., SIME, N. Estimating
differences in the examination performance of NUTTALL, D. et al. Differential school effectiveness.
secondary schools in six LEAs : a multilevel International Journal of Educational Research, v. 13,
approach to school effectiveness. Oxford Review of n. 7, p. 769-776, 1989. Número especial :
Education, v. 16, n. 2, p. 137-158, 1990. Developments in School Effectiveness Research,
capítulo 6.
GRAY, J., GOLDSTEIN, H., JESSON, D. Changes and

improvements in schools effectiveness : trends over O'DONOGHUE, C. et al. 1996 DfEE study of value
five years. Research Papers in Education, v. 11, n. added for 16-18 year olds in England. London :
1, p. 35-51, 1996. HMSO, 1997.
PATERSON, L., GOLDSTEIN, H. New statistical

HILL, N. Value added analysis : current practice in lo-
methods of analysing social structures : an
cal educational authorities. Slough : National
introduction to multilevel models. British Educational
Foundation for Educational Research in England and
Research Journal, v. 17, n. 4, p. 387-393, 1991.
Wales, Education Management Information
Exchange, 1994. RUTTER, M., et al. Fifteen thousand hours : secondary
schools and their effects on children. London : Open
_______. Value added and school performance : recent Books, 1979.
LEA initiatives. Slough : National Foundation for
Educational Research in England and Wales, SAMMONS, P. et al. Assessing school effectiveness :
Education Management Information Exchange, developing measures to put school performance in
1997. context. London : OFSTED, 1994.
87
SAMMONS, P. et al. Continuity of school effects : a GCSE outcomes for different groups of students over
longitudinal analysis of primary and secondary three years. British Educational Research Journal,
school effects on GCSE performance. School v. 23, n. 4, p. 451-469, 1997b.
Effectiveness & School Improvement, v. 6, n. 4, p.
285-307, 1996. THOMAS, S., NUTTALL, D., GOLDSTEIN, H. The
Guardian survey (of A-level examination results). The
SAMMONS, P., NUTTALL, D., CUTTANCE, P. Guardian, 20 Oct. 1992.
Differential school effectiveness : results from a
reanalysis of the Inner London Education Authority's _________. The Guardian survey (of A-level examination
Junior School Project Data. British Educational results). The Guardian, 30 Nov. 1993.
Research Journal, v.19, n.4, 381-405, 1993.
________. Report on analysis of 1991 examination
SAMMONS, P., THOMAS, S., MORTIMORE, P. Forging
results. London : Association of Metropolitan
links : effective schools and effective departments.
Authorities, 1993.
London : Paul Chapman, 1997.
THOMAS, S., PAN, H., GOLDSTEIN, H. Report on
SAMMONS, P., SMEES, R. Surrey LEA baseline
analysis of 1992 examination results. London :
screening. London : Institute of Education, 1997.
Association of Metropolitan Authorities, 1993.
SCANLON, N. Lancashire LEA Value Added Project.
Preston : Lancashire LEA, 1996. THOMAS, S., SAMMONS, P., MORTIMORE, P.
Determining what "adds value" to student
SCHEERENS, J. Effective schooling : research, theory achievement. Educational Leadership International,
and practice. London : Cassell, 1992. v. 52, n. 6, p. 19-22, 1995.
SCHOOL CURRICULUM AND ASSESSMENT THOMAS, S., MORTIMORE, P. Comparison of value

AUTHORITY. Baseline assessment draft proposals. added models for secondary school effectiveness.
Londres : SCAA, 1996. Research Papers in Education, v. 11, n. 1, p. 5-33,
1996.
______. Value added performance indicators for
schools. London : SCAA, 1994. THOMAS, S., SMEES, R. Dimensions of school
effectiveness. [s.n.t.]. Trabalho apresentado duran-
THOMAS, S. Considering primary school effectiveness te o 10th International Congress for School
: an analysis of 1992 Key Stage 1 results. The Effectiveness and Improvement, 1997, Memphis,
Curriculum Journal, v. 6, n. 3, p. 279-295, 1995. Tennessee.
_______. Research proposal for DENI RSSI Value THOMAS, S., SMEES, R., McCALL, J. Room for
Added Project. London : Institute of Education, 1996. improvement : an analysis of ISEP primary baseline
measures. Trabalho apresentado no simpósio Critical
THOMAS, S. et al. Stability and consistency in Issues in School Effectiveness Research, durante o
secondary schools' effects on students' GCSE 10th International Congress for School Effectiveness
outcomes over 3 years. School Effectiveness & and Improvement, 1997, Memphis, Tennessee.
School Improvement, v. 8, n. 2, p. 169-197, 1997a.
TYMMS, P., HENDERSON, B. The Value Added
THOMAS, S. et al. Differential secondary school National Project technical report : primary. London :
effectiveness: examining the size, extent and School Curriculum and Assessment Authority, 1995.
consistency of school and departmental effects on
88
A VALIAÇÃO POR
DIÁLOGOS: UMA CONTRIBUIÇÃO
POSSÍVEL PARA O
APRIMORAMENTO ESCOLAR
David Nevo*
Extensas reformas ou inovações educacionais, ção de alunos, como avaliação de desempenho,

até mesmo aquelas que defendem abordagens de bai- portfólios ou exposições, não necessariamente esten-
xo para cima, foram, em geral, iniciadas nos níveis es- dem a sua percepção de avaliação para além do âmbi-
tadual ou nacional, como iniciativa de partidos políti- to da avaliação de alunos.
cos, órgãos nacionais de educação, pesquisadores ou Por outro lado, não é apenas a escola que tem
estudiosos do mundo acadêmico. Entretanto, os re- uma percepção limitada da avaliação. Durante muitos
sultados dessas iniciativas ainda não foram vistos no anos, essa era também a percepção geral da avalia-
nível da escola. Observando tentativas de inovação edu- ção na educação (Nevo, 1983, 1995). A avaliação edu-
cacional no mundo todo, parece claro que, se alguma cacional era em geral equacionada à avaliação de alu-
coisa significativa de todo acontecer, não será no Mi- nos, e as palavras "avaliação" e "medição" eram em
nistério de Educação, nem na universidade: será na grande parte percebidas como sinônimas. Até mea-
escola, e na sala de aula. Pode ser que as reformas dos da década de 60, a maior parte dos livros com
sejam concebidas por aqueles responsáveis pela cria- títulos como Avaliação Educacional, Medição e Avali-
ção da política, e planejadas nos Ministérios de Edu- ação na Educação, etc., discutia principalmente (na
cação, por especialistas e por administradores, mas maioria dos casos, somente) a avaliação de alunos,
elas têm de ser implementadas nas escolas por pro- preocupando-se com a criação, a confiabilidade e a
fessores e por diretores de escolas. Mudar a educa- validade de testes, a pontuação e a comparação de
ção é mudar a escola, e a avaliação utilizada para o vantagens e de problemas dos vários tipos de aspec-
aprimoramento de um sistema educacional não pode- tos desses testes. A mudança surgiu no final da déca-
rá ter eficácia sem que seja transportada, em sua cada de 60, e principalmente nos Estados Unidos, quan-
pacidade e potencial plenos, às instalações da es- do foram sugeridos os conceitos de avaliação curricular
cola. Se a intenção for utilizar a avaliação para me- e avaliação programática, no contexto de materiais re-
lhorar a educação, ela terá de ser trabalhada no ní- cém-desenvolvidos para currículos e de projetos em
vel da escola. grande escala dirigidos a alunos em situações de des-
A avaliação sempre esteve dentro da escola, vantagem social (Scriven, 1967; Stake, 1967;
em especial dentro de suas salas de aula, mas numa Stufflebeam et al., 1971).
capacidade extremamente limitada. A avaliação já es- Foram desenvolvidas percepções novas de
tava lá até mesmo antes que os administradores de avaliação, definindo a própria avaliação de uma forma
educação começassem a empregá-la para a tomada que pudesse ser estabelecida a distinção entre o que
de decisões, e para o controle ou a fiscalização de é "avaliação" e o que é "medição", e estendendo o
suas operações, no âmbito do sistema educacional. âmbito da avaliação para além da avaliação de alunos,
Entretanto, a avaliação na escola era, em geral, limita- com a introdução da avaliação de programas e de cur-
da à avaliação dos alunos, sendo executada através rículos, seguida posteriormente pela avaliação de pro-
de testes, notas e boletins de desempenho. A noção fessores (Millman, 1981; Millman, Darling-Hammond,
de uma avaliação sistemática da própria instrução e 1990). Foram sugeridas funções novas, que deveriam
dos professores, a avaliação de programas e projetos, ser servidas pela avaliação, como a tomada de deci-
ou da escola como um todo, só chegou às instalações sões e o aprimoramento, além da classificação e do
da escola muito recentemente, e ainda está longe de credenciamento. A própria metodologia de avaliação
tornar-se prática comum, inclusive nos sistemas mais foi desenvolvida, combinando-se métodos de pesquisa
avançados de educação. Até mesmo aquelas escolas quantitativos e qualitativos, e suplementando-os com
que tenham adotado abordagens inovadoras à avalia- outros métodos, como procedimentos judiciais (Wolf,
*Davi Nevo, doutor em Avaliação Educacional, é professor da School of Education, na Tel-Aviv University. Autor de extensa bibliografia, foi editor do periódico
Studies in Educational Evaluation, de 1984 a 1994, e também colaborador da International Encyclopedia of Educational Technology.
89
1979) e crítica de arte (Eisner, 1979). A avaliação da e metodológicos que foram acumulados pelos avalia-
educação começou também a estabelecer a sua iden- dores de programas ao longo dos últimos 30 anos, e
tidade profissional, através do desenvolvimento de pro- de utilizá-los para o benefício dos alunos, dos profes-
gramas universitários para o treinamento de avaliado- sores e dos diretores de escolas.
res profissionais, nos níveis de mestrado e doutorado, Usar a avaliação no nível da escola implica uma
e do estabelecimento de padrões acordados para o abordagem baseada na escola, aproveitando as con-
controle da qualidade da avaliação (Joint Committee, cepções atuais de avaliação educacional, e determi-
1981, 1988, 1994). nando orientações práticas para essa aplicação. As-
Entretanto, tudo isso ocorreu – no espírito e sim sendo, na parte seguinte deste trabalho, apresen-
na prática – bem longe do prédio da escola. Os espe- tarei um número de princípios gerais de avaliação, apli-
cialistas em avaliação mostravam-se preocupados com cados na minha abordagem da avaliação escolar. E,
problemas conceituais relacionados à avaliação de pro- com base no meu trabalho com muitas escolas, no
gramas e de projetos, e não com aspectos do interes- desenvolvimento das suas capacidades de avaliação,
se de professores e de diretores de escolas, e exerci- demonstrarei em seguida como essa abordagem pode
am as suas profissões através de projetos de larga ser implementada de modo realista, no nível da esco-
escala, nos níveis nacional e estadual. Nos Estados la. Este trabalho será concluído com a sugestão de
Unidos da América – o berço da moderna avaliação e o que um discurso de mudança poderá ser necessário
país que dispõe da maior indústria de testes do mundo na avaliação educacional, para fazê-la passar de um
– a avaliação forneceu as bases conceituais e as solu- discurso de descrição e de julgamento para um discur-
ções metodológicas para o movimento de so de diálogo.
responsabilização. Apoiou-se a idéia de propor neces-
sidades de avaliação como forma de controlar as es-
rincípios de avaliação para a avaliação
colas, e ajudou-se a criar a ilusão de que a instrução
pode ser determinada através de testes. Os avaliado- P escolar
res em educação vêm-se mostrando mais interessa-
dos no trabalho com os administradores e no atendi- Com base no nosso entendimento atual do
mento das necessidades de informação dos respon- conceito de avaliação educacional, e de sua aplicação
nas várias escolas no mundo todo, gostaríamos de
sáveis pelas políticas, do que na ajuda aos professo-
apresentar aqui os seguintes princípios de avaliação,
res a aprimorar os métodos de avaliação que vêm sen-
na nossa abordagem à avaliação baseada na escola.1
do usados há décadas, ou no fornecimento a pais e a
alunos do tipo de informação de que eles precisam,
1. Os alunos e suas realizações não devem ser os
como "clientes da avaliação".
únicos objetos da avaliação escolar.
Felizmente, algumas coisas começaram a ser
modificadas na última década. Vários países estão no
Como já mencionamos, existe uma tendência
processo de reforma de seus sistemas de educação,
a equacionar a avaliação escolar aos testes e a avalia-
de maneira que visam dar às escolas locais mais po-
ções de alunos. O que nós sugerimos é que qualquer
deres, sem necessariamente eliminar padrões e requi- entidade dentro da escola é um objeto potencial de
sitos nacionais. Podem ser encontrados exemplos na avaliação, contanto que exista alguma necessidade
Grã-Bretanha, na Nova Zelândia, na Espanha e na No- justificada de descrever a sua natureza, e/ou de avali-
ruega. Até mesmo nos Estados Unidos, onde o distri- ar o seu mérito. Objetos típicos de avaliação escolar
to escolar continua sendo o coração do sistema edu- poderão ser programas, projetos, materiais de instru- ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
cacional, ressurgiu o interesse no nível da escola. Con- ção, professores e pessoal da escola, alunos e a pró-
ceitos do tipo gestão baseada na escola e escolas pria escola como um todo.
aceleradas estão atraindo mais atenção. O programa
America 2000, do presidente Bush, e, subseqüente- 2. Os resultados ou impactos não devem ser o único
mente, do presidente Clinton, atribui grande importân- fator a ser examinado durante a avaliação de um pro-
cia ao aumento de poder das escolas e das comunida- grama, projeto, ou de qualquer outro objeto de avalia-
des locais, estabelecendo ao mesmo tempo padrões ção dentro da escola.
nacionais que devem ser atingidos por todas as esco-
las. Parece que chegou a hora de levar para os prédios Isso não quer dizer que os resultados e os
das próprias escolas alguns dos recursos conceituais impactos não sejam importantes, mas uma descrição
1 Para uma apresentação mais detalhada dessa abordagem e de seus princípios subjacentes, ver Nevo (1995).
90
inteligente de um objeto educacional e um julgamento to apropriado e por assistência técnica. Claramente, a
justo de seu mérito não podem ficar limitados ao âmbi- minha preferência é por uma equipe de professores com
to estreito de medidas de resultados, como, por exem- o apoio de assistência técnica de um avaliador em tem-
plo, pontuações em testes. Para representar a po integral ou parcial, cuja única responsabilidade seja
abrangência completa de um objeto educacional, a a realização da avaliação interna da escola.
avaliação precisa ser dirigida a, pelo menos, quatro
tipos de informações, com relação à qualidade do ob- 5. A avaliação baseada na escola deve ser fundamen-
jeto. Esses quatro tipos de informações estão relacio- tada em uma combinação de avaliações internas e
nados às metas do objeto, às suas estratégias e aos externas, mas a avaliação interna é uma precondição
seus planos, ao seu processo de implementação e aos para a avaliação externa que tenha utilidade.
seus resultados e impactos.
Na minha concepção, a avaliação baseada na
3. A avaliação escolar tem de atender tanto à função escola não é um sinônimo da avaliação interna nem
formativa da avaliação quanto à somativa, proporcio- um antônimo da avaliação externa, mas sim uma com-
nando informações para o planejamento e para o apri- binação de ambas. As várias funções da avaliação den-
moramento, mas também para a seleção, certificação tro da escola podem e devem ser atendidas por avalia-
e responsabilização. ções tanto internas quanto externas. Entretanto, a exis-
tência da avaliação interna dentro da escola é um pré-
O conceito de "avaliação formativa" enfatiza a requisito para qualquer tipo de emprego construtivo da
importância da avaliação, como sendo construtiva e avaliação externa. Obviamente, os avaliadores internos
útil, ainda que em determinados casos tenha sido usa- executam melhor a função de avaliação formativa, e os
do como desculpa não justificada para fugir das exi- avaliadores externos, a de avaliação somativa. Mas uma
gências de responsabilidade, sugerindo que a avalia- escola que não disponha de um mecanismo interno de
ção formativa é uma alternativa para a avaliação auto-avaliação terá dificuldades para desenvolver atitu-
somativa. Não há dúvidas de que a avaliação deve ser des positivas em relação à avaliação, e lhe faltará a
construtiva para a pedagogia e para a administração autoconfiança necessária para um diálogo construtivo
dentro da escola, mas deve também auxiliar a escola entre a escola e a avaliação externa. Nesses casos, a
na demonstração do seu mérito para as autoridades avaliação se transforma em fonte de acusações e ati-
da área de educação, para os pais, e para o público tudes defensivas, em vez de servir como base para o
em geral. A tendência de evitar a avaliação somativa é diálogo entre os responsáveis internos e externos pela
especialmente perturbadora quando ocorre em esco- tomada de decisões.
las inovadoras ou experimentais, que utilizam a avalia-
ção formativa para melhorar a sua operação, mas que
parecem esquecer que deveriam ter também a avalia-
ção somativa, para demonstrar o seu mérito como al- processo de desenvolvimento de um
ternativa viável às escolas convencionais. O sistema de avaliação baseado na escola
4. As necessidades internas de avaliação de uma es-

cola podem ser melhor atendidas através de uma equi- É necessário que existam várias condições,
pe de professores e de outros educadores, para quem para que seja possível um contexto organizacional no
a avaliação é apenas parte da definição de suas ocu- qual a avaliação baseada na escola possa florescer e
pações, apoiada por treinamento adequado e assis- crescer. Essas condições deverão ser desenvolvidas
tência técnica externa. de forma gradual e de uma maneira coordenada, com-
binando os recursos disponíveis na escola a recursos
A equipe de avaliação escolar é composta por adicionais, a serem levantados fora do ambiente esco-
professores e outros educadores (por exemplo, lar. A avaliação escolar não é um processo que deixe
orientadores escolares), cujo treinamento profissional de envolver custos, nem é uma tarefa que não implique
não é na área de avaliação, e para quem a avaliação esforços, mas é viável, e a nossa experiência no traba-
representa apenas uma pequena parte da descrição lho com escolas em vários países, no desenvolvimento
de suas funções. O ponto forte de tal equipe de avalia- e na manutenção da avaliação escolar, indica que pode
ção reside na sua formação pedagógica e educacio- ser feito, se houver vontade de que ocorra.
nal, sua familiaridade com os contextos social e edu- São necessários três elementos para se orga-
cacional da escola, e no fato de que não representa nizar uma avaliação que tenha a escola em mente:
qualquer tipo de ameaça ao corpo docente e à admi- consciência, treinamento e recursos organizacionais.
nistração da escola. O seu ponto fraco mais importan- O desenvolvimento de uma avaliação baseada na es-
te é a sua falta de habilidades e experiência de avalia- cola é tipicamente uma atividade de baixo para cima,
ção, ainda que isso possa ser corrigido por treinamen- como tantas outras atividades centradas na escola (por
91
exemplo, gestão), e seria interessante se fosse inicia- necessidades específicas de suas escolas. Não de-
da lá mesmo. Na verdade, é isso o que ocorre com vem ser criadas expectativas no sentido de que, du-
algumas escolas, e o mesmo provavelmente poderia rante o workshop, diretores e professores possam
acontecer com outras, principalmente no caso de sis- "aprender a como fazer avaliações", conseguindo vol-
temas descentralizados de educação. Entretanto, tar para as suas escolas e começar a trabalhar, sem
essa, infelizmente, poderá ser uma expectativa não assistência posterior. É extremamente difícil aprender
realista em muitos sistemas de educação, principal- a realizar uma avaliação, sem realmente ter a experi-
mente aqueles que tenham longas tradições de cen- ência de fazê-lo. Portanto, eles deverão aprender a
tralização e burocratização. Nesses casos, a escola desenvolver a avaliação apenas na fase seguinte, quando
terá de ser estimulada a iniciar o desenvolvimento da efetivamente realizarem a avaliação nas suas escolas,
avaliação baseada na escola, e terá de receber os re- com a assistência de seus instrutores externos de ava-
cursos que forem necessários para mantê-la, possivel- liação.
mente dentro da tendência mais geral de atribuição de
maiores poderes à própria escola. Fase II: Criação de uma equipe de avaliação da escola
O processo de desenvolvimento de um con-
texto organizacional que possa levar às condições As escolas que resolverem prosseguir com o
mencionadas acima, levando ao desenvolvimento de desenvolvimento da sua avaliação deverão criar equi-
um sistema de avaliação baseado na escola, consiste pes internas de avaliação, que consistam de três ou
de quatro etapas principais: 1) treinamento básico, 2) quatro professores, ao menos alguns dos quais tenham
criação de equipes de avaliação escolar, 3) participado dos workshops de treinamento básico. A
institucionalização da avaliação, e 4) criação de um decisão de criar uma equipe de avaliação interna é em
diálogo entre a avaliação interna e externa. geral tomada mais para o final da primeira fase.
A equipe consistirá de professores e de ou-
Fase I: Treinamento básico tros educadores (por exemplo, orientadores escolares),
que sejam liberados em parte de suas atividades, para
O processo de desenvolvimento de uma avali- o trabalho na avaliação. A regra geral é que os mem-
ação baseada na escola inicia-se com um workshop bros da equipe deverão ser liberados em torno de qua-
regional como parte do próprio serviço, oferecido a pro- tro a seis horas por semana, e o coordenador da equi-
fessores e diretores de escolas interessadas. O pe, em torno de seis a oito horas por semana. Os pro-
workshop deve oferecer de 50 a 80 horas de treina- fessores devem trabalhar na equipe durante um perío-
mento básico, nas áreas de avaliação de programas, do de dois a três anos, sendo determinado um siste-
criação de testes, procedimentos para obtenção de ma de rodízio ao longo dos anos, de modo que um ou
dados, e análise desses dados. Pode ser realizado dois membros sejam substituídos a cada ano. Com o
em bases semanais ou bissemanais, ou sob a forma passar do tempo, todos os professores deverão ter a
de um seminário de uma semana, durante o período oportunidade de participar da equipe de avaliação da
de férias, com a suplementação de várias reuniões escola.
mensais. Criada a equipe de avaliação, é preciso esco-
A idéia do workshop envolve dois objetivos prin- lher o primeiro objeto da avaliação, que poderá ser um
cipais. O primeiro é ajudar as escolas a conhecerem projeto da escola, um programa de instrução, ou algu-
melhor a natureza da avaliação baseada na escola, de ma área de atividade dentro da escola, como desenvol-
forma que possam tomar uma decisão informada com vimento de pessoal, ou envolvimento de pais. Este será ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
respeito ao desenvolvimento do processo de avaliação o objeto sobre o qual a escola deverá praticar a sua
nas suas escolas. Para este fim, é importante que di- capacidade de avaliação interna, e a equipe de avalia-
retores, ou ao menos os seus assistentes, participem ção aprenderá efetivamente como executar essa ativi-
do workshop. Além disso, é importante que, durante o dade. Um instrutor externo de avaliação trabalhará em
workshop, os participantes façam apresentações for- cooperação estreita com a equipe da escola, nos seus
mais ou informais nas suas escolas, compartilhando problemas específicos de organizar a avaliação, deter-
questões que tenham sido discutidas durante o minar ou desenvolver os instrumentos adequados para
workshop, para expandir os círculos daqueles que co- esse fim, obter dados e analisá-los, e elaborar relatóri-
nhecem a idéia da avaliação baseada na escola, como, os sobre as conclusões da avaliação.
por exemplo, aqueles que deverão participar no pro-
cesso de tomada de decisões sobre a introdução da Fase III: Institucionalização da avaliação
avaliação nas suas escolas.
O segundo objetivo do workshop é o ensino da Depois que a escola tiver passado por várias
"linguagem" da avaliação, de modo que aqueles que avaliações de vários objetos escolares, realizadas pela
irão desempenhar um papel ativo na avaliação possam sua equipe interna de avaliação, e após ter sido consi-
compreender as suas vantagens potenciais, para as derada a utilidade dessas avaliações, bem como a sua
92
importância para as atividades administrativas e peda-
gógicas da escola, chega o momento de
institucionalizar a avaliação escolar. A equipe interna
M udando o discurso da avaliação
de avaliação já terá se tornado um componente perma-
nente da estrutura da escola, recebendo recursos de
forma contínua, depois da fase experimental. É preci- O discurso tradicional da avaliação é coercivo
so tomar providências para oferecer à equipe assistên- por natureza, devido ao poder atribuído ao avaliador,
cia técnica, que normalmente será muito menos inten- como portador do conhecimento, ou da informação, e
siva do que a assistência dada na fase anterior, e como juiz da qualidade. Esse tipo de discurso cria uma
fornecida de acordo com as solicitações da própria relação entre o avaliador e o avaliado, ou cliente da
equipe. A equipe prosseguirá com o processo de ava- avaliação, que poderia ser semelhante ao que Freire
liação de um ou dois projetos ou atividades escolares (1970) costuma chamar de relação "bancária". De acor-
todos os anos, de acordo com as necessidades da do com aquele grande educador brasileiro, a relação
escola. Os resultados de todas as avaliações serão bancária é uma atividade assimétrica de duas partes,
acumulados e organizados em uma base de dados da que inclui um "depositante" e um "depositário". Aplica-
escola, juntamente com outras informações fornecidas do à educação, o aluno é o depositário, e o professor o
à escola, como pontuação em testes, resultados de depositante. O depositante possui todo o conhecimento
pesquisas, ou resultados de avaliações externas que e a sabedoria; o depositário é vazio e ignorante. É fun-
sejam relevantes para a escola. A base de dados da ção do professor (depositante) depositar o seu conhe-
escola deverá ser organizada de maneira que possa cimento e a sua sabedoria na mente do aluno (deposi-
ser de utilidade para professores e administradores tário). A função do aluno é absorver e digerir todos os
escolares durante o seu trabalho quotidiano, servindo depósitos. Essa abordagem, de acordo com Freire, é
ao mesmo tempo de base para o desenvolvimento de a fonte da opressão na educação. Para interromper
um portfólio escolar, que inclua dados sobre a qualida- essa opressão, a educação tem de ser baseada em
de geral da própria escola. É este portfólio que irá auxi- um diálogo , e não em um processo de atividade
liar a escola a demonstrar a sua qualidade quando for bancária.
necessário, servindo como base de diálogo com a ava- Um processo semelhante ao processo bancá-
rio de Freire pode ser observado na avaliação. Quando
liação externa.
o avaliador fornece informações ao responsável pela
tomada de decisões ou ao cliente sobre os objetos
Fase IV: Estabelecimento do diálogo com a avaliação
que avaliou, ele é o fornecedor, o depositante e o clien-
externa
te, o depositário. O avaliador tem uma variedade de
"boas respostas" para as perguntas que ele espera
Durante a última fase de desenvolvimento, que
que sejam relevantes para os seus clientes, e que,
poderá ser implementada em paralelo com a terceira
portanto, serão úteis para eles. A relação entre o ava-
fase, a escola deverá estar pronta para a avaliação
liador e a sua platéia é até mesmo mais assimétrica
externa, a ser realizada por um órgão nacional ou regi-
quando o avaliador não apenas informa ao cliente o
onal de educação. A avaliação externa deverá ser obri-
que está ocorrendo, mas também qual é a situação,
gatória em todas as escolas, quer tenham ou não de-
ou o que será melhor de uma forma geral, ou para ele,
cidido criar uma equipe de avaliação interna. Por outro especificamente.
lado, as escolas que decidirem desenvolver equipes Assim como os alunos, que não aprendem
internas de avaliação deverão receber um prazo de um grande coisa através de um processo freiriano de "ati-
ou dois anos, para o início da avaliação externa, de vidade bancária", em que os professores simplesmen-
forma a permitir que a capacidade de avaliação interna te tentam depositar conhecimento nas suas cabeças,
da escola se torne operacional. os educadores não irão aprender muito dos avaliado-
Entretanto, as escolas não devem simples- res cujo objetivo seja depositar em suas mentes des-
mente aprender a como encarar as avaliações exter- crições prontas da realidade e julgamentos quanto ao
nas obrigatórias: devem também encomendar avalia- seu valor. E, assim como os alunos, que não ficam
ções externas, realizadas por avaliadores profissionais, motivados para usar o que aprendem através dessa
grupos de pais, ou equipes de professores de outras forma de ensinamento, os educadores não se motivam
escolas. As avaliações externas iniciadas pela própria a usar a avaliação que seja apresentada a eles através
escola poderão focalizar a avaliação de objetos de inde um discurso coercivo de uma só via, da descrição
teresse especial para a escola, ou a própria escola e/ou do julgamento. Destarte, o diálogo na avaliação é
como um todo. Isso estenderia o âmbito do diálogo necessário por dois motivos. Em primeiro lugar, para
entre a avaliação interna e externa, que é, na verdade, possibilitar um processo melhor de aprendizagem para
o cerne da nossa abordagem da avaliação baseada na entender a realidade, e, em segundo lugar, para au-
escola. mentar a motivação para usar o que foi aprendido. O
93
diálogo pode tornar a avaliação mais criteriosa, lugar de um discurso descritivo ou cheio de julgamen-
incrementando a sua utilização. tos. Alguns princípios específicos devem ser seguidos,
A educação é um empreendimento extrema- para criar bases sólidas para o diálogo. Isso modifica-
mente complexo, e a avaliação é uma profissão extre- ria a perspectiva da avaliação, e deveria ser expresso
mamente jovem. Para entenderem as complexidades em várias das atividades de avaliação escolar, como,
da educação com os meios limitados de avaliação, os por exemplo, a avaliação de alunos, avaliação de pro-
avaliadores em educação precisam ser mais modes- fessores, de programas e a avaliação da escola em
tos nas promessas que fazem, com respeito à sua sua totalidade.
habilidade de explicar melhor os "verdadeiros proble- Em primeiro lugar, a relação entre o avaliador
mas" da educação, e da sua capacidade de determi- e as suas platéias tem de ser uma relação de duas
nar a qualidade da sua prática. Além disso, precisam mãos. Deve ser uma relação em que haja um fluxo de
ser mais flexíveis na sua prontidão para colaborar com informações em duas direções, e um processo duplo
aqueles que estiverem sendo submetidos à avaliação de aprendizagem mútua. As duas partes envolvidas no
e com outros avaliadores, em um esforço conjunto para diálogo não necessariamente serão iguais, mas existe
compreender os aspectos importantes da prática edu- simetria na suposição de que ambas têm alguma coi-
cacional e tentar melhorá-la. A avaliação deve ser a sa a aprender da outra, e alguma coisa a ensinar uma
base para diálogo, e não a origem de descrições à outra. É um processo em que, no começo, ninguém
assertivas unilaterais e de julgamentos autoritários, e sabe tudo, mas em que as duas partes sabem alguma
os avaliadores devem desejar tornar-se participantes coisa, e em que, à medida que se engajam no diálogo,
construtivos nos diálogos educacionais, em vez de vêm a saber mais e mais.
geradores de informação inquestionável ou árbitros Com respeito à avaliação de alunos, a suposi-
autoritários. ção seria a de que não é apenas o professor que co-
O diálogo no processo de avaliação é também nhece o valor de um aluno: o próprio aluno tem tam-
necessário para incrementar as possibilidades de que bém algo a dizer sobre a qualidade do seu trabalho, e,
venha a ser usada algum dia. A pesquisa no emprego para que seja determinada qual é realmente a sua con-
da avaliação já demonstrou que ela tem maior probabi- dição, essas duas fontes de informação devem ser
lidade de ser usada por seus clientes nas ocasiões combinadas. Para avaliar o aluno, professor e aluno
em que eles sejam envolvidos na sua própria iniciação, têm de "comparar anotações" e intercambiar informa-
e quando são mantidos informados sobre o seu pro- ções e interpretações mútuas da informação disponí-
gresso, através da interação com os avaliadores du- vel. Um exemplo desse processo de duas mãos pode
rante todo o transcurso do processo de avaliação. Um ser visto em alguns dos novos métodos alternativos de
diálogo contínuo entre os avaliadores e as suas platéi- avaliação, como o método do portfólio e da exposição,
as poderá ser extremamente construtivo no desenvol- em que a contribuição do aluno, assim como as suas
vimento de atitudes positivas em relação à avaliação, reflexões, são componentes importantes da sua avali-
originando maior receptividade para as suas conclusões. ação. Ainda, o processo de duas vias pode ser obser-
Os indivíduos submetidos ao processo de ava- vado também quando, em paralelo à avaliação do alu-
liação sentir-se-ão menos ameaçados pelas conclu- no, a escola trata também de obter classificações do
sões da avaliação externa, e por isso mesmo adotarão mesmo aluno para a avaliação de professores. Isso
atitudes menos defensivas em relação a elas, se dis- reflete a suposição de que o aluno tem algo a desco-
puserem das suas próprias conclusões, que possam brir sobre a sua aprendizagem a partir do seu profes-
respaldar, complementar, contradizer ou colocar em sor, e que o professor pode ficar sabendo alguma coi- ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
disputa as conclusões externas. Quando alguém que sa sobre a sua atividade de ensino a partir dos seus
vai ser avaliado não dispuser de nada que é seu quan- alunos.
do lhe forem apresentadas conclusões negativas de Ao combinarmos as avaliações externa e in-
uma avaliação externa, tudo o que poderá fazer será terna para avaliar a escola como um todo, com o obje-
defender-se, tratando de desacreditar as conclusões tivo de responsabilização ou de aprimoramento esco-
de avaliação, ou oferecendo desculpas para o seu pró- lar, supomos que não exista uma única forma objetiva
prio fracasso. As duas reações – descrédito da avalia- de avaliar a qualidade da escola. A chamada verdade
ção ou defesa do fracasso – não são comportamentos sobre a qualidade da escola não é prerrogativa de um
muito construtivos, que possam levar ao aprimoramen- avaliador externo, nem da própria escola, que atesta
to. Um diálogo, que incorpore perspectivas distintas, pela sua qualidade. Mesmo que exista uma verdade
baseado em vários conjuntos de conclusões, poderá única sobre a escola, estará em algum nível intermedi-
ser uma maneira mais útil de entender os problemas
ário, e portanto somente poderá ser revelada através
educacionais, e de utilizar a avaliação para lidar com
de um diálogo entre as duas partes, as duas recolhen-
eles. Para fazer da avaliação um instrumento mais
do dados e interpretando-os.
criterioso e mais útil para a escola, é preciso progredir-
Em segundo lugar, é indispensável que haja
mos para um discurso mais dialogal de avaliação, em
respeito e confiança mútuos entre as partes. As duas
94
têm de acreditar que haja um interesse genuíno de cada ração com outras conclusões, obtenção de informa-
uma delas em compreender o que está em jogo, e que ções adicionais, produção de mais conclusões,
pode representar contribuição significativa para tal en- enfrentamento de complexidades agregadas, e assim
tendimento. Um sistema educacional que adota uma por diante... Se for assim que a avaliação é percebida,
concepção burocrática de ensino, definindo as funções então o diálogo será uma parte integrante do seu pro-
de seus professores como implementadores de um cesso, quando são confrontadas várias perspectivas e
currículo prescrito por administradores e especialistas, várias conclusões, na tentativa sempre presente de
não confia que os professores possam entender o en- expandir o entendimento. Talvez seja este o verdadeiro
sino, nem confia que eles possam ser qualificados para processo. Mas, se a intenção é o trabalho com proble-
avaliar a sua qualidade. Tal sistema provavelmente bus- mas simples, que possam ser tratados através de ava-
cará um programa de responsabilização baseado em liações simples e isoladas, por que nos importaríamos
avaliação externa, ou empregará supervisores nacio- com o diálogo? Por que nos importaríamos com qual-
nais, cujo trabalho seja avaliar e supervisionar as ativi- quer coisa?
dades dos professores. Um sistema de educação com Em quinto lugar, a avaliação deve ser justa, e
uma concepção mais profissional do ensino esperará tem de ser justa para as duas partes envolvidas no
que os seus professores planejem, desenhem e avali- diálogo. A avaliação precisa ser justa de uma varieda-
em o seu trabalho, tratando de alcançar metas de de maneiras. Em primeiro lugar, tem de ser
identificadas e de atender a padrões definidos de ex- conduzida de acordo com preceitos legais, éticos, e
celência. Um sistema assim perceberá os professores com a devida atenção ao bem-estar daqueles que esti-
como profissionais, que estão interessados em com- verem associados à avaliação, ou que possam ser afe-
preender os problemas da sua profissão, em manter tados pelas suas conseqüências. Não se pode espe-
os seus padrões e em garantir a sua qualidade. Esses rar que os professores que sentirem que estão sendo
professores são percebidos como parceiros confiáveis avaliados pelos diretores ou pelos pais de uma forma
para a avaliação de professores, e como profissionais injusta participem em um diálogo sincero com respeito
respeitáveis, cuja avaliação será melhor servida pelos a essa avaliação.
portfólios dos professores do que pelas pontuações Para que a avaliação possa ser justa, os dois
padronizadas dos testes de seus alunos. Em um sis- lados precisam determinar com clareza o propósito da
tema de educação como esse, a avaliação de profes- avaliação e seus benefícios esperados, qual deverá ser
sores poderá basear-se num diálogo entre professores o seu preço, e quem arcará com os custos, e não ape-
de avaliação externa e de auto-avaliação interna. nas aqui os custos financeiros. Não seria realista es-
Em terceiro lugar, é preciso que os avaliado- perar que uma escola entre em um diálogo com uma
res sejam modestos, reconhecendo as suas limitações avaliação externa, ainda que voluntariamente escolhi-
dentro do domínio do que há de mais avançado, em da pela própria escola, se a uma determinada altura
termos de avaliação educacional. Alguns avaliadores chegar à conclusão de que está sendo explorada, por
tendem a fazer promessas sem garantias, a partir das motivos que não atendem às necessidades diretas. Isso
descrições objetivas e avaliações imparciais de seus pode ocorrer quando a escola acreditar que uma certa
clientes, que esperam obter através de seus podero- avaliação serve principalmente aos interesses da pes-
sos instrumentos e metodologia de avaliação. Essas quisa do avaliador, e às necessidades de informações
promessas extrapolam em muito as capacidades dos do sistema de educação, em vez de ser útil à escola.
atuais métodos de avaliação, e são, em geral, expres- Em sexto lugar, é preciso que a avaliação seja
são de "orgulho profissional" exagerado, ficando no li- relevante às questões que estiverem em jogo. Um diá-
miar da arrogância e das afirmativas enganosas. Às logo, qualquer diálogo, é uma tarefa que exige muito,
vezes, essa arrogância é racionalizada por uma ideo- que necessita de abertura, autoconfiança e muita ener-
logia de isolamento, que leva o avaliador a preservar a gia da parte dos participantes. A tendência das pesso-
sua objetividade afastando-se tanto quanto possível de as é evitar o diálogo, se ele não estiver relacionado às
seus clientes e dos indivíduos a serem avaliados, para questões que forem efetivamente importantes para elas.
evitar parcialidades e envolvimento. Se a avaliação tratar principalmente de aspectos trivi-
Em quarto lugar, a avaliação tem de ser perce- ais, ou se estiver preocupada com sofisticação
bida como um processo, e não como uma atividade metodológica, e não com aspectos de substância, o
isolada. A menos que a intenção seja trabalhar com pessoal da escola perderá o interesse na própria avali-
aspectos triviais, a avaliação é um processo complexo ação, e evitará participar de qualquer diálogo. A ten-
de tratar de compreender questões também comple- dência de alguns avaliadores, de confundir os seus cli-
xas. Às vezes, usam-se figuras para explicar coisas. entes com sofisticação metodológica, quando não con-
Outras vezes, criam-se descrições e representações seguem encantá-los com as suas conclusões, é uma
extensas, para chegar ao quadro real. É um processo tentativa ingênua de tratar de dar à avaliação uma boa
que envolve a apresentação de conclusões, a sua aná- aparência, quando realmente não a tem. Esses esfor-
lise, a sua discussão com grupos pertinentes, compa- ços conseguirão apenas aumentar a alienação do pes-
95
soal da escola em face da avaliação, além de prejudi- entre aqueles que descobrem o que está errado e aque-
car a sua reputação. les que têm de corrigir; entre aqueles que têm a auto-
Em sétimo lugar, as duas partes deverão ser ridade do conhecimento e aqueles que têm a autorida-
responsáveis pelas conseqüências da avaliação. Se a de da ação. Talvez o que seja necessário agora seja
intenção for desenvolver um diálogo entre as avaliações reduzir essa distinção, para criar uma base de diálogo
externa e interna, é indispensável que exista um senti- entre as duas partes. Quiçá a regra deva ser a de que
mento de responsabilidade conjunta pelas conseqüên- ninguém deve ter a autoridade para avaliar, se não es-
cias. Se a avaliação externa de uma escola for tiver pronto para compartilhar a responsabilidade pelas
conduzida por uma organização nacional ou regional, conseqüências da avaliação. E não se deve esperar
e se quisermos instalar um diálogo entre a escola e que ninguém use a avaliação, se não estiver fazendo a
aquela organização sobre a qualidade da escola, a avaliação. Os avaliadores precisam estar prontos para
escola não poderá ser abandonada, para encarar os aprender com os seus clientes e com as suas platéi-
resultados da avaliação. A organização de avaliação
as, e não apenas para ensiná-los. E os clientes deve-
deverá comprometer-se com uma parceria plena, no
rão não apenas ser recipientes da informação, mas
desenvolvimento de soluções para os problemas que
também coletores e fornecedores dessa informação.
vierem a ser revelados através da avaliação. A motiva-
ção para a escola, de engajar-se em diálogo sério para Provavelmente, a escola jamais será um bom
o aprimoramento escolar, será muito pouca, se a so- cliente da avaliação, a menos que comece a fazer a
brecarga de melhorar ficar apenas sobre os seus pró- avaliação, tornando-se um parceiro igual no diálogo para
prios ombros. Abandonar assim a escola, para soluci- o aprimoramento escolar. É preciso que as escolas
onar os problemas encontrados, não apenas limita as tenham a avaliação em mente, se a intenção for fazer
possibilidades de encontrar as soluções apropriadas, com que a avaliação tenha qualquer papel significativo
mas implica também o fato de que a escola será cul- para melhorar a educação. Mas as escolas são forma-
pada por aqueles problemas. E acusações, em vez de das por alunos, professores e por administradores, e
estimular a solução de problemas e as ações constru- somente eles poderão fazer dela uma escola que te-
tivas, levam a atitudes defensivas e a contra-acusa- nha a avaliação em mente. Alunos, professores e ad-
ções. Infelizmente, exigências exageradas pela ministradores escolares devem transformar-se em par-
responsabilização e a utilização da opção dos pais ticipantes ativos dos diálogos de avaliação, em vez de
como forma de remediar problemas da escola são, na continuarem sendo recipientes passivos das descrições
verdade, exemplos dessa tendência dos sistemas de e dos julgamentos oriundos das avaliações. É preciso
educação, de não compartilhar com as suas escolas a que eles parem de reclamar da má qualidade da avali-
responsabilidade de enfrentar as conseqüências da ação, e que comecem a realizá-la de uma maneira
avaliação escolar. melhor.
C onclusão R eferências bibliográficas
A avaliação pode ter um papel importante no EISNER, E. W. The educational imagination. New York
aprimoramento da educação, e pode ser realizada den- : MacMillan, 1979.
tro do contexto da escola, mas, para torná-la possível,
é necessário mudar a sua natureza, e não pura e sim- FREIRE, P. Pedagogy of the oppressed. New York : ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
plesmente de uma maneira técnica. Até agora, a rela- Continuum, 1970.
ção entre um avaliador e um cliente foi concebida como
uma relação essencialmente assimétrica. Essa GUBA, E. G., LINCOLN, Y. S. Effective evaluation. San
assimetria vai contra os princípios de um diálogo cons- Francisco, CA : Jossey-Bass, 1981.
trutivo, e a distinção que pressupõe, entre o avaliador e
o cliente, terá de ser reconsiderada. A distinção foi ________. Fourth generation evaluation. Newbury Park,
proposta por avaliadores proeminentes, com a boa in- CA: Sage, 1989.
tenção de desenvolver abordagens da avaliação orien-
tadas ao cliente, enfatizando a importância de atender JOINT COMMITTEE ON STANDARDS FOR
às necessidades de informação de clientes identifica- EDUCATIONAL EVALUATION. The personnel
dos, e não aos interesses de pesquisa de avaliadores evaluation standards. Newbury Park, CA : Sage,
individuais. 1988.
Entretanto, essa distinção entre avaliadores e
clientes enfatizava também a distinção entre aqueles JOINT COMMITTEE ON STANDARDS FOR
que sabem e aqueles que devem receber o conheci- EDUCATIONAL EVALUATION. The program
mento; entre aqueles que tratam de obter informação evaluation standards. 2. ed. Thousand Oaks, CA:
sistemática e aqueles que pensam de forma intuitiva; Sage, 1994.
96
________. Standards for evaluations of educational Review of Educational Research, Washington, DC,
programs, projects and materials. New York : v. 53, n. 1, p. 117-128, 1983.
McGraw-Hill, 1981.
SCRIVEN, M. The methodology of evaluation. Chica-
MILLMAN, J. (Ed.). Handbook of teacher evaluation. go: Rand McNally, 1967. (AERA Monograph Series
Beverly Hills, CA : Sage, 1981. on Curriculum Evaluation, n. 1)
STAKE, R. E. The countenance of educational

MILLMAN, J., DARLING-HAMMOND, L. (Ed.). The new
evaluation. Teachers College Record, New York, v.
handbook of teacher evaluation : assessing 68, p. 523-540, 1967.
elementary and secondary school teachers.
Newbury Park, CA : Sage, 1990. STUFFLEBEAM, D. L. et al. Educational evaluation
and decision making. Itasca, IL : Peacock, 1971.
NEVO, D. School-based evaluation : a dialogue for
school improvement. Oxford : Pergamon, 1995. WOLF, R. L. The use of judicial evaluation methods in
the formation of educational policy. Education
________. The conceptualization of educational Evaluation and Policy Analysis, Washington, DC, v.
evaluation: an analytical review of the literature. 1, p. 19-28, 1979.
97
98
A VALIAÇÃO DO
SISTEMA EDUCATIVO: AS
ESTRUTURAS INSTITUCIONAIS
NA FRANÇA
Jacqueline Heritier*
Na França, a avaliação do sistema educativo é, sões de Inspection Générale de l'Education Nationale

doravante, uma obrigação fixada pela Lei de Orienta- (IGEN) foram, então, definidas em coerência com os
ção da Educação, de 10 de julho de 1989. A nova impor- dispositivos da Lei de Orientação. Doravante, o contro-
tância concedida à avaliação foi reforçada pela elabora- le da atividade individual dos professores passa para
ção do Plano de Modernização do Serviço Público da
segundo plano, em benefício da avaliação global da
Educação Nacional. Estes dois textos servem de refe-
rência para identificar os atores institucionais responsá- política educacional. A cada ano um programa de tra-
veis pela avaliação do sistema educacional na França.** balho determina as áreas nas quais a avaliação deverá
Dois motivos explicam as necessidades de ava- ser feita. Os resultados desse trabalho serão objeto de
liação: um relatório anual, publicado de forma a torná-lo aces-
– a pressão externa: a educação exige, sível a todos. A definição de uma missão global de ava-
hoje, um investimento financeiro considerável. liação necessita, igualmente, que o trabalho seja reali-
Na França, 7,4% do PIB, ou seja, 578 milhões zado por equipe interdisciplinar. Assim, o acompanha-
de francos são destinados à educação, o que
mento da avaliação da renovação pedagógica dos es-
representa 9.900 francos por habitante. A opi-
nião pública tem, portanto, o direito de exigir a tabelecimentos de ensino médio exige que seja consi-
apresentação de resultados, que são medidos derado o conjunto das disciplinas ensinadas na escola
por meio da avaliação; bem como os aspectos relativos à organização geral
– a pressão interna: a avaliação contribui do estabelecimento.
para o aperfeiçoamento do sistema educacional A Inspeção Geral desempenha um papel essen-
pela verificação da implementação dos objetivos cial na definição das avaliações acadêmicas, já que
nacionais. Em um sistema desconcentrado, no estabelece, com o reitor, o programa de trabalho das
qual os atores locais são cada vez mais autôno-
equipes territoriais de inspeção.
mos, a avaliação corresponde a uma preocupa-
ção de regulação: a desconcentração e a Enfim, a Inspeção Geral exerce função primordi-
descentralização implicam uma adaptação lo- al nas avaliações institucionais representadas pelos
cal dos objetivos nacionais. A grande diversida- concursos e exames, tanto na definição dos temas
de das ações não deve levar a resultados desi- quanto na constituição dos júris e nas modalidades de
guais. Por isso, é imperativo avaliar esses resul- atribuição de notas.
tados de forma a assegurar a coerência nacional.
Na França, diferentes atores institucionais inter-
vêm na avaliação do sistema educativo.
b) Direção de Avaliação e de Prospectiva (DEP)
Esta Direção é responsável, de um lado, pela

O s atores no âmbito nacional organização, pela coleta e pelo tratamento do conjun-
to dos dados estatísticos do Ministério e, por outro
lado, pela formulação e implantação da avaliação do
a) Inspeção Geral sistema educativo. O conhecimento estatístico é, de
fato, condição indispensável para a implementação da
A Lei de Orientação, de 10 de julho de 1989, avaliação. A DEP é, juntamente com a Inspeção Geral,
atribuiu uma posição central à Inspeção Geral no dis- o segundo ator central na avaliação do sistema
positivo da avaliação do sistema educativo. As mis- educativo.
*Direction de l'Évaluation et de la Prospective (DEP)/França.

**A autora refere-se ao seu artigo e ao artigo do professor Claude Sauvageot, intitulado "Avaliação e Monitoramento dos Estabelecimentos Escolares", também
neste volume. Os dois artigos são complementares, devendo o artigo da professora Heritier ser considerado a primeira parte, e o do professor Sauvageot a
segunda parte, de um mesmo trabalho (N.E.).
99
Foi no final da década de 70 que a avaliação
ganhou destaque no âmbito do Ministério, com a cria-
ção do Serviço de Estatística. Em 1987, esse serviço
O s atores acadêmicos e departamentais
tornou-se uma direção independente, com sua deno-
minação atual. O programa de trabalho da DEP ilustra
a extensão e a diversidade de suas áreas de atuação.
A Academia e o Departamento são os primeiros
A cada ano, seu programa de trabalho é elaborado,
escalões da desconcentração do Ministério da Educa-
levando em consideração três fatores:
ção Nacional. São, também, os territórios de interven-
– a continuidade dos trabalhos em andamento;
ção dos Inspetores Pedagógicos Regionais (IPR-IA) e
– as demandas de outras direções da adminis-
dos Inspetores da Educação Nacional (IEN).
tração central;
– a preocupação de provocar determinadas re-
flexões ou de desencadear novas operações,
a) O papel dos inspetores
a fim de fornecer instrumentos pertinentes
para o debate público sobre a escola ou para Os IPR-IAs e os IENs têm a vocação de partici-
o monitoramento do sistema. par da avaliação global das políticas ou dos organis-
No que se refere à avaliação, pode-se distinguir mos: avaliação do funcionamento dos estabelecimen-
dois tipos de trabalho: tos, de determinada política...
– os que visam melhorar o conhecimento do sis-
tema; É uma demanda sistemática que se inscreve em
– os que se propõem a promover, em todos os um programa de trabalho anual, formulada em conjun-
níveis do sistema, a avaliação. to pelo reitor e por seu correspondente na Inspeção
Na primeira categoria, encontram-se os estudos Geral.
dos quais a própria DEP é a executora ou que ela
subcontrata a outros organismos (por exemplo, com- b) O papel dos reitores
parações temporais: certificados de estudos.... ou in-
ternacionais). Alguns reitores implantaram estruturas de avali-
Na segunda categoria, encontram-se todos os ação no organograma da reitoria. Isso revela a vontade
instrumentos elaborados pela DEP e divulgados para de dispor de um instrumento que permita dialogar com
uso dos diversos atores do sistema que deles se utili- o Ministério e com as coletividades territoriais. Esse
zam (avaliações das turmas de CE 2, 6e, 2e do ensino encaminhamento deve ser mantido; a desconcentração
fundamental, banco de dados, indicadores para e a descentralização da gestão do sistema educativo
monitoramento dos estabelecimentos escolares). necessita de regulação das iniciativas locais pela ava-
Para cumprir essa dupla missão, a DEP man- liação.
tém relações de trabalho e de intercâmbio com profes-
sores, diretores de estabelecimentos de ensino e ins-
petores. Determinados estudos são feitos em colabo-
ração com a Inspeção Geral ou com organismos de
pesquisa.
O s atores locais
Os procedimentos da Inspeção Geral e da DEP

são, portanto, complementares. A Inspeção Geral, ali-
ás, participa ativamente na maioria dos grupos de tra- São aqueles que trabalham no seio do estabele-
balho da DEP e, em numerosos casos, é estabelecida, cimento de ensino: professores, quadro da direção/ad-
desde a fase da formulação, uma real comple- ministrativo, pessoal de educação.
mentaridade dos enfoques.
a) Os professores
c) O ministro e seu secretariado
Desempenham um papel fundamental na avalia-
O ministro desempenha papel decisivo na defi- ção: dentro da sala de aula, para controlar a progres-
nição da política educativa. Exerce, igualmente, fun- são da aprendizagem; quando das provas, para validar
ção determinante na avaliação: esse aprendizado.
–- no início do processo, decide o que deverá Os professores são os responsáveis pela articu-
ser avaliado e determina sua execução à Ins-
lação da avaliação e da orientação em um processo
peção Geral e à DEP (política dos ZEPs, zo-
nas experimentais, violência...); evolutivo discutido com o aluno. São levados a motivar
– no final, o ministro é o único juiz dos desdo- o aluno (e seus pais) na auto-avaliação de seu aprendi-
bramentos que devem ser ao término de uma zado em relação a seu projeto ou a suas aspirações
avaliação. profissionais. Além da função de avaliação dos alunos,
100
a Lei de Orientação de 10 de julho de 1989 determina Trata-se de um movimento em curso no qual a
que a equipe educativa do estabelecimento elabore avaliação deveria, em um prazo determinado, ocupar
um projeto educativo e a respectiva modalidade de um lugar cada vez mais importante.
avaliação. Os atores da avaliação do sistema educativo fo-
ram, portanto, agrupados em três grandes categorias
b) Os diretores de estabelecimentos de ensino de acordo com seu nível de intervenção: nacional, aca-
dêmico e local. Essas categorias correspondem aos
A atual regulamentação confere aos diretores um três níveis territoriais e hierárquicos: o ministério, a rei-
papel essencial no processo de orientação dos alunos toria e o estabelecimento escolar. Mas essas instânci-
já que a decisão final é de sua competência. Por con- as não são de mesma natureza: o ministério e a reito-
seguinte, participam da implantação e da harmonização ria são entidades administrativas. Nelas avalia-se, mas
dos procedimentos de avaliação.
não se ensina. Na realidade, o local central do sistema
educativo é o estabelecimento escolar, no qual coexis-
c) Outros atores locais
tem administração e ensino.
A política educativa pode ser decidida fora do
Há cerca de vinte anos, assiste-se, no âmbito
estabelecimento escolar (o que é amplamente o caso
do sistema educativo, a uma evolução que pode ser
resumida pelo termo "abertura à escola". Baseia-se na no sistema francês), mas em última instância ela é
idéia de que a escola não pode, sozinha, atingir todos implementada no estabelecimento escolar. Portanto,
os objetivos educativos e que é necessário associar é nele também que ela é avaliada. O estabelecimento
parceiros à sua ação: alunos, pais, médicos escola- escolar é, por conseguinte, o local para o qual conver-
res, representantes das coletividades territoriais, repre- gem todas as avaliações. Quaisquer que sejam as ava-
sentantes do mundo econômico. liações, é sempre o ato de ensinar que é avaliado.
101
102
A
VALIAÇÃO E
MONITORAMENTO DOS
ESTABELECIMENTOS
ESCOLARES
Claude Sauvageot e J. C. Emin (colaborador)*
s Indicadores de Monitoramento dos esses trabalhos foram inspirados pela busca da renta-
O Estabelecimentos de Ensino Médio
(IPES)
bilidade dos estabelecimentos escolares, enquanto os
dispositivos atuais são fundamentados na intenção de
apreciar sua eficácia educativa global.
A Direção de Avaliação e de Prospectiva do

Ministério da Educação Nacional concluiu a implanta-
Serviço prestado aos estabelecimentos
ção de um dispositivo de indicadores destinados a to-
dos os estabelecimentos escolares de ensino médio: 1 de ensino
colégios, liceus de educação geral e tecnológica e li-
ceus profissionalizantes. Todos recebem esse dispo-
sitivo no início do ano, desde 1996. Isso se tornou pos- Um dos elementos do diagnóstico apresenta-
sível graças à ampla utilização do potencial dos novos do, tanto pelos inspetores gerais quanto pelos outros
sistemas de informação e de transmissão dos dados observadores, sobre a situação dos estabelecimentos
implantados, nesses últimos anos, em benefício dos de ensino e seus responsáveis em matéria de instru-
estabelecimentos de ensino médio. mentos de monitoramento, era a dificuldade que tinham
Esse dispositivo pretende responder a duas em encontrar indicadores pertinentes e sua falta de
exigências significativas: a primeira, de ordem savoir-faire para concebê-los de maneira relativamente
institucional, que torna a elaboração e a avaliação dos econômica; pode-se acrescentar que quando os esta-
projetos-escola uma necessidade legal; a segunda, belecimentos de ensino puderam e souberam elaborar
corresponde a uma demanda social cada vez mais ur- indicadores pertinentes, raramente esse esforço con-
gente e exigente quanto aos resultados e à eficiência seguiu manter-se, sendo diversos os motivos: cansa-
dos estabelecimentos escolares, o que é testemunhado ço ou impossibilidade de coletar todos os anos os da-
pelo sucesso alcançado pela imprensa na publicação dos necessários, problemas de formatação desses
dos resultados do baccalauréat "escola por escola", de dados, ou, simplesmente, mudança na equipe de dire-
numerosas listas de laureados e da classificação por ção do estabelecimento.
estabelecimento, procurando ser apresentado de maneira Adotou-se, então, o partido de apoiar os esta-
sólida. belecimentos escolares, primeiramente, fornecendo-
O fato de mobilizar importantes meios para sa- lhes uma base de indicadores totalmente calculados a
tisfazer essa dupla exigência institucional e social pode partir de informações recolhidas nos sistemas de infor-
hoje parecer natural, mas é resultado de uma evolução mação e de gestão nacionais, em seguida, harmoni-
progressiva que acompanhou o reconhecimento das zando esses indicadores de referências nacionais e
diversidades locais pelas instituições e terminou por acadêmicas que lhes permitissem situar-se em rela-
legitimar o estabelecimento escolar como entidade ção aos demais estabelecimentos e, por fim, dando-
específica de educação, tendo um efeito próprio, o que, lhes meios para calcular, acompanhar e armazenar na
no sistema educativo francês, é relativamente recente. memória os indicadores específicos que desejassem
Aliás, o quadro conceitual que subentende a implanta- elaborar para serem avaliados e regulamentarem seu
ção desses instrumentos é diverso daquele que con- projeto. Tudo isso foi possível apenas porque os siste-
duziu, na década de 70, à elaboração e à implantação mas de informação e de gestão da educação nacional
das linhas de orientação dos estabelecimentos secun- – principalmente no ensino médio – evoluíram, consi-
dários: arriscando ser caricatural, poder-se-ia dizer que deravelmente, a partir do início da década de 90.
*Direction de l'Évaluation et de la Prospective (DEP)/França.
103
Até 1992, o Sistema de Informação era es-
sencialmente fundamentado em "questionários", res-
pondidos manualmente pelos estabelecimentos esco-
2 Os princípios
lares que, geralmente, não dispunham de equipamen-

tos de informática. O tratamento estatístico era efetua- 2.1. Um instrumento que deve servir, simultanea-
do em pesados computadores, geralmente em nível
mente, à avaliação interna e à avaliação externa
nacional. Os serviços acadêmicos dispunham, igual-
mente, de computadores de capacidade limitada, mas
não havia ligação entre os meios de tratamento dos O nome dado ao dispositivo – "Indicadores para
níveis nacional e regional. Além disso, o sistema de o Monitoramento dos Estabelecimentos Secundários"
enquête era diferente do sistema de gestão dos esta- – enfatiza, em primeiro lugar, a avaliação interna da
belecimentos escolares, o que complicava e tornava escola. É um instrumento destinado ao diretor do es-
ainda mais pesado o trabalho dos diretores de estabe- tabelecimento e à sua equipe, um instrumento de di-
lecimentos escolares e era fonte de erros na coleta de agnóstico da situação e do funcionamento do estabe-
dados. lecimento, de avaliação da política que está sendo
Um grande esforço de construção e de implan- conduzida e de seus resultados, de regulação e de
tação de novos sistemas de informação foi realizado
acompanhamento de seu projeto. Mas, deve também
desde então. Cerca de 7 mil colégios e liceus públicos
ser um instrumento de prestação de contas de suas
beneficiaram-se progressivamente de instrumentos
informatizados para a gestão dos alunos e professo- atividades e de seus resultados; a noção de prestação
res; foram, ao mesmo tempo, equipados com de contas deve, aqui, ser tomada no sentido amplo do
microcomputadores e, enfim, com um sistema termo. Os colégios e os liceus são unidades do servi-
telemático que colocou os estabelecimentos escola- ço público da Educação Nacional e como tais devem,
res em contato com as academias e estas com a ad- evidentemente, "prestar contas" de sua tutela, certa-
ministração central. mente, mas também, de forma mais ampla, à coletivi-
Dois elementos do novo sistema de informa- dade. Uma parte dos indicadores propostos aos liceus,
ção são especialmente solicitados para construir os aqueles relativos ao seu desempenho, estabelecidos
indicadores fornecidos pelos estabelecimentos de en-
a partir dos resultados do baccalauréat são, aliás, ob-
sino: o aplicativo "Scolarité" que faz o recenseamento
jeto de publicação desde as provas realizadas em 1993.
e acompanha, durante toda a escolaridade do ensino
secundário público, os 4,8 milhões de alunos dos co-
légios e dos liceus públicos e permite "geri-los" de modo 2.2. Instrumento que associa uma base de indica-
completo e coerente, nos planos pedagógico, educativo, dores-padrão e indicadores específicos para cada
administrativo e financeiro; os aplicativos "Emplois- estabelecimento
Postes-Personnels" que integram, de maneira total, a
gestão dos estabelecimentos secundários e seus em- Encontramos aqui, sob outra forma, a
pregos. dualidade evocada acima: deve-se dispor, para cada
Esses dois elementos são os mais solicita-
estabelecimento – e cada estabelecimento deve dis-
dos para o cálculo dos indicadores, mas esse cálculo ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
por – de indicadores correspondentes ao que é consi-
utiliza igualmente aplicativos que permitem gerir os
derado indispensável de ser levado em conta no plano
exames e concursos, os que admitem coletar e tratar,
por estabelecimento, os resultados dos alunos nas metodológico e, também, no plano político, para avali-
avaliações nacionais na admissão na classe de 6e (1º ar – e para que o próprio estabelecimento avalie – seu
ano do ensino básico) e no 1º ano do ensino médio, funcionamento, seus resultados e seu desempenho.
bem como os dados referentes à inserção dos alunos Propõe-se-lhe, então – em certa medida é obrigado a
no término do sistema educativo. O conjunto desses utilizar – uma base-padrão de indicadores que consti-
dados permite o cálculo de indicadores relativos a cada tui um compromisso entre tudo que é considerado de-
estabelecimento, cujos responsáveis consultam facil- sejável de ser apreciado para avaliar, o mais completa-
mente nos computadores disponíveis.
mente possível, o funcionamento e o desempenho do
Trata-se do primeiro retorno de informa-
estabelecimento e, o que parece efetivamente razoá-
ções ordenadas que beneficiam os estabelecimentos
a partir dos dados que eles mesmos forneceram aos vel de ser feito, no estado atual das informações dispo-
diferentes sistemas de informação e de gestão. É or- níveis, com um custo aceitável. Trata-se assim de pro-
ganizado segundo dois princípios políticos essenciais. por, preferencialmente, elementos padronizados de
104
avaliação dos próprios estabelecimentos, em vez de
elementos de avaliação de seus projetos, que são di-
versos e específicos.
3 A bateria-padrão de indicadores
Mas importa que cada estabelecimento pos-

sa também, paralelamente, descrever e avaliar aspec- Para dar uma idéia, serão tomados, como
tos particulares de seu projeto, de seu funcionamento exemplo, os liceus de educação geral e técnica, fican-
ou de seus resultados; que possa dotar-se de indicado- do entendido que cada tipo de estabelecimento de en-
res específicos, sob a condição, claro, de dispor das sino médio (colégios, liceus profissionalizantes e liceus
informações necessárias ou de estar organizado para de educação geral e técnica) dispõe de uma bateria
coletá-las. De fato, é normal, em um contexto no qual a que, a partir de um tronco comum, leva em considera-
lei convida os estabelecimentos a "definir as modalida- ção o que é específico a cada um. Essas baterias de
des particulares de implementação dos programas e dos indicadores foram construídas recorrendo-se amplamen-
objetivos nacionais", que a avaliação e a regulamenta- te à experiência e às necessidades dos usuários, utili-
ção dessas modalidades particulares sejam facilitadas. zando-se, ao mesmo tempo, como pano de fundo, os
O dispositivo oferece-lhes essa possibilidade. trabalhos de pesquisa sobre a escola eficaz.
Quadro 1 – IPES: Indicadores-padrão para os liceus
Indicadores referentes à população acolhida
– Características dos alunos presentes no início do ano letivo: sexo, média de idade, categoria
socioprofissional, proporção de alunos atrasados, proporção de alunos estrangeiros, proporção de repetentes;
– Características dos alunos admitidos no liceu no início do ano letivo: sexo, idade, proporção de repetentes,
proporção de procedentes de escolas particulares;
– Escola de origem dos alunos que ingressam no liceu no início do ano letivo.
Indicadores de recursos e de meios
– Meios horários;
– Características dos professores;
– Efetivos de alunos por opção.
Indicadores de resultados
– Taxa de êxito no baccalauréat por série;

– Taxa de acesso ao baccalauréat;
– Proporção de alunos detentores do baccalauréat entre os alunos concluintes do ensino médio;
– Destino dos alunos que concluem o liceu.
Indicadores de funcionamento
– Futuro dos alunos ao término do 1º ano do ensino médio;

– Proporção de horas de aula efetivamente assegurada ao aluno;
– Tamanho das divisões; importância dos serviços ligados ao ensino;
– Importância dos serviços ligados à vida escolar;
– Movimento do corpo docente;
– Acidentes no estabelecimento escolar;
– Estatuto dos alunos.
Indicadores ambientais
– Intensidade das relações com o meio ambiente econômico;

– Dados socioeconômicos por zona de emprego.
105
Em numerosos casos, foi necessário recorrer O dispositivo atual, ao contrário, esforça-se em
ao que se poderia chamar de "a regra do compromis- dar aos estabelecimentos escolares meios para apre-
so" entre o desejo de construir um indicador que des- ciarem suas características de funcionamento e, con-
se conta do modo mais preciso e completo possível de siderando o contexto no qual se situam, para pro-
um fenômeno e a preocupação de utilizar da melhor porem hipóteses quanto à eficiência de suas ações,
maneira os dispositivos de informação e de gestão quanto ao modo como suas características interagem
existentes e de não multiplicar os registros de novos umas com as outras, em uma palavra, quanto à políti-
dados de informação, a respeito dos quais os estabe- ca que conduzem. A partir dos dados que lhes são
lecimentos de ensino são – com justa razão – particu- propostos pelos indicadores, cabe aos estabelecimen-
larmente reticentes. Em seguida, houve o cuidado de tos escolares determinar seus pontos fortes, pontos
limitar-se a cerca de vinte indicadores o que, às vezes, fracos e elaborar seu projeto. Nessa ótica é, evidente-
implicou resistir à tentação de levar tudo em conside- mente, essencial que os estabelecimentos disponham
ração, para limitar-se apenas a algumas linhas mes- de uma visão tão correta quanto possível dos resulta-
tras que os estabelecimentos poderiam, como vimos dos que atingem, relativamente aos objetivos que lhes
anteriormente, completar em função de suas necessi- foram fixados, como unidades do serviço público naci-
dades e de suas prioridades específicas. A esses indi- onal de educação.
cadores são associados, como mencionado, referên-
cias nacionais, acadêmicas e até departamentais, que
permitem aos estabelecimentos se situarem em rela-
ção aos outros. Extrapolar a apreciação dos resultados
Empreenderam-se esforços, nessa tarefa, para
respeitar dois princípios: de um lado, fornecer um con-
4 para avaliar o "valor acrescentado" dos
estabelecimentos: os indicadores de
desempenho
junto de indicadores que se integrassem em uma re-
presentação formalizada em um modelo de ação e de
organização dos estabelecimentos escolares e, de
outro lado, apresentar os indicadores que dessem con- Trata-se de uma das principais contribuições
ta, além dos resultados de um estabelecimento de desse dispositivo. É tão importante que, como sabe-
ensino, de seu desempenho efetivo, de seu "valor acres- mos, os resultados das escolas de ensino médio no
cido". baccalauréat, a cada ano, são objeto de publicação
A representação formalizada é completamen- pela imprensa e, isso, sob forma de listas dos laurea-
te clássica; considera-se que um estabelecimento de dos ou da classificação considerada como capaz de
ensino é uma organização que, em um dado meio e dar conta dos méritos e das qualidades comparadas
devido a determinado tipo de funcionamento, mobiliza dos estabelecimentos escolares.
recursos para que os alunos que recebem e que pos- A opção escolhida pela DEP é contrária a de
suem determinado número de características saiam uma lista de premiados baseada em um único indica-
com características de nível superior. Caso a bateria dor capaz de dar conta, sozinho, de todo o desempe-
de indicadores propostos não meça o conjunto dos ele- nho de um estabelecimento. Tem duas características
mentos desse modelo (por exemplo: não inclua o indi- indissociáveis: inicialmente, apresenta vários indicado-
cador que dê conta do "clima" do estabelecimento de res para cada escola (três são publicados), insistindo
ensino, o qual se sabe ser um elemento importante de no fato de que eles devem ser examinados simultane-
sua eficiência), inclui, entretanto, pelo menos um indi- amente, porque cada um tem um interesse particular,
cador para cada um desses aspectos (cf. Quadro 1). sublinhando aspectos diferentes e complementares dos ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
Sua concepção é, como indicado acima, dife- desempenhos dos estabelecimentos de ensino. Em
rente daquela que havia presidido à elaboração e à seguida, propõe, para cada um entre eles, uma apreci-
implantação das linhas de orientação dos estabeleci- ação relativa à ação própria de cada escola, eliminan-
mentos escolares, no final da década de 70. Essas do, tanto quanto possível, a influência de fatores sobre
linhas de orientação eram, em ampla medida, conce- os quais a eficiência do estabelecimento não teria in-
bidas com base no modelo dos instrumentos utiliza- fluência como, por exemplo, o maior ou menor grande
dos pelas empresas industriais e procuravam fornecer atraso escolar que possam ter os alunos recebidos.
aos estabelecimentos escolares os meios para apre-
ciarem o mais corretamente possível os recursos colo-
cados à sua disposição (horas de ensino, meios finan- 4.1. Vários indicadores complementares para apre-
ceiros, instalações) e o uso que lhes foi dado e para ciar os resultados de um estabelecimento escolar
relacioná-los com as atividades que exerciam. O
enfoque era, então, essencialmente dirigido à gestão A taxa de êxito no baccalauréat é o mais tradi-
favorável dos recursos (de eficiência) bem mais do que cional indicador, o mais conhecido do grande público –
a uma ótica de eficácia em relação aos objetivos do e sobretudo o mais fácil de ser estabelecido – que re-
sistema educativo. laciona o número de alunos da escola, aprovados no
baccalauréat em 1994, com o número de alunos pre-
106
sentes na primeira prova. É fonte de orgulho para um deixam durante o ciclo porque não oferece a seção
estabelecimento escolar selecionar entre os alunos que que desejam ou porque está situado em uma zona onde
querem cursar a 1ª série do ensino médio e, em segui- a concorrência de outros estabelecimentos é muito
da, selecionar entre os alunos de 1ª e 2ª séries do forte.
ensino médio, aqueles que considera aptos a obter o A proporção de "bachalerados" entre os alu-
baccalauréat e deixar que os outros liceus recebam nos que terminam o ensino médio indica, entre todos
aqueles alunos cujas possibilidades de sucesso con- os alunos que deixaram o estabelecimento em um
sidera fracas. Ao contrário, a taxa de aprovação de um determinado ano, independente do motivo, aqueles que
estabelecimento em que a quantidade de alunos de 3º o deixaram, de posse do certificado. O índice pode ser
ano, detentores do baccalauréat, é numerosa – não da aplicado em dois momentos: quando se refere aos alu-
primeira vez, mas após uma ou várias reprovações – nos de qualquer nível (1º, 2º e 3º anos do ensino mé-
será menos favorável, embora uma proporção impor- dio) que deixam o liceu, identifica, como o precedente,
tante desses alunos tenha-se "bacharelado" ao deixar o conjunto da escolaridade no estabelecimento, mas
o liceu. de um modo diferente, já que avalia as possibilidades
Se esse indicador é totalmente insuficiente de um aluno de 2º ano deixar o liceu como titular do
para dar conta da eficiência do conjunto de um liceu, baccalauréat, independentemente do número de anos
ele não pode ser negligenciado, sendo que tem a van- que nele passou. Quando se refere apenas aos alunos
tagem de poder ser estabelecido facilmente e de poder que terminam o 3º ano, avalia as possibilidades que
ser apresentado para cada seção do baccalauréat. um aluno, inscrito no 3º ano, tem de deixar o liceu
A taxa de acesso dos alunos do 1º ano do tendo o diploma do baccalauréat, até mesmo repetin-
ensino médio ao baccalauréat avalia, para um aluno do o 3º ano no estabelecimento; fornece, então, uma
desta série, a probabilidade de obter o baccalauréat informação particularmente útil (que os indicadores pre-
ao término de uma escolaridade inteiramente realiza- cedentes não permitiam localizar tão exatamente), di-
da no liceu, qualquer que seja o número de anos ne- ferenciando os liceus que, por quererem privilegiar as
cessários para isto. Essa taxa não é estabelecida a taxas de êxito, mostram-se reticentes diante da
partir de um conjunto real de alunos, mas resulta do repetência de 3º ano e aqueles que, ao contrário, con-
cálculo efetuado sobre um conjunto instantâneo (cf. cedem uma ou mesmo várias novas oportunidades aos
anexo 1). Contrariamente ao precedente, esse indica- alunos que não obtêm o baccalauréat na primeira ten-
dor se interessa, portanto, pelo conjunto da escolari- tativa.
dade no liceu. Considera no crédito deste apenas os
alunos que têm possibilidade de nele efetuar uma es-
colaridade completa, coroada de sucesso, mesmo se 4.2. A apreciação do "valor acrescentado" pelos
essa escolaridade inclui uma ou várias repetências; ao liceus
contrário, os alunos que tiveram de deixar o liceu, seja
porque este liceu não oferecia a seção que o aluno As três taxas apresentadas acima constitu-
desejava estudar, seja porque foram direcionados a uma em dados brutos que não informam sobre a questão
determinada seção visando eliminá-los, ou, simples- fundamental: como avaliar a própria ação do liceu, o
mente, porque mudaram de domicílio, são considera- que "acrescentou" ao nível inicial dos alunos que rece-
dos, do ponto de vista do indicador, como alunos que o beu. Em outras palavras, caso um liceu apresente um
liceu não soube (ou não pôde) conduzir ao baccalauréat, valor alto para um indicador, isto é devido ao fato de ter
mesmo se, no final das contas, o aluno obteve esse recebido bons alunos, dotados de bons métodos de
diploma em outro estabelecimento escolar. trabalho, que puderam obter o baccalauréat sem es-
Esse indicador é, portanto, muito mais perti- forço particular de sua parte, ou então, deve-se ao fato
nente do que a taxa de êxito no baccalauréat para ava- de que soube desenvolver nos alunos, talvez menos
liar a eficácia global de um liceu em relação ao objetivo dotados, no início, os conhecimentos e as capacida-
essencial do sistema educativo francês, que é o de des que lhes permitiram ter êxito?
levar até o nível do baccalauréat, seguido do diploma, Para avaliar esse valor acrescido, cuida-se de
uma parte importante dos jovens. Pode, entretanto, ser eliminar a incidência de fatores de êxito escolar exteri-
afetado por fatores sobre os quais o liceu tem pouco ores ao liceu para isolar o que é devido à sua própria
ou nenhum controle e que não dependem, propriamen- ação. Para isso, busca-se, considerando os fatores
te, de sua eficiência; nesse sentido, um liceu que ofe- externos de êxito escolar, o que poderia (ou deveria)
rece todas as seções do baccalauréat e que é relati- ter sido, em média, a situação dos alunos do liceu em
vamente isolado – e, no resto dispõe das mesmas coi- relação ao êxito ou ao acesso ao baccalauréat a fim
sas – tem mais trunfos para manter seus alunos até o de verificar sua situação efetiva, que é mais ou menos
3º ano do ensino médio (e até a obtenção de um favorável relativamente à situação de referência.
baccalauréat) do que um liceu que numerosos alunos
4.2.1. As taxas esperadas
107
tratos, a taxa média de êxito no baccalauréat ficou em
Na falta de poder dispor, imediatamente, de 75,8% na sessão de 1996, essa mesma taxa de êxito
uma medida do que poderia ser, com segurança, o é relativamente contrastada, caso se considere a ida-
melhor indicador de previsão do resultado dos alunos de e a categoria socioprofissional dos alunos (cf. Tabe-
no baccalauréat, de seu nível de escolaridade no início la 1). O fato de dispor dessas características
do 2º grau ou do nível de preparação para o ensino de sociodemográficas para o conjunto dos alunos dos li-
2º ciclo, foram selecionados dois fatores externos prin-
ceus permite calcular, para cada estabelecimento, a
cipais, disponíveis no sistema de informação da Edu-
taxa de êxito e as taxas de acesso "esperadas", ou
cação Nacional, que constituem, igualmente, excelen-
seja, o valor esperado para essas taxas caso, em
tes indicadores de previsão de êxito ou de acesso ao
exame: a idade e a origem socioprofissional dos alu- média, todos os alunos do liceu tivessem a mesma
nos. O cruzamento desses dois dados fornecem, de escolaridade e o mesmo sucesso no baccalauréat do
fato, uma boa aproximação das possibilidades de aces- que o aluno médio comparável – isto é, de mesma ida-
so e de êxito ao baccalauréat de um aluno: enquanto, de e origem socioprofissional – do conjunto dos liceus
para o conjunto dos alunos que freqüentam os liceus (cf. Anexo 2).
de ensino geral e técnico públicos e privados com con-
Tabela 1 – Baccalauréat geral e técnico – Sessão de 1996

Taxa nacional de êxito segundo a idade e a origem socioprofissional dos alunos dos estabelecimentos
públicos e privados sob contrato (França metropolitana + departamentos de além-mar)
Idade em 3 1/12 /19 96
18 A nos e – 19 A nos 20 A nos e +
C ategoria M uito favorável 90,3% 75,3% 68,9%
S ocioprofission al Fa vo rável 85,6% 72,4% 67,8%
dos P ais M édia 84,0% 71,9% 67,7%
D esfavorável 81,4% 70,3% 64,7%
Total 86,3% 72,5% 66,9%
A taxa de aprovação esperada de um liceu no 4.2.2. Apreciação relativa do valor acrescentado

baccalauréat é, então, a taxa de êxito que seria a sua, segundo diversos pontos de vista
caso seus alunos conhecessem o mesmo êxito no
baccalauréat que o conjunto dos candidatos de mes- Dispõe-se, assim, por comparação entre as ta-
ma idade e da mesma origem socioprofissional de to- xas esperadas e as taxas brutas, de um enfoque rela- ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
dos os liceus. Utiliza-se o mesmo raciocínio para cal- tivo do valor acrescentado de um liceu: se, para um
cular a taxa de acesso esperada dos alunos de 2º ano indicador, a variação entre a taxa bruta e a taxa espe-
ao baccalauréat. rada é positiva, cabe pensar que, do ponto de vista
De fato, duas taxas de aprovação esperada e avaliado por esse indicador, o liceu trouxe aos alunos
duas taxas de acesso esperado são apresentadas para que recebeu mais do que teriam recebido caso tives-
cada estabelecimento de ensino. Uma é calculada to- sem freqüentado um estabelecimento mediano, o que
mando por base o conjunto dos alunos da Academia é um índice de boa eficiência relativa. Caso a variação
onde o estabelecimento de ensino encontra-se situa- seja negativa, ter-se-á suposição inversa. Com certe-
do; a outra, tem por base o conjunto dos alunos da za, a variação não pode ter o mesmo sinal caso se
França. De fato, as diferentes academias apresentam, trate de taxa esperada em uma base acadêmica ou de
bem como os estabelecimentos de ensino, taxas de taxa esperada em uma base nacional. Encontrar-se-á,
aprovação e de acesso ao baccalauréat sensivelmen- no Encarte nº 1, uma ilustração desse procedimento.
te diferentes, e levar em consideração apenas as ta- Assim, o indicador pertinente em matéria de
xas esperadas calculadas em base nacional discrimi- aprovação no baccalauréat é, não a taxa bruta de apro-
naria, às vezes, muito pouco os estabelecimentos de vação, nem as taxas esperadas, mas a variação entre
uma mesma academia. a taxa bruta e as taxas de aprovação esperadas. Uma
108
variação positiva em uma determinada série permite que o esperado aceder ao baccalauréat, em relação à
pensar que as terceiras séries desse ano tiveram boa população escolar acolhida. Se estiver abaixo, estará em
eficiência, pelo menos se todos os alunos estiveram situação inversa.
efetivamente presentes no baccalauréat. Pode-se, sobretudo, ler as disparidades de de-
sempenho entre estabelecimentos. Em uma horizontal,
Encarte nº 1 na qual figuram todos os estabelecimentos com a mes-
ma taxa esperada, vê-se claramente que esses estabe-
No gráfico abaixo, estão representadas, a título de lecimentos podem ter valores acrescentados sensivel-
exemplo, as taxas brutas de acesso e a esperada de to- mente diferentes. É nesse estágio que transparece o in-
dos os liceus de uma Academia. A primeira bissetriz ilus- teresse deste tipo de análise. Por exemplo, o estabeleci-
tra a situação de igualdade entre as duas taxas. Cada mento A, cuja taxa bruta é de 55%, tem elevado desempe-
ponto representa um estabelecimento de ensino. Se um nho em termos de acesso ao baccalauréat. Não é esse o
ponto está acima dessa primeira bissetriz, significa, en- caso do estabelecimento B, embora a taxa bruta de aces-
tão, que o liceu permitiu a um número de alunos maior so seja, entretanto, de mais de 70%.
Gráfico 1 – Taxa de acesso bruta e taxa de acesso esperada dos liceus da Academia de Lille
90
X X X
80
X X X
XXX X X
X X XX
XX
70 X X XXXX XXXX
X
X
X X
XXX XXX XX
X X
Taxa de acesso bruta
X
X X XX X XX X
60 XXX XXXXX X X XX
X X
X
X X X XXXX XXX
XXXXXX
50 XX
XX XX
X
40
XX
X
X
30
20 X
20 30 40 50 60 70 80 90
Taxa de acesso esperada
Da mesma forma, o indicador pertinente, no contenta-se em confrontá-lo com duas médias: essa
que se refere ao acesso do 1º ano do 2º grau ao mesma proporção para o conjunto dos liceus da Aca-
baccalauréat, é a variação entre a taxa de acesso bru- demia, de um lado; para toda a França, por outro lado.
ta e as taxas de acesso esperadas. Uma variação po- Não caberia, certamente, tirar, apenas da confronta-
sitiva permite pensar que o liceu possui boa eficiência ção dessas médias, conclusões sobre a eficiência do
global, já que leva ao baccalauréat mais alunos do 1º estabelecimento. Mas ela completa as apreciações
ano do que o esperado, considerando as característi- apresentadas pelos dois primeiros indicadores.
cas externas desses alunos. Na verdade, a apreciação combinada dos dife-
No que se refere ao terceiro indicador, a pro- rentes indicadores apresentados é que permite dar todo
o sentido ao dispositivo. Encontrar-se-á, no Encarte nº
porção de "bacharelados" entre os alunos que termi-
2, um exemplo da análise do desempenho e da situação
nam o liceu não é associada a um valor esperado; de um liceu, elaborada a partir desses dados.
109
Encarte nº 2
Três indicadores de um liceu e um exemplo de interpretação
1 – Taxa de aprovação no Baccalauréat por série

Taxa A B C D E F* F8 F** G H Total
Bruta 86 69 83 91 56 77 67 76
Esperada (base acadêmica) 76 68 83 84 71 72 69 75
Esperada (base França) 77 68 85 78 73 69 69 74
Presentes 135 121 123 85 34 57 197 752
*Menos F8, F 11 e F 12
**F 11 e F 12
2 – Taxa de acesso do 1º ano do ensino médio ao Baccalauréat

Bruta Esperada (base acad.) Esperada (base França)
Taxa Efetivo do 1ºano
71 65 63 do 2º grau 681
3 – Proporção de bacharelados entre os alunos no término

P/estabelecimento P/academia P/França
1º, 2º, 3º do
ensino médio 78 67 70
3º ano do
ensino médio 94 91 88
Na análise dos resultados do baccalauréat (indi- dos alunos por idade, podia-se esperar que essa proba-
cador nº 1), esse liceu aparece como médio. De fato, três bilidade fosse de 65%, em referência à Academia, ou de
alunos, entre quatro que se apresentaram para o exame,
63% em relação ao conjunto nacional. Com uma taxa de
obtiveram o diploma. Se levarmos em consideração as
aprovação média, mas com uma taxa de acesso elevada,
origens sociais e a idade dos alunos, as terceiras séries
desse liceu apresentam resultados próximos do que era pode-se supor que esse liceu pratique políticas de
esperado (75% da taxa esperada em base acadêmica, repetência ou de reorientação eficazes entre as séries
74% da taxa esperada base França). 0 exame de cada que oferece. Esse liceu mantém grande parte de seus
série permite matizar essa interpretação global. As séries alunos até que eles sejam diplomados, mesmo se, para ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
13, C e G apresentam taxas medianas e exibem resulta- isso, for necessário um quarto ou até um quinto ano de
dos próximos do que se podia esperar delas. As séries estudo no estabelecimento. Outros liceus teriam, talvez,
com os melhores desempenhos são as A, D e F, com
reorientado seus alunos para outros estabelecimentos
uma contribuição, em termos de valor acrescido, mais
significativo para a série A. A menos eficaz é a série E, que de ensino.
apresenta uma taxa de aprovação bruta fraca (56%), com- Essa hipótese é confirmada pela análise da pro-
parada com as taxas esperadas de 71% e de 73%. É porção de "bachalerados" entre os alunos que concluí-
necessário, entretanto, relativizar essas últimas taxas, ram o ensino médio. De fato, quase todos os alunos de 3º
estabelecidas com base em apenas 34 alunos. ano (94%) deixam o liceu com o baccalauréat. Se nos
Analisando as taxas de acesso (indicador nº 2) e interessarmos em todos os que deixam o liceu, essa pro-
as proporções de "bacharelados" entre os alunos
porção cai para 78%, o que é bem superior às médias
concluintes do ensino médio (indicador nº 3), pode-se
melhor delinear a situação desse liceu. Um aluno do 1º acadêmica (67%) e nacional (71%). Isso confirma bem a
ano geral e técnico desse estabelecimento tem 71% de idéia de que se deixa esse liceu, mais do que os outros,
possibilidade de obter o baccalauréat nesse mesmo li- após ter obtido o baccalauréat em qualquer das opções
ceu. Considerando-se a estrutura social e a separação propostas.
110
Taxa de aprovação esperada
A nexos
Para calcular a taxa de aprovação esperada,
agrupam-se os alunos do liceu que se apresentaram
no baccalauréat em doze subpopulações obtidas com-
ANEXO 1
binando-se três categorias de idade (i) e quatro agru-
TAXA DE ACESSO DO 1º ANO DO ENSINO MÉDIO pamentos de origem social (j). A taxa de aprovação
AO BACCALAURÉAT esperada no baccalauréat é obtida aplicando-se aos
efetivos de cada uma das 12 subpopulações (n, j) as
taxas brutas de aprovação (t, j) do conjunto dos alunos
A taxa de acesso do 1º ano ao baccalauréat, de mesma idade e da mesma categoria
para um liceu, é o produto das taxas de acesso do 1º socioprofissional constatados na população de refe-
ao 2º ano, do 2º ao 3º ano e do 3º ao baccalauréat, rência (todos os alunos escolarizados nos estabeleci-
calculadas para este estabelecimento de ensino em mentos públicos ou privados sob contrato da Acade-
um ano determinado. mia – base acadêmica – ou da França – base França).
O cálculo dessas taxas não se fundamenta na
observação de um conjunto real de alunos de 1º ano, ΣΣ ni, j x ti, j
mas sobre o que se convencionou denominar de con- i j
junto instantâneo. Essas taxas descrevem melhor, em Taxa de aprovação esperada =
um dado momento, o que ocorre em um estabeleci- ΣΣ ni, j
mento, do que aquelas baseadas em conjunto reais. i j
De fato, nesse último caso, seríamos obrigados a es-
perar que o conjunto de alunos tenha deixado o liceu Os agrupamentos por idade (i) correspondem aos
(4 ou 5 anos, pelo menos). alunos:
A taxa de acesso de um nível a outro traz, para – sem atraso escolar;
a população dos alunos de um estabelecimento dei- – com um ano de atraso escolar;
xando o nível inicial, a população daqueles que têm – com mais de um ano de atraso escolar, isto é,
acesso ao nível superior no mesmo estabelecimento. aos alunos tendo 18 anos e menos; 19 ou 20
A fórmula é a seguinte, por exemplo, para o ano
anos e mais, no ano do baccalauréat.
1992-1993:
Os agrupamentos por profissão e por categorias
sociais (i) são feitos em quatro categorias elaboradas,
ESL
Taxa de acesso de um nível a outro = x 100 levando em conta os resultados dos estudos sobre a
EI - ERL aprovação escolar dos alunos em função de sua ori-
gem social:
Com: – categoria denominada "muito favorecida", com-
EI = alunos inscritos no nível inicial em setembro de preendendo os diretores, as profissões inte-
1992; lectuais superiores e todos os professores;
ERL = alunos do estabelecimento que repetiram o ní- – categoria denominada "favorecida", compreen-
vel inicial no liceu em setembro. dendo os chefes administrativos;
Para o cálculo das taxas de acesso do 1º ao 2º ano e – categoria denominada "média", agrupando agri-
do 2º ao 3º ano: cultores proprietários, artesãos, comerciantes,
ESL = alunos do estabelecimento que passaram para chefes de empresas, empregados;

o nível superior no liceu em setembro de 1993. – categoria denominada "desfavorecida", reunin-
Para o cálculo da taxa de acesso do 3º para o do os operários e os inativos.
baccalauréat:
ESL = alunos do estabelecimento que tenham obtido
o baccalauréat em junho ou em setembro de 1993. Taxa de acesso esperada
ANEXO 2
Para calcular a taxa de acesso esperada, de
TAXAS ESPERADAS acesso de um nível a outro, agrupam-se os alunos do
nível inicial em doze subpopulações obtidas combinan-
do-se as mesmas três categorias de idade (i) e os
Se a taxa bruta de aprovação no baccalauréat é mesmos quatro agrupamentos de origem social (j) que
calculada simplesmente – trata-se da relação entre o foram utilizados para o cálculo das taxas de aprovação
número de "bachalerados" e o número de candidatos esperadas. Em seguida, aplica-se aos efetivos das doze
presentes na primeira prova –- o cálculo da taxa de subpopulações do nível inicial (n, j) as taxas brutas de
aprovação esperada é mais complexa. acesso (ta, j) do conjunto dos alunos de mesma idade
111
e de mesma categoria socioprofissional, calculadas A fórmula é a seguinte:
sobre a população de referência (todos os alunos, de ΣΣ ni, j x tai, j
um mesmo nível, qualquer que seja o estabelecimento i j
público onde são escolarizados, contabilizados em ní- Taxa de aprovação esperada =
vel acadêmico – base acadêmica – ou nacional – base ΣΣ ni, j
França). i j
112
A RRANJOS INSTITUCIONAIS
PARA AVALIAÇÃO
Ernest R. House*
Quais serão os melhores arranjos institucionais dade às ações do governo, avaliando seus programas
para a realização de avaliações? Para responder a esta e políticas, em relação ao seu valor social. Quando o
pergunta, é preciso, em primeiro lugar, considerar o presidente Lyndon Johnson deu partida em seus con-
motivo que nos leva à avaliação profissional. A avalia- troversos programas da "Great Society" nos Estados
ção, como instituição de informação para as decisões Unidos, nos anos 60, garantiu sua aprovação no
públicas, surgiu apenas durante a última terça parte Legislativo simplesmente assegurando ao Congresso
do século XX, em primeiro lugar, e de maneira mais que aqueles programas seriam avaliados. Em grande
disseminada, nas sociedades capitalistas avançadas. escala, a avaliação foi iniciada nos Estados Unidos
O capitalismo avançado – altamente valoriza- em torno do ano de 1967.
do pela sua eficácia em aprimorar os padrões de vida – É preciso notar que não estou afirmando que
é também um processo extremamente desestabilizador. a avaliação seja puramente cosmética, ou que seja
Enormes massas de pessoas migram para longe de realizada apenas tendo em vistas a legitimidade. Ao
suas casas e de suas famílias, em busca de trabalho contrário, a avaliação efetivamente serve para determi-
em cidades estranhas, afastando-se de seus amigos, nar a eficácia de programas, políticas e do pessoal.
de suas associações tradicionais, e até mesmo de seus Informa as ações do governo e educa a opinião públi-
idiomas maternos. Quando todos os empreendimen- ca. Também não estou sugerindo que exista nenhum
tos humanos se vêem sujeitos a padrões de produtivi- elemento de insinceridade nesses esforços. Entretan-
dade e de eficiência, sobra pouco espaço para o que é to, sem a função legitimizadora oferecida pela avalia-
tradicional ou característico de qualquer comunidade. ção a um público cético, outras fontes de informação
Por outro lado, foram as formas tradicionais de autori- seriam adotadas em seu lugar, como o emprego de
dade - a Igreja, a comunidade e a família – que deram especialistas. A avaliação científica tem a vantagem
apoio à legitimidade dos governos. da credibilidade pública de suas conclusões.
Com as bases tradicionais de apoio fragilizadas
pela mobilidade tanto do capital quanto da mão-de-obra,
e com as rápidas modificações na tecnologia e nos
estilos de vida, é necessário que os governos encon-
trem outras fontes de legitimização para as suas ações,
além das tradicionais. Existe toda uma variedade de
C redibilidade
fontes de legitimidade, mas, o que é mais importante,

os governos precisam demonstrar que têm capacida-
Para gerar essa credibilidade, é preciso que a
de para sustentar a melhora material de suas socieda-
avaliação seja vista como independente nas suas con-
des, ou seja, de aumentar a prosperidade material de
suas populações. Poucos regimes conseguem sobre- clusões, e como sendo justa até certo ponto. Caso
viver sem oferecer essa grandeza material. Assim sen- seja considerada como indevidamente parcial, perderá
do, os governos nessas sociedades tratam de criar as a sua credibilidade. A falta de credibilidade é o proble-
condições econômicas que possam facilitar os empre- ma das comissões do governo, em que cidadãos proe-
endimentos capitalistas. minentes chegam às conclusões que o governo dese-
Outra fonte de legitimidade é a instituição da ja. Freqüentemente, as pessoas não confiam nessas
ciência profissional, que assumiu parte da autoridade comissões, porque elas não são independentes, e por-
uma vez investida na religião. A avaliação profissional, que não têm credibilidade científica. Refletem a orien-
através da sua identificação com a ciência, dá legitimi- tação do governo.
*Ernest R. House é professor da School of Education na University of Colorado, desde 1985. Dentre a sua produção bibliográfia, destacam-se as duas últimas
obras: Professional evaluation: social impact and political consequences (1993) e Productivity in Education: policies, markets and teacher assets (1998). Realizou
estudos sobre avaliação para várias instituições: National Education Association, Ford Foundation, OECD, Federal Coordinating Council for Science,
Engineering and Technology in Washington.
113
Para que sejam consideradas como acreditá- comunicação entre os avaliadores e o pessoal dedica-
veis, as avaliações deverão ser baseadas em duas prá- do aos programas. Esta separação reduz a possibili-
ticas principais. Uma delas é o emprego de uma dade de as conclusões da avaliação serem utilizadas
metodologia científica objetiva, como já sugeri, e a ou- por aqueles que trabalham nos programas. Uma das
tra prática relaciona-se aos avaliadores, que deverão principais preocupações dos avaliadores da NSF é
ser politicamente independentes dos programas e das convencer o pessoal dos programas a empregar as
políticas sob avaliação. Em meio à comunidade de ava- conclusões da avaliação. Para estimular o uso das
liação profissional, perdura um debate constante so- conclusões, é necessário engajar o pessoal envolvido
bre a eficácia das várias metodologias de avaliação, e no programa desde cedo no projeto do estudo, para
essas discussões variam desde as melhores formas que o aceitem. Mas a separação das agências não
de obtenção de dados como apresentar as conclusões. encoraja esse tipo de cooperação.
Freqüentemente, esses debates têm um cunho alta- Uma outra forma de estimular o uso das con-
mente técnico, ainda que, apesar disso, não sejam clusões da avaliação é construir de maneira ativa uma
menos ferrenhamente contestados. cultura de avaliação, dentro das próprias agências do
A maior parte dos julgamentos sobre as governo. Isso pode ser feito através da organização de
metodologias adequadas encontra-se nas mãos da seminários para o pessoal envolvido no programa, atra-
comunidade profissional, e não no governo. O empre- vés de reuniões individuais com ele, e, principalmente,
endimento da avaliação profissional, assim como o ajudando o pessoal do programa a entender e a partici-
empreendimento médico profissional, depende de um par no planejamento da avaliação e na implementação
mercado livre de idéias, para forjar as suas de suas conclusões. Entretanto, a criação de uma
metodologias. O governo influencia indiretamente a cultura de avaliação em uma agência é um processo
metodologia, a partir do momento em que aprova que que leva muito tempo; somente poucas agências em
métodos deverão ser utilizados nos estudos patrocina- Washington foram bem-sucedidas nessa tarefa. O
dos por ele, ainda que raramente se envolva diretamente desenvolvimento de uma cultura de avaliação continua
nos debates metodológicos. sendo uma tarefa a ser considerada, e não uma tarefa
Por exemplo, em um estudo de cinco anos da realizada (House, Haug, Norris, 1996).
principal agência de avaliação da National Science Além de ser científica e independente, a avali-
Foundation (NSF), constatei que os órgãos do governo ação deve também ser vista como sendo justa. Com
tendem a aprovar as metodologias tradicionais para os isso, quero dizer que os interesses e os pontos de
estudos, como pesquisas e visitas de campo, que se- vista relevantes devem ser representados na avaliação.
jam bem compreendidas e aceitas tanto por avaliado- Uma avaliação terá pouca credibilidade aos olhos do
res quanto por não avaliadores. Há menos probabilida- público em geral se representar apenas os interesses
de de as agências do governo aprovarem o financia- e os pontos de vista do governo. É preciso que a avali-
mento de metodologias novas, de que as pessoas dis- ação represente os interesses de todos aqueles que
cordem. E esse conservadorismo metodológico faz sejam afetados de modo significativo pelo programa
sentido, se a legitimidade dos estudos for uma preocu- (às vezes mencionados como "partes interessadas").
pação importante. Atualmente, um dos debates mais controversos na
A segunda das estratégias principais para a comunidade de avaliação diz respeito a que interesses
garantia da legitimidade é a localização dos avaliado- deveriam ser representados.
res em lugar que seja resguardado da interferência
política. Não se deseja que as conclusões da avalia- ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
ção sejam modificadas por aqueles cujos programas
estejam sendo avaliados. Se a agência de avaliação
estiver localizada em local protegido daqueles que fo-
T endências recentes
rem ser submetidos à avaliação, haverá menos oportu-
nidade de interferência com os estudos. Assim, a agên-
cia de avaliação da NSF está localizada na sua própria Esses foram os avanços das últimas poucas
divisão, tendo o seu diretor status igual ao dos direto- décadas. E as outras tendências? Uma tendência po-
res das divisões de programas. Eventualmente, a agên- derosa foi a de os governos reduzirem o seu tamanho.
cia de avaliação é localizada dentro de uma agência Essa redução de tamanho faz parte de uma teoria eco-
superior da organização. Por exemplo, o Federal Bureau nômica (da escola de economia de Chicago), que afir-
of Investigation (FBI) tem a sua agência de investiga- ma que os governos devem limitar os seus gastos, de
ção localizada no escritório do diretor assistente des- forma que haja mais dinheiro disponível para o setor
sa instituição. privado, que, presumivelmente, pode usar os recursos
Por outro lado, há um preço a ser pago por de maneira mais eficaz, para gerar mais riqueza. Além
esse tipo de independência política. Quando a agência disso, de acordo com essa teoria, os governos devem
de avaliação é afastada dos programas, existe menos desregulamentar o setor privado.
114
Ainda, os próprios governos devem ser mais var que o mercado de avaliação desenvolvido não tem
parecidos com empresas, mais empreendedores as características de um mercado neoclássico. Em
(Osborne, Gaebler, 1992). Devem planejar e avaliar os um mercado neoclássico, existem muitos comprado-
serviços públicos, mas os próprios serviços públicos res e vendedores de bens e de serviços. Se os com-
devem ser prestados pelo setor privado, em vez de por pradores não gostam de um produto, podem voltar-se
agências do governo. O governo deve planejar as suas para outros vendedores do produto. Se os vendedores
atividades, em vez de produzi-las. Por vezes, o conjunto não gostam do preço oferecido pelo seu produto, en-
dessas políticas é chamado de "nova gestão pública". contram compradores que ofereçam um preço melhor.
Essas políticas resultaram em redução dos Assim, as relações de mercado são impessoais, e não
recursos do governo e levaram a uma outra função para de pessoal. E, presumivelmente, o mercado é mantido
a avaliação. Os governos desejam efetuar grandes cor- em equilíbrio a um alto nível de eficiência, através des-
tes de orçamento, querendo também que esses cor- se balanço de compradores e vendedores impessoais.
tes sejam vistos como legítimos. Em especial, foi este Entretanto, o mercado de avaliação que vai se
o caso na Europa, onde a recente onda de avaliação desenvolvendo não é assim, ao menos não em Wa-
foi intimamente associada aos escritórios de contabi- shington. Por exemplo, apenas quatro empresas reali-
listas e de orçamento. O governo Thatcher, na Grã- zam toda a atividade de avaliação da NSF. O pessoal
Bretanha, foi talvez o primeiro a utilizar a avaliação pri- dessas empresas desenvolve relacionamentos pesso-
mariamente como instrumento para o corte de custos, ais estreitos com o pessoal da NSF. Afinal de contas,
mas vários outros governos fizeram a mesma coisa, os funcionários da NSF precisam dispor de conclusões
incluindo os governos social-democratas nos países de avaliação para exibir ao Congresso, e necessitam
nórdicos (Henkel, 1991). de contratados confiáveis para fornecer as avaliações
Tudo isso resultou em modificações na pró- a tempo. Por outro lado, as quatro empresas contrata-
pria comunidade profissional de avaliação. Enquanto das tornam-se dependentes dos recursos da NSF, que
as primeiras comunidades de avaliação, nos Estados respondem por uma parte significativa de seus orça-
Unidos, eram basicamente formadas por funcionários mentos.
do governo dedicados à pesquisa social, na Europa, Assim, em lugar de relacionamentos impes-
contabilistas, economistas e especialistas em orça- soais de muitos compradores e de muitos vendedores,
o mercado passa a ser caracterizado por relações bi-
mento tornaram-se mais freqüentes. Os critérios de
laterais pessoais, cara a cara. As vantagens dos mer-
eficiência tornaram-se tão importantes quanto os crité-
cados – custos baixos, alta qualidade – não necessa-
rios de eficácia , para a avaliação de programas.
riamente se aplicam a esses mercados. Os serviços
Um outro resultado foi que os próprios servi-
adquiridos podem realmente custar mais, e a qualida-
ços de avaliação passaram a ser terceirizados, ou con-
de do produto pode ou não ser um problema, depen-
tratados externamente. Com o intuito de reduzir o seu
dendo da competência dos contratados.
tamanho, as agências do governo vêm terceirizando
É isso que os economistas chamam de "mer-
muitos serviços do governo junto ao setor privado. Ta-
cado imperfeito", e, para fazer com que esse mercado
refas uma vez realizadas pelos órgãos do governo es-
funcione, é preciso que o governo tome determinadas
tão hoje sendo executadas por empresas privadas. A providências. O órgão do governo deve ter a capacida-
nova gestão pública sustenta que essas empresas pri- de para definir exatamente o que deseja, independen-
vadas têm a capacidade para executar esses serviços temente de seus contratados, as empresas responsá-
de modo mais eficiente. E, de fato, ao reduzir seus veis pela execução da avaliação. O órgão deve ser ca-
quadros, os órgãos do governo com freqüência não dis-
paz de determinar quais são os bons contratados, de

põem de pessoal suficiente para executar internamen- controlar de perto os produtos e de diferenciar as ava-
te as tarefas. liações boas das más (House, 1997). Essas tarefas
As avaliações são também cada vez mais exigem a inclusão de alguma maneira de atividades de
terceirizadas. Por exemplo, na já mencionada agência fiscalização na organização.
da NSF, nada mais do que três especialistas em avali- A contratação da avaliação de terceiras par-
ação administram em torno de 20 milhões de dólares tes levanta também aspectos relativos ao controle das
em estudos. Virtualmente todos os estudos de avalia- conclusões da avaliação. Na Grã-Bretanha, principal-
ção são contratados de firmas privadas. O pessoal da mente os governos Thatcher e Major propuseram con-
NSF simplesmente não poderia realizar a tarefa, mes- tratos de avaliação que atribuem um controle conside-
mo que o desejasse. Políticas semelhantes foram rável sobre as conclusões de avaliação a patrocinado-
adotadas na Austrália, na Nova Zelândia, na Grã- res do governo das próprias avaliações (Norris, 1995).
Bretanha e na Holanda (Boston et al., 1996). Em alguns casos, as conclusões foram suprimidas ou
Esse movimento de terceirização resultou no modificadas, e foram negadas aos avaliadores oportu-
desenvolvimento de mercados especializados de avali- nidades de tornar públicas as suas conclusões.
ação. Empresas com e sem fins lucrativos realizam Ainda que esse controle não pareça ser um
estudos para o governo. Entretanto, vale a pena obser- problema importante em todos os países, é fácil compre-
115
ender que a prática disseminada da supressão das onde e como cortar alguns dos programas. É impor-
conclusões pelo governo terminaria por negar a tante saber como a terceirização das avaliações e o
credibilidade das avaliações como um todo, do ponto desenvolvimento de um mercado de avaliação afetam
de vista do público. Os avaliadores gerariam relatórios as próprias avaliações, mas não dispomos de um en-
em que ninguém acreditaria. A longo prazo, essas prá- tendimento sobre esse fenômeno.
ticas seriam autodestrutivas para o governo, uma vez Em terceiro lugar, estão as questões
que levariam à contaminação de uma fonte de legitimi- metodológicas, que incluem a acomodação das
dade do próprio governo. Mas, evidentemente, o gover- metodologias ideais de avaliação aos aspectos políti-
no é conhecido por ter optado por práticas não inteli- cos. Buscam-se métodos que sejam possíveis de se-
gentes no passado, e por ter garantido vantagens a rem apoiados, do ponto de vista político, e que sejam
curto prazo a custos de longo prazo. profissionalmente aceitáveis – o que nem sempre é
Assim, em resumo, a avaliação é o produto fácil de achar. E é possível imaginar de que forma es-
das interações do governo, da comunidade de avalia- sas questões poderiam interagir. Por exemplo, em qual-
ção profissional e do mercado econômico. As interações quer operação burocrática, o fluxo de informações atra-
entre esses três setores da sociedade moderna – ou vés dos níveis técnico, administrativo e institucional é
seja, o Estado, a sociedade civil e a economia – são problemático (Wilson, 1989).
complexas, mutuamente dependentes, e às vezes Os funcionários técnicos fazem o trabalho, ao
conflitantes. Mas é essa a estrutura das economias passo que os próprios especialistas em avaliação fis-
capitalistas avançadas. calizam os contratos e operam os programas. Admi-
nistradores, em geral diretores de divisões ou de de-
partamentos, preocupam-se com os produtos finais, e
podem ter apenas um conhecimento superficial das
empresas que estejam realizando o trabalho. Os che-
D esafios futuros fes institucionais, no topo da organização, lidam com
legisladores, com o público e com outras forças políti-
cas, para obterem recursos para a sua agência. Pos-
Quais são os futuros desafios a serem consi- suem consciência nada mais do que vaga sobre o tra-
derados por essas organizações institucionais de ava- balho que está sendo desenvolvido. A comunicação
liação? Em primeiro lugar, existe o problema potencial entre esses níveis pode ser disfuncional.
da interferência política, como já foi levantado. Nitida- O desastre do ônibus espacial Challenger,
mente, a avaliação tem funções políticas, e é politica- causado por um anel de vedação, é um exemplo im-
mente útil, mas, para desempenhar adequadamente a pressionante, quando os funcionários técnicos (os en-
sua função de legitimização para o governo, não pode genheiros) desaconselharam o lançamento da nave,
ter os seus processos politizados. Perderá toda a sua devido ao tempo frio. A empresa contratada, a Morton
credibilidade. Ter credibilidade significa ter a capacida- Thiokol Corporation, tinha conhecimento de que os
de para publicar conclusões negativas. Que cidadão, anéis de vedação, que selam os tanques de combustí-
onde quer que pudesse estar, acreditaria que as ações vel, poderiam apresentar mau funcionamento no inver-
do governo são sempre positivas? no. Os altos administradores da National Aeronautics
Em segundo lugar, existe o problema econô- and Space Administration (NASA) foram informados
mico dos mercados especializados de avaliação. Co- do perigo, mas jamais compreenderam plenamente a
nexões estreitas entre os governos e as empresas re- probabilidade de falha do anel de vedação. Estavam a ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
sultam em relacionamentos bilaterais próximos, o que tal ponto preocupados com as conseqüências políti-
pode terminar por afetar a qualidade e a credibilidade cas de não lançar o ônibus espacial, que o desastre
do trabalho. Será que as empresas que forem tão de- aconteceu: o ônibus foi lançado e explodiu. Conside-
pendentes das agências do governo gerarão relatórios rando-se que cada um dos níveis da organização esta-
favoráveis aos programas dessas mesmas agências? va preocupado com um aspecto distinto, as probabili-
Há sinais disso nas avaliações da NSF. Em uma ex- dades de falhas na comunicação eram altas.
tensa avaliação, com visibilidade nacional, os avalia- A mesma coisa pode ser dita da avaliação
dores mostraram-se relutantes em criticar a política do dentro do governo. Por exemplo, os legisladores exi-
governo, embora os avaliadores da NSF argumentem gem informação "de impacto", uma necessidade trans-
que este não é um problema muito disseminado. mitida aos especialistas em avaliação através da ca-
Evidentemente, é fácil ver que as empresas deia de comando. Os especialistas em avaliação e as
contratadas imaginem que, ao produzirem relatórios empresas contratadas determinam o que é tecnica-
negativos, terão menos probabilidade de receberem mente viável de ser feito sob aquelas circunstâncias,
contratos futuros da agência. Ironicamente, neste caso, ou seja, que tipos de informações poderão ser obtidas.
o que os funcionários das agências desejam ver são Entretanto, aquilo que o Congresso quer dizer com "in-
as conclusões negativas, de forma que possam saber formação de impacto" e o que pode ser produzido são
116
duas coisas diferentes. Pode-se encontrar muitas fa- especializado para serviços de avaliação. Essas em-
lhas de entendimento à frente. presas contratadas precisam ser vistas como compe-
Em quarto lugar, há uma questão prática, so- tentes, do ponto de vista profissional, e as agências
bre de quem serão os interesses e pontos de vista a dos governos devem tomar determinadas providências
serem incluídos na avaliação, de forma que ela seja para que esses arranjos possam funcionar, incluindo
considerada como tendo sido justa e imparcial. É in- tanto a fiscalização da qualidade das avaliações pro-
dispensável que as avaliações tenham aparência de duzidas, quanto a capacidade dos próprios contrata-
serem justas e imparciais, para terem credibilidade. dos para a avaliação.
Ser imparcial significa incluir os interesses de todas Finalmente, estou consciente de que muitas
as partes relevantes na avaliação, incluindo aquelas pessoas imaginarão que seja ingênuo falar da inde-
que tenham poder de voz. Não somente deverão ser
pendência política dos avaliadores dos governos, que
representados na avaliação os interesses dos ricos e
os funcionários do governo sempre tratarão de interferir
dos poderosos: com isso, focalizam-se questões de
nas avaliações e de influenciar as conclusões, para a
justiça social na avaliação.
sua própria vantagem. E, é claro, muitos funcionários
Já discuti esses aspectos em um livro de 1980,
de governos farão isso. Por outro lado, a outra consi-
mas deverei entrar em maiores detalhes em um outro
deração significativa é a relativa fragilidade dos gover-
livro, ainda não terminado (House, 1980). Em poucas
nos nos Estados capitalistas avançados. Nessas so-
palavras, o meu argumento é que a avaliação deve ser
democrática, dialogal e deliberativa. Deve ser demo- ciedades, os governos necessitam de legitimidade, uma
crática, no sentido de que inclua os interesses e os vez que as decisões econômicas críticas foram colo-
pontos de vista de todas as partes interessadas. Deve cadas além do seu alcance. Os governos precisam de
ser dialogal, em termos de que precisa estabelecer amigos, que possam dar apoio à sua legitimidade, ain-
um diálogo com as partes interessadas, de forma que da que esses amigos sejam justos e imparciais.
a avaliação possa representar autenticamente os inte-
resses dessas partes. E a avaliação precisa ser
deliberativa, para que possa dar às partes interessa-
das a oportunidade de deixar claros os seus verdadei- R eferências bibliográficas
ros interesses, de modo que se consiga chegar a deci-
sões bem tomadas. Em termos gerais, a avaliação
deverá servir para informar uma democracia deliberativa. BOSTON, J. et al. Public management : the New
Zealand Model. Oxford, England : Oxford University
Press, 1996.
HENKEL, M. Government, evaluation and change. Lon-

C onclusão dres : Jessica Kingsley Publishers, 1991.
HOUSE, E. R. Evaluación, poder y ética. Madrid :

Em resumo, e com respeito às providências Morata, 1994.
para a realização de avaliações, elas precisam ser in-
________. Evaluation in the government marketplace.
dependentes a ponto de ter a capacidade de chegar a
Evaluation practice, v. 18, n. 1, p. 37-48, 1997.
conclusões que sejam imparciais. Devem ser vistas

como sendo críveis, se quiserem atingir essa função. ________. Evaluating with validity. Beverly Hills, CA :
Sua imparcialidade advirá da utilização da metodologia Sage Publications, 1980.
científica apropriada, e da proteção contra a interferên-
cia política. Dentro do governo, as agências de avalia- HOUSE, E. R., HAUG, C., NORRIS, N. Producing
ção deverão ser localizadas em órgãos independen- evaluations in large bureaucracies. Evaluation, v. 2,
tes, posicionados próximos aos responsáveis pela to- n. 2, p. 135-150, 1996.
mada de decisões, mas não no mesmo escritório dos
programas a serem avaliados. Os métodos científicos, NORRIS, N. Contracts, control, and evaluation. Journal
que evitem quaisquer formas de parcialidades, devem of Education Policy, v. 10, n. 3, p. 271-285, 1995.
ser oriundos da comunidade profissional de avaliação.
OSBORNE, D., GAEBLER, T. Reinventing government.
Cada vez mais, as avaliações vêm sendo pa-
Reading, MA : Addison-Wesley, 1992.
trocinadas por órgãos de governos, sendo realizadas
através de contratos firmados com empresas particu- WILSON, J. Q. Bureaucracy. New York : Basic Books,
lares, a ponto de vir desenvolvendo-se um mercado 1989.
117
118
C OMO PODE A AVALIAÇÃO
CONTRIBUIR PARA A POLÍTICA EDUCACIONAL?
OS USOS DA INFORMAÇÃO
Barry MacGaw*
A política de educação é formulada e da adequação da informação sobre a qual se baseiam

implementada nos níveis do sistema e da escola. os seus julgamentos.
Mesmo naqueles casos em que o sistema impõe Uma estratégia alternativa é aquela em que o
severas restrições ao que as escolas fazem, sempre sistema estabelece alguns métodos de rotina para a
existe lá algum grau de discernimento sobre a forma avaliação do seu próprio desempenho, obtendo e
específica das políticas e sobre como podem ser analisando uma variedade de dados sobre o
implementadas. desempenho do sistema.
Alguns sistemas altamente descentralizados,
como é o caso dos Estados Unidos da América e da
Inglaterra e do País de Gales, estão tratando de
adoção de um enfoque sobre os
desenvolver políticas nacionais mais fortes, para
determinar uma estrutura para as políticas escolares. A resultados
Outros sistemas tradicionalmente centralizados estão
no processo de devolver muito mais responsabilidade
pelas decisões sobre políticas e práticas à escola, ainda
que possam criar algum tipo de estrutura de Durante as décadas de 60 e 70, vários países
responsabilidades, de forma que fique claro para as desenvolvidos buscaram formas de expandir os
escolas sobre quais aspectos elas devem consultar recursos para financiamento de seus sistemas de
as autoridades centrais sobre suas políticas, programas educação, enquanto se acomodavam em primeiro lugar
e desempenho. com o aumento da população, e em seguida com a
maior participação, além dos anos de freqüência
obrigatória à escola.
Já na década de 80, foram sendo levantadas
O uso da informação no nível do sistema dúvidas sobre as vantagens geradas pelo crescente
volume de recursos dirigidos. Como foi constatado pelo
Comitê de Avaliação da Qualidade da Educação da
Existem várias maneiras através das quais os Austrália (1985), pouca informação havia sido obtida
sistemas de educação podem avaliar as suas sobre a eficácia dos programas introduzidos com o novo
operações, no nível do próprio sistema. fluxo de financiamento, não havendo assim nenhuma
Uma das maneiras é a análise externa. O explicação bem-fundada sobre os benefícios. Quase
Departamento de Educação Escolar de Nova Gales do uma década mais tarde, a ausência de evidências sobre
Sul, Austrália, adotou essa abordagem durante vários vantagens passou a ser interpretada como a presença
anos, reunindo um pequeno grupo de renomados de evidências para a ausência delas. Ainda mais, o
educadores da Inglaterra e dos Estados Unidos que se argumento era o de que se os recursos podiam ser
encontravam todos os anos para analisar e escrever aumentados sem que houvesse benefícios, podiam
relatórios sobre algum aspecto do sistema. A vantagem também ser reduzidos sem detrimentos (Comissão
que pode advir de um painel de grandes especialistas Victoriana de Auditoria, 1993).
depende do saber e da condição dos que fazem parte A ausência de dados sobre os efeitos dos novos
dele, da abrangência das questões que examinam, e programas e de outras reformas não serviu muito bem
*Barry McGaw é diretor do Conselho Australiano de Pesquisa Educacional (ACER). Foi o autor do estudo de caso australiano para o projeto da Organização para
a Cooperação e Desenvolvimento Econômico (OCDE) sobre a definição de padrões na educação. Em 1996-1997, o relatório final da sua análise sobre o
certificado da High School em Nova Gales do Sul foi a base para o informe oficial do governo, divulgado em agosto de 1997.
119
aos que haviam proposto aquelas iniciativas. Por outro conceitualização dos resultados. As seqüências de
lado, muitos deles permaneciam relutantes em apoiar resultados através dos anos sucessivos de freqüência
a implementação de qualquer programa explícito de escolar são especificadas de forma clara, para
monitoramento, argumentando que as medidas descrever o desenvolvimento esperado na
provavelmente empregadas seriam limitadas demais aprendizagem de um aluno em um determinado tema.
para que pudessem refletir toda a variedade de suas Esta abordagem foi adotada na estrutura de currículo
metas educacionais. nacional na Austrália, na especificação de estágios
Observava-se a tendência de afastar o enfoque principais na Inglaterra e no País de Gales, e em vários
dos insumos, ainda que, em um primeiro momento, enunciados sobre padrões nos Estados Unidos.
apenas para medidas intermediárias, como a Na abordagem australiana, por exemplo, o
participação. A participação mais intensa tornou-se em currículo foi dividido em oito principais áreas de
si mesma uma meta. Para as subpopulações em aprendizagem, para cada uma das quais foram
situações de desvantagem, o objetivo passou a ser a desenvolvidas seqüências de resultados previstos, ao
redução das diferenças entre a população como um longo de várias linhas.
todo e a subpopulação em questão, em termos de taxa Na área de Língua Inglesa, há três linhas:
de participação além dos anos de educação obrigatória. l expressão oral e compreensão oral;
Cada vez mais, o enfoque foi transferido da l leitura e visualização e
participação para os resultados. Na Austrália, por l escrita.
exemplo, um relatório nacional sobre a educação de Em Estudos da Sociedade e do Meio Ambiente,
australianos aborígenes (Departamento de Emprego, há seis linhas:
Educação e Treinamento, 1988) baseou as suas l pesquisa, comunicação e participação;
recomendações para o desenvolvimento e l tempo, continuidade e mudança;
implementação de políticas em torno de quatro tópicos: l lugar e espaço;
l envolvimento dos povos aborígenes e do l cultura;
Estreito de Torres no processo de tomada de decisões l recursos e
no campo da educação; l sistemas naturais e sociais.
l igualdade de acesso aos serviços de No caso dos Estudos da Sociedade e do Meio
educação; Ambiente, a primeira linha trabalha com os principais
l igualdade na participação na educação; e processos empregados em todos os estudos nesta
l resultados educacionais apropriados e iguais. área, enquanto que os outros cinco identificam os
Estes tópicos refletem a mudança de enfoque, conceitos principais a serem aprendidos.
mais geralmente do acesso e da participação para os Há, em curso, um debate sobre o lugar ocupado
resultados. Acesso e participação são meios, e não pelo conteúdo entre o aspecto dos resultados, mas
fins. São condições necessárias para o desempenho, está claro que eles apenas especificam a estrutura do
mas não o garantem, e realmente não são a certeza conhecimento, das habilidades, das atitudes e dos
de resultados com igualdade. valores a serem aprendidos. Os enunciados dos
A própria maneira de expressar os resultados resultados não incluem um currículo, através do qual
foi também sujeita a mudanças. O debate sobre os pudessem ser adquiridos conhecimento, habilidades,
objetivos comportamentais nas décadas de 60 e 70 atitudes e valores. O desenvolvimento do currículo é
era um argumento sobre o nível de especificidade uma tarefa separada, a receber informações da
apropriado no enunciado de resultados esperados em estrutura dos resultados. ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
um currículo. Os objetivos comportamentais eram
enfatizados, com base no fato de que o seu uso
determinava aquilo que os professores deveriam
esperar, de uma forma que tornaria óbvia a realização os resultados aos modelos a serem
do objetivo, uma vez que a evidência poderia ser
observada no comportamento do aluno. Os críticos
D seguidos
argumentavam não só que havia outros objetivos
importantes, além do comportamento, mas também
que a divisão dos objetivos em partes menores e A especificação dos resultados da educação
possíveis de serem observadas desagregaria a envolve a determinação de algo, com respeito às
aprendizagem a tal ponto que o quadro do todo seria expectativas da aprendizagem. É um passo importante
perdido em suas partes. em direção ao estabelecimento de padrões, mas poderá
A tendência atual, em direção a especificações jamais chegar lá.
de resultados, envolve até certo ponto esse risco de Os resultados especificados na estrutura do
desagregação, ainda que a abordagem seja distinta currículo nacional da Austrália, por exemplo, definem
em aspectos importantes. O mais significativo deles é uma seqüência de resultados que se espera sejam
que existe uma abordagem mais integrada à alcançados pelos alunos durante os seus primeiros dez
120
anos de freqüência escolar. Esses resultados são Não é que os resultados sejam irrelevantes. Até certo
agrupados em oito níveis, bastante amplos, não ponto, eles não são ambíguos, e possibilitam critérios
havendo especificação quanto ao nível da seqüência claros de acordo com os quais é possível julgar o
de resultados que os alunos deveriam alcançar em cada processo.
uma das etapas da escola. O nível 8 foi inicialmente O critério dos resultados não precisa ter um
concebido como o nível que os alunos deveriam caráter financeiro, ainda que seja financeira, em última
alcançar na 11ª e na 12ª séries. Por causa do currículo análise, a medida do desempenho de uma empresa da
altamente estruturado existente nos estados para essas área empresarial ou industrial. Um departamento de
séries, com as avaliações associadas, abrangendo a aquisição dentro de uma fábrica, por exemplo, pode
totalidade dos estados, o que se revelou foi a extrema ser comparado contra departamentos de aquisição de
dificuldade em desenvolver um enunciado comum de organizações semelhantes, ou com o componente de
resultados para um Nível 8 projetado para cobrir essas aquisição de uma organização especializada, que pura
séries. Ao fim, o Nível 8 foi mantido, para descrever os e simplesmente compra e vende. As características
resultados que os melhores alunos poderiam alcançar, dos processos de aquisição da companhia externa
antes do final da 10ª série. poderiam ser introduzidas na empresa, usando a
A falta de ligação direta entre o nível de série e primeira como modelo. Os aprimoramentos de
o nível do resultado foi bastante proposital. Na verdade, desempenho poderiam ser testados, através do uso
a intenção era deixar claro que, em qualquer que fosse de indicadores explícitos de desempenho, como
a série, a expectativa era que os alunos estivessem transações por membro do pessoal em alguma unidade
trabalhando em uma variedade considerável de níveis. de tempo, ou custo por transação.
Os alunos na Austrália avançam através das várias Nos casos em que os resultados sejam mais
séries por idade, e não através do progresso efetuado, ambíguos, como na prestação de serviços de natureza
ao chegar a resultados específicos. Não seria razoável humana ou social, o enfoque do processo de
supor que todos os alunos de uma série estejam em benchmarking tende a ser concentrado nos resultados,
uma determinada etapa da sua aprendizagem, e a
e não mais no processo. São realizadas comparações
escola e o currículo de aula devem levar esse fato em
com outras organizações em termos de medidas dos
consideração.
resultados. A melhor prática é definida em termos de
Alguns dos sistemas dos estados desde então
resultados, pelo menos durante as primeiras etapas.
ligaram os onze anos, do Jardim de Infância à 10ª série
É fácil encontrar exemplos na prática médica.
a oito níveis da seqüência de resultados. O Estado de
No caso de saúde pública, são usados como
Victoria cancelou o Nível 8 e ligou sete níveis aos
indicadores as taxas de mortalidade e morbidade.
primeiros onze anos, até a 10ª série. A Introdução
Evidentemente, o quadro obtido poderá ser bastante
dessas ligações foi em parte uma resposta a uma
complexo. Caso caia a taxa de mortalidade infantil,
necessidade percebida, no sentido de que os
professores recebessem diretrizes mais claras daquilo bem poderá haver um crescimento da taxa de
que, de uma forma geral, deveriam esperar dos seus morbidade entre as crianças, já que terão sobrevivido
alunos. Além disso, foi uma tentativa de estabelecer aquelas portadoras de algum tipo de incapacidade. À
as expectativas sobre a velocidade em que, em geral, medida que declinam as taxas de mortalidade devidas
se espera que os alunos aprendam o conteúdo coberto a um tipo de enfermidade, poderão elevar-se outras,
pelo currículo escolar. devido a outras doenças, mas com a idade média de
Cada vez mais estão sendo descritos objetivos morte mais alta do que era antes. Aqueles que não
explícitos dessa natureza, como modelos a serem morrem devido à causa anterior, poderão viver durante
observados, em termos de desempenho. O que ainda mais tempo, mas ficarão mais propensos à morte em
não ficou claro é como exatamente esses modelos conseqüência da segunda causa. Outros indicadores
deverão ser estabelecidos. Os padrões passados de referem-se à duração média da hospitalização para os
desempenho dos alunos de diferentes séries poderão pacientes que recebam tratamento para uma
servir como uma base. Uma outra seria a comparação determinada condição, taxa de retorno de pacientes
com níveis de desempenho esperados nas séries com alta, e assim por diante.
correspondentes em outros sistemas, incluindo os de
outros países. Benchmarking em educação
Conceitos de modelos a serem seguidos Na educação, a discussão mais atual do

processo de benchmarking concentra-se nos
A noção da determinação de modelos a serem resultados. Os modelos a serem copiados são
seguidos (benchmarking) veio dos setores empresarial tipicamente definidos como níveis de desempenho que
e industrial. Ali, a discussão gira em geral em torno da devem ser esperados de todos os alunos com o mesmo
comparação com um modelo de "melhor prática", até estágio de escolaridade. Os estados australianos que
mesmo "melhor prática em nível mundial". A prática de ligaram as suas séries escolares a níveis na estrutura
benchmarking enfatiza o processo, e não os resultados. do currículo nacional podem argumentar que os
121
resultados no nível ligado a uma determinada série campo de letramento e conhecimento numérico para a
representam o modelo para aquela série, determinando 3ª e a 5ª séries, sendo distribuídas as minutas das
o que deve, pelo menos, ser esperado dos alunos descrições, para comentários.
daquela série. Os sistemas de exames públicos nos estados
Por outro lado, as coisas não são tão diretas e territórios da Austrália, ao final da 12ª série, são uma
quanto parecem, uma vez que existem 11 séries (do avaliação do desempenho dos alunos nas matérias que
Jardim de Infância à 10ª série), e oito níveis de eles tenham optado por estudar. Durante muitos anos,
resultados. As ligações definidas no Estado de Victoria os sistemas operaram sem distinção de "aprovado/
aparecem na Tabela 1. reprovado". Os alunos são solicitados a terminar um
determinado número e padrão de cursos, para a
Tabela 1 – Ligação entre o nível de resultados e obtenção de um certificado em que aparecem os
as séries em Victoria, Austrália resultados por matéria. Em alguns casos, aparecem
notas na escala de 0 a 100, mas 50 não é a nota "para
N ível de passar", uma vez que uma proporção fixa de candidatos
S érie
resulta do em geral recebe notas abaixo de 50.
N ível 1 Final da Série P repara tória Em Nova Gales do Sul, o governo adotou uma
N ível 2 Final da 2 ª sé rie abordagem de referência a padrões para a avaliação e
N ível 3 Final da 4 ª sé rie informação sobre o desempenho dos alunos, da forma
N ível 4 Final da 6 ª sé rie recomendada por uma análise do Certificado de Higher
N ível 5 Final da 8 ª sé rie School (McGaw, 1997), mas acrescentou um requisito,
N ível 6 Final da 10 ª sé rie de que as bancas do exame determinem um nível
N ível 7 E xten sã o para os que passam do N ível 6 mínimo de aceitação de desempenho que receberá nota
50 (ministro da Educação e do Treinamento de Nova
Gales do Sul, 1997). Não vai haver requisito para que
A adaptação feita em Victoria da estrutura do uma determinada proporção de alunos tenha nota abaixo
currículo nacional, como sendo a sua Estrutura de 50. O fato de os alunos receberem notas acima ou
Curricular (CSF), claramente vai além da especificação abaixo vai depender de que tenham alcançado o padrão
das seqüências nas quais podem ser alcançados os exigido, ou o modelo. Ainda está para ser definido o
resultados, e passa a ser uma proposta de intenções ponto até o qual os modelos serão comparáveis entre
sobre quando se espera que esses resultados sejam as matérias.
efetivamente alcançados.
O documento referente a cada área principal
de aprendizagem explica às escolas que essas ligações
entre as séries escolares e os níveis constantes do
CSF são feitas:
F ontes e formas de dados
para possibilitar diretrizes claras para as escolas sobre

Quando o enfoque no nível do sistema era
o tempo e a progressão do currículo e dos padrões. A concentrado nos insumos, eram usados vários
Diretoria reconhece que não há ritmos iguais no indicadores sobre a qualidade desses resultados, para ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
processo de aprendizagem das crianças. O CSF oferece avaliação do sistema como um todo. O nível de
descrições sobre os anos de freqüência escolar despesas por aluno era o mais óbvio e o mais
necessários para a cobertura dos elementos mais freqüentemente usado. Uma importante análise da
importantes das principais áreas de aprendizagem... escola realizada no início da década de 70 revelou o
Ao desenvolver os padrões, a Diretoria descreve investimento australiano em educação escolar como
padrões esperados em determinados níveis. Os padrões
baixo, quando comparado a outros países da OCDE, e
variável quando eram examinados os sistemas dentro
não representam simplesmente descrições
do país (Comitê Interino, 1973). O comitê de análise
informadas de desempenhos do momento, mas
desenvolveu um índice de utilização de recursos, como
relacionam-se especificamente às aspirações do meta para o aumento nos investimentos que tinha de
enfoque curricular (Board of Studies, 1995, p. 4). ser alcançada até o final da década de 70 em todos os
sistemas, com apoio financeiro do governo federal. A
No nível nacional, na Austrália, há um projeto meta foi alcançada.
atual que está sendo dirigido pela Associação de Outros indicadores referentes a insumos, que
Currículo, para a determinação de modelos a serem refletiam em grande parte a forma de direção dos
seguidos referentes ao desempenho dos alunos no recursos financeiros, concentrava-se no número e no
122
nível de treinamento dos professores, número e tipo de em especial para avaliar se os alunos desenvolveram
pessoal auxiliar, oportunidades de desenvolvimento as habilidades básicas nas áreas de letramento e
profissional para os professores, e assim por diante. conhecimento numérico que serão pré-requisitos para
A atenção passou a ser canalizada para os outras formas de aprendizagem, e na 5a série. Outros,
alunos, à medida que se passou cada vez mais a olhar, acompanham também o desempenho durante as
na década de 80, as taxas crescentes de participação primeiras séries da escola secundária.
além dos anos de freqüência obrigatória à escola, ou A maior parte dos sistemas, hoje, avalia todo
seja, após a 10ª série. Esse era visto como um objetivo o grupo de alunos, para fornecer relatórios aos pais.
desejável, ainda que não fosse um indicador direto dos Com esse volume de avaliações para receberem notas
resultados. Como indicado anteriormente, na discussão e para a geração de relatórios, utilizam-se formas muito
sobre a educação de aborígenes, a participação é uma limitadas de dados. As respostas dos alunos precisam
condição necessária, mas não suficiente, para o ser corrigidas por máquinas, o que limita as formas,
desempenho. ainda que não completamente, à múltipla escolha.
Os dados sobre desempenho dos alunos falam Durante os primeiros anos, e ainda hoje na
mais diretamente sobre a possibilidade de um sistema parte ocidental da Austrália, o acompanhamento incluía
de educação estar capacitando os alunos a alcançarem apenas uma amostra representativa de alunos, e não
os resultados estabelecidos como metas de toda a população estudantil. Com um volume mais
aprendizagem. Todos os sistemas de educação restrito de respostas a serem pontuadas e incluídas
australianos dispõem hoje em dia de algum tipo de em relatórios, ficou aberta a possibilidade de questões
processo para a coleta anual de dados, através do qual mais complexas e respostas abertas. A Figura 1 mostra
se acompanham os níveis de desempenho dos alunos. um exemplo do acompanhamento do desempenho dos
A maior parte deles examina o desempenho na 3a série, alunos em Ciências, no Estado de Victoria.
Figura 1 – Material de estímulo para avaliação dos conceitos de Ciências dos alunos
123
A questão, que aparece na Figura 1, é uma
dentre várias, que pediam uma resposta dissertativa,
noção de reações químicas 64
que revelasse alguma coisa da idéia que o aluno tinha
modelo da matéria em partículas
sobre a matéria. Nesse item, as respostas foram
classificadas de acordo com as categorias ordenadas 62
que aparecem na Tabela 2. conhece processo não facilmente
observáveis
60
Tabela 2 – Categorias das respostas dadas por identifica apenas os componentes
alunos à questão sobre condensação observados 58
observações e definições simples
C ategoria de resposta Pontos 56
exemplos ou "mágica" como explicação
conde nsação q uando o ar resfria 4
da atm o sfera – sem indica çã o d e m ecanism o 3
conde nsação – sem m encionar a atm osfe ra 2
líquid o fora da jarra ve m de dentro 1 Figura 3 – Escala da estrutura da matéria
líquid o passou pelos lado s da jarra 0
respostas im possíveis de interpretar 0 Usando uma amostra relativamente grande de
alunos, a equipe de pesquisa responsável por essa
Usando um modelo de créditos parciais da avaliação da aprendizagem dos alunos conseguiu,
teoria de item-resposta, é possível calibrar a localização através de um teste com papel e caneta, efetuar uma
dos limites entre as categorias de respostas a uma investigação detalhada do entendimento conceitual dos
questão desse tipo. A escala possui propriedades de alunos na área de Ciências, do tipo usado por
intervalos e valores numéricos que podem ser atribuídos professores de Ciências, com o uso de técnicas muito
a ela, para indicar as unidades da escala. A escolha mais intensas de entrevistas (Adams, Doig, Rosier,
1991). O instrumento de avaliação foi posteriormente
dos valores numéricos é arbitrária, assim como o é a
publicado em separado, sob o título Tapping Students'
escolha dos valores das escalas Fahrenheit e Celsius,
Science Beliefs (Adams, Doig, Rosier, 1992).
para a temperatura. Os resultados da calibração
aparecem na Figura 2.
condensação quando o ar resfria

63
I nterpretação dos dados
da atmosfera – sem indicação de mecanismo
condensação – sem mencionar a atmosfera 61

O amplo acompanhamento do desempenho de
60 alunos em um sistema de educação pode ser um
líquido fora da jarra vem de dentro instrumento bastante desastroso, a menos que receba
líquido passou pelos lados da jarra 58 cuidadosa atenção às interpretações que precisarão
ser feitas com os dados obtidos. Por sua vez, isso
respostas impossíveis de interpretar exigirá que sejam levadas em consideração as platéias ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
a que se destinam tanto os próprios dados quanto as

Figura 2 – Calibração dos limites para o item sobre interpretações deles.
condensação
A partir daí e de outras questões, que Público para as interpretações

focalizavam o conceito da estrutura da matéria, foi
possível calibrar a estrutura da escala da matéria, que O acompanhamento no nível do sistema é, em
geral, justificado como uma forma de satisfazer as
aparece na Figura 3. O item sobre condensação
necessidades de responsabilização para com o público.
envolvia apenas uma mudança física, mas alguns dos
Neste caso, a platéia é o público em geral. Para que
outros, que tinham a ver com o processo de cozimento, essa necessidade seja bem satisfeita, tudo dependerá
envolviam mudanças químicas, e assim pode levar os do nível de abertura e acessibilidade do relatório sobre
alunos cujo modelo da matéria ia além da teoria das o desempenho geral dos alunos do sistema.
partículas para a idéia da recombinação das partículas Outros que podem ter um interesse legítimo
de modos diferentes, à medida que as substâncias vão no acompanhamento no nível do sistema são altas
sendo formadas em uma reação química. autoridades do próprio sistema; neste caso, o
124
acompanhamento deverá informá-los sobre o impacto estão participando, mas também em quê. Por exemplo,
geral de suas políticas. em Nova Gales do Sul, o estudo da Língua Inglesa é
Nos casos em que o acompanhamento é oferecido através de quatro diferentes cursos, da 11ª à
realizado com a verificação de toda a população de 12ª série, sendo organizados hierarquicamente por nível
alunos, cada escola e os próprios pais poderão obter de exigência intelectual. Ou seja, os cursos
informações sobre respectivamente um determinado determinam diferentes tipos de expectativas para os
aluno, ou uma determinada escola, dentro do contexto alunos, e presume-se que o número de matrículas reflita
do padrão geral dos resultados. os níveis de desempenho anterior dos alunos. A análise
recente do Certificado de Higher School de Nova Gales
do Sul revelou que as expectativas eram diferenciadas
Dados no nível do sistema por classe social, bem como por desempenho anterior
(McGaw, 1997, p. 44).
Ainda que os dados relativos à participação Isso pode ser comprovado através da
não constituam uma medida do resultado, eles são comparação do número de matrículas nos cursos na
significativos para questões de eqüidade, e são 11ª e 12ª séries, de alunos com desempenho
importantes em qualquer avaliação da política de igualmente bom em Língua Inglesa, na avaliação em
educação. As diferentes taxas de participação por nível estadual realizada no final da 10a série, e que
gênero, por condição socioeconômica, localização (área freqüentavam escolas secundárias não-seletivas do
rural ou urbana) todas poderão sinalizar a necessidade governo, mas que tinham distinção em termos de
de iniciativas de natureza política, para a redução das geografia - um grupo dos subúrbios de classe
desigualdades. socioeconômica mais baixa de Sydney, e o outro da
Além disso, os efeitos podem ser mais sutis. área de nível socioeconômico de médio para alto da
Não é simplesmente uma questão de se os alunos Zona Norte de Sydney. A Tabela 3 mostra os detalhes.
Tabela 3 – Percentagens de alunos de escolas não-seletivas do governo, m atriculados

em vários cursos de Língua Inglesa durante a 12 ª série
3 0 % s u p e rio re s e m 1 0 % s u p e rio re s e m
In g lê s d a 1 0 ª sé rie e m In g lê s d a 1 0 sé rie e m
1 9 9 4 , d e a c o rd o c o m 1 9 9 4 , d e a c o rd o c o m
a a v a lia ç ã o e s ta d u a l a a v a lia ç ã o e s ta d u a l
SO de N de SO de N de
S yd n e y S yd n e y S yd n e y S yd n e y
In g lê s d e 1 2 ª sé rie e m 1 9 9 6 M F M F M F M F
D o is cu rs o s c o m m a io r e x ig ê n c ia 13 22 22 35 33 51 56 63
S e g u n d o c u rs o c om m e n o s e x ig ê n c ia 78 70 73 62 67 48 44 36
C u rs o c o m m e n o r e xig ê n c ia 9 8 5 4 0 1 0 1
Entre os alunos representados como os 10% priados para os alunos com diferentes níveis de de-
superiores em Língua Inglesa da 10a série, os da parte sempenho anterior. De fato, a diferenciação dos cur-
mais ao sul de Sydney têm probabilidade maior do que sos é mapeada de acordo com a diferenciação social.
os da parte Norte da cidade de serem matriculados no Os alunos da Zona Sudoeste de Sydney, como apare-
segundo curso em Língua Inglesa com menor nível de ce na Tabela 3, não são diferentes dos da Zona Norte,
exigência durante a 11ª e 12ª séries, e menos probabi- em termos de desempenho anterior em Língua Ingle-
lidade de serem matriculados em qualquer um dos dois sa; a única diferença acontece em termos de geografia
cursos com maior nível de exigência. Verifica-se um e condição socioeconômica.
padrão semelhante com relação aos alunos dos 30%
A interpretação dos dados de desempenho no
superiores em Língua Inglesa da 10ª série; a exceção
nível do sistema não é um processo direto. Os resulta-
é que, para esse grupo mais amplo, há uma maior pro-
dos podem fornecer informações sobre o nível e sobre
babilidade de os alunos da Região Sudoeste optarem
a abrangência dos desempenhos dos alunos, além de
por um curso com menor nível de exigência, na mes-
ma matéria. comparações através de séries, caso sejam examina-
A verdade é que os alunos viam-se limitados das mais séries, e caso os testes sejam interligados e
pela variedade de cursos oferecidos nas suas escolas. calibrados de acordo com uma escala comum. A ques-
A estrutura de cursos altamente diferenciada em Lín- tão de se o nível de desempenho é satisfatório ou não
gua Inglesa (assim como em outras matérias) em Nova geralmente aparece como aspecto principal em qual-
Gales do Sul visava oferecer cursos que fossem apro- quer discussão pública sobre a educação.
125
Caso exista um enunciado claro sobre os ní- seu emprego com alunos que sejam comparáveis en-
veis esperados de desempenho, estes podem servir tre si, pertencentes a um outro sistema.
como modelo a ser seguido, e de acordo com o qual Uma recente pesquisa nacional de habilida-
podem ser julgados os níveis reais de desempenho. des de letramento, entre alunos de escolas primárias,
Evidentemente, uma outra possibilidade é que seja le- na Austrália, é uma boa ilustração para esse aspecto.
vantada a questão de se as expectativas estão deter- Esta pesquisa investigou os níveis de letramento entre
minadas no nível correto ou não. alunos de 3ª e 5ª séries, nos cinco aspectos do
O acompanhamento repetido através do tem- letramento determinados na estrutura do currículo na-
po pode fornecer evidência de qualquer mudança nos cional, ou seja, escrita, leitura, visualização, expres-
padrões de desempenho, contanto que os testes são oral e escuta.
efetuados durante os vários anos estejam interligados, A pesquisa determinou a extensão dos níveis
e possam ser calibrados de acordo com uma escala de desempenho dos alunos, e os mapeou de acordo
que seja comum. Caso os materiais de teste não se- com os níveis de resultados na estrutura do currículo
jam firmes, a ligação entre os testes aplicados nos nacional (Comitê Administrativo para o Exame de Alfa-
vários anos poderá ser estabelecida, não através da betização de Inglês da Escola Nacional – NSELS,
utilização repetida do mesmo conteúdo, mas através 1997). As percentagens dos alunos nos vários níveis
do desenvolvimento de um teste composto com mate- das quatro dimensões de letramento avaliados apare-
riais dos testes aplicados nos vários anos, além de cem na Tabela 4.
ª ª ª ª ª ª ª ª ª ª
Estes resultados possibilitam um nível básico para o projeto nacional sob a administração da
(1996) de desempenho com os quais é possível Associação de Currículo.
comparar os níveis de desempenho de alunos similares, Essa tentativa limitou-se às áreas de leitura e
em anos posteriores. Além disso, a pesquisa gerou escrita, uma vez que eram esses os dois aspectos
informações sobre os níveis de desempenho dos referentes a letramento para os quais as propostas de
subgrupos. As meninas apresentam um nível de modelos estavam mais avançadas. Ao final, constatou-
desempenho mais alto do que os meninos em todos se que não era possível passar da proposta dos modelos
os aspectos relacionados a letramento, com a diferença a serem seguidos para a determinação de sua
maior aparecendo na escrita e a menor na visualização. localização correspondente nas escalas de leitura e
Os alunos de condição socioeconômica mais alta têm escrita do Exame de Letramento de Inglês da Escola
desempenho melhor do que os de condição mais baixa, Nacional (NSELS), sendo assim a tarefa desenvolvida
e a diferença entre os gêneros fica maior a favor das do ponto de vista oposto. Pediu-se que os
meninas cujos pais têm ocupação manual, não pesquisadores dos modelos determinassem se cada
capacitada. uma das tarefas das avaliações de escrita e leitura do
O ministro das Escolas da Commonwealth, da NSELS correspondiam a desempenhos adequados ou
Educação Vocacional e do Treinamento queria uma menos do que adequados nas áreas de leitura e escrita,
comparação mais precisa, com um modelo a ser no caso de alunos de 3ª ou 5ª séries. As suas
seguido claramente definido, mais do que possibilitava conclusões foram então combinadas, para determinar
esse mapeamento de níveis de desempenho. O Comitê as notas para aprovação nos testes da pesquisa. O
Administrativo solicitou aos pesquisadores Masters e percentual de alunos que ficaram acima ou abaixo das
Forster, do Conselho Australiano de Pesquisa notas de aprovação definidas pelos pesquisadores
Educacional, que tentassem localizar, nas suas cinco aparece na Tabela 5. Esses resultados foram
escalas do NSELS os pontos divisórios que pudessem publicados em um outro relatório (Masters, Forster,
corresponder a propostas de modelos a serem seguidos 1997).
126
Ta bela 5 – Perc entual de alunos que alcanç am os padrõe s esperados
em le tram ento
E scrita Leitura
N ível de desem penho 3 ª sé rie 5 ª sé rie 3 ª sé rie 5 ª sé rie
A lcança o pad rão 72 67 73 71
N ão alca nça o padrão 28 33 27 29
Esses resultados transformaram-se então em Comparações internacionais

base para um acirrado e substancial debate público.
Os informes dos meios de comunicação o descreviam Uma outra maneira de formar uma opinião so-
como a revelação de uma crise de letramento nas es- bre se os níveis de desempenho eram ou não
colas. Embora todas as provas disponíveis mostras- satisfatórios seria através do uso de dados comparati-
sem que não tinha havido queda nos padrões de vos oriundos de um outro sistema, ou de um outro país.
letramento, esses resultados foram não apenas inter- O Third International Mathematics and Science Study
pretados como tendo sido baixos, mas como sendo (TIMSS) possibilitou comparações entre os sistemas
de educação dos estados e territórios australianos, bem
mais baixos do que no passado, ou com certeza mais
como entre a Austrália e outros países.
baixos do que os críticos conseguiam recordar, em
As comparações internacionais possibilitadas
termos de quais seriam esses padrões no tempo da
pelo TIMSS foram de uma maneira geral encorajadoras
sua própria freqüência à escola.
para a Austrália. A Tabela 6 mostra os resultados. Havia
Os resultados refletem os níveis de desempe- países com desempenhos superiores aos da Austrá-
nho dos alunos em relação aos níveis em que foram lia, mas, ainda assim, os alunos australianos mostra-
determinados os modelos a serem seguidos. A ques- ram um bom desempenho nas comparações internaci-
tão sobre se esses modelos estariam em um nível alto onais. Nenhum país de língua inglesa ou da Europa
demais ou baixo demais pode ser encarada através do Ocidental aparecia à nossa frente. Enquanto isso nos
exame dos tipos de desempenho em leitura e escrita permitia algum nível de satisfação, não devia ser razão
que ficam logo acima e logo abaixo do modelo. Caso para atitude de complacência. Um dos estados, o de
os desempenhos abaixo dos modelos estabelecidos Western Australia (Austrália Ocidental), atingiu níveis
fossem considerados como satisfatórios para os alu- de desempenho comparáveis ao país de mais alto de-
nos da série relevante, o modelo poderia ser reduzido. sempenho, que foi Cingapura.
Enquanto isso permitia algum nível de satisfa-

o acompanhamento do desempenho à
ção para os australianos, não devia ser razão para ati-
tude de complacência. Nitidamente, existem padrões
D mudança de políticas
mais altos sendo atingidos em outros locais, e é preci-
so encarar a questão sobre se esses padrões mais
altos devem também ser esperados na Austrália. Isso
traz à mesa a possibilidade de tentar chegar à melhor
prática internacional, não em termos de processos, A intenção agora é empregar de forma produti-
mas sim de resultados, ainda que o aspecto de prova os resultados do acompanhamento, passando da
cessos tenha também que ser examinado. avaliação à ação.
127
Da avaliação à ação avaliador formativo, para a instalação de uma base para
modificação e aprimoramento do programa.
É necessário que seja desenvolvida uma aná- O acompanhamento amplo de um sistema é
lise mais detalhada do que a mera comparação e insum instrumento inadequado demais para poder ser a
peção dos dados médios de caráter geral, para que as medida através da qual poderão ser formadas ou avali-
informações geradas pelos programas de acompanha- adas iniciativas curriculares específicas.
mento possam ter utilidade como base de avaliação.
Essas análises detalhadas do desempenho
dos alunos australianos no TIMSS, em comparação
com os de outros países, que apresentaram um de-
sempenho melhor, em especial Cingapura, o Japão e a
Coréia indicam as deficiências na Austrália na área de
O uso da informação no nível da instituição
Matemática. Eventualmente, a Austrália poderia ter

imaginado que os seus alunos apresentariam um de-
Os dados que vêm do nível do sistema pode-
sempenho pior nas tarefas ligadas a cálculos matemá-
rão produzir também informações no nível da institui-
ticos, uma vez que essa área recebe menor ênfase
ção, principalmente se for testada toda a população de
nos currículos australianos, e os alunos apresentam
alunos. Por outro lado, a interpretação dos dados do
um desempenho mais baixo aí. Por outro lado, a Aus-
nível da instituição não é fácil, uma vez que é o resulta-
trália poderia ter pensado que os seus alunos apresen-
do não apenas do que a instituição faz, mas também
tariam melhor desempenho nas atividades relaciona-
das características dos alunos que fazem parte da ins-
das à solução de problemas, o que não aconteceu:
tituição. Isso quer dizer que as instituições devem tra-
eles às vezes apresentam bom desempenho, mas
tar de enxergar além das comparações com outras ins-
freqüentemente aparecem significativamente abaixo,
também nesse tipo de tarefa (Stacey, no prelo). tituições, ainda que dêem atenção a elas, para chega-
A análise dos dados relativos às rem a uma análise interna mais detalhada de si mes-
subpopulações poderá também indicar as áreas em mas e da sua comunidade.
que é também necessário algum nível de ação. É sem-
pre importante verificar o que esses dados têm a dizer,
em termos de aspectos ligados à eqüidade nos resul-
strutura de responsabilidades no nível
tados. Os grupos em situação de desvantagem podem
ser identificados, podendo receber uma quantidade
E do sistema
adicional de recursos, ou até mesmo programas espe-
ciais.
O Estado de Nova Gales do Sul utilizou, a uma O sistema de avaliação no nível do sistema
determinada altura, os seus resultados no Teste de mais elaborado da Austrália é o que foi implementado
Habilidades Básicas na área de letramento para a 3a em Victoria, juntamente com um programa que visava
série, para a identificação daquelas escolas que apre- ao retorno substancial das responsabilidades às esco-
sentavam um número significativo de alunos com mau las, com respeito a muitas decisões relativas a aspec-
desempenho, para encaminhar professores tos curriculares, dos professores e do pessoal, que
especializados em letramento precoce para as esco- pertenciam antes ao domínio da autoridade central. A
las que tivessem revelado as maiores necessidades. autoridade central transferiu a responsabilidade para
as escolas, mas impôs ao mesmo tempo uma estrutu-
ra de responsabilidades, de acordo com a qual as es-
Da ação à avaliação colas devem informar tanto as suas próprias comuni-
dades quanto também a própria autoridade central.
Esses tipos de análises de dados, vindos do De acordo com essa estrutura de responsabi-
acompanhamento do sistema, poderiam então levar a lidades, as escolas desenvolvem uma declaração de
considerações de reforma curricular, para resolver defi- missão de obrigações, em consulta com a sua comu-
ciências quando fossem consideradas como sérias. nidade, apresentam relatório anual à comunidade e à
Quaisquer que fossem as iniciativas autoridade central, expondo o desempenho e o pro-
curriculares introduzidas dessa forma deveriam ser ava- gresso em relação aos planos estratégicos contidos
liadas com bastante seriedade, sem serem na declaração de missão, e realizam uma análise
implementadas simplesmente pela confiança cega no trianual com a ajuda de uma equipe externa, para exa-
sucesso. A longo prazo, é preciso que apareçam as me e revisão da declaração de missão para o triênio
vantagens nos níveis de desempenho, a partir do acom- seguinte.
panhamento do sistema. A curto prazo, à medida que Esse programa vem sendo progressivamente
forem sendo implementadas e desenvolvidas as inicia- introduzido em todas as escolas do governo, desde
tivas, é preciso que seja empregado todo o arsenal do 1993, quando foi iniciado com um pequeno grupo de
128
escolas voluntárias. Em torno de 300 escolas junta- – percepções dos pais sobre o valor dos rela-
ram-se ao programa em 1994, mais 500 em 1995, e as tórios de desempenho de seus filhos.
últimas 400 no meio do ano de 1995.
A estrutura de responsabilidades baseia-se em l na administração, usando:
cinco princípios: foco sobre o cliente, orientação para – opiniões do pessoal, sobre a qualidade da
o desempenho, propriedade e transparência locais, administração da escola;
integração de todas as partes do planejamento, políti- – extensão do desenvolvimento profissional
ca e atividades operacionais da escola, e, ainda as- entre os membros do pessoal;
sim, um conjunto comum de requisitos para todas as – faltas do pessoal.
escolas, com relação à obtenção e à publicação dos
dados. l nos recursos, usando:
– demonstrativo dos resultados financeiros
anuais;
– total de receitas e despesas da escola.
F ontes e formas de dados
Para estabelecerem as suas metas, as esco-
las precisam levar em consideração o acesso e a eqüi-
dade para os alunos de famílias que não falam inglês,
os que são portadores de incapacidades e os alunos
A estrutura de responsabilidades permite que
aborígenes.
as escolas desenvolvam as suas próprias prioridades
e os seus próprios planos, de acordo com as políticas As escolas recebem orientação do Escritório
e programas gerais do sistema, além de acompanha- de Avaliação do Departamento de Educação sobre
rem o desempenho em relação ao programa escolar como implementar a estrutura de responsabilidades,
local, que resulta das suas prioridades e de seus pla- incluindo como obter e analisar os dados relevantes.
nos. Entre os documentos fornecidos pelo Escritório, inclu-
O processo de obtenção e avaliação de dados em-se: Developing a School Charter, School Annual
das escolas baseia-se: Report Guidelines, School Organisational Health Survey,
para a pesquisa com o pessoal, e Parent Opinion
l na aprendizagem do aluno, usando: Questionnaire e Monitoring Parent Opinion: User Guide,
– o desempenho dos alunos demonstrado em como documento associado.
testes aplicados em todo o estado e, no
caso das escolas secundárias, nos exames
do Certificado Victoriano de Educação e ou-
tras avaliações, para a 12ª série;
– no julgamento dos professores sobre os de-
sempenhos dos alunos em relação à Currí-
I nterpretações dos dados
culo e Estrutura de Padrões.
l no currículo, usando: Público das interpretações

– as designações de cargas horárias para as
oito áreas curriculares; Há duas espécies principais de público a quem
– a participação por gênero nas matérias da se destinam os relatórios anuais das escolas e os re-
escola secundária, quando os alunos têm latórios trianuais de análise. Uma é a comunidade das
a possibilidade de opção; escolas. A outra, o Escritório de Avaliação, que exami-
– as opiniões dos pais sobre a qualidade do na os relatórios, combinando também dados de relató-
currículo. rios de todas as escolas, para gerar um relatório para
todo o sistema.
l no ambiente da escola, usando:
– a freqüência escolar; Metas institucionais como critérios
– o número de acidentes entre os alunos;
– as opiniões dos pais sobre o ambiente da Um dos enfoques principais na interpretação
escola. dos dados oriundos das análises são as próprias me-
tas da escola, definidas na sua declaração de missão.
l na responsabilidade, usando: Se a declaração de missão de uma escola estabelece
– dados sobre as matrículas dos alunos, prin- o letramento como prioridade, por exemplo, esse as-
cipalmente mudanças através do tempo; pecto terá peso maior na avaliação que a escola faz do
– no caso das escolas secundárias, destino seu progresso, e nos seus relatórios para a comunida-
dos alunos que deixam a escola; de e para o Escritório de Avaliação.
129
Comparações entre instituições para os mesmos alunos no GAT estiverem suficiente-
mente fora de linha, são enviados à escola avaliadores
O Escritório de Avaliação utiliza os dados com- independentes, para revisão do trabalho dos alunos
binados das escolas, quer sejam todas as escolas, ou anteriormente avaliado pela própria escola. Se a avali-
amostras representativas entre elas, para determinar ação da escola for mais alta do que o esperado, pas-
as distribuições como as escolas possam comparar- sada esta nova avaliação, o processo de estimativa do
se. São descritas como modelos, mas são, evidente- valor agregado rotulará então a discrepância, como
mente, nada mais do que representações do desem- evidência de valor agregado, e não como evidência de
penho do momento entre as escolas. uma elevação artificial das avaliações da escola.
Não se pede que as escolas façam compara- Caso essa prática fique padronizada, haverá
ções entre si mesmas e todas as escolas, mas com um incentivo para as escolas tentarem baixar o de-
"escolas semelhantes". Esse agrupamento de "esco- sempenho de seus alunos no GAT, para criar uma dis-
las semelhantes" baseia-se na proporção de alunos crepância entre esses resultados e os da avaliação da
de uma escola que usa um idioma que não seja o in- escola, de uma forma que não pudesse ser anulada
glês em casa, e na proporção de alunos considerados através de uma revisão das avaliações feitas pela es-
como em "situação de risco". Os alunos "em situação cola. Uma outra reação seria tentar inflacionar sufici-
de risco" são considerados como aqueles que rece- entemente as avaliações da escola, para receber algu-
bem subsídio do governo para os pais de baixa renda. ma vantagem da estimativa de valor agregado, ainda
que não o suficiente para causar análise externa.
O problema tanto com a abordagem da
Estimativas de "valor agregado" Western Australia (hoje abandonada) quanto com a de
Victoria é que elas usam uma avaliação atual de de-
No momento, não se está tratando de estimar sempenho de 12ª série como substituto para o desem-
o valor agregado para as escolas primárias ou secun- penho no momento de admissão às 11ª e 12ª Séries,
dárias. A possibilidade de ser introduzido esse tipo de ou, o que é pior, como substituto para "inteligência".
abordagem vai aumentando agora, quando está sendo
incluída nos programas de testes toda a população de
alunos há já alguns anos. Existem hoje grupos de alu-
nos que passam por escolas em alguns sistemas, para
quem há avaliações de desempenho em várias séries. C onclusão
Com esses dados, é possível usar uma medida anteri-
or de desempenho para isolar do desempenho subse- Existem grandes volumes de dados e muitas
qüente aqueles aspectos não acrescentados pelas outras informações potencialmente disponíveis para as
escolas com o passar dos anos, para poder calcular a escolas e os sistemas escolares poderem avaliar o
influência da escola. Por outro lado, os procedimentos desempenho, e para modificar a política e a prática.
não são diretos, uma vez que a medição do valor agre- Sempre existe o risco de coleta de dados desorgani-
gado é um residual, que tem tipicamente baixo nível de zada, o que cria mais informação do que é possível
confiabilidade. Qualquer tipo de residual, até mesmo usar de forma sensata. Com freqüência, sabemos mais
simples diferenças entre duas medidas, é muito me- do que entendemos. A escolha cuidadosa dos dados
nos confiável do que as medidas a partir das quais é a serem usados e a análise e interpretação apropria-
calculado. das podem transformar a informação em entendimen- ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
No caso do final da escola secundária, com to, e, quem sabe, finalmente em sabedoria.
as avaliações da 12ª série, foi calculado o valor agre-
gado na Austrália. Nos dois casos, a abordagem ado-
tada tem falha conceitual da mesma maneira. A medi-
da dos efeitos não relacionados com a escola, nos
dois casos, é um teste geral de habilidades desenvol- R eferências bibliográficas
vidas aplicado aos alunos já quase no fim da 12ª série.
No caso do Estado de Western Australia a principal
utilidade do teste é determinar uma escala de resulta-
dos de exames nas diferentes matérias, e expressá- ADAMS, R., DOIG, B., ROSIER, M. Science
los em uma escala comum. achievement in Victorian schools: 1990. Hawthorn,
No caso de Victoria, o que existe é um Teste Vic. : Australian Council for Educational Research,
de Avanço Geral (GAT), destinado a revelar as avalia- 1991.
ções com base na escola que possam estar anormal-
mente altas (ou baixas), para submetê-las à análise. _____. Tapping students' science beliefs. Hawthorn, Vic.
Quando as avaliações de uma escola e os resultados : Australian Council for Educational Research, 1992.
130
AUSTRALIA. Department of Employment, Education MANAGEMENT COMMITTEE FOR THE NATIONAL
and Trainig. Report of the Aboriginal Education Policy SCHOOL ENGLISH LITERACY SURVEY. Mapping
Task Force. Canberra : Australian Government literacy achievement : results of the 1996 National
Publishing Service, 1988. School English Literacy Survey. Canberra :
Department of Employment, Education, Training and
AUSTRALIA. New South Wales Minister for Education
and Training. Securing their future : New South Wales Youth Affairs, 1997.
Government's reforms for the Higher School
Certificate. Sidney : NSW Gouvernment, 1997. MASTERS, G. N., FORSTER, M. Literacy standards
in Australia. Canberra: Commonwealth of Australia,
AUSTRALIA. Quality of Education Review Committee. 1997.
Quality of education in Australia . Canberra :
Australian Government Publishing Service, 1985.
McGAW, B. Shaping their future : recommendations
AUSTRALIA. Victorian Commission of Audit. Report of for reform of the Higher School Certificate. Sydney :
the Victorian Comission of Audit. Melbourne, 1993. Department of Training and Education Co-ordination,
1997.
BOARD OF STUDIES. English - curriculum and
standards framework. Carlton : Victoria, 1995. STACEY, K. Insights for mathematics. In: LOKAN, J.,
GREENWOOD, L. (Ed.). Raising Australian
INTERIM COMMITEE FOR THE AUSTRALIAN
SCHOOLS COMMISSION. Schools in Australia. standards in mathematics and science : insights
Canberra : Australian Government Publishing from the Third International Mathematics and Science
Service, 1973. Presidente do comitê: Professor P. Study. Melbourne : Australian Council for Educational
H. Karmel. Rese
131
132
O NZE DILEMAS COM QUE SE
DEFRONTAM OS ESTUDOS INTERNACIONAIS:
COMENTÁRIOS PARA A MESA*
Juan Casassus**
ossibilidades e limitações dos estudos Laboratório Latino-Americano de

P internacionais de avaliação O Avaliação da Qualidade da Educação
Em primeiro lugar, gostaríamos de agradecer Para situá-los no contexto a partir do qual for-
aos organizadores a amabilidade do convite para parti- mulamos nossos comentários, permitam-nos expres-
cipar deste importante seminário internacional sobre sar brevemente que, diferentemente do IEA, o Labora-
avaliação educacional. tório Latino-Americano é uma rede intergovernamental,
É uma honra podermos comentar a apresen- que agrupa o conjunto de sistemas de medição e de
tação do professor Plomp, da International Association avaliação dos sistemas de Educação da América Lati-
for the Evaluation of Educational Achievement (IEA). na e do Caribe. Desta rede (com exceção do Uruguai)
Com sua palestra, todos aprendemos muito sobre o participam todos os países de fala portuguesa e espa-
IEA e os estudos auspiciados por este organismo. É nhola da região. Criada em 1994, no México, sua coor-
realmente digno de admiração o trabalho iniciado por
denação foi confiada ao Escritório Regional da Unesco
Bloom e Husen, e continuado por destacados pesqui-
sadores durante 38 anos de trabalho pioneiro realizado em Santiago do Chile, e o Laboratório conta com o
no campo da avaliação. apoio financeiro dos países-membros, da Unesco, da
O documento de trabalho deste seminário Fundação Ford e do Banco Interamericano de Desen-
constitui o marco geral de nossas observações. Em volvimento (BID), entre outros.
especial reconhecemo-nos na visão ali contida sobre a Entretanto, apesar de ser uma rede
reflexão comparada como método de progresso e apre- intergovernamental, suas ações não estão distantes
ciamos o convite para participar da construção de uma das preocupações do IEA. O Laboratório desenvolve
agenda aberta para o futuro. um programa que contém quatro linhas de ação orien-
A palestra que acabamos de escutar do pro- tadas no sentido de apoiar a formulação e gestão de
fessor Plomp reflete a experiência acumulada nos es- políticas educacionais:
tudos auspiciados pelo IEA. Gostaríamos de aventurar a) estudos comparativos internacionais (como
que as qualidades por ele atribuídas aos estudos inter- o levantamento de informações do estudo
nacionais do IEA são também extensivas ao conjunto
internacional nos países-membros, conclu-
dos estudos comparativos internacionais. Entre eles
se encontram não somente os auspiciados pelo IEA, ído no dia 28 de novembro);
mas também os de outras entidades como: Organization b) geração de padrões (standards) regionais;
for Economic Co-operation and Development (OECD), c) fortalecimento institucional dos países-mem-
bros por meio de formação, assistência téc-
Internacional Assessment of Educational Progress

(IAEP), Educational Testing Service (ETS) ou Unesco, nica, disponibilidade de bases de dados e
particularmente os do Southern Africa Consortium for bancos de itens;
Monitoring Educational Quality (SACMEQ), do progra- d) desenvolvimento de um programa de pes-
ma de monitoramento de Educação para Todos e do quisa e experimentação no âmbito da ava-
Laboratório Latino-Americano de Avaliação da Quali- liação e as variáveis associadas ao rendimento
dade da Educação. escolar.
*As expressões aqui apresentadas são de responsabilidade do autor e não comprometem nem a Unesco nem o Laboratório Latino-Americano de Avaliação da
Qualidade da Educação. O autor aproveita a oportunidade para agradecer a Eduardo Cabezón, Sandra Cusato e Juan Carlos Palafox pelos comentários feitos
à versão preliminar deste texto.
**Juan Casassus é funcionário da Unesco desde 1977, e desde 1988 é especialista regional em políticas, planejamento e gestão da educação da Orealc. É autor
e co-autor de várias publicações sobre administração da educação e qualidade da educação. Coordena o Laboratório Latinoamericano de Evaluación de la
Calidad de la Educación, com sede em Santiago do Chile, e realiza freqüentes missões de assessoria aos países que participam desse projeto.
133
O professor Plomp deu ênfase às possibilida- sensibilização acerca da importância da avaliação já
des abertas pelos estudos internacionais. Concorda- terminou. Portanto, entramos em outra etapa, que se
mos com os pontos de vista por ele expostos. Efetiva- deve caracterizar por uma maior reflexão acerca da
mente, cremos que este tipo de estudo tem múltiplas medição e da avaliação no contexto regional, com o
possibilidades e, apenas com o propósito de reforçar o propósito de melhor orientar seu impulso atual.
que já foi mencionado, permitimo-nos repeti-las. Os Para isso gostaríamos de sugerir um conjunto
estudos internacionais: de dilemas expressados como opções, surgidos du-
a) produzem descrições comparativas que fun- rante o Estudo Internacional que o Laboratório Latino-
cionam como um espelho onde cada país Americano realizou em 1997, e na observação da ex-
possa "ver" a si mesmo de uma maneira periência de outros estudos semelhantes.
diferente, ao olhar-se em comparação com Queremos enfatizar que falamos de dilemas e
outros; de opções. Não estamos falando de antípodas ou con-
b) estabelecem referências em matérias es- tradições. Cada um destes dilemas e suas opções
pecíficas; podem ser interpretados como os extremos de um
c) facilitam o monitoramento ou o acompanha- contínuo, e não são necessariamente discretos entre si.
mento dos processos em diferentes níveis Ao falarmos de dilemas, estamos nos referin-
do sistema mediante a constituição de sé- do a um conjunto de perguntas, tensões e, conseqüen-
ries históricas; temente, de suas opções, que emergem e demandam
d) produzem informações que permitem inter- ponderação e decisões.
pretar as diferenças observadas entre os Na realidade, alguns destes dilemas estão in-
sistemas educacionais; terligados, de maneira que a postura que se adote a
e) facilitam os estudos de diferenças e de respeito de uma opção poderia, em honra da coerên-
recorrências entre países. cia intelectual, levar logicamente a uma postura simi-
A estes elementos já mencionados, podería- lar a respeito de outra opção. Entretanto, vistos em
mos acrescentar outros, próprios das redes conjunto, embora estes dilemas ou opções possam
conversacionais, como o Laboratório, tais como: refletir um estilo ou sensibilidade, não cremos que pos-
f) facilitar os processos de integração sam constituir-se, neste momento, como modelos pu-
supranacional (M. H. Guimarães de Castro ros nos quais cada um possa identificar-se de maneira
e M. I. Pestana, 1996); consistente com um conjunto, em oposição a outro.
g) dar origem aos processos de formação, aos Por enquanto, acreditamos que a mensagem
processos de implementação; é que eles devem ser considerados ou confrontados, a
h) avançar por meio de acordos, em face de fim de que os estudos internacionais possam ser mais
sua vinculação com a política educacional; férteis em seus propósitos.
i) melhorar as possibilidades de financiamen- Os estudos do Laboratório têm um propósito
to dos sistemas por seu impacto e sua investigativo. Mas não se trata de uma investigação do
vinculação com os meios de comunicação tipo fundamental, como poderiam ser os estudos em
de massa. universidades ou outros centros acadêmicos. Trata-se
Em resumo, estes estudos, graças às suas de estudos destinados a apoiar e facilitar a formulação
contribuições em termos de informação e análise, abrem e a implementação da política educacional dos paí-
possibilidades, tanto no plano da política educacional, ses-membros.
como no da gestão dos sistemas, da pesquisa e da Correndo o risco de simplificar algo complexo, ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
comunicação social. mas consciente de que o contexto deste seminário
não permite ir além de seu mero enunciado, postula-
mos os seguintes dilemas, que se apresentam como
opções, para facilitar uma visão de conjunto:
O s dilemas 1. Avaliação do sistema e/ou avaliação do
aluno;
2. A relação entre teoria, medição, interpreta-
ção e política educacional;
Entretanto, em vez de nos concentrarmos nas 3. Objetivos de políticas e/ou objetivos dos
qualidades e possibilidades dos estudos internacionais, itens dos estudos;
gostaríamos de aceitar a orientação do documento de 4. A dimensão lógico-matemática como prog-
trabalho, em seu convite à reflexão e à criação de agen- nóstico das finalidades do sistema;
das abertas para o futuro. 5. Perspectiva psicométrica e/ou perspectiva
Considerando que na América Latina todos os edumétrica;
países já têm ou já instalaram sistemas de medição e 6. Perspectiva linear e/ou perspectiva
de avaliação, podemos afirmar que a etapa de sistêmica;
134
7. Avaliação do homogêneo e/ou avaliação implementação da política educacional encontra-se
do diverso; interrompido.
8. Objetivos das disciplinas e/ou objetivos A teoria, a interpretação e a formulação de
transversais (holísticos); políticas encontram-se atrasadas em relação ao de-
9. Objetivos dominantes (únicos) e/ou objeti- senvolvimento das bases empíricas, a ponto de se po-
vos alternativos; der dizer que a falta de desenvolvimento teórico faz
10. Conhecimento e/ou competências e habi- com que a vinculação entre dado ou indicador e medi-
lidades; da de políticas seja inexistente ou incoerente.
11. Globalidade e/ou enfoque local. Para exemplificar este ponto, consideremos
algumas das medidas de política mais favorecidas atu-
almente quando se quer melhorar a qualidade da edu-
1. Avaliação do sistema (prestação de contas – cação. São elas: a redução das jornadas nas escolas,
accountability) e/ou avaliação do aluno o aumento do gasto público e a redução do número de
alunos por professor.
Esta é uma distinção (e uma decisão penden- Se nos apoiarmos, por exemplo, nos resulta-
te) que, por ser evidente, nem sempre se esclarece. A dos do estudo TIMSS, podemos ver que Cingapura,
avaliação que os organismos realizam, como o Labo- primeira no ranking do TIMSS sob diferentes perspec-
ratório ou o IEA, ou mesmo os sistemas nacionais de tivas, mantém uma alta porcentagem de seus alunos
medição, é a avaliação dos sistemas educacionais e em escolas com dupla ou tripla jornada; ou que, ape-
não a avaliação dos alunos. sar de ter um gasto público muito inferior ao dos paí-
É compreensível que neste plano, por várias ses europeus e outros asiáticos comparáveis, tem um
razões, exista uma certa confusão. Uma delas é a his- alto lugar no ranking de leitura (Postlewhaite, Ross
tória, pois a avaliação começou como uma avaliação 1996).
dos alunos em classe, por parte dos professores. Ou- A Coréia, uma das primeiras do ranking do
tra é que a ênfase atual sobre a aprendizagem – no estudo TIMSS, tende a manter um elevado número de
discurso da "avaliação da aprendizagem" – tende a alunos por professor (Delanoi, 1997).
Quer isto dizer que se deva aumentar as jor-
manter uma ambigüidade em relação ao objeto da ava-
nadas, baixar o gasto público, ou aumentar o número
liação. Embora sejam os alunos os que respondem a
de alunos por professor? Não é esta necessariamente
provas e questionários, na realidade não são os alunos
a conclusão. A conclusão é que os dados devem ser
que são avaliados: o que se avalia é o rendimento do
analisados e interpretados de maneira excepcionalmen-
sistema, por meio das respostas dos alunos. Então,
te cuidadosa antes que se convertam em políticas a
as interrogações dos estudos deveriam consistente-
serem adotadas pelos vários países. Vendo por um
mente orientar-se, não às pessoas que são os alu-
prisma ligeiramente diferente, Ken Ross (1997) anali-
nos, mas ao sistema no qual estão inseridos estes
sou a questão sob o nome de "falácia ecológica". A
alunos.
questão deste dilema está em que, entre o aumento
Dentro desta perspectiva, as comparações são das bases empíricas, a crescente complexidade das
referentes aos sistemas e não a populações. Se levar- mesmas e as medidas de política, gerou-se um vazio
mos em conta que estamos avaliando sistemas em teórico e interpretativo, que é necessário preencher.
função de populações, teremos uma variedade de ti-
pos de estudos como aspectos da vinculação dos sis-
temas em relação às populações.
3. A orientação da política e/ou a orientação dos itens

dos estudos (correspondência entre a política e os itens)
2. Teoria, medição, interpretação e política educacional A orientação das políticas educacionais está
em plena mudança e diversificação. Passamos de uma
Como mencionado anteriormente, o fato de situação de reprodução do passado e construção da
haver medição e avaliação parece estar quase univer- nação a uma grande diversidade de orientações, que
salmente aceito. O dilema não se encontra aí, mas a vinculam a educação a temas como o trabalho, os pro-
partir desse ponto. São muitos os estudos que foram blemas sociais, a situação ambiental, a criatividade, o
desenvolvidos recentemente. Jamais, na história da desenvolvimento pessoal, as preocupações locais, a
educação, foram acumuladas – com metodologias cada globalização. Ou, com um olhar mais limitado, ao inte-
vez mais sofisticadas e de maneira mais sistemática – rior dos objetivos das disciplinas, ela é vinculada, por
tantas informações relativas ao funcionamento dos sis- exemplo, à identificação, à definição e à profundidade
temas e aos usuários dos mesmos. Entretanto, muito do tratamento dos temas ambientais nos programas
embora as bases empíricas continuem crescendo em de ciências.
tamanho, sofisticação e complexidade, parece que a Neste contexto de mudança das orientações
vinculação entre elas e o planejamento e a de política – mudança que aumenta à medida que sobe
135
de grau o nível escolar em que se aplica a medição – é dos procedimentos das provas buscando utilizá-los não
difícil manter a correspondência e as prioridades entre mais somente como elementos de discriminação mas,
os itens selecionados e as orientações das políticas. também, como instrumentos de retroalimentação para
A situação se torna mais complexa quando pretende- fins educacionais. Um exemplo disso é a difusão de
mos medir e comparar um mesmo sistema em dois fac-símiles de provas e a difusão de itens pela Internet,
momentos de tempo diferentes, pois é bem conhecido o que tem por objetivo aumentar o caudal informativo e
o provérbio que diz que, "se você quiser medir a mu- reduzir a dimensão surpresa/segredo na aplicação das
dança, não mude a vara (o instrumento) com que provas.
mede", o que implica que os itens não devam ser mu- Em outro plano, o desenvolvimento de mode-
dados. los orientados para a referência a critério, como os
modelos tipo Rasch, Lisrel ou os da Teoria de Respos-
ta ao Item, facilita a articulação psicométrica e
4. A dimensão lógico-matemática como preditora de edumétrica, bem como a articulação de referências a
êxito do sistema norma e critério.
Presenciamos atualmente uma situação na

qual há uma tendência de privilegiar a dimensão lógi- 6. Perspectiva linear e perspectiva sistêmica
co-matemática, por diversos motivos. Por um lado,
aparece como elemento discriminador quando se quer Os paradigmas atuais da pesquisa científica,
selecionar por competências para a produção; igual- nos âmbitos sociais e biológicos, apontam para a pers-
mente, quando se pensa nas competências para o pectiva de variáveis multivariadas ou fatores não relaci-
desenvolvimento científico e tecnológico. Por outro lado, onados de maneira causal ou linear com seus efeitos.
aparece como a linguagem privilegiada na corrente Este tipo de relação de fatores foi denominada articu-
curricular que favorece o enfoque da resolução de pro- lação "sistêmica", contrastando com a mais tradicio-
blemas. nal relação causal das ciências naturais.
Aqui, porém, novamente nos encontramos com Por outro lado, a medição, na perspectiva da
o dilema de que os objetivos dos sistemas educacio- psicologia, tem buscado relações lineares a partir das
nais se abrem constantemente a outras dimensões, quais se possam predizer condutas sociais. A teoria
nas quais as competências exigidas são de ordem da medição, ao ser aplicada à educação, foi fortemen-
muito diferente da lógica matemática. Estas compe- te influenciada por esta perspectiva linear de prognós-
tências, para sermos sensíveis ao que foi sugerido por tico. Entretanto, à medida que avançamos com uma
outros autores como H. Garner, H. Maturana, ou visão cada vez mais complexa dos processos educa-
Goleman, encontram-se enraizadas em outros planos, cionais, mais necessário se torna poder distinguir as
como o cinestésico, o emocional, o espacial, o pesquisas orientadas para a busca de relações cau-
interpessoal, o intrapessoal ou o comunicacional. sais e lineares, daquelas que se orientam rumo a uma
A dominação exercida pela dimensão lógico- visão analógica ou sistêmica capaz de incorporar dife-
matemática apresenta um dilema que, se não for re- rentes configurações, como as ecológicas, as sociais
solvido, pode ter efeitos empobrecedores e e as culturais. Damos especial ênfase às culturais,
discriminatórios, justamente contrários aos previstos pois elas têm um enorme potencial para complicar as
na política educacional de um país. relações causais e lineares.
5. Perspectiva psicométrica e perspectiva edumétrica 7. A avaliação do homogêneo e a avaliação do diverso
Num passado recente, a medição (em especi- Até agora, a avaliação de diversos sistemas
al os modelos com referência à norma) foi o principal era realizada mediante a aplicação de provas que con-
procedimento para aferir (assess) os resultados de ren- tinham itens comuns. Para comparar, avalia-se o que
dimento na maioria dos sistemas nacionais e interna- há em comum. O mesmo ocorre com os sistemas
cionais de avaliação. As idéias de Bloom e de Schriver nacionais, que têm a preocupação de avaliar o que
sobre o papel formativo da avaliação e, também, os existe de comum em seus países.
avanços recentes no plano da psicologia cognitiva Entretanto, mais uma vez nos encontramos
(Garner, Steinberg) têm sido confrontados pela ênfase com um movimento nas políticas educacionais que vai
objetiva e discriminatória (seletiva) da avaliação vista em sentido contrário. A orientação predominante nas
pela perspectiva psicométrica. reformas curriculares atuais consiste em que o espa-
De fato, podemos observar que está se de- ço local esteja cada vez mais representado. Igualmen-
senvolvendo atualmente uma tendência, na medição e te, os países com populações indígenas estão
na avaliação, que busca meios para modificar o papel institucionalizando a multi(inter)culturalidade e as ati-
136
vidades bilíngües na educação. Este fato, porém, difi- textos bem delimitados, como o do ensino de Mate-
cilmente é captado pelos sistemas de avaliação. mática, além dos especialistas em Matemática ou em
Para fazer frente a este dilema, o de poder dar ensino de Matemática, são numerosos os grupos cha-
conta do diverso nos sistemas de avaliação centrados mados para manifestar sua opinião – muitas vezes con-
no homogêneo, particularmente nos contextos de trária – sobre o assunto, como, por exemplo, as asso-
multi(inter)culturalidade, o Laboratório Latino-America- ciações de pais num país como os Estados Unidos,
no criou um grupo de trabalho com os países interes- onde se encontra a liderança exercida pelo National
sados. Council of Teachers of Mathematics (NCTM) do movi-
mento de standards em Matemática.
8. Objetivos das disciplinas e objetivos transversais

(holísticos) 10. Conhecimentos e/ou competências e habilidades
Os estudos internacionais de caráter avaliativo Este dilema talvez seja o mais trabalhado e
até agora focalizaram principalmente os rendimentos conhecido. Outras das tendências claras na educação
nas disciplinas (Matemática, Ciências, Linguagem, em nível mundial referem-se à mudança generalizada
Leitura, etc.) em detrimento dos objetivos de caráter na ênfase curricular, partindo dos conteúdos conceituais
transversal. Entretanto, uma das tendências prioritárias enciclopédicos, rumo ao desenvolvimento de matérias
no atual desenvolvimento curricular, numa região como com conteúdos mais vinculados a atividades ou apli-
a América Latina, é o desenvolvimento de objetivos e cações práticas. Este processo se orienta, então, não
competências de tipo transversal, distribuídos ao lon- a acumular dados e conhecimentos enciclopédicos nos
go das diferentes disciplinas. alunos, mas sim a desenvolver competências e habili-
A preocupação com o valorativo, as dimensões dades sobre um número menor de conhecimentos.
culturais particulares, a auto-estima, o desenvolvimen- Este processo, porém, é obstaculizado pelo
to da democracia, ou ainda preocupações com a edu- exercício avaliativo. Esta dificuldade torna-se evidente
cação preventiva em relação a situações sociais como na observação de, pelo menos, duas tendências per-
a Aids, ou o abuso de drogas, ou o meio ambiente são sistentes. A primeira pode ser situada em nível do pró-
as novas orientações temáticas que animam as mu- prio ensino, porquanto a identidade e fortaleza dos do-
danças curriculares atuais. centes decorre do domínio dos conhecimentos das
Para enfrentar este tipo de dilema, o Laborató- matérias que eles possuem e pelas quais são respon-
rio, igual ao que ocorreu com o dilema anterior, criou sáveis. Entretanto, além de ser fonte de identidade, o
grupos de trabalho para refletir sobre as implicações e poder dos docentes na sociedade e na cultura escolar
mudanças metodológicas necessárias para enfocar a advém de se manter vigente o valor desse domínio.
avaliação dos temas transversais. A segunda dificuldade é própria do campo da
avaliação. Ao observar as práticas dos sistemas de
avaliação podemos notar que foi gerado o que pode-
9. Objetivos únicos (dominantes) ou objetivos alternativos mos denominar uma "cultura avaliativa". Esta cultura
em nível supranacional está assentada sobre um conjunto de práticas de ava-
liação. No ethos avaliativo situam-se em lugar privilegi-
De certa maneira, este dilema está ado, ou de domínio geral, as provas de múltipla esco-
correlacionado ao anterior. Ao medir os resultados de lha, cujo uso põe em destaque a dimensão de
diferentes sistemas educacionais com os mesmos memorização do processo educacional. (Notemos que
itens, tendemos a outorgar uma influência e um peso neste plano, a cultura avaliativa complementa bem a
muito grandes a esses itens. Por seu intermédio é cultura docente). Face ao impacto da avaliação sobre
exercida grande pressão, quando chega a hora de to- a orientação dos processos educacionais em classe,
mar decisões quanto aos conteúdos curriculares que enquanto não se puderem realizar outras práticas
devem ser ensinados nos diferentes sistemas educa- avaliativas – a um custo razoável – esta prática predo-
cionais. A seleção de itens nos estudos internacionais minante atua em detrimento da transformação
não só tende a sacralizá-los mas, como conseqüência curricular.
lógica, sacraliza também os métodos de ensino dos
países que têm os melhores resultados nessas maté-
rias. Esta possibilidade entra em tensão com o desen- 11. Globalização e/ou enfoque local
volvimento de opções surgidas de outros contextos que
não tiveram tanto êxito nos estudos internacionais, mas Os estudos internacionais se dão bem com a
que correspondem a lógicas nacionais particulares. globalidade. Entretanto, vemos também que existe um
Isso, porém, não ocorre apenas em relação movimento mundial para o desenvolvimento local da
às orientações gerais de política. Até mesmo em con- educação e para a adaptação dos conteúdos a essas
137
realidades. Embora isto tenha sido indicado com fre-
qüência como um problema, em termos teóricos não
deveria haver contradição.
C onclusão
Na prática, a ação e o trabalho humano são
sempre locais. O que varia não é a localização da ação,
e sim o seu alcance. O tema está, não no locus, mas
A avaliação conseguiu situar-se em um lugar
no alcance, que é variável de acordo com vários
estratégico na criação e implementação das políticas
parâmetros, sendo que o menor deles não é o uso da
Internet nas escolas. educacionais. Conseguiu tal coisa por vários motivos,
O dilema, em nossa opinião, não está no locus, o mais importante dos quais talvez tenha sido o de
e sim nos conteúdos da globalização e da natureza da poder tornar visível algo que até agora havia sido invisí-
competitividade. Quer dizer, por um lado, o dilema está vel, a saber, um resultado do processo educativo, per-
no que vai ser posto nos conteúdos da globalização, mitindo gerar um novo tipo de política educacional
no sentido de saber se vão ser caracterizados predo- centrada precisamente nesse resultado.
minantemente como processos pertencentes ao âm- Concluindo, gostaríamos de destacar que nos
bito econômico e financeiro, e, conseqüentemente, com encontramos em um momento privilegiado quanto às
um caráter reducionista e dominante, ou, pelo contrá- possibilidades dos estudos internacionais e sua utili-
rio, se terão uma dimensão holística, diversificadora e dade para os sistemas nacionais, tanto pelas novas
flexível.
oportunidades de reflexão e de investigação que de-
Por outro lado, há a questão da natureza da
vem salvaguardar os níveis de complexidade dos pro-
competitividade, se ela é interpretada como uma ativi-
dade dinamizadora pelo seu conteúdo de rivalidade, de cessos educacionais e ao mesmo tempo, quanto man-
depredação e de negação dos outros, ou se será situ- ter um nível de comunicabilidade necessário com os
ada no plano da cooperação e da complementação. níveis de responsabilidade política, os meios de comu-
Do ponto de vista educacional, o tipo de inter- nicação de massa.
pretação ou a construção conceitual que se faça da Cremos que, finalmente, um lugar privilegiado,
globalização e da natureza da competitividade terá que esteja em condições de cumprir os requisitos de
certamente um grande impacto sobre a geração dos complexidade e de comunicabilidade são as redes
novos programas curriculares. Quanto à metodologia conversacionais do tipo do Laboratório Latino-Ameri-
da relação entre o enfoque global e o local, considera- cano de Avaliação da Qualidade da Educação, que
mos que um marco conceitual desenvolvido pelo IEA, permitem os intercâmbios entre responsáveis de sis-
que estabelece a associação entre currículo intentado
temas com o propósito de avançar comparativamente,
e o macro; entre currículo implementado e o meso e
identificando sucessos, mas também, compartindo, em
entre currículo conseguido e o micro, apresenta uma
pista que pode ser fértil para avançar na análise deste confiança, as vicissitudes e o que se deve evitar nesta
dilema. nova etapa.
138
E STATÍSTICAS EDUCAIONAIS
NA AMÉRICA LATINA E NO CARIBE:
RESUMO DOS RESULTADOS
R. W. McMeekin*
Um estudo financiado pela Fundação Ford e sofisticação de suas estatísticas educacionais. Embora
executado pela Oficina Regional da Unesco para la os limites entre eles não sejam nítidos, existem três
Educación en América Latina y el Caribe (Orealc) grupos bastante claros de países, cada um com
examinou o estado em que se encontram as necessidades distintas:
estatísticas educacionais na região. Resumimos a – Países grandes e sofisticados (com
seguir os pontos principais apurados. freqüência, países federais) que contam com sistemas
O estado das estatísticas educacionais na de estatísticas educacionais bem desenvolvidos
América Latina e no Caribe melhorou visivelmente nos (embora alguns destes somente tenham feito
últimos anos, mas ainda subsistem sérios problemas. mudanças importantes recentemente): Argentina,
Os países estão conseguindo proporcionar Brasil, Chile e México, dentro da amostra de países
estatísticas educacionais com muito mais sucesso que estudados;
até uma década atrás. Receberam bastante assistência – Países pobres que estão bastante atrasados; e
externa para melhorar suas estatísticas educacionais, – Um grande grupo "intermediário" no qual se
seus indicadores e sistemas de informação para a observam importantes melhoras, mas em que ainda
administração (embora isso tenha sido menos eficiente existem problemas sérios: Equador, Jamaica, Paraguai,
do que se esperava). A tecnologia disponível através Uruguai e outros.
dessa assistência foi de grande ajuda e as estatísticas Há diversos tipos de problemas que afetam os
são hoje mais oportunas e acessíveis, podem ser sistemas de estatísticas educacionais: técnicos,
analisadas com maior facilidade e contêm menos erros. institucionais e outros.
Entretanto, não existe uma compilação de
conhecimentos consensuais a respeito do que constitui
um bom sistema de estatísticas educacionais, nem
uma equipe de consultores especializados aos quais
as agências e os países pudessem recorrer. P roblemas técnicos
Foram encontradas práticas inovadoras em
vários países: por exemplo, o novo sistema de
informação sobre a Educação no Brasil, o poderoso – Em muitos países há uma carência de dados-
sistema de mapas escolares do Paraguai, os chave, por exemplo, com respeito à matrícula por série
experimentos efetuados em Mendoza com registros e por idade dos alunos. Também existe uma medição
individuais dos estudantes e o extenso conjunto de ou estimativa inadequada de variáveis como a
indicadores de eficiência dos fluxos de alunos na repetência.
Nicarágua. Existe também uma consciência crescente – Existem problemas conceituais (espe-
sobre a importância das estatísticas, dos indicadores cialmente em relação à medição de fluxos de alunos e
e dos sistemas de informação para a administração. sua eficiência).
Alguns grupos sub-regionais, como o Mercosul e a – Com freqüência, existe uma discrepância
Organización de Estados Caribeños Orientales (OECS), entre os períodos de tempo a que se referem a matrícula,
estão tomando a iniciativa de estabelecer estatísticas o gasto e a população por grupo etário.
e sistemas de indicadores comparáveis, e os países – Observa-se uma falta de definições e
do Convênio Andrés Bello já manifestaram interesse terminologias claras e consistentes. Existe a
na questão. necessidade de se elaborar um glossário por consenso
É possível identificar três grupos principais de dos termos de estatística educacional. Há também
países, em termos do grau de desenvolvimento e sérias fraquezas em categorias completas de
*Oficina Regional da Unesco para la Educación en América Latina y el Caribe (Orealc)/Chile.
139
estatística, tais como os dados financeiros ou as Escolas e insumos não-docentes; 5. Eficiência interna
informações sobre o aproveitamento dos estudantes, (repetência, transição, taxas de sobrevivência); 6.
que serão discutidos mais adiante. Eficiência externa (taxas de ingresso e emprego por
nível educacional obtido e taxas de rendimento
econômico); 7. Custos e finanças do setor; e 8.
P roblemas institucionais
Aproveitamento dos estudantes medido em termos de
resultados do aprendizado.
– Há importantes categorias de estatísticas e
indicadores que são especialmente fracas ou, em
– O distanciamento das unidades de estatística
educacional das outras fontes de informação e do local alguns casos, estão totalmente ausentes das
de tomada de decisões; a falta de contato com outras estatísticas educacionais "usuais". Foram
entidades para obter dados para indicadores; as encontradas insuficiências-chave em: a) indicadores de
pessoas responsáveis pela adoção de decisões não eficiência interna, especialmente em torno da
fazem uso de estatísticas educacionais porque não repetência; b) indicadores de "eficiência externa" ou
existe uma cultura de basear as decisões sobre dados resultados no mercado de trabalho; c) indicadores de
e análises. A necessidade de indicadores educacionais custos e finanças do setor; d) indicadores de qualidade
somente está sendo reconhecida recentemente. Existe e aprendizagem dos estudantes.
a tendência de que certos temas especiais, como – Fazendo um corte por todas as categorias,
custos e finanças setoriais, sejam tratados por existem grandes debilidades nas áreas da educação
especialistas que não fazem parte do sistema de pré-primária e praticamente em toda informação
estatísticas educacionais habitual. referente ao nível universitário.
– A utilização de estatísticas e indicadores – É importante fazer distinção entre: 1. o
educacionais é muito débil. Até mesmo quando isso planejamento de indicadores e sistemas de informação
possa ser devido, em parte, à insuficiente qualidade para uso nacional em seqüência a reformas e
das estatísticas disponíveis (o que faz com que as melhoramento da gestão, e 2. a criação de indicadores
pessoas responsáveis por adotar decisões não façam
para fins de comparações internacionais. É possível
uso delas), também existe uma subutilização de
que possam sobrepor-se, mas são essencialmente
informações que já estão disponíveis.
– A descentralização dos sistemas edu- diferentes.
cacionais, não apenas nos sistemas federais como
também em países que estão descentralizando ou
desconcentrando a administração de seu sistema, pode papel da assistência internacional para
complicar o processo de coletar, analisar e utilizar as
estatísticas educacionais (mas também pode
O melhorar as estatísticas educacionais
proporcionar valiosas oportunidades para mudar as

velhas práticas e melhorar a utilidade das estatísticas Como já foi mencionado, tem havido muitos
educacionais na gestão do setor). projetos ou componentes de projetos que propuseram
– Não existe nenhum foro para o intercâmbio melhorar as estatísticas educacionais, os indicadores
de informações entre os países em relação a e os sistemas de informação para a administração.
estatísticas e indicadores educacionais (exceto em Praticamente todos os países, na amostra de 14 países
casos especiais como a OCDE e o Mercosul). estudados, receberam alguma assistência para este
– Falta de liderança regional: o Sistema de fim. Isto aumentou consideravelmente a disponibilidade
Información Regional (Siri) da Unesco/Santiago fez de tecnologia, mas não proporcionou uma orientação
alguns avanços em termos de coletar e publicar dados eficaz sobre o desenvolvimento de estatísticas, ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
analisados em nível regional, mas não conta com os indicadores ou sistemas de informação plenamente
recursos necessários para proporcionar assistência
adequados.
técnica ou orientação para estabelecer normas e
Este estudo surgiu em função de uma pesquisa
práticas sólidas. Nenhuma outra instituição assumiu
um papel de liderança. da coordenação da assistência à educação, onde se
apurou que tem havido uma notável falta de coordenação
entre as organizações internacionais sobre questões
relacionadas com as estatísticas educacionais em nível
regional.
O utros problemas e questões Os países vêem as organizações inter-
nacionais como entidades que solicitam informações,
com freqüência, de maneira duplicada ou baseada em
– Existe a necessidade de se contar com um conceitos e definições diferentes.
conjunto sólido e consensual de categorias de Os esforços para proporcionar orientação e
estatísticas e indicadores. Este estudo propõe um assistência em nível regional ou sub-regional têm sido
conjunto de oito categorias: 1. Contexto; 2. Estudantes até agora de utilidade limitada: a reunião da Unesco
e participação; 3. Docentes e demais pessoal; 4. em Quito, em janeiro de 1995, e o recente encontro
140
regional sobre custos e finanças do setor em trabalho (e de sua forma de trabalhar) poderia ser
Montevidéu, em março de 1997, mostraram que existia utilizado de maneira progressiva na América Latina e
uma ampla brecha entre as recomendações oferecidas no Caribe, de acordo com o nível de desenvolvimento e
e as necessidades concretas dos países participantes. sofisticação de suas estatísticas educacionais,
Também há falta de comunicação e especialmente em áreas como os indicadores de
coordenação entre os especialistas de organismos custos e finanças do setor. Países como Espanha,
internacionais e a sua própria percepção das Portugal e México conseguiram cumprir as exigências
necessidades e realidades, de um lado, e as do sistema OCDE.
necessidades tal como são percebidas pelos Na região africana, a Associação para o
especialistas dos países, de outro. Desenvolvimento da Educação Africana (Adea) e seu
O Centro Interamericano de Enseñanza Grupo de Trabalho sobre Estatísticas Educacionais
Estadística (Cienes), da Organização dos Estados (WGES) deram ênfase ao desenvolvimento de
Americanos, tem um mandato para dar capacitação, capacidades nacionais. Um programa para fortalecer
mas atualmente não conta com capacidade técnica os Sistemas Nacionales de Información Estadística
sobre o tema das estatísticas educacionais. Ao que sobre la Educación (Nesis) permitiu que os países
parece, o Cienes não disporá de orçamento para 1998. participassem da análise de módulos-padrão, com a
O Celade desenvolveu um modelo que vincula finalidade de promover a criação de sistemas
dados censitários e educacionais, a fim de fornecer compatíveis. Foi desenvolvido um "Perfil" tipo de
uma base para o planejamento físico e o mapeamento estatísticas e indicadores educacionais para os países
escolar. Isto precisa ser difundido de maneira mais da região. O modelo de desenvolvimento de
ampla. capacidades da Adea/WGES/Nesis poderia ser
Existe no Cepal uma unidade que trabalha com utilizado no grupo de países da América Latina e do
pesquisas domiciliares, que está interessada em Caribe cujos sistemas de estatísticas educacionais são
utilizar variáveis educacionais das pesquisas para menos desenvolvidos.
produzir indicadores úteis.
O grupo de pequenos países que formam a
Organización de Estados Caribeños Orientales tem
trabalhado em conjunto para desenvolver um sistema
comum de estatísticas e indicadores educacionais. O
organismo, além de assistência bilateral GTZ, tem
C onjunto de indicadores sugeridos
proporcionado assistência modesta, mas importante.

Em geral, tem havido uma profusão de
atividades destinadas a melhorar as estatísticas Sobre a base do que apurou, sobre o estado
educacionais, respaldadas ao menos parcialmente por das estatísticas e os indicadores educacionais nos
doadores internacionais. Entretanto, tem faltado países da região da América Latina e do Caribe e os
coerência a estas múltiplas atividades e elas não modelos de sistemas de indicadores educacionais,
promoveram um acordo em nível regional sobre tanto dentro como fora da região, o estudo propõe uma
assuntos-chave, nem tampouco a criação de lista de indicadores potenciais. Não há dados
estatísticas e indicadores compatíveis. disponíveis para completar a totalidade destes
indicadores em todos os países de forma imediata;
entretanto, a juízo do autor, muitos países estão em
spectos apurados sobre as experiências
A condições de fornecer os dados necessários e seria
realizadas em outras regiões

viável implementar o sistema na maioria dos países da
região dentro de um prazo razoável.
Ainda não há acordo em nível mundial no que A lista que se segue é apresentada como um
se refere a um sistema de classificação da Educação. ponto de partida, sugerido para estabelecer um conjunto
A Clasificación Internacional Normativa de la Educación comum de indicadores para a América Latina e o
(Cine), da Unesco, tem sido criticada por não incorporar Caribe, reconhecendo-se que pode haver opiniões
definições claras e operacionais. Uma versão revisada distintas e que alguns observadores poderão
da Cine será apresentada à Conferência-Geral da recomendar mudanças na lista. Uma discussão mais
Unesco, em outubro/novembro de 1997. completa dos indicadores sugeridos para a comparação
O sistema de indicadores da OCDE foi internacional básica encontra-se no corpo do informe.
evoluindo durante cerca de dez anos e é hoje um
sistema altamente desenvolvido. Reflete os interesses 1. Contexto
e as necessidades de seus países-membros. Teria de
ser adaptado para ser transformado num sistema que – População, taxa média de crescimento da
possa ser adotado satisfatoriamente pelos países da população e população escolar (entre 5 e 24 anos de
América Latina e do Caribe. Grande parte de seu idade, ou a maior aproximação possível que for viável)
141
como porcentagem da população total. primário em escolas de turnos múltiplos.
– Produto interno bruto per capita e taxa anual
média de crescimento do PIB per capita durante os Insumos
últimos cinco anos ou mais.
– Taxas de analfabetismo, total e por gênero, – Duração do ano escolar em horas, horas
na população de 15 anos de idade e mais (com curriculares dedicadas ao idioma nacional, à
indicações por país sobre os critérios de analfabetismo matemática, às ciências naturais e sociais.
que foram aplicados). – Número médio de livros de texto à disposição
– Média de anos de escolaridade alcançada, de cada aluno, em escolas públicas e privadas, em
entre a população de 15 e mais anos de idade, em zonas urbanas e rurais.
total e por gênero, estrutura do sistema educacional e
idade oficial de início da educação escolar.
5. Eficiência interna
– Taxas de repetência, por nível de ensino.

2. Alunos e participação
– Taxas de evasão escolar, por nível de ensino.
– Taxas brutas de matrícula por nível, inclusive
terciário, por gênero (e por região urbana/rural, se 6. Eficiência externa
possível).
– Taxas líquidas de matrícula por nível, por – Média do ingresso de pessoas empregadas
gênero (e por região urbana/rural, se possível). segundo o nível de educação, por gênero;
– Taxas de transição entre os níveis primário e – Taxas de emprego dentro da força de
o secundário inferior e entre o secundário inferior e o trabalho, segundo o nível de educação alcançado, por
superior (Cite 1 a 2 e Cite 2 a 3). gênero;
– Taxa de transição entre os níveis secundário – Taxas de rendimento econômico, social e
(Cite 3) e o terciário. privado por níveis educacionais principais (separando
a educação vocacional/técnica da educação secundária
geral, se possível), por gênero.
3. Pessoal: docentes, diretores de escola e outros
– Total de docentes e porcentagem dos que 7. Custos e finanças do setor educacional

ensinam em escolas públicas e privadas e em áreas
urbanas e rurais. – Gastos totais, públicos e privados em
– Total de docentes em aula e relação entre Educação como porcentagem do PIB;
docentes em aula e o total do pessoal. Porcentagem – Gastos públicos em Educação, como
de docentes que cumprem as normas nacionais para porcentagem do gasto público total;
– Gastos por nível de ensino e por fonte de
o ensino total, público e privado, e urbano e rural.
financiamento público, privado e misto;
– Razão entre alunos e o total de docentes
– Gastos públicos por aluno por ano (somente
por nível de ensino (excluído o terciário), total, público
gastos correntes; gastos correntes e de capital) por ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
e privado, urbano e rural.
nível de ensino;
– Média de remuneração de docentes (medida – Gastos correntes e de capital.
em algum ponto acordado, como, por exemplo, depois
de dez anos de experiência, incluindo remuneração
básica e complementos) como porcentagem do PIB 8. Resultados da educação: aprendizagem dos
per capita. estudantes
Porcentagem de alunos que atingem o nível

4. Escolas e insumos não-docentes de aprovação exigido nas provas de idioma nacional:
ao final, ou perto do final do ciclo primário e ao final do
Estabelecimentos ciclo secundário "básico" ou inferior, por gênero.
Porcentagem de alunos que atingem o nível
– Número e porcentagem de estabelecimentos de aprovação nas provas de matemática: ao final, ou
por nível de ensino, por fonte de financiamento e por perto do final do ciclo primário e ao final do ciclo
localização urbana/rural. secundário "básico" ou inferior, por gênero.
– Porcentagem de estabelecimentos de nível
142
grupos sub-regionais de países também devem receber
C onclusões e recomendações encorajamento e apoio.
– Qualquer que seja o projeto de um sistema
mundial de indicadores a que se chegue, é provável
que continuem existindo estatísticas e indicadores
Duas comunicações recentes são de grande
adicionais de que os países da América Latina e do
importância para o futuro das estatísticas e indicadores
Caribe necessitem para guiar suas políticas e os planos
educacionais na América Latina e no Caribe. Primeiro,
para o setor. Estes poderiam agregar-se ao modelo
o diretor-geral da Unesco anunciou a criação de um
básico e levar à criação de um Perfil Estatístico da
novo Instituto Internacional de Estatísticas da Unesco.
Educação na América Latina e no Caribe, que reflita as
Segundo, a Unesco e a OCDE estão colaborando no
necessidades, as prioridades e o nível de
apoio a um programa piloto cuja finalidade é estabelecer
desenvolvimento dos países da região.
as bases de um sistema de "Indicadores Educacionais
– Alguns dos países escolhidos para o Projeto
Mundiais". Vários países da América Latina e do Caribe
Piloto poderão ter dificuldades para cumprir as normas
serão convidados para participar, neste sistema.
da OCDE com referência à confiabilidade e precisão
Estas iniciativas parecem pressagiar: 1. um
dos dados e o controle de qualidade, como também
interesse crescente no fortalecimento das estatísticas
para proporcionar os dados exigidos para os indicadores
e indicadores educacionais em nível mundial; 2. a
de custos e finanças, os resultados do mercado de
adoção, pela Unesco, de um papel de maior liderança
trabalho e os rendimentos cognitivos. Isto será ainda
no assunto; e, 3. a formação de um consenso a respeito
mais difícil para os países que se encontram nos grupos
do sistema de indicadores desenvolvido pelo Projeto
menos adiantados e desenvolvidos.
Ines da OCDE, com referência ao conteúdo e às
– Os esforços para ajudar os países a melhorar
especificações técnicas de um sistema de indicadores
seus sistemas nacionais com a finalidade de permitir
comum. que participem dos sistemas de Indicadores
Embora estas iniciativas sejam muito positivas, Educacionais Mundiais trarão a necessidade de
os esforços para melhorar as estatísticas e indicadores fortalecer as capacidades, o que por sua vez vai exigir
educacionais na América Latina e no Caribe vão recursos. Estes esforços serão mais eficazes à medida
continuar enfrentando uma série de desafios. O que existir um conjunto consensual de informações que
exercício de um papel de liderança por parte do novo os guie, como parece ser a perspectiva. A assistência
Instituto de Estatística vai exigir um delicado equilíbrio externa, tanto das principais instituições de assistência
entre a firmeza, de um lado, e uma cuidadosa financeira – multilaterais e bilaterais – como da Oficina
diplomacia, de outro. Regional para la Educación da Unesco será um
O Projeto Piloto para a Criação de Indicadores elemento essencial.
Educacionais Mundiais proporcionará uma base muito
necessária para o consenso sobre o conteúdo de um
sistema de indicadores, além de uma valiosa
compilação de trabalho técnico e conceitual
desenvolvido durante um período de dez anos e com R eferências bibliográficas
grande custo, pelos países da OCDE. Cabe formular
várias observações:
– Seria conveniente envolver os países (e os BEST Universities of Asia (The). Asiaweek, Hong Kong,
Escritórios Regionais da Unesco) em decisões sobre
v. 23, n. 20, 1997.

o projeto desde suas etapas iniciais. As primeiras
comunicações indicam que isto já está sendo CHAMPY, James. Reengineering management. New
encaminhado. York : Harper Collins, 1995.
– Mesmo com vários dos países mais
adiantados da região participando do projeto piloto, os DEWEY, J. Democracy and education. New York :
demais países ficariam sem uma base para o consenso MacMillan, 1916.
em um momento crítico. Seria conveniente divulgar
informações sobre o projeto piloto a um grupo mais GREAT BRITAIN. Office for Standards in Education.
amplo de países; para a América Latina e o Caribe, OFSTED and the new school's inspection system.
esta tarefa poderia recair logicamente sobre o escritório Disponível na Internet (http://www.coi.gov.uk/coi/
da Unesco/Santiago. depts/depts.htm).
– Os países da região do Mercosul (que inclui
alguns dos países mais adiantados da América Latina) INTERNATIONAL INSTITUTE FOR MANAGEMENT
já deram início a um esforço para criar um sistema DEVELOPMENT. World competitiveness yearbook.
comum de indicadores para a sub-região. Isto deve ser 1997. Disponível na Internet (http:/www.imdch/wcy/
respeitado e apoiado. Esforços semelhantes de outros over.hum).
143
INTERNATIONAL LABOUR ORGANIZATION. Yearbook OFFICE OF THE NATIONAL PRIVATE SCHOOL
of labour statistics 1996. Genéve, 1997. COMMISSION. A manual to evaluate private school
quality. Ed. rev. Bangkok, 1996.
KARMEL, Peter. Desirable outcome: Australian ______. Guidelines for development and quality
education policy in the nineties, William Walker assurance. Bangkok, 1997.
oration, 3 July 1995. Journal of Higher Education
ROSS, Kenneth N. Research and policy : a complex
Policy and Management, v. 18, n. 1, 1996. mix. IIEP Newsletter, v. 15, n. 1, Jan./Mar. 1997.
NANANUKUL, Surasak et. al. QC manual : basic SIRITRANGSRI, Pinsuda. A study on educational reform
in New Zealand : a paper presented to ONEC.
principle of working quality in Japan and Thailand.
Bangkok, 1997.
Cópia mimeografada.
SRISUCHAI, Setasak. Application of strategic
NONGMAK, Chamrat. Private school accreditation : management and TQM in large enterprises .
Bangkok, 1992.
development guideline to promote the role of private
schools. Bangkok, 1995. THAILAND. Ministry of Education. Department of
vocational education and ISSO 9000. Bangkok,
OFFICE OF THE NATIONAL EDUCATION 1996.
COMMISSION. Educational investment in Thailand. THAILAND. Ministry of Industry. Standards of industrial
Bangkok, 1997. products ISO: 1994. Bangkok, 1996.
UNESCO. Statistical yearbook 1995. Lanham, MD :

OFFICE OF THE NATIONAL PRIMARY EDUCATION
Brenan, 1996.
COMMISSION. A manual for the use of standard
criteria in primary schools. Bangkok, 1995. WORLD Education League : Who's top? The
Economist, 29 Mar. 1997.
144
O PROJETO INSTITUCIONAL DO
SISTEMA NACIONAL DE AVALIAÇÃO
EDUCACIONAL DA TAILÂNDIA
Nongram Setapanich*
Com relação ao desempenho econômico, po-

I ntrodução líticas macroeconômicas prudentes apoiaram um rápi-
do crescimento econômico e a estabilidade dos pre-
ços na Tailândia durante a última década. Entretanto,
a partir do início de 1997, o país passou a experimen-
Este trabalho deverá apresentar um projeto tar uma crise econômica, devida a líderes políticos in-
institucional de um sistema nacional de avaliação, uti- competentes, políticas e desempenhos econômicos
lizando a Tailândia como caso proposto, para iluminar inadequados dentro do país, bem como ataques exter-
a questão. Será dada informação sobre antecedentes nos à moeda e intensa concorrência.
e sobre a condição da educação tailandesa, bem como Esta crise contribuiu também para a má quali-
sobre os problemas da avaliação em educação, para dade, como resultado da educação inadequada do povo
ilustrar as tendências em direção ao desenvolvimento tailandês, que será descrita neste trabalho.
de um sistema de avaliação. Além disso, serão apre-
sentados conceitos e práticas de avaliação em outros
setores e nos países desenvolvidos, em sua aplicação ntecedentes em educação: educação
na Tailândia. A como fator crucial para o
desenvolvimento de um país
I nformação geral: antecedentes

A educação é vista como fator primordial para
o desenvolvimento econômico e social na Tailândia,
assim como um mecanismo importante para o desen-
volvimento das qualidades humanas ao seu potencial
A Tailândia está localizada no coração do con- pleno. Esta visão é consistente com a visão comum
tinente do Sudeste da Ásia, com uma população de 60 em todo o mundo, em meio à corrente da globalização,
milhões de habitantes (dados de 1996), que vive em em que a competição econômica é extremamente acir-
um clima quente e bastante úmido. Ainda que a maio- rada. Para vencer na concorrência do mundo de hoje,
ria da população seja tailandesa, o país tem uma vari- são extremamente necessários o conhecimento e o
edade de grupos minoritários, entre os quais, os mais cérebro dos indivíduos, adquiridos através da educa-
numerosos são os chineses. Em termos de religião, a ção e da aprendizagem.
maioria da população tailandesa é formada de budistas. A educação, como fator para o desenvolvimen-
Em 1996, 57,3% da população geral participa- to de bons seres humanos, é também considerada
vam da força de trabalho, enquanto que 18,8% eram como aspecto de fortalecimento da democracia, de
formados de indivíduos com mais de 13 anos de idade, construção de famílias e comunidades sólidas, e de
que não participavam da força de trabalho. Os 23,9% contribuição para a proteção do ambiente, que deverá
restantes tinham ainda menos de 13 anos. Entre a resultar em desenvolvimento sustentável e em uma
população empregada, 50,4% trabalhavam no setor sociedade em paz.
agrícola; 13,9%, na indústria; 12,7%, no comércio; Por conseguinte, a tendência de desenvolvi-
11,7%, no setor de serviços; 6,2%, em construção e mento na Tailândia é a de promoção da educação e de
3,6%, no setor de transportes. aprendizagem contínua por toda a vida. Esta tendên-
*Nongram Setapanich, doutora em Educação Comparada, é secretária-geral adjunta da ONEC, onde anteriormente desempenhou o cargo de diretora do
Education System Developmet Office. Publicou artigos em periódicos e relatórios sobre avaliação da educação, onde se destacam as seguintes obras:
Evaluation System of National Quality and Standards (1997) e An Evaluation of the Sixth National Education Development Plan: a policy paper (1994).
145
cia fica claramente refletida nos oito planos, o Plano pais ministérios, com responsabilidade direta pela edu-
Nacional Econômico e o Plano de Desenvolvimento cação, são o Ministério da Educação, que fornece pra-
Social, além do Plano Nacional de Desenvolvimento ticamente todos os níveis e tipos de educação para o
Educacional, cujos maiores objetivos incluem o forne-
grupo maior de aprendizes; o Ministério de Assuntos
cimento de "educação para todos" de boa qualidade,
através da mobilização "de tudo para a educação", Universitários, responsável principalmente pela educa-
assim como a expansão da educação tailandesa, for- ção superior; e o Ministério do Interior, responsável pelas
talecendo os potenciais individuais e nacionais para escolas municipais, bem como pelas de Muang Pattaya
autoconfiança e estabilização econômica na economia e as da área metropolitana de Bangcoc, que oferecem
global. educação básica do jardim de infância até o nível se-
cundário inferior. Além disso, há seis outros ministéri-
os que oferecem educação, especificamente para aten-
istema educacional e administração na der às necessidades de suas especialidades, enquan-
S Tailândia to que o Escritório da Comissão Nacional de Educa-
ção é a entidade responsável pela formulação e pelo
planejamento da política educacional geral.
De acordo com o Esquema Nacional de Edu- No nível de departamentos, existem aproxima-
cação de 1992, o sistema educacional tailandês cobre damente 54 departamentos que fornecem educação,
tanto a educação em sistemas relacionados à escola para um total de 50 mil escolas ou mais. Como conse-
quanto o processo de aprendizagem constante, duran- qüência do número muito grande de agências e insti-
te todo o período da vida dos indivíduos. tuições que fornecem educação, é inevitável a variação
A educação dentro do sistema relacionado com da qualidade educacional e de seus padrões; assim, é
a escola é fornecida por instituições educacionais, que obviamente necessária uma avaliação da qualidade da
se caracterizam por um sistema de classes e séries,
educação, para a obtenção dos padrões exigidos.
utilizando currículos específicos para distintos níveis e
tipos de educação. O sistema escolar divide-se em
quatro níveis: educação pré-escolar, de um a três anos
de idade, educação primária, durante seis anos, edu-
ducação na Tailândia, em comparação
cação secundária, dividida entre três anos iniciais e
três anos de escola secundária superior, e educação
E com outros países da Ásia
superior, que cobre de quatro a seis anos, para o grau

de bacharel, e dois anos para os graus de mestrado e
doutorado. Como já foi mencionado anteriormente, a edu-
O processo de aprendizagem contínua, ao lon- cação é vista como instrumento crucial para o desen-
go de toda a vida, diz respeito à auto-aprendizagem a
volvimento dos recursos humanos, considerados mui-
partir de várias fontes de conhecimento e ambientes,
to importantes para todos os outros aspectos do de-
relacionados a formas de vida que existam naturalmente
ou modificadas, para expansão da própria aprendiza- senvolvimento, bem como para o fortalecimento da
gem. Não apenas esse processo de aprendizagem competitividade da Tailândia em relação a outros paí- ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
complementa a educação formal, mas corrige também ses, em meio à corrente da globalização. A evidência
a dependência excessiva da educação formal, ofere- empírica demonstra de forma consistente que os po-
cendo oportunidades para educação constante, atra- vos dos países mais desenvolvidos são melhor educa-
vés da aprendizagem em comunidade e da utilização dos do que os dos menos desenvolvidos. Portanto, a
das tecnologias de informação e dos meios de comu- comparação da educação entre uma variedade de paí-
nicação de massa. ses deverá possibilitar um quadro sobre a condição
Os programas de educação não formal são da educação tailandesa, em meio a este mundo com-
também cruciais para o desenvolvimento de uma soci-
petitivo.
edade da aprendizagem, tanto em termos do sistema
O nível de educação do total da população pode
relacionado à escola, utilizando currículos equivalen-
melhor refletir a qualidade do povo tailandês. Constata-
tes aos da educação formal, quanto o sistema infor-
mal, ou de auto-aprendizagem, a partir de uma varie- se que a média de anos de educação da população da
dade de fontes de aprendizagem. Tailândia, em comparação com os países vizinhos da
Em termos administrativos, há muitos minis- Ásia, é menor do que na Malásia, em Cingapura, na
térios e agências que fornecem educação. Os princi- Coréia e no Japão (ver Gráfico 1).
146
Gráfico 1 – Anos de escolaridade da população
O mesmo é verdadeiro para o número de anos de educação da força de trabalho tailandesa, que fica
também atrás do indicador correspondente de outros países (ver Gráfico 2).
Gráfico 2 – Educação da força de trabalho
Com relação à mão-de-obra nos campos de ciência e tecnologia, constata-se que o número de cientistas e
de engenheiros por 1.000 habitantes é relativamente pequeno na Tailândia (ver Gráfico 3).
Gráfico 3 – Número de cientistas e engenheiros por 1.000
147
Em termos de qualidade, o Terceiro Estudo Internacional em Matemática e Ciências, realizado pela
International Association for the Evaluation of the Educational Achievement (IEA), demonstrou que as pontuações de
desempenho dos alunos tailandeses são inferiores aos de outros países da Ásia, que participaram do estudo da
IEA, que incluem Cingapura, Japão, Coréia do Sul e Hongcong (ver Gráfico 4).
Gráfico 4 – Pontuações de desempenho em Matemática e Ciências
643
650
607 607 605 599
600 565 571
550 522 522 525

500
450 ■ M ate m á tica

■ C iê ncia
0
1 1 2 4 3 3 4 24 20 21
C in gapura C oréia Japão H ong co ng Tailândia
Ainda, a classificação das 50 universidades da Ásia, realizada pela Asiaweek, apesar de alguns problemas
quanto a sistemas de medição e indicadores, revelou que as universidades tailandesas ficaram no grupo inferior, em
comparação a outras universidades da Ásia (ver Gráfico 5).
Gráfico 5 – Classificação de Universidade da Asiaweek
100
87.52
90
77.38
80 72.01
70 64.25 61.40
60
50 47.63
40
30 21.63
20
10 ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
Jap ão H o ng co ng C in g ap ura M alásia C o réia Tailâ nd ia
1 3 4 11 16 36 44
A condição inferior da educação na Tailândia, estrutura e administração. Além disso, a crise econô-
tanto em termos quantitativos quanto qualitativos, deve mica deste ano e a prevalência dos governos fracos no
representar alguma contribuição para o nível inferior de país mostram uma evidência da baixa qualidade da
competitividade do país na economia global. Como se população tailandesa, como resultado da má educa-
pode observar, no Anuário sobre Competitividade Mun- ção.
dial , publicado pelo International Institute for Portanto, é preciso melhorar e atualizar a edu-
Management Development (IMD), que realiza a classi- cação na Tailândia, e para isto não bastará apenas
ficação de 46 países de todo o mundo quanto à oferecer uma educação superior e mais extensa. São
competitividade, utilizando dados e opiniões de líderes também extremamente necessárias melhorias de qua-
do setor empresarial de várioss países, a Tailândia foi lidade, e essas melhorias não poderão ser realizadas
classificada abaixo de outros países em 1997, em ter- sem uma avaliação adequada, para revelar as falhas
mos de recursos humanos, ciências e tecnologia, infra- existentes, que precisam ser revistas e aprimoradas.
148
sistema de avaliação educacional na próprios critérios, utilizando o mesmo método que o
O Tailândia do ONPEC. A avaliação é realizada principalmente pela
autoridade provincial, sob o controle do Departamento,
que, por sua vez, não realiza nenhuma atividade de
acompanhamento ou de verificação, dada a sua condi-
ção de problemas com falta de pessoal qualificado e
Uma avaliação educacional sistemática é algo
ausência das habilidades adequadas para avaliação.
quase inexistente na Tailândia. Até o momento, não
Nas escolas, verifica-se a falta de apoios, incluindo-se
existe uma agência nacional que seja responsável pela
aí apoio financeiro e interesse da parte dos administra-
avaliação da qualidade e dos padrões da educação.
dores centrais e dos professores-chefes, em relação à
Cada agência meramente realiza e desenvolve a sua
avaliação escolar.
própria avaliação e os seus próprios métodos, sem
continuidade adequada, confiabilidade ou eficiência, e O Office of the National Private Education
algumas delas são descritas neste trabalho. Commission (subordinada ao Ministério de Educação)
O Office of the National Primary Education lançou um projeto para credenciamento de escolas
(ONPEC) é responsável por mais de 40 mil escolas, particulares. O projeto foi desenvolvido através da cria-
subordinadas ao Ministério da Educação, usadas para ção de critérios padronizados para auto-avaliação nas
avaliação da qualidade e dos padrões escolares, atra- escolas, antes da realização da inspeção de
vés de vários Escritórios Nacionais Provinciais Primá- credenciamento. Os indicadores incluídos nos critéri-
rios, para selecionar e premiar (em termos de admira- os consistem daqueles relacionados à filosofia e políti-
ção) as escolas de melhor desempenho nas suas pro- ca escolares, ensino e aprendizagem, atividades estu-
víncias. Os critérios de seleção cobrem os desempe- dantis, administração de pessoal, administração finan-
nhos das escolas nas áreas de administração geral, ceira, relações com as comunidades, edifícios e insta-
aspectos acadêmicos, controle do corpo discente, lações, além da eficácia da escola. O resultado foi a
serviços escolares e relações escola-comunidade. participação e o credenciamento de apenas 14 esco-
Entretanto, faltou um acompanhamento para verifica- las particulares através deste projeto.
ção do bom entendimento dos critérios pelas escolas Em 1986, Office of the National Private
desde o ano de 1995, quando este método de avalia- Education Commission fez uma revisão dos critérios
ção foi empregado, para finalmente ser descontinuado, de credenciamento, e implementou um novo procedi-
devido à fragilidade e à falta de validade do resultado mento para credenciamento em 1987. Três etapas fo-
da seleção. O ONPEC atualmente está analisando e ram envolvidas nesse procedimento, com a seleção e
melhorando os critérios padronizados para o seu pró- verificação de 300 escolas. Entre as etapas, incluem-
prio sistema. se: 1) estabelecimento pela diretoria da escola da sua
O Bangkok Metropolitan Educational Office é missão, para obtenção do acordo para desenvolvimen-
responsável por 400 escolas, subordinadas ao Minis- to futuro; 2) implementação e fornecimento de apoio,
tério do Interior, e desenvolveu critérios padronizados para chegar aos objetivos acordados, de acordo com a
para a auto-avaliação das escolas, e que deveriam ser missão da escola; 3) preparação de um relatório de
apresentados ao Escritório. Os critérios de avaliação progresso.
incluem insumos, processos e indicadores de resulta- Os componentes incluídos na missão da es-
dos. Estes critérios são também utilizados para avali- cola são: a) perfil da escola, contendo informações
ação das escolas pelos supervisores educacionais. sobre sua história e suas características, como tama-
Constatou-se uma enorme variação entre os resulta- nho, número de professores, alunos e edifícios, filoso-
dos obtidos a partir da auto-avaliação da escola e das fia e currículo escolares; b) função central da escola,
avaliações realizadas por supervisores. Os casos de como desenvolvimento e aplicação de currículos,
desempenho positivo jamais deixam de ser informa- gerenciamento e administração, utilização de recursos,
dos pelas escolas, uma vez que a idéia é a de que controle e avaliação; c) plano estratégico para aprimo-
quaisquer relatórios negativos poderiam prejudicá-las. ramento escolar e regras ou diretrizes escolares para
Por outro lado, esses relatórios escolares não estão práticas de alunos e de professores.
de acordo com a realidade, de forma expressa pelos O relatório de progresso deverá ser preparado
supervisores; assim sendo, o Escritório está atualmente de modo a expressar os resultados da implementação,
em fase de revisão e reconsideração dos critérios e de acordo com a missão da escola. Além disso, serão
dos métodos de avaliação. Apesar disso, observa-se informadas auditorias internas, referentes à qualidade
que as atividades de avaliação são bastante inadequada escola, aspectos financeiros e administrativos. O
das, sendo de uma forma geral ignoradas pelo pessoal grupo de auditoria inclui pessoal da escola nomeado
envolvido. para isso, além de um auditor profissional.
O Department of Secondary Education (subor- O Office of the National Private Education
dinado ao Ministério da Educação) executa avaliações Comission fornecerá também, sempre que solicitado
para selecionar e premiar escolas com base nos seus pela escola, auditoria externa.
149
Atualmente, o processo de garantia de quali- edificações e instalações, pesquisa, avaliação e ela-
dade na escola particular encontra-se na fase de revi- boração de relatórios.
são dos critérios de avaliação que, com freqüência, é As Ratchamankhala Technological Institutions
realizada como resultado de remanejamento do secre- (subordinadas ao Ministério de Educação) não dispõem
tário-geral, o que desta forma contribui para uma ga- de atividades específicas para monitorização e avalia-
rantia da qualidade escolar que não tem consistência. ção. Até agora, só foram acompanhados projetos e a
O Departament of Vocational Education (su- situação de emprego dos formados. A avaliação da
bordinado ao Ministério de Educação) avalia universi- qualidade recebe apoio e promoção insuficientes.
dades, com a finalidade de selecionar e premiar as Apesar de tudo o que foi mencionado, a ga-
que mais se distingam, empregando os seus próprios rantia da qualidade vem atingindo um nível de atenção
critérios, quanto a padrões. A principal tarefa do depar- crescente, sendo este aspecto cada vez mais popular
tamento hoje é desenvolver a garantia de qualidade nas entre os órgãos dedicados à educação. Assim, um pla-
universidades vocacionais, aplicando as normas da no com vistas à introdução da ISO 9000 deverá come-
International Standards Organization (ISO 9000) ao sis- çar a ser implementado nessas instituições, para
tema educacional. Esse desenvolvimento ocorreu atra- enfatizar o desenvolvimento e a qualidade da educação.
vés de um projeto piloto implementado em uma das O Ministério de Assuntos Universitários, res-
universidades vocacionais: o corpo docente foi treina- ponsável pela educação superior, costumava acompa-
do para obter conhecimento e entendimento sobre nhar projetos implementados pelas várias universida-
como aplicar a ISO 9000 para o desenvolvimento da des sob o seu controle; este acompanhamento não
educação vocacional. A implementação deste projeto funciona bem, devido à cooperação inadequada entre
vem-se revelando como sendo bastante satisfatória, e as universidades, no que se refere ao fornecimento das
o departamento tem intenção de estendê-lo a outras informações solicitadas ao ministério. Ainda, o minis-
universidades. tério carece de pessoal e de orçamento para a avalia-
Além disso, o departamento avalia também os ção, o que gera o atraso e a inadequação da atividade.
projetos implementados de acordo com o Plano Entretanto, foram empreendidos esforços para
Qüinqüenal de Desenvolvimento da Educação Nacio- o desenvolvimento da qualidade, através de
nal, ainda que as amostras em estudo sejam ainda credenciamento institucional e profissional sem avalia-
muito pequenas, e existam problemas, devido à ção suficiente. Com a tendência da globalização, a
inadequação de pessoal, orçamento e apoio adminis- avaliação de qualidade e a garantia de qualidade vêm-
trativo. se tornando cada vez mais exigidas. Destarte, existe
O Officce of Rajabhat Institute Council (subor- a preocupação para formular e implementar a política
dinado ao Ministério da Educação), responsável pelas de controle da qualidade e da garantia da qualidade
instituições dedicadas ao treinamento de professores, entre várias universidades.
raramente executa avaliações significativas, limitando- O ministério propôs três componentes para a
se ao acompanhamento da implementação dos proje- garantia da qualidade, que incluem: controle da quali-
tos e do emprego do orçamento. Não são realizadas dade interna, focalizando vários fatores, que afetam a
de modo consistente quaisquer avaliações diretas do qualidade dos formandos; auditoria externa de qualida-
treinamento de professores; apenas pesquisas ocasi- de, realizada pelo comitê nomeado pelo ministério; e
onais foram realizadas, sobre aspectos como a quali- avaliação da qualidade, como mecanismo para audito-
dade do trabalho dos funcionários das Rajabhat Teacher ria de qualidade, centrado na eficácia e na eficiência
Training Institutions, além do acompanhamento da con- do controle da qualidade interna de cada universidade.
dição de emprego dos formados. O conselho enfrenta O Office of the National Education Commission
também os mesmos problemas que os outros depar- (ONEC) é um órgão de planejamento e de política, além
tamentos, como o fato da falta de pessoal de avaliação de realizar pesquisas e avaliações, para orientação do
e outros meios de apoio. ministério em aspectos educacionais. Como órgão
Apesar do problema, Rajabhat percebeu a ne- central, este escritório executa a coordenação com
cessidade de garantia de qualidade, e apoiou o treina- todas as outras agências ligadas à educação, para
mento do seu pessoal, ministrado por especialistas implementação do Plano Nacional de Desenvolvimen-
estrangeiros nas áreas de Gestão da Qualidade Total to da Educação. Durante o processo, e após a
e ISO 9000. Com base nos conceitos e nas práticas implementação do Plano, é preciso que sejam realiza-
desses métodos, foram ressaltados fatores que afe- das avaliações formativas e somativas, para a suges-
tam a qualidade da educação através de um processo tão de recomendações quanto a políticas, para revisão
de brainstorming realizado entre as instituições do Plano e para prosseguir com a formulação de políti-
Rajabhat, como estrutura para o desenvolvimento da cas para o Plano subseqüente. As questões incluídas
qualidade. Esses fatores incluem a filosofia das insti- na avaliação referem-se principalmente à igual-
tuições Rajabhat, currículo, pessoal, corpo discente, dade, qualidade e eficiência. De forma geral, a ava-
instrução, atividades estudantis, recursos de aprendiza- liação é realizada utilizando o processo que apare-
gem, administração, finanças, pessoal administrativo, ce no Gráfico 6.
150
Gráfico 6 – Processo de avaliação do desenvolvimento geral da educação na Tailândia
ONEC Ministérios Escritórios Escritórios Escolas

Departamentos Provinciais Subprovinciais
Avaliação externa de um
desenvolvimento geral,
Ausência de avaliação interna
realizada pelos órgãos
centrais
enviar questionários
devolver questionários preenchidos
Como está representado no Gráfico 6, o ONEC colas, o que contribui para a ineficiência das melhorias
envia questionários a vários ministérios e departamen- da qualidade. Por conseguinte, é realmente necessá-
tos responsáveis pelo fornecimento da educação. Es- rio, na Tailândia, o desenvolvimento de um processo
tes questionários são, então, encaminhados aos es- sistemático de avaliação.
critórios provinciais e subprovinciais de cada departa-
mento, antes de chegarem às escolas, que são res-
ponsáveis pela obtenção de dados e por enviar os ques-
tionários preenchidos de volta ao ONEC, através de rojeto desenvolvido do sistema de
uma variedade de canais. As informações constantes
dos questionários são então examinadas e analisadas
P avaliação educacional
de forma a gerarem um quadro geral do desenvolvimento

da educação no país. Para o desenvolvimento de um sistema mais
Além disso, o ONEC executa também algu- organizado de avaliação educacional, foi realizada uma
mas avaliações específicas de projetos focalizando análise dos conceitos e práticas de avaliação em ou-
questões importantes de política, que são principal- tros setores e outros países, segundo a forma apre-
mente avaliações externas, como as já mencionadas sentada abaixo.
anteriormente. Portanto, é raro serem empregadas ava-
liações internas nas escolas e nas instituições de edu-
cação. Na verdade, este tipo de avaliação externa ten-
de a criar conflitos entre as instituições de educação, valiação de qualidade nos setores
quando os seus resultados se revelam como sendo
negativos. Além disso, a ausência de avaliações inter-
A empresarial e industrial
nas não estimula a coleta de dados pelas escolas,
uma vez que esses dados não são usados para o seu
próprio benefício. Assim, ficam sem saber por que de- No setor empresarial e privado, o fato de que a
vem obter dados para os outros. avaliação é uma etapa crucial no processo de
Em resumo, as avaliações na área de educa- gerenciamento é bem aceito, como aparece no Gráfi-
ção são realizadas de uma forma dispersa e rara, en- co 7. Para um desempenho bem-sucedido, é preciso
tre as várias agências: algumas delas não efetuaram serem estabelecidos uma meta clara e um plano para
nenhuma avaliação em 3 ou 4 anos. Ainda mais, não avançar em direção a esta meta. Em seguida, vem a
há muita consciência do que sejam a essência e os implementação do plano. Durante esta fase, é preciso
pontos fortes da avaliação. As conclusões de avalia- que sejam realizadas atividades de monitorização e de
ções negativas, ainda que verdadeiras, não são acei- avaliação, para verificar se o plano está sendo real-
tas, e verifica-se insuficiência de apoio para a avalia- mente seguido, e se a meta está sendo atingida. Caso
ção, tanto em termos de orçamento quanto de pesso- não seja este o caso, os problemas e os obstáculos
al. Junte-se a isso o fato de que a maior parte das surgidos deverão ser investigados e eliminados, ou
avaliações é conduzida externamente por órgãos cen- então a meta terá de ser ajustada, para conformar-se
trais, enquanto que as avaliações internas e a utiliza- com a verdadeira realidade e para avançar em direção
ção dos dados raramente acontecem no nível das es- a melhores aprimoramentos.
151
Gráfico 7 – Avaliação como etapa necessária no processo de gestão
Planejar
Metas e Resultado
Objetivos Implementar
ou
Necessários Produto
Avaliar
No setor industrial, o controle da qualidade de reengenharia, é também muito exigida uma avalia-
através da avaliação foi incluído no processo de produ- ção constante.
ção desde a Segunda Guerra Mundial. No início, era Ao longo dos últimos anos, vem-se verificando
realizada uma amostragem aleatória dos produtos, para uma intensa concorrência na economia global, o que
a verificação de que a qualidade estava atendendo aos torna o controle da qualidade com vistas à obtenção
parâmetros exigidos. Posteriormente, verificou-se um de padrões comuns crucial para o desenvolvimento in-
desenvolvimento extraordinário na avaliação e no con- dustrial. A Inglaterra é líder no estabelecimento des-
trole da qualidade. ses padrões, para a garantia da qualidade padrão de-
O controle da qualidade de Deming represen- sejada. Esse tipo de prática foi estendido para outros
ta uma inovação nas últimas décadas. Em vez de fo- países, em especial os da Comunidade Européia. Or-
calizar os produtos finais, dá-se mais atenção ao pro- ganizações industriais de vários países reuniram-se
cesso de produção e à gestão. Acredita-se que um para a criação de uma organização chamada ISO, para
bom controle do processo gere produtos de boa quali- o desenvolvimento de padrões de qualidade que pro-
dade, e que a avaliação seja um aspecto-chave para o movam o comércio internacional. Estes padrões torna-
controle da qualidade no processo de gestão. De acor- ram-se objeto de acordo e prática internacionais no
do com Deming, a avaliação contínua e consistente comércio por todo o mundo. Para vender produtos in-
deverá contribuir para o controle da qualidade e para a dustriais no mercado mundial, é preciso atender às
garantia da qualidade. normas ISO.
O conceito de Deming sobre o controle da qua- Em conclusão, o crescimento industrial exce-
lidade não foi muito bem aceito nos Estados Unidos, de outros setores, como resultado do controle da qua-
mas foi aplicado, com sucesso, no Japão. Este con- lidade e dos padrões através da avaliação, que é inclu-
ceito de controle da qualidade foi modificado para ges- ída como parte integrante do processo de gestão. Na
tão da qualidade total (TQM) nas empresas japone- realização das avaliações, as empresas precisam con-
sas, levando cada trabalhador a exercer uma função siderar as suas metas e os seus objetivos, os vários ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
no aprimoramento da sua vida profissional, para a pro- problemas e erros surgidos, e comparar o seu desem-
dução de bens que possam levar à satisfação dos cli- penho ao de outras empresas rivais. Além disso, a ava-
entes. A aplicação de TQM representou uma contribui- liação tem o poder de ressaltar as empresas e o pes-
ção crucial para a promoção dos produtos japoneses, soal com bom desempenho de outros não tão capa-
desde os menos populares aos mais procurados no zes. Essa discriminação, se utilizada de forma ade-
mercado internacional. quada, incentivando os melhores e os mais capazes,
O conceito de reengenharia, de Hammer e tornar-se-á motivação para desempenhos melhores e
Champy, fornece um outro modelo de aprimoramentos mais eficazes. Além do mais, a avaliação gera exce-
de qualidade. Este processo de reengenharia exige um lentes lições e um processo de aprendizagem contí-
novo pensar sobre as principais tarefas numa empre- nuo, a partir do sucesso e do fracasso, que é benéfico
sa; o redesenho do processo de trabalho, para torná-lo para maiores desenvolvimentos e melhorias.
mais curto e mais eficaz; introdução de novos instru- Com base na avaliação de qualidade executa-
mentos, para empregar a tecnologia mais moderna e da no setor industrial, há dois tipos de avaliação que
mais eficaz no processo de trabalho; e o retreinamento, vêm do controle da qualidade: 1) avaliação interna den-
para equipar o pessoal com conhecimentos e habilida- tro das empresas, para alcançar as metas propostas,
des para o trabalho no sistema renovado. No processo e 2) avaliação externa, como garantia para a qualidade
152
padrão. Ademais, são relatados os resultados da ava- inspecionar a instituição a qualquer momento e sem
liação para o público, como fator de proteção do con- notificação prévia, para garantir que ela continue efici-
sumidor. ente, e que efetivamente atenda à qualidade padrão.
Enquanto isso, as próprias associações de
credenciamento são também avaliadas por órgãos tanto
públicos quanto privados. O órgão não-público que avalia
valiação da qualidade da educação nos as associações de credenciamento é a Comissão de
A países desenvolvidos
Reconhecimento de Credenciamento Pós-Secundário,
para a manutenção da variedade e da qualidade. No
caso do órgão público, os governos federal e estaduais
observam as associações de credenciamento, para
Examinando-se a literatura, verifica-se que a verificar o adequado desempenho de suas funções, com
avaliação educacional, em busca da garantia da quali- qualidade confiável, e de acordo com critérios padroni-
dade e de melhorias de qualidade, recebe grande ênfa- zados estabelecidos.
se em alguns dos principais países desenvolvidos, Na Austrália, que se beneficia em muito da
como os Estados Unidos, a Austrália, a Nova Zelândia educação, uma vez que esta pode ser considerada in-
clusive como um de seus principais produtos de ex-
e a Inglaterra.
portação, a qualidade da educação é bastante reco-
Nos Estados Unidos, já foram realizadas ten- nhecida por muitos dos países da Ásia. Esta qualida-
tativas de solucionar a crise da educação, que é um de é obtida através de avaliações consistentes de re-
fator impeditivo para a sua competitividade com outros sultados e de produtos, medidas em termos de de-
países desenvolvidos. Essas tentativas são expressas sempenho acadêmico e da qualidade de trabalho dos
pela promulgação de "Metas 2000: Lei da Educação indivíduos formados pelo sistema. As avaliações são
na América", para a preparação de todos os america- efetuadas em caráter regular, sendo os resultados di-
nos para a entrada no novo milênio através da melhoria vulgados, com a finalidade de prestação de contas jun-
da educação americana, para se equiparar a padrões to ao público. Ainda, os resultados da avaliação são
de nível mundial. usados para sugerir recomendações referentes à polí-
Para chegar às metas 2000, foram indicados tica educacional, para aprimoramentos e desenvolvi-
dois órgãos para acompanhar a implementação de mentos futuros.
acordo com as metas: O Painel Nacional de Metas de No caso da Nova Zelândia, verificou-se uma
Educação, responsável pela orientação do Presidente reforma bastante clara, passando o país de um tipo de
administração centralizada da educação para a
e do Congresso em questões ligadas à educação, e o
descentralização. Como resultado desta reforma, a
Conselho Nacional de Padrões de Educação e Apri-
política formulada pela Autoridade Central pode ser
moramento, responsável pelo estabelecimento e pela traduzida diretamente e implementada pelas escolas
monitorização de padrões e critérios de educação, bem e pela comunidade, sem que seja necessário passar
como pela aprovação dos critérios desenvolvidos vo- através de uma linha administrativa longa e cheia de
luntariamente por cada um dos Estados. percalços, como era feito no passado.
O credenciamento americano de qualidade é Em meio ao processo de reforma, foram
mais nítido no nível da educação superior, tendo sido efetuadas avaliações de verificação e de equilíbrio, e
estabelecido pelas Associações Regionais de tanto as avaliações internas quanto as externas fica-
Credenciamento Institucional, e pelas Agências Naci- ram integradas no processo de reforma. A avaliação
onais de Credenciamento Institucional e Especializa- interna inclui dois níveis, o nível da escola e o nível
do. O processo de credenciamento é feito em colabo- ministerial. No nível da escola, além da verificação
ração entre a associação de credenciamento e a insti- mútua, entre diretores, professores e alunos, a direto-
tuição, na determinação de critérios padronizados. A ria escolar tem a função de avaliar a própria escola. No
nível ministerial, o Ministério da Educação é responsá-
instituição precisa solicitar o credenciamento à asso-
vel pela avaliação dos desempenhos das escolas de
ciação; tendo sido aceita a solicitação, a instituição
modo geral, de acordo com as Diretrizes Nacionais de
precisa efetuar auto-avaliações de maneira consisten- Educação.
te, para acompanhar e verificar se executou as fun- No caso da avaliação externa, um Education
ções de acordo com os planos institucionais, para o Review Office (ERO), que é um órgão autônomo fora
atendimento dos objetivos necessários. A avaliação da esfera de controle do ministério, avalia as escolas,
tem a participação de todas as pessoas envolvidas, verificando se desempenharam ou não os seus deve-
entre corpo docente, pessoal administrativo, pessoal res, da forma expressa na missão da escola e nas
de apoio e corpo discente. Diretrizes Nacionais de Educação.
O relatório da auto-avaliação é enviado à as- Na Inglaterra, foi criado um Office for Standards
sociação de credenciamento, que por sua vez deverá in Education (OFSTED), chefiado pelo inspetor-chefe
visitar e avaliar a instituição. Normalmente, o resultado de Sua Majestade e o seu pessoal (Her Majesty
do credenciamento terá validade de cinco a dez anos. Inspectors ou HMI), para acompanhar a qualidade e os
Entretanto, a associação de credenciamento poderá padrões de qualidade. Como órgão autônomo, inde-
153
pendente do Ministério da Educação, este escritório educação para o desenvolvimento de recursos huma-
tem a possibilidade de executar as suas funções sem nos, que possam contribuir para o desenvolvimento
parcialidades e preconceitos. nacional. Tudo isso é também verdadeiro na Tailândia,
O estabelecimento do OFSTED introduziu um que precisa efetivamente desenvolver a qualidade de
sistema novo de inspeção escolar e modificou as fun- sua população e os seus potenciais, para expandir a
ções dos HMI, de fornecedores diretos de inspeção competitividade do país em relação a outros países, e
escolar para o desenvolvimento de padrões nacionais em todos os aspectos do desenvolvimento.
de educação e apoio a inspetores privados indepen- Apesar de todos os esforços, o sistema edu-
dentes para desempenharem essa função para todas cacional na Tailândia não dispõe de um órgão principal,
as escolas, de acordo com um ciclo de quatro anos. que seja responsável pela avaliação, pela qualidade na-
Estes inspetores privados têm de ser treinados e
cional da educação e dos seus padrões. Verifica-se tam-
registrados, para serem qualificados para inspeção
bém que o sistema de avaliação existente é inadequa-
escolar, contratada através de licitações. O resultado
do, tanto em termos de qualidade quanto de quantidade,
da inspeção é informado ao OFSTED e à escola e à
comunidade, com a finalidade de prestação de contas o que gera feedback igualmente não apropriado para o
e de dar informações de volta ao sistema, para o de- desenvolvimento nacional da educação.
senvolvimento de melhorias. Quando são encontrados Por isso, é preciso que seja desenvolvido uma
problemas sérios como resultado da inspeção escolar, estrutura sistemática de avaliação, com base no con-
o OFSTED aplica medidas especiais na escola, que, ceito e na prática analisada em outros setores e em
por sua vez, fica responsável pela formulação e pela outros países, para que possam ser solucionados os
implementação de um plano operacional para melho- problemas existentes, assim como para que seja pos-
ramentos. Durante a fase de implementação do plano, sível adquirir um mecanismo para aprimoramento e
a escola e a comunidade executa avaliação e desenvolvimento educacionais.
monitorização internas, enquanto que a inspeção ex- É necessário desenvolver diretrizes e padrões
terna é realizada pelo OFSTED, para verificar se a es- nacionais de educação, em todos os níveis, sendo in-
cola melhorou de acordo com o plano. dispensável executar-se uma avaliação de qualidade,
Aparentemente, o novo sistema de inspeção para garantir que essas diretrizes e padrões sejam aten-
está funcionando muito bem. As conclusões da inspe- didos. Tudo isto deverá partir de esforços de colabora-
ção são aceitáveis, e são consideradas benéficas para ção, empreendidos entre os vários órgãos relaciona-
as escolas e partes relacionadas a ela, aprimorando a dos, que, como órgãos implementadores, incluindo
qualidade da educação. vários ministérios e departamentos responsáveis pela
Em conclusão, a prática na área de melhorias educação e por instituições de educação, devem to-
de qualidade atingidas através da avaliação da qualida- mar parte no desenvolvimento de padrões, bem como
de e do padrão da educação nos países mencionados na implementação e na avaliação de seu próprio de-
acima baseia-se em conceitos relacionados ao valor sempenho de acordo com eles. O órgão diretamente
pelo investimento, prestação de contas, liberdade aca- responsável pelo desenvolvimento de padrões e diretri-
dêmica, administração descentralizada e participação zes, bem como pela garantia da qualidade baseada
de todos os envolvidos durante todo o processo de pla- em níveis acordados, deverá ter caráter central e autô-
nejamento e monitorização e avaliação, tanto internas nomo, fora da linha de controle dos órgãos de
quanto externas, com método transparente de verifica- implementação. Este órgão deverá promover e apoiar
ção e equilíbrio, com base no qual os órgãos de avali-
a avaliação interna nas instituições de educação atra-
ação são também avaliados por outros beneficiários.
vés de vários canais, como, por exemplo, o forneci- ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
Esses conceitos e prática de avaliação têm impactos
mento de treinamento e de financiamento parcial para
significativos sobre o planejamento, orçamento e ad-
esta atividade. No caso da avaliação externa, será ofe-
ministração, em relação a metas necessárias relacio-
recido apoio ao setor privado bem como às associa-
nadas a melhoramentos e eficiência na área de quali-
ções acadêmicas e profissionais, para a inspeção e a
dade.
avaliação das instituições de educação.
Os inspetores privados deverão ser treinados
e registrados como inspetores qualificados, para esta-
rem aptos para a avaliação de escolas de educação
sistema de avaliação educacional
O proposto na Tailândia
pré-universitária, como é o caso dos inspetores inde-
pendentes registrados na Inglaterra. A inspeção esco-
lar será realizada através de licitações efetuadas entre
inspetores privados registrados, que deverão estudar
A partir da análise realizada acima, verifica-se antecedentes sobre a escola e preparar planos de ins-
que a educação assume um papel crucial na constru- peção antes de procederem à inspeção das escolas.
ção do futuro de uma nação. Por isso, vários países Os relatórios de inspeção resultantes deverão ser apre-
vêm empreendendo os maiores esforços para fornecer sentados ao órgão central responsável, às escolas e
154
comunidades envolvidas, para que seja dado feedback Instituto Nacional para a Avaliação da
para maiores aprimoramentos e desenvolvimentos pos-
teriores de política.
O Qualidade e dos Padrões de Educação
No caso da educação superior, será oferecido

apoio às associações acadêmicas e profissionais, para Este instituto deverá desenvolver e promover o
credenciamento de instituições de educação superior, sistema de avaliação educacional, de acordo com a
como o que acontece nos EUA.
política recentemente proposta e aprovada pelo Gabi-
Ainda deverá ser empregado um método de
nete de Ministros. Esta política abrange:
verificação e equilíbrio que seja transparente; este
O sistema de avaliação educacional, que in-
método poderá ser desenvolvido, dando-se a possibili-
cluirá:
dade às instituições inspecionadas de apresentarem
1. Avaliação Interna nas escolas e nas insti-
suas queixas e reclamações ao órgão central, encar-
tuições de educação, aplicando o processo de avalia-
regado da qualidade e dos padrões de educação, que
ção orientado para a administração, e utilizado na Ges-
deverá verificar os desempenhos de inspeção dos ins-
petores registrados e das associações de inspeção. tão da Qualidade Total ou nas normas ISO 9000.
Serão também realizadas avaliações ocasionais, por 2. Avaliação Externa, executada pelo Institu-
órgãos independentes contratados, para verificação da to, aplicando o modelo OFSTED para a inspeção es-
qualidade e da eficácia de todas as partes envolvidas colar executada por inspetores registrados privados
na inspeção educacional. para a educação pré-universitária, e o modelo dos EUA,
Com base no conceito acima, será criado um para o credenciamento das instituições de educação
Instituto Nacional para a Avaliação da Qualidade e dos superior, por associações acadêmicas e profissionais.
Padrões de Educação no ONEC, que será preparado A estrutura organizacional. O instituto traba-
para se tornar órgão independente, posteriormente. lhará de acordo com a orientação da Comissão Nacio-
Esta instituição será responsável pelo novo sistema nal de Educação, havendo nele dez grupos de traba-
de avaliação. lho, como aparece no Gráfico 8.
Gráfico 8 – Estrutura organizacional

do Instituto Nacional para Avaliação da Qualidade e dos Padrões de Educação
O Instituto
1. Desenvolvimento de 2. Inspetor 3. Pré-Primário 4. Primário

Padrões Registrado
5. Secundário 6. Treinamento 7. Instituição

Vocacional Privada
8. Educação 9. Outros 10. Administração

Superior Órgãos
155
O Grupo de Trabalho sobre Padrões será res- Os Grupos de Trabalho 3 a 9 serão responsá-
ponsável pelo desenvolvimento de pesquisa, para o de- veis pela promoção de avaliação interna nos vários ní-
senvolvimento de Padrões Nacionais de Educação que veis de instituições e órgãos de educação.
possam ser comparados aos padrões de nível mundial. O Grupo de Administração será responsável
O Grupo de Trabalho sobre Inspetores pela administração geral, em apoio a todas as ativida-
Registrados será responsável por selecionar, desen- des descritas acima.
volver e registrar inspetores independentes privados qua- Processo de Implementação. A implementação
lificados, bem como por supervisionar se as inspeções
deverá incluir as etapas abaixo (Gráfico 9):
executadas pelos inspetores atendem à qualidade e
aos padrões exigidos.
Gráfico 9 – Etapas do processo de implementação
1 2
Pesquisa para o desen- Apresentação da política de Padrões

volvimento dos Padrões Nacionais de Educação à Comissão
Nacionais de Educação Nacional de Educação
4
Avaliação interna
3
Aprovação dos Padrões

Nacionais de Educação
5
Avaliação externa
As etapas para a avaliação interna executadas pelas instituições e órgãos de educação poderão incluir o
seguinte (Gráfico 10):
Gráfico 10 – Etapas da avaliação interna
1. Preparação da 2. Comparação com 3. Projeto de contro-

avaliação interna a ISO 9000/GQT le de qualidade ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
4. Preparação dos 5. Preparação 6. Implementação

documentos de manuais de
necessários qualidade
7. Monitorização e 8. Aprimoramento/ 9. Solicitação de

avaliação ajuste da avaliação externa
implementação/
documentos
156
No caso da avaliação externa, serão as seguintes etapas (Gráfico 11):
Gráfico 11 – Etapas da avaliação externa
1. Estabelecimento de 2. Desenvolvimento e 3. Determinação de

critérios de avaliação seleção de avaliadores contratos para
externos avaliação externa
4. Execução da 5. Preparação do 6. Apresentação à Comissão

avaliação relatório Nacional de Educação,
Gabinete e ao Congresso
C onclusão R eferências bibliográficas
Sendo a educação uma das chaves para o de- BEST universities of Asia (The). Asiaweek, Hong Kong,
senvolvimento da qualidade humana, considerada como v. 23, n. 20, 1997.
primordial para o desenvolvimento nacional e para a
competitividade mundial, é de suma importância a ge- CHAMPY, James. Reengineering management. New
ração de educação de qualidade. Desta forma, a ga- York : Harper Collins, 1995.
rantia da qualidade e a avaliação tornaram-se uma ques-
tão crucial no fornecimento de educação de boa quali-
DEWEY, J. Democracy and education. New York :
dade aos povos de vários países. A avaliação não deve
MacMillan, 1916. 434p.
ser limitada a testes e medições, como era o conceito
do passado, mas é uma parte significativa do
gerenciamento. Este tipo de avaliação deverá incluir GREAT BRITAIN. Office for Standards in Education.
tanto a avaliação externa quanto interna, sendo execu- OFSTED and the new school's inspection system.
tada por todas as instituições e órgãos de educação, Disponível na Internet (http://www.coi.gov.uk/coi/
como parte integrante do processo de gestão, para depts/depts.htm).
chegar às metas e objetivos exigidos. Outrossim, de-
verá ser bem-vinda a participação no processo de to- INTERNATIONAL INSTITUTE FOR MANAGEMENT
das as partes envolvidas, sendo os resultados da ava- DEVELOPMENT. World competitiveness yearbook,
liação informados e verificados pelo público, com fins 1997. Disponível na Internet (http://www.imdch/wcy/
de prestação de contas. Ainda, as conclusões deriva- over.hum).
das da avaliação deverão ser utilizadas para sugerir
aprimoramentos de qualidade e maiores recomenda- INTERNATIONAL LABOUR ORGANIZATION. Yearbook
ções para o desenvolvimento educacional. Este siste- of labour statistics 1995. Genéve, 1996.
ma de avaliação deverá ser desenvolvido por um órgão
que seja independente e autônomo, para permitir flexi-
KARMEL, Peter. Desirable outcome - australian
bilidade, eficácia e avaliação imparcial. Todas essas
education policy in the nineties, William Walker
práticas tornarão a avaliação educacional mais signifi-
oration, 3 July 1995. Journal of Higher Education
cativa, contando com o valor pelo investimento, a pres-
tação de contas, a liberdade acadêmica, a administra- Policy and Management, v. 18, n. 1, 1996.
ção descentralizada e a participação, para chegar a
obter impactos significativos sobre o planejamento, a NANANUKUL, Surasak et al. QC manual : basic
elaboração de orçamentos e a administração, com vis- principle of working quality in Japan and Thailand.
tas a uma melhor qualidade e eficiência da educação. Cópia mimeografada.
157
NONGMAK, Chamrat. Private school accreditation : SIRITRANGSRI, Pinsuda. A study on education reform
development guideline to promote the role of private in New Zealand : a paper presented to ONEC.
schools. Bangkok, 1995. Bangkok, 1997.
OFFICE OF THE NATIONAL EDUCATION SRISUCHAI, Setasak. Application of strategic

COMMISSION. Educational investment in Thailand. management and TQM in large enterprises .
Bangkok, 1997. Bangkok, 1992.
OFFICE OF THE NATIONAL PRIMARY EDUCATION

THAILAND. Ministry of Education. Department of
COMMISSION. A manual for the use of standard
criteria in primary schools. Bangkok, 1995. Vocational Education and ISO 9000. Bangkok, 1996.
OFFICE OF THE NATIONAL PRIVATE SCHOOL THAILAND. Ministry of Industry. Standards of Industri-
COMMISSION. A manual to evaluate private school al Products ISO : 1994. Bangkok, 1996.
quality. Ed. rev. Bangkok, 1996.
UNESCO. Statistical Yearbook 1995. Lanham, MD:
________. Guidelines for development and quality Brenan, 1996.
assurance. Bangkok, 1997.
WORLD Education League : Who´s Top? T he
ROSS, Kenneth N. Research and policy : a complex
Economist, 29 de março de 1997.
mix. IIEP Newsletter, v. 15, n. 1, Jan./Mar. 1997.
158
O
PAPEL DOS MEIOS DE
COMUNICAÇÃO NA DIVULGAÇÃO DOS
RESULTADOS DA AVALIAÇÃO
Demócrito Rocha Dummar*
Minha primeira observação passa pelo regis- ências mais restritas, a audiências de especialistas.
tro de que não sou um professor. Sou um jornalista de Essa interlocução de especialistas é complexa, quan-
batente, sem especialização nas digressões sobre o do diante da imprensa não especializada. Utilizando
tema deste Seminário. Minha presença ao lado de es- linguagem acadêmica, hermética, esses profissionais
pecialistas confirma a intenção multidisciplinar dos não são preparados para sintetizar conceitos, a fim de
seus organizadores, um dos caminhos para a demo- atenderem a audiências maiores, nos noticiários de
cratização da avaliação no País. televisão, por exemplo. Continuam falando no ritmo que
Hoje, pela manhã, fiz uma pergunta ao Dr. o fazem com seus interlocutores tradicionais. Eis a
House, consagrado conhecedor internacional do tema primeira grande dificuldade.
e presença imprescindível ao sucesso da presente ini- A segunda dificuldade está no fato de as lide-
ciativa. Confesso que já imaginava o resultado da res- ranças acadêmicas não motivarem os jornais a abri-
posta e a fiz, de certa forma, para pautar o teor inicial rem novas pautas para atender às suas especialida-
de minhas colocações: "Dr. House, há dificuldade de des. A conferencista que me antecedeu colocou a
difusão das avaliações dos resultados educacionais? questão da Aids, quando a maioria dos jornais brasilei-
Para essa dificuldade quem contribui mais, os especi- ros cuidou bem do assunto, recentemente. Seria méri-
alistas ou os meios de comunicação generalistas?" to dessas lideranças acadêmicas? Creio que não. Esse
"Os meios de comunicação", respondeu ele, "distorcem mérito cabe mais a própria sociedade, que está mais
e comprometem os nossos trabalhos. É o que atenta à questão da Aids. Eu trago um exemplo para
comumente mais acontece." os senhores de como O Povo, que se edita no Nordes-
te, cuidou do assunto por ocasião do Dia Mundial de
Eu já esperava que ele fizesse essa crítica aos
Combate à Aids: primeira página com uma enorme ilus-
meios. Como comunicadores da imprensa leiga (não
tração, o suplemento "Ciência & Saúde", o caderno
confundir com imprensa especializada), somos cons-
feminino "Delas", além da capa do suplemento de cul-
cientes dos crescentes desafios temáticos no âmbito
tura e variedades "Vida & Arte", todos em coro. Não há
do conhecimento especializado ou científico e de nos-
um talento especial dos jornalistas, tampouco Fortale-
sas proporcionais falibilidades. A partir delas, no en- za tem uma incidência da doença em níveis superiores
tanto, é que tentamos ampliar o nosso "círculo de pau- a outras capitais brasileiras. Acredito que os jornalis-
tas" e assuntos, para atender às exigências de um tas estão envolvidos nessa problemática tanto quanto
público de interesses cada vez mais diversificados. Não os especialistas, pois a Aids ultrapassou o círculo res-
imaginava, confesso, que especialistas não se inseris- trito destes. Por que o mesmo não ocorre com outras
sem como co-autores de um mesmo drama. enfermidades que atingem um universo bem maior de
Gostaria de abordar a partir de agora três as- pessoas, como é o caso dos pacientes portadores de
pectos que justificariam essa dificuldade de comuni- alzheimer? Ou por que grande destaque não é dado a
cação. certas especialidades na área de educação? Ou ain-

A primeira, passa pelas observações do edu- da, por que os especialistas desse setor admitem tra-
cador Howard Gardner em seu livro Anatomia das Li- fegar exclusivamente em torno das questões de matrí-
deranças, no qual ele afirma que há dois tipos de líde- culas, de repetência, de salários, de exames vestibu-
res em nossa sociedade: os líderes generalistas, que lares e meia dúzia a mais de temas batidos? Eis uma
têm discursos para as grandes audiências e que dificuldade e um desafio que atinge a todos: como po-
potencializam, modernamente, com fluência, seus pon- deríamos sensibilizar um jornal como O Globo, voltado
tos de vista através dos meios de comunicação im- para grandes audiências, a tratar permanentemente a
pressos e eletrônicos, e os líderes de domínios do co- avaliação na educação, na intensidade que o assunto
nhecimento, que têm discursos circunscritos a audi- requer?
*Jornalista, presidente do jornal O Povo e da Fundação Demócrito Rocha, de Fortaleza-CE.
159
Há, também, uma terceira dificuldade que foi te", um projeto de educação a distância por meio de
bem expressa pelo Dr. Barry MacGaw, quando demons- jornais, gerado a partir do Ceará, há mais de uma dé-
trou sua experiência na Austrália. Mesmo sendo um cada. Em parceria com as universidades públicas, fo-
país com tradição em avaliação educacional, persiste ram desenvolvidos 43 cursos de extensão. A última
uma tensão latente entre as pessoas e as instituições experiência, através do curso "Marketing para Todos",
que patrocinam as pesquisas e a divulgação dos resul- teve 17 mil alunos inscritos. Isso demonstra uma nova
tados. Como superar a dificuldade no relacionamento, aptidão aberta dos jornais, aliada a uma necessidade
quando setores de comunicação social dos governos de capacitação da sociedade, na qual o cidadão tem
não têm interesse em divulgar amplamente as defici- de estar bem informado e mais preparado para as no-
ências registradas pelos avaliadores? Como proteger vas relações de trabalho e de vida.
essa informação e fazê-la chegar aos jornais, criando- Outra coisa também interessante – e isso aí
se uma tradição de difusão, quando, em certos mo- faz parte da questão da globalização: de qualquer pon-
mentos, os próprios financiadores preferem
to do País, produtores de conhecimento podem atuar
subdimensioná-las, quando não, desqualificá-las, por
em nível nacional, como será o caso da Gazeta Mer-
desatenderem aos seus índices de eficiência diante
cantil, que veiculará esse mesmo curso para seus mi-
da opinião pública? Se circunstâncias como essas
lhares de leitores do eixo Rio-São Paulo. Este relato
ocorrem na Austrália, como superá-las em países
foi apenas para sinalizar que os jornais brasileiros es-
menos aculturados para a transparência dessa mis-
tão maduros para vivências na área da educação. Uma
são? E como superá-las, se as políticas de comunica-
aproximação precisa ser feita. Os professores especi-
ção social do setor público vão ficando restritas aos
comerciais de 30 segundos na TV, seja no Brasil ou alistas em avaliação precisam tornar-se líderes do pro-
em países mais desenvolvidos? Peço perdão por fazer cesso de comunicação e conquistar espaços nas pá-
tantas indagações. Entretanto, se uma das funções ginas de opinião dos jornais brasileiros. Sou um leitor
básicas do jornalista é perguntar, isso me redime par- assíduo da professora Teresa Penafirme, mediante uma
cialmente. publicação especializada da Fundação Cesgranrio. A
Aproveitando os minutos que me restam, se- professora é uma jornalista nata e um exemplo na arte
ria oportuno repassar-lhes um rápido panorama sob o da boa comunicação, à altura dos melhores textos bra-
prisma dos veículos de comunicação impressa. Esses sileiros. Falo na professora Teresa, mas me dirijo a
veículos estão muito conscientes de suas novas mis- todos os mestres que têm a missão de democratizar a
sões. A questão do papel ou do fim do papel na era avaliação educacional no Brasil. É preciso tirar esse
digital, bem como a globalização da comunicação, assunto dos círculos de especialistas e levá-los a to-
contribuiu para que editores desenvolvessem novos for- dos os pais, alunos, amigos da educação, diretores e
matos de linguagem e estudassem a busca de novos professores das escolas públicas e particulares. Avali-
desafios. É o caso da "Universidade Aberta do Nordes- ar é preciso.
160
S EMINÁRIO INTERNACIONAL
DE AVALIAÇÃO EDUCACIONAL:
DOCUMENTO DE TRABALHO
m debate internacional, partindo de uma dade da avaliação na atualidade obriga as autoridades

U perspectiva brasileira educacionais a explorar novas vias de atuação, a refle-
tir sobre as experiências realizadas e a extrair, a partir
delas, suas próprias conclusões. Um dos procedimen-
tos mais frutíferos para levar a cabo essa reflexão con-
A exemplo do que ocorre num crescente nú-
siste precisamente em contrastar as próprias idéias e
mero de países, o Ministério da Educação e do Des-
iniciativas com as de outros países. O debate interna-
porto do Brasil (MEC) incluiu entre seus objetivos
cional proporciona uma oportunidade inigualável para
prioritários para os próximos anos a melhoria de quali-
aumentar nosso conhecimento acerca da maneira de
dade da educação. Os desafios científicos,
resolver os problemas que encontramos no âmbito na-
tecnológicos e econômicos que experimentam nossas
cional e como melhorar nossa prática.
sociedades, a forte demanda social que reclama uma
educação mais ampla e completa, a necessidade de No momento de empreender esta tarefa com-
utilizar mais adequadamente possível os recursos, es- parativa, a participação dos organismos internacionais
cassos por natureza, e a pressão em favor de um de- é especialmente valiosa. Adotar uma perspectiva
senvolvimento sustentável e eqüitativo convertem esse supranacional permite lançar uma luz diferente sobre
objetivo numa exigência incontestável à qual os pode- as experiências locais e analisá-las partindo de novos
res públicos devem dar resposta. Em diversos foros pontos de vista. Talvez seja neste tipo de exercício que
internacionais, foi salientado que o principal desafio dos melhor se aprecie a contribuição que estes organis-
sistemas educacionais contemporâneos não é mais mos podem dar ao conhecimento e à melhoria da ativi-
apenas proporcionar educação a todos os cidadãos, dade educacional em diversos contextos nacionais.
mas, também, assegurar que esta seja de qualidade. A Oficina Internacional de Educación da
Entre os fatores que podem contribuir para a Unesco tem sempre dedicado boa parte de seus esfor-
melhoria qualitativa da educação, a avaliação do siste- ços à promoção do debate internacional sobre os as-
ma educacional e de seus componentes ocupa um lu- suntos educacionais, fomentando a compreensão en-
gar de destaque. Na realidade, a adoção de medidas tre os países e tentando tirar o maior proveito possível
voltadas para a melhoria da atividade educacional so- da comparação entre situações diferentes. Sendo esse
mente pode assentar-se sobre uma informação rigoro- seu principal objetivo, colabora habitualmente na orga-
sa, contrastada e equilibrada. A avaliação permite ob- nização de atividades com importância internacional e
ter e difundir essa informação, convertendo-se assim comparativa, oferecendo para isso sua experiência,
num poderoso instrumento de conhecimento, de valo- suas redes de especialistas e seus canais de comuni-
rização e, em última instância, de mudança. Não é de cação. Neste caso concreto, respondeu favoravelmen-
estranhar que, neste contexto, tenha-se chegado a afir- te à solicitação feita pelas autoridades educacionais
mar que ela constitui um recurso de primeira ordem a brasileiras para organizar um encontro que permita
serviço de um novo estilo de fazer política e de condu- analisar e comparar as experiências desenvolvidas por
ção dos sistemas educacionais. diversos países no âmbito da avaliação educacional.
Em concordância com essas premissas, o Mi- De acordo com os motivos e intenções expos-
nistério brasileiro vem desenvolvendo já há alguns anos tos, o Seminário Internacional de Avaliação Educacio-
uma série de programas de avaliação, que compreen- nal, que será realizado no Rio de Janeiro em dezembro
dem diversos níveis educacionais, como a Educação de 1997, tem por objetivo explorar e analisar os novos
Básica, as universidades e os cursos de graduação e desafios e as tendências que se vislumbram nesse
pós-graduação. As iniciativas empreendidas até o mo- âmbito, permitindo às autoridades brasileiras confron-
mento permitiram articular uma linha de trabalho pro- tar sua experiência com a de outros países. Assim,
missora, constituir novas equipes de profissionais e trata-se de estabelecer um debate internacional con-
adquirir uma valiosa experiência acerca das possibilitando com a participação de destacados especialistas
dades e limitações do uso da avaliação no âmbito edu- procedentes de diversos países e regiões mundiais,
cacional. mas sem perder de vista a perspectiva especificamen-
Entretanto, apesar dos avanços alcançados te brasileira, a serviço da qual foi concebido o encon-
neste terreno, a rápida evolução por que passa a ativi- tro. O grau de êxito da reunião deverá ser estimado à
161
medida que o debate internacional contribua para o promissoras, de cuja análise deverão ser extraídos os
enriquecimento da experiência desenvolvida nestes úl- critérios aplicáveis em cada caso concreto.
timos anos no Brasil. De acordo com estas premissas, a reflexão
que o Seminário quer promover sobre o significado de
se avaliar um sistema educacional e os meios mais
apropriados para levar a cabo tal tarefa deve basear-se
ma reflexão sobre as novas tendências
U da avaliação educacional
na identificação dos principais desafios com que atual-
mente se defronta e no estudo das tendências que se
vislumbram no panorama internacional. A partir da apre-
sentação de idéias e experiências pelos vários exposi-
tores convidados de diversos países, a parte central da
Como foi mencionado acima, as instituições reunião consiste precisamente no debate, no contras-
organizadoras do Seminário querem propiciar uma re- te de opiniões e na reflexão compartilhada entre todos
flexão sobre as principais tendências que se notam os participantes, com a intenção de se chegar a com-
hoje em dia quando se trata de avaliar a atividade edu- preender melhor as características que esta tarefa cer-
cacional. Falar de novas tendências supõe realizar uma tamente complexa apresenta no momento atual e ex-
exploração do passado recente e uma análise da situ- trair-se algumas orientações para a prática.
ação atual, com os olhos no futuro. Este exercício é Entre os possíveis temas que um encontro com
especialmente necessário quando nos defrontamos estas características poderia abordar, foram selecio-
com um campo em plena fase de renovação. nados três de especial relevância nas circunstâncias
Na realidade, embora a avaliação propriamen- atuais. Cada um deles abarca um âmbito de reflexão
te dita conte com uma longa tradição, que remonta às com significado próprio e com importantes implicações
origens históricas da psicometria e da pedagogia ex- para o planejamento, a organização e o funcionamento
perimental, durante as duas últimas décadas, regis- dos sistemas nacionais de avaliação educacional. Mais
trou um processo rápido e decidido de expansão, sen- que um repertório de soluções, esses temas constitu-
do produzidas mudanças importantes no modo como em uma fonte de perguntas e de questões abertas, às
é concebida, nos métodos que utiliza e na maneira quais será necessário responder no futuro próximo.
como se organiza institucionalmente. Como conseqü-
ência deste conjunto de transformações, passou por
uma completa renovação, a tal ponto que a avaliação a) O que e como avaliar
educacional atual apenas se assemelha à atividade de-
O primeiro dos temas que serão abordados
senvolvida sob essa denominação no início dos anos 70.
pelo Seminário refere-se aos conteúdos e métodos da
Um dos aspectos em que melhor se aprecia a
avaliação ou, dito de outro modo, às questões de "o
mudança produzida na tarefa de avaliar é a sua utiliza-
que" e "como" avaliar. Sem pretender esgotar nem tra-
ção sistemática para obter informações válidas acerca tar de maneira exaustiva um assunto que se caracteri-
dos diferentes setores da educação, e não apenas do za por sua amplitude, foram selecionados alguns dos
aprendizado conseguido, pelos alunos. De acordo com âmbitos e enfoques metodológicos que mais preocu-
uma imagem sugestiva freqüentemente utilizada, é pam atualmente os especialistas e as autoridades edu-
como se sua expansão tivesse sido produzida medi- cacionais.
ante a colonização progressiva de campos vizinhos. Em primeiro lugar, o seminário dedicará aten-
Tendo começado pela preocupação com o aprendiza- ção à avaliação dos resultados educacionais. Embora ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
do dos alunos, a atenção foi se deslocando para os a aferição do rendimento escolar, realizada geralmente
professores, o currículo, os programas de intervenção, através da análise dos resultados acadêmicos dos alu-
os centros e a própria administração da educação. Em nos, tenha sido objeto de permanente preocupação,
resumo, pode-se dizer que, hoje em dia, o conjunto do as circunstâncias atuais obrigam-nos a revisar nossos
sistema educacional é objeto da avaliação. pressupostos tradicionais. Por um lado, os avanços
Logicamente, essa ampliação do foco de atenda psicologia e da pedagogia obrigam-nos a reconsi-
ção e sua aplicação às novas realidades obrigou a re- derar o que entendemos por resultados educacionais,
considerar em profundidade os conceitos e as catego- prestando atenção ao desenvolvimento de capacida-
rias teóricas utilizadas, a revisar os métodos e os pro- des de várias ordens (atitudes, habilidades não-
cedimentos habitualmente aplicados, a procurar os cognitivas, valores). Por outro lado, a exigência demo-
modelos institucionais e organizacionais mais adequa- crática de justiça e eqüidade na aferição obriga-nos a
dos para cumprir suas novas funções e a explorar os levar em consideração as condições iniciais dos alu-
mecanismos mais eficazes para difundir e utilizar a nos e das escolas, e não somente seus resultados
informação obtida. Neste campo, como em tantos ou- finais.
tros, não existem normas universais consagradas pela De acordo com essas novas colocações, o
tradição, mas apenas tendências mais ou menos seminário pretende contribuir para a reflexão acerca
162
dos seguintes pontos: que capacidades devem ser uso que se pode e deve fazer dos mesmos, ou como e
objeto de avaliação; como se pode combinar a aferição em que medida podem contribuir para o conhecimento
dos resultados acadêmicos com a de outras dimen- e a melhoria da educação.
sões educacionais não estritamente cognitivas; com
que procedimentos contamos para realizar essa tare-
fa; que implicações tem a pesquisa psicopedagógica b) Como organizar institucionalmente um sistema de
recente sobre a avaliação dos resultados da educa- avaliação
ção. Igualmente se propõe debater: como devem ser
consideradas as condições iniciais dos alunos e das O segundo tema a ser abordado pelo seminá-
escolas, na aferição de seus resultados; que sentido rio refere-se aos diversos modelos institucionais exis-
tem a introdução do conceito de valor agregado na ava- tentes e aos critérios adotados em diferentes contex-
liação; que possibilidades oferece e com que modelos tos nacionais para organizar e operacionalizar siste-
contamos para aplicá-lo na prática. mas de avaliação educacional. Também neste bloco
Em segundo lugar, as pesquisas recentes so- de questões foram selecionados alguns aspectos de
bre os fatores que contribuem para a melhoria da qua- especial relevância, com o propósito de focalizar a dis-
lidade da educação coincidem em conceder um papel cussão em torno deles.
central à escola. Se bem que não se possa menospre- Um primeiro objeto de reflexão consiste no tipo
zar o efeito produzido pelas políticas nacionais ou lo- de dependência institucional mantida pelos órgãos res-
cais adotadas, a melhoria qualitativa se dirime, em úl- ponsáveis pela avaliação em relação às autoridades
tima análise, em cada instituição educacional. Vem políticas e às administrações educacionais. Enquanto
daí a crescente importância que se atribui à avaliação alguns países adotam a forma de agências ministeri-
dos centros educacionais como instrumento de melhoria ais, com um ou outro tipo de dependência orgânica em
da educação. Em consonância com esta premissa, o relação ao governo, em outros, esses órgãos possu-
seminário pretende abordar diversas questões acerca em maior autonomia institucional, seja porque depen-
das funções específicas da avaliação das escolas: quais dem do poder legislativo, seja por estarem situados
são elas, que papel desempenham na avaliação do sis- fora do poder político. A adoção de um ou outro mode-
tema educacional, como podem e devem ser
lo varia em função do contexto e das tradições de cada
complementadas as iniciativas avaliadoras de caráter
país, bem como da força e da autonomia das associa-
interno e externo, ou qual é o papel das autoridades
ções profissionais. O modelo institucional escolhido
educacionais e das próprias escolas na avaliação
também condiciona bastante o grau de independência
institucional.
com que atuam os avaliadores no desempenho de suas
Em terceiro lugar, é preciso reconhecer a im-
atividades.
portância que estão adquirindo alguns métodos e ins-
Partindo desta perspectiva, o seminário se pro-
trumentos, na hora de avaliar os sistemas educacio-
põe a debater as vantagens e os inconvenientes que
nais. Entre todos eles, vale a pena nos determos es-
oferecem os principais modelos institucionais em fun-
pecialmente em dois, pelo interesse que despertam e
ção de seu contexto particular; como o necessário
a expansão que registram no momento atual: o primei-
ro consiste na comparação internacional dos resulta- suporte político pode ser combinado à avaliação com
dos da educação, tarefa da qual participam diversas efetiva independência dos órgãos responsáveis pela
organizações e associações internacionais e que já mesma; que papel desempenham os poderes políti-
tem dado lugar à realização de um número crescente cos, as administrações educacionais, os principais
interessados e os próprios avaliadores na definição dos
de estudos nos últimos anos; o segundo consiste na

utilização de indicadores da educação, entendidos como objetivos da avaliação e ainda perante quem os órgãos
uma ferramenta capaz de proporcionar informações de avaliação devem responder pelo seu trabalho.
significativas e coerentes que permitem aferir o estado Um segundo objeto de reflexão diz respeito às
e a situação dos sistemas educacionais. implicações que têm os processos de descentralização
Como contribuição para a reflexão internacio- atualmente em implantação sobre a organização e o
nal acerca destes assuntos, o seminário pretende de- funcionamento dos organismos de avaliação. Embora
bater as possibilidades e as limitações da compara- o termo descentralização se refira a realidades muito
ção internacional dos resultados da educação, as con- diversas, não há dúvida de que os processos a ele as-
dições que devem ser atendidas pelos estudos empre- sociados obrigam-nos a reconsiderar as maneiras tra-
endidos para assegurar uma comparação justa, o inte- dicionais de administração e condução dos sistemas
resse que pode ter para os países a participação nes- educacionais. Em tais circunstâncias, a avaliação pas-
sas iniciativas e como podem ser combinadas as agen- sa a ter maior importância, embora também tenha que
das nacionais e internacionais de avaliação. Por outro adaptar suas características institucionais às novas
lado, o seminário quer também estimular o debate so- atribuições de competências em matéria educacional.
bre as possibilidades e limitações dos indicadores edu- Dentro deste ponto de vista, o seminário pre-
cacionais, as condições que devem ser cumpridas, o tende estimular a reflexão sobre a forma de
163
compatibilizar-se a avaliação do conjunto do sistema que esta pode razoavelmente esperar daquela; que
educacional como um todo com a atribuição de com- mecanismos formais e informais podem ser utilizados
petências existente no mesmo, a influência do modelo para difundir eficazmente os resultados da avaliação;
de organização política do Estado sobre a dependên- que papel podem desempenhar nesse trabalho os in-
cia institucional do sistema de avaliação e, ainda, quem termediários da informação; quem são os que podem
pode tomar quais decisões com relação às atividades atuar como tais intermediários e quais são os princi-
a serem desenvolvidas. pais usos da avaliação no processo de construção de
políticas educacionais e na melhoria da prática escolar.
c) Como utilizar as informações da avaliação

ma agenda de trabalho aberta para o
O terceiro dos temas selecionados para
estruturar o seminário refere-se ao tratamento e usos U futuro
da informação proporcionada pela avaliação. Embora a
concepção estritamente utilitária, que deixa os resul-
tados da avaliação ao serviço imediato da tomada de Como facilmente se pode verificar, os temas
decisões, venha dando lugar a outra mais abrangente, selecionados para estruturar o seminário constituem
que admite a existência de vias indiretas de influência, apenas uma pequena amostra dos desafios e das ten-
a relação existente entre a avaliação e a construção dências que hoje enfrenta a avaliação educacional.
de políticas continua a ser objeto de um interesse muito Embora os organizadores tenham tentado escolher al-
grande. A correta difusão dos resultados da avaliação gumas questões de especial relevância, não tiveram a
preocupa mais do que nunca os patrocinadores da ava- pretensão de esgotar o repertório de perguntas ainda
liação, bem como os próprios avaliadores. A busca de sem resposta. Neste, como em outros campos, é ne-
novos modos para a divulgação das informações rece- cessário continuar desenvolvendo um trabalho de en-
be crescente atenção, tanto por razões de exigência saio, reflexão e debate, o único capaz de proporcionar
democrática como por uma questão de simples eficá- respostas para as numerosas questões levantadas.
cia. O papel dos intermediários da informação, que Para levar a cabo esta tarefa, as iniciativas em-
põem os avaliadores e os patrocinadores da avaliação preendidas pelas autoridades nacionais podem e de-
em contato com seus públicos, é revalorizado por aque- vem ser complementadas estreitamente com as que
les que acreditam estar realizando um trabalho impor- são realizadas pelos organismos internacionais. A
tante ao traduzir os resultados da avaliação em conhe- agenda de trabalho aberta para o futuro é ampla e não
cimento utilizável. Em suma, os fluxos de informação faz sentido abordá-la em direções divergentes. É ne-
associados à atividade avaliadora, os usos que se fa- cessário explorar as possibilidades oferecidas pelo in-
zem da mesma e o impacto que pode ter sobre a polí- tercâmbio de experiências e pela cooperação, que sem-
tica e a prática educacional aparecem reiteradamente pre dão resultados mais frutíferos que o isolamento.
na agenda atual da avaliação. Afinal de contas, os países que decidiram esti-
Por outro lado, a utilização da avaliação edu- mular a avaliação educacional enfrentam problemas se-
cacional nos países em desenvolvimento suscita algu- melhantes.
mas questões específicas que vale a pena considerar. De acordo com estes pressupostos, um dos
Com o desejo de contribuir para um debate necessário resultados do seminário, embora não seja o principal,
sobre o papel mais adequado, a viabilidade e a utilida- consistirá em ir perfilando de maneira mais precisa as ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL
de da atividade da avaliação nesse contexto particular, possíveis ações de cooperação internacional que po-
o seminário abordará algumas reflexões sobre o senti- dem ser integradas numa agenda de trabalho para o
do da avaliação nesse contexto concreto, o papel que futuro. Como linhas gerais dessa agenda, que deverão
deve desempenhar em relação à satisfação das ne- ir se concretizando progressivamente, destacam-se
cessidades urgentes de escolarização básica, o lugar três tipos de ações de especial importância nas cir-
que deve ocupar no seio das estratégias de melhoria cunstâncias atuais.
do ensino, que subsídio pode trazer especificamente Em primeiro lugar, é necessário estimular pro-
para os países em desenvolvimento e como deve ser gramas conjuntos de pesquisa no âmbito da avaliação
concebida a fim de contribuir para esse objetivo educacional. Embora em alguns países sejam desen-
socioeconômico. volvidos importantes projetos de pesquisa, a supera-
Um simples seminário não pode aspirar resol- ção das fronteiras nacionais permite adotar novas pers-
ver tantos assuntos, de tanta transcendência, mas pode pectivas e explorar soluções diferentes. A experiência
contribuir para esclarecer alguns deles mediante uma incentivada neste sentido nos últimos anos pela União
reflexão compartilhada. As principais questões que o Européia é um exemplo de como a constituição de
seminário pretende abordar neste sentido são: o que a redes de pesquisadores em avaliação pode contribuir
avaliação pode proporcionar à política educacional e o poderosamente para a criação e divulgação do conhe-
164
cimento neste campo. Num outro ponto de vista, os que se orientam nessa direção. Visto que a experiên-
projetos internacionais de avaliação, como os patroci- cia e o saber em matéria de avaliação estão espalha-
nados pela IEA, a OCDE ou OREALC-Unesco, propor- dos internacionalmente, a cooperação internacional é
cionam uma ocasião inestimável para serem explora- muito conveniente. Por esse motivo, a agenda de tra-
dos novos enfoques e métodos aplicáveis a diversas balho do futuro deve reservar um espaço para as tare-
realidades e contextos nacionais. O seminário pode fas de formação.
contribuir para identificar algumas linhas de pesquisa Por último, convém reservar também um lugar
que convenha reforçar ou incluir nas agendas nacio- específico nesta agenda do futuro para dar respostas
nais e internacionais dos próximos anos. às necessidades específicas dos países em desenvol-
Em segundo lugar, é necessário continuar in- vimento. Tanto no que se refere à geração e difusão de
centivando o intercâmbio e a cooperação neste cam- conhecimento como às atividades de intercâmbio e
po. A implantação de sistemas nacionais de avaliação cooperação internacional e às tarefas de formação, este
da educação é uma experiência ainda recente para grupo de países deve ocupar um papel relevante, se
muitos países, e sobre ela é imprescindível que todos não quisermos que fiquem marginalizados das novas
continuem aprendendo. Pelas características próprias tendências que se vêm observando nos países desen-
deste âmbito de atuação, os ensinamentos terão de volvidos. Sem que isso suponha, de alguma forma, uma
ser freqüentemente buscados além das fronteiras na- assimilação mimética ou a criação de uma nova de-
cionais, mediante o contraste, a comparação, a trans- pendência, é necessário contribuir para gerar naque-
ferência crítica e controlada de conhecimentos. Encon- les países os elementos de reflexão, as competências
tros como este seminário constituem uma ocasião pri- profissionais e os modos de organização que permi-
vilegiada para reunir os responsáveis e os especialis- tam extrair o máximo de valor possível da avaliação,
tas envolvidos no desenvolvimento destes novos siste- mediante uma adaptação inteligente a suas priorida-
mas, com o objetivo de refletir em conjunto sobre os des, suas agendas e suas necessidades. As decisões,
problemas que devem ser resolvidos e esboçar algu- que os organismos internacionais venham a tomar para
mas soluções para os mesmos. Em alguns casos, a continuar trabalhando neste campo nos próximos anos,
realização de reuniões de caráter regional pode contri-
deverão levar em conta esta situação específica e
buir para reforçar experiências ainda incipientes, medi-
integrá-la a seus respectivos planos de ação.
ante a adoção de programas conjuntos de atuação.
Muito embora esta formulação de intenções
Em terceiro lugar, é necessário continuar me-
possa parecer demasiado ambiciosa, convém voltar a
lhorando a formação dos profissionais que trabalham
insistir no realismo que deve presidir a realização do
neste campo. A situação atual deixa claro que exis-
seminário. Os desafios enfrentados pelos sistemas
tem setores reduzidos de especialistas altamente qua-
educacionais no âmbito da avaliação exigem um tra-
lificados, mas que ainda faltam técnicos em número
balho cooperativo e gradual, que só pode ser desenvol-
suficiente e que sejam bem formados para enfrentar as
vido mediante passos sucessivos. Este seminário quer
crescentes demandas de avaliação. Ademais, convém
contribuir para esse avanço geral, ainda que seja reali-
reexaminar o componente relativo à avaliação dentro
dos programas de formação inicial e continuada do pro- zando apenas uma modesta contribuição.
fessorado. Quando tanto se fala da necessidade de
promover uma cultura da avaliação, torna-se pertinen-
te perguntar quais devem ser os conteúdos formativos Rio de Janeiro, dezembro de 1997.
165

Anais 1997 Avaliação Internacional

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Anais 1997 Avaliação Internacional

Transféré par

Droits d'auteur :

Formats disponibles

ANAIS DO SEMINÁRIO INTERNACIONAL

Rio de Janeiro-RJ – 1º a 3 de dezembro de 1997

Coordenador: Alejandro Tiana

MEC / INEP / Unesco

Dados Internacionais de Catalogação na Fonte (CIP)

Seminário Internacional de Avaliação Educacional (1997 : Rio de Janeiro).

1. Avaliação da educação. I. Tiana , Alejandro. II Ministério da Educação e do

Lista de Siglas ........................................................................................................................................... 7

O Sistema de Avaliação Brasileiro

Educação para Todos:

O Potencial dos Estudos Comparativos Internacionais

Os Indicadores Educacionais da OCDE:

Avaliação de Alunos e Aprendizagem para uma Sociedade em Mudança

Abordagens de Valor Agregado para a Auto-Avaliação Escolar no Reino Unido

Avaliação por Diálogos:

uma Contribuição Possível para o Aprimoramento Escolar

Avaliação do Sistema Educativo:

Avaliação e Monitoramento dos Estabelecimentos Escolares

Arranjos Institucionais para Avaliação

Como Pode a Avaliação Contribuir para a Política Educacional?

Estatísticas Educacionais na América Latina e no Caribe:

O Projeto Institucional do Sistema Nacional de Avaliação Educacional

O Papel dos Meios de Comunicação na Divulgação dos Resultados da Avaliação

Documento de Trabalho: Seminário Internacional de Avaliação Educacional ................................... 161

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

de desenvolvimento de um projeto interamericano de são de abertura – apresenta a abordagem dessas ques-

HMI – Her Majesty Inspectors (Inglaterra) Commission (Tailândia)

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

volvimento (PNUD) e o Banco Mundial. Ao definir as

*Jorge Werthein é o representante da Unesco no Brasil e o coordenador do Programa Unesco/Mercosul.

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

Pretendemos fazer um rápido histórico do de- mensão territorial e de grandes desigualdades

Enfoque D im ensão Indicador/Variável Instrum ento

Gráfico 1 – Percentagem de Alunos x C ondições Físicas da Escola

Gráfico 2 – Percentagem de Alunos x Condições Físicas da Escola

Gráfico 4 – Percentagem de Alunos x Recursos Pedagógicos

Gráfico 6 – Percentagem de Alunos x Recursos Pedagógicos

ANAIS DO SEMINÁRIO INTERNACIONAL DE AVALIAÇÃO EDUCACIONAL

N orte N ordeste Su deste Su l C en tro -O este Brasil

3 a série 8 a série 4 a série

3 a série 8 a série 4 a série

Gráfico 10 − Português - 3ª série Ensino Médio

=< 17 A nos 18 An os 19 An os 20 An os 21 An os =>22 A nos

aprender. se o currículo que envolva desafio para um número enor-

2) O estabelecimento de procedimentos e a capacida-

CHI, M.T.H., GLASER, R., FARR, M. (Ed.). The nature

Tabela 1 – Desempenho médio em Matemática

* Oitava e sétima séries na maior parte dos países.

R e p ú b lica Islâm ic a d o Irã

Qu ad ro 1 –TIM S S – Ciê ncias: Espanha e ou tros pa íse s

Dese m penho s ignificativam e nte superior

C in gapura Á ustria A ustrália

Nenhum a diferenç a significa tivam e nte diferen te

H ong K ong N orue ga N ova Ze lândia

Dese m penho s ignificativam e nte inferior

Islândia D in am a rca C hipre

A IEA: o que é, o que faz, sua missão, sua

findings from 35 years of IEA research, em que o autor

Qu adro 2 – Níveis do sistem a de educação

Avaliação Nível d o sistem a

l do que os alunos aprende m m icro

l do que e com o ensin am as esco las e os professores m eso

l de quais os valores da com unidade ( o que os alun os de ve m apren der) m acro