Entrevista com Chico Soares

A avaliao como instrumento de garantia do direito educao

Mineiro de Conselheiro Lafaiete, Jos Francisco Soares, mais conhecido, como todo bom mineiro, por seu apelido de Chico, faz parte do grupo de acadmicos brasileiros que concilia uma slida carreira universitria com uma ampla participao no debate pblico em torno da Educao Bsica brasileira e na busca tanto para assegurar sua qualidade quanto sua equidade. No toa que recebeu, neste ano, o Prmio Fundao Bunge na categoria Vida e Obra. O espao privilegiado de sua vida acadmica a Universidade Federal de Minas Gerais, instituio com que profundamente identificado desde seu ingresso como aluno no Colgio Universitrio. Foi na UFMG que se graduou em Matemtica e onde atuou como professor, primeiro no Instituto de Cincias Exatas (do qual foi diretor) e, mais tarde, na Faculdade de Educao, onde se aposentou como professor titular. Nessa Faculdade, foi um dos fundadores do Game (Grupo de Avaliao e Medidas Educacionais), um dos principais centros de pesquisa

cadernoscenpec | So Paulo | v.2 | n.1 | p.183-213 | julho 2012

183

SOARES, Chico

sobre avaliao em larga escala no Pas, onde estabeleceu toda uma linha de investigaes sobre o chamado efeito da escola sobre o desempenho cognitivo dos alunos. Apesar de sua aposentadoria, Chico Soares continua a trabalhar como professor da Faculdade de Educao, tanto na graduao quanto no Programa de Ps-Graduao. Sua disciplina optativa para o curso de Pedagogia sobre indicadores educacionais tem sempre turmas lotadas. Ele concilia a sua atuao na Universidade (e em distintas associaes e grupos de pesquisa) com uma intensa participao na discusso e desenho de polticas pblicas para Educao Bsica, especialmente aquelas ligadas avaliao externa. Chico Soares assessora diferentes redes de ensino na construo de medidas e processos de avaliao, no desenho de polticas e est frequentemente em mesas de discusses sobre o que fazer para ampliar a qualidade desses sistemas e reduzir suas desigualdades. Alm disso, integra os conselhos do Inep (Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira) e do Instituto Nacional para la Evaluacin de la Educacin, do Mxico. Em 2012, tornou-se tambm membro do Conselho Nacional de Educao, em sua Cmara de Educao Bsica. ainda membro do Conselho de Governana do Movimento Todos pela Educao. Na entrevista para Cadernos Cenpec, a partir do pressuposto bsico da garantia do direito educao, Chico Soares defende as avaliaes externas, mas, ao mesmo tempo, argumenta que preciso avaliar as avaliaes. Segundo ele, necessrio aprimorar nossas formas de medir, evitar o fetichismo dos nmeros e investir em pesquisas para aprimorar as medidas, as avaliaes e a formao de nossos professores. necessrio, por fim, debater: boas polticas (dentre elas as de avaliao) so aquelas, defende Chico Soares, que so escrutinadas num amplo debate pelo conjunto daqueles que so afetados por essas polticas. S esse amplo debate poderia neutralizar os pontos de vista e os interesses parciais de cada grupo para encontrar, de fato, a essncia do pblico. Participaram da entrevista: Antonio Batista, Mauricio rnica, Frederica Padilha e Fabiana Hiromi.

cadernoscenpec | 184

A avaliao como instrumento de garantia do direito educao

Cadernos Cenpec: Para comear, voc poderia falar um pouco sobre sua trajetria acadmica? Voc fez Matemtica Pura e o seu mestrado foi em Matemtica, no? Chico Soares: Na realidade, estudei no Impa (Instituto Nacional de Matemtica Pura e Aplicada), que oferecia um mestrado em Estatstica. Fui da segunda turma do Programa e vivi por dois anos em um ambiente acadmico estimulante, pela excelncia tanto dos professores quanto dos colegas. Infelizmente o projeto de formao em Estatstica no Impa no foi para frente. Cadernos Cenpec: Sua rea de pesquisa era fundamentalmente a Estatstica aplicada rea de Medicina? Chico Soares: Foi nessa rea que fiz minha pesquisa de doutorado. Mas essa escolha refletiu as possibilidades da poca, da universidade onde fiz o doutorado a Universidade de Wisconsin, em Madison e no as condies reais sob as quais eu deveria trabalhar na UFMG. Cadernos Cenpec: Suas principais publicaes na rea da poltica educacional datam a partir da dcada de 1990. Como aconteceu essa converso rea da educao? Chico Soares: No meio dos anos 1990, como reflexo das ideias da Conferncia Education for All, em Jomtien, na Tailndia, houve uma mudana importante no debate educacional, que criou demandas diferentes das que estavam postas at ento. Foi introduzida definitivamente nesse debate uma ideia, at ento completamente estranha reflexo educacional, de que resultados educacionais representados pelo aprendizado dos alunos devem ser considerados e de forma central. Naquele momento, e no era s no Brasil, havia poucas pessoas capazes de pensar a educao a partir dos seus resultados. Eu tinha formao em Estatstica e, aqui no Brasil, a Capes (Coordenao de Aperfeioamento de Pessoal de Nvel Superior) e o Inep (Instituto Nacional de Estudos e Pesquisas Educacionais) fizeram, em parceria, uma chamada pblica. Vrios grupos se apresentaram. Foi nesse momento tambm que se organizaram grupos, como o do Departamento de Educao da PUC-Rio, liderado pelo Creso Franco, e o CAEd da Universidade Federal de Juiz de Fora (UFJF), liderado pelo Manuel Palcios. Ns viemos de diferentes lugares acadmicos para a educao por conta dessa oportunidade criada por uma mudana quase paradigmtica no debate educacional. Na UFMG, criamos o Game (Grupo de Avaliao e Medidas Educacionais), ligado Faculdade de Educao e a seu Programa de Ps-Graduao.

cadernoscenpec | So Paulo | v.2 | n.1 | p.183-213 | julho 2012

185

SOARES, Chico

Essa introduo da discusso de resultados foi uma grande mudana no debate educacional. No gosto muito de usar a palavra resultado sem algum qualificativo. A grande mudana foi colocar o aluno no centro. Estava muito presente no debate educacional uma fala sobre a importncia do aluno, mas no se dava completa consequncia a isso. A partir do momento em que se passa a ter informao sobre o aprendizado do aluno, preciso voltar-se para dentro da escola, para a sociedade, para a forma de ensinar, e perguntar: por que esse aluno se saiu bem? Por que esse outro no aprendeu o que foi ensinado? Como eu havia estudado Estatstica, eu e aqueles que viemos para a rea educacional estvamos numa posio muito boa para pensar respostas a essas perguntas, mas foi um esforo enorme de adaptao. Isso foi em 1996 ou 1997. Isso me levou a buscar conhecimentos em um ps-doutorado na Universidade de Michigan, em Ann Arbor, onde fui recebido pela Professora Valerie Lee. Cadernos Cenpec: Os economistas j tinham trabalhos na rea da educao antes dessa poca? Chico Soares: Os trabalhos de economia, antes de existirem resultados de aprendizagem, eram muito embrionrios, para os padres atuais. Mesmo os pioneiros, como o realizado em Itabirito, Minas Gerais, por Cludio de Moura Castro na sua tese se doutorado. Tambm h uma diferena importante: ns, que nos convertemos educao, buscamos estudar o fenmeno do aprendizado a partir de conceitos educacionais que incorporamos ao nosso arcabouo terico ao invs de aplicar um modo de pensar geral na educao. H trabalhos fundamentais na educao realizados por pessoas de muitas formaes. Os do Srgio da Costa Ribeiro, um fsico, sobre a pedagogia da repetncia, so emblemticos. Existia um consenso no Brasil de que as crianas saam da escola, de que havia uma grande evaso. Srgio da Costa Ribeiro mudou o entendimento. Disse que elas eram, primeiramente, reprovadas. Em seguida mostrou problemas srios na forma como o Censo Escolar estava organizado, produzindo dados que no descreviam corretamente a realidade. Esses trabalhos, realizados em parceria com Philip Fletcher, um psicometrista, e Ruben Klein, um matemtico, so o incio do uso de mtodos estatsticos no debate educacional mais recente. importante registrar que esses pesquisadores continuaram o trabalho quase esquecido feito por Teixeira de Freitas, um advogado, no IBGE, nos anos 1940 e 1950. Se voltarmos no tempo e analisarmos os trabalhos que utilizavam as

cadernoscenpec | 186

A avaliao como instrumento de garantia do direito educao

estatsticas educacionais, veremos que a ideia do direito educao era pensada a partir da ideia do acesso e, portanto, o resultado observado era a matrcula. Na poca em que eu cheguei Educao, o resultado de interesse passa a ser o aprendizado dos alunos. Isso exigiu outros tipos de anlise. Do ponto de vista filosfico, do ponto de vista de valores, minha orientao bsica o direito Educao Bsica de todos e de cada uma das crianas e cada um dos jovens brasileiros. E isto tanto na pesquisa quanto na minha participao no debate educacional. Do ponto de vista prtico, isso significa que o aluno deve ter acesso escola, permanecer nela e aprender. S que agora ns temos resultados, dados empricos para aferir isso tudo. Essa maneira de olhar a educao atravs do direito e dos dados empricos exige que no debate educacional a dvida tenha um papel preponderante, j que, mesmo na implementao de projetos teoricamente consistentes, frequentemente no se observam os aprendizados esperados. Ou seja, preciso ser humilde diante de uma evidncia negativa e procurar respostas para o fracasso. Isso ainda est sendo construdo no Brasil, onde ainda imperam a certeza e a rejeio da evidncia, registrada nos dados de desempenho dos alunos. Cadernos Cenpec: Voc est mostrando que o campo de pesquisa sobre os resultados dos sistemas de ensino e a construo de polticas educacionais que usam a avaliao, que se estabelecem a partir dos sistemas de avaliao, so processos que se do mais ou menos ao mesmo tempo. Antes de abordarmos o tema das pesquisas na rea, gostaramos de falar um pouco das polticas de avaliao. A proposta que voc as aborde a partir de trs dimenses: primeiro, a questo das medidas; depois, a questo da avaliao propriamente dita; e depois, a questo das polticas que se estabelecem a partir das avaliaes. Pode ser? Chico Soares: As medidas se constituram em uma grande novidade no s por se dizer devo medir a capacidade de compreenso leitora da criana, mas pelo fato de isso ter sido efetivamente feito. De forma sistmica, isso comeou em Minas Gerais, o Estado que fez a primeira avaliao em 1992. Isso antecede o Saeb (Sistema de Avaliao da Educao Bsica). Gosto de, em vez de utilizar em um primeiro momento a palavra medida, empregar a palavra registro. Ou seja, preciso registrar, preciso saber se a criana, no caso do Ensino Fundamental, aprendeu ou no. possvel fazer um registro sem medir, e isso seria suficiente se ns pudssemos observar cadernoscenpec | So Paulo | v.2 | n.1 | p.183-213 | julho 2012 187

SOARES, Chico

de maneira uniforme todos os alunos em todos os lugares. s vezes, as pessoas no se do conta disso. Num pas diverso e desigual como o Brasil, precisamos, para dar consequncia ao direito constitucional educao, registrar o aprendizado dos alunos de uma maneira uniforme. Isso s pode ser obtido com a medida. Ou seja, o que legitima a medida o fato de que s atravs dela possvel saber se todas as crianas, nesta cidade, naquele bairro, esto tendo a oportunidade de aprender. Se eu estivesse na Finlndia, onde cada professor representa um mesmo projeto nacional, eu no precisaria ter essa ferramenta externa. Mas ns no estamos vivendo isso no Brasil. Eu preciso da medida e vou voltar o tempo todo a isso associando-a ao direito. Um direito social que no verificado uma utopia. Se eu digo que a criana tem direito ao aprendizado, que ela tem direito educao, ento preciso verificar se isso est sendo realizado ou no. Vista atravs dessa fundamentao, a medida tem um glamour. Depois dos projetos nacionais de medida do aprendizado dos alunos, a sociedade brasileira descobriu primeiramente como as escolas dos diferentes Estados estavam atendendo seus alunos e, depois, com a Prova Brasil, ao se tornar censitria, como todas as escolas pblicas estavam garantindo ou no o direito ao aprendizado. Mas esse sistema tem ainda muitos problemas. No conseguimos fazer a associao do que eu chamo de viso pedaggica com a viso da medida. No caso de leitura, por exemplo, eu gostaria de, antes de ir a campo com um teste, ter a segurana de que esse teste foi construdo a partir de um modelo terico sobre o que a leitura desejvel para alunos do Ensino Fundamental e de que esse modelo foi legitimado socialmente. Para ser mais claro: estou dizendo que ns, como povo, como Nao, temos de ter uma definio clara do que estar alfabetizado, do que um adolescente de 11 anos deve ser capaz de ler. Penso que essas definies no devem ser deixadas a cargo s dos especialistas, so responsabilidade da sociedade. A ideia da medida como verificao de um direito ainda no est completamente aceita nem implementada. Para isso, falta ainda estabelecer bases mais slidas para a produo da medida, o que exige pesquisas e consensos que ainda no foram criados. Cadernos Cenpec: Essa seria, por exemplo, uma das razes para o MEC no colocar no ndice de Desenvolvimento da Educao Bsica (Ideb) uma escala que traduza os resultados em nveis de adequao para o que esperado em cada srie, como acontece, por exemplo, no Saresp (Sistema de Avaliao de Rendimento Escolar do Estado de So Paulo)?

cadernoscenpec | 188

A avaliao como instrumento de garantia do direito educao

Chico Soares: No s no Ideb, porm mais seriamente no Enem (Exame Nacional do Ensino Mdio). O Enem hoje um exame que tem um grande impacto na Educao Bsica, mais do que a Prova Brasil, mas no existe uma traduo pedaggica dos seus resultados. Na Prova Brasil tem-se um pouco disso, comeou-se a fazer. No Enem, isso sequer comeou. Ou seja, existe uma medida muito influente que no tem uma expresso pedaggica. Assim sendo, estou dizendo que a medida produzida no slida o suficiente para que se possam tomar decises, baseadas nessa medida, de avaliao e de polticas pblicas. Temos sim uma medida cujo nico uso para a seleo. um desperdcio tanto dinheiro usado sem que haja um impacto pedaggico. Cadernos Cenpec: O que ns medimos hoje? Chico Soares: Na Prova Brasil, medimos compreenso leitora e matemtica, com definies restritas. Temos uma reflexo ainda incompleta sobre o que medido. Um exemplo ilustra minha ideia. Quando o Pas tinha inflao, havia muita discusso sobre o que a inflao, sobre como medi-la. Isso levou a trabalhos de pesquisa sobre o oramento familiar, que descreveram o que as famlias consumiam e em qual proporo. Esses trabalhos acabaram produzindo uma descrio slida e socialmente legitimada do consumo das famlias. No temos, ainda, o equivalente em leitura e em matemtica. Os sistemas de avaliao saram na frente, com o glamour prprio deles, e assim medem hoje algo cujas bases ainda no so nem completamente slidas, nem legitimadas o suficiente. Cadernos Cenpec: Ns corremos o risco, ento, de estarmos falando de nmeros sem saber o que eles representam? Chico Soares: Acho que j no risco, mas parte da realidade. como se esses nmeros educacionais, principalmente nos ltimos anos, principalmente agora com o Enem, tivessem ganhado vida prpria. Quando h a publicao da nota mdia da escola no Enem, no h tanto interesse em saber, pedagogicamente, o que aquilo significa. Toda a nfase colocada em comparar escolas, mesmo que tenham diferena de desempenho muito pequena. Com a Prova Brasil ocorre o mesmo, ainda que em escala menor. Cadernos Cenpec: Voc abordou at aqui a questo da medida. E quanto avaliao? Chico Soares: Assumindo que tivssemos resolvido a questo da medida, que estivssemos medindo bem, seria natural que refletssemos sobre a

cadernoscenpec | So Paulo | v.2 | n.1 | p.183-213 | julho 2012

189

SOARES, Chico

avaliao. A professora Magda Soares, da Faculdade de Educao da UFMG, que nossa colega em Belo Horizonte, nossa mentora, tem uma formulao que muito me inspira. Ela fala que a avaliao da aprendizagem a avaliao do aprendizado do aluno pelo seu professor; j a avaliao externa, a do Saeb, por exemplo, a avaliao do ensino e seu objetivo verificar se a criana aprendeu o que deveria ter aprendido. Pode perfeitamente acontecer de a criana aprender exatamente tudo o que a professora ensinou, mas a professora, por exemplo, estava se restringindo a um determinado gnero de texto, ou a uma dificuldade de produo escrita mais localizada. Ento, preciso vir algum de fora, com a ideia do bem pblico, e dizer que a criana tem de ler outros tipos de texto mais complexos, por exemplo. Isso seria feito por essa avaliao externa, a avaliao do ensino, do que oferecido para a criana. Mas deveria existir uma reflexo interna escola sobre os resultados dessa avaliao externa. Ou seja, uma vez aceita essa avaliao, preciso que a professora pense no que est fazendo de bom, porque os resultados foram bons, ou no que est fazendo de ruim, se os resultados de aprendizado foram ruins. Isso feito raramente, ainda. No estou seguro de que o Brasil tenha, de fato, um sistema de avaliao da Educao Bsica. Existe pouca reflexo gerencial e pedaggica, inclusive no nvel macro. O fato de que se foram necessrios quase dois anos para que os microdados da Prova Brasil de 2009 fossem publicados corrobora essa afirmativa. claro que se tivssemos um sistema focado na reflexo, a demanda pela divulgao seria muito forte e no demoraria tanto tempo para que esses dados fossem tornados disponveis. Como a reflexo sobre os resultados de aprendizado coletados nas avaliaes no faz parte da rotina, os dados puderam demorar tanto para serem divulgados sem que isso tenha incomodado muito. H outra coisa: como vocs falaram, h certa reificao dos nmeros, que comeam a ser utilizados para outras finalidades, antes dessa finalidade maior, que seria a reflexo sobre as opes pedaggicas e administrativas da escola. Cadernos Cenpec: Muitas vezes, as crticas mais ferrenhas s polticas de premiao e bonificao colocam no mesmo pacote todo o sistema de avaliao e o criticam de modo a negar sua legitimidade... H ainda educadores que dizem que essas avaliaes externas retiram a autonomia e o poder do professor de avaliar os alunos.

cadernoscenpec | 190

A avaliao como instrumento de garantia do direito educao

Chico Soares: Voc coloca um ponto muito importante que precisa vir para o debate. No somos ns, de fora das escolas, que vamos definir o que certo ou o que errado. Isso deve ser feito pelas escolas e redes a partir da anlise pedaggica e gerencial dos dados obtidos. No entanto, as avaliaes tm uma funo de transparncia cidad. A sociedade tem direito de conhecer como est o trabalho educativo das suas escolas. Eu tenho dificuldade de entender como algum possa dizer que a verificao do direito no legtima. Tambm considero equivocado o raciocnio segundo o qual, j que h um mau uso, ou um uso indevido, a informao no deva ser gerada. A ideia da transparncia e da informao para a cidadania essencial em uma democracia. Por um acidente, encontrei recentemente um estudo que a ANS (Agncia Nacional de Sade) faz sobre os planos de sade. Ela considera trs grandes critrios: a qualidade do atendimento, a sade financeira e os esforos de preveno. Com base nesses critrios, divulga dados sobre como os diferentes planos atendem essas dimenses. Com isso, a ANS oferece uma informao importante, instrumenta a cidadania para o uso de uma informao, para uma boa escolha em suas decises. A avaliao educacional faz algo semelhante com as escolas. Mas isso no entendido da mesma maneira. Cadernos Cenpec: Quais seriam as condies para que se possa libertar a avaliao desses maus usos e fazer dela efetivamente um instrumento de verificao de direito? Chico Soares: Quando eu digo que ela tem de ter dimenso de verificao do direito, no significa que a avaliao deva ter apenas essa dimenso. No meu pensamento, um sistema de verificao do aprendizado deve existir independentemente de ser apropriado pela pedagogia ou no. No entanto, esse sistema caro demais para no ser utilizado para a transformao da pedagogia usada nas escolas. Idealmente, essa funo pedaggica deveria ser colocada, j no seu desenho, no planejamento das avaliaes. Isso no foi feito. Por exemplo, no caso de leitura, trabalhamos com vinte expectativas, chamadas descritores. muito pouco. No possvel orientar um professor no concreto da sala de aula, ao longo de quatro anos, na realidade ao longo de doze anos, porque os descritores so quase iguais para toda a Educao Bsica, utilizando somente essas vinte especificaes. Precisamos ter uma especificao mais clara do que cada criana precisa aprender. No sei se haveria necessidade de uma especificao por ano escolar ou por ciclo. Eu me prenderia mais na clareza, de tal maneira que, quando o resultado ou a cadernoscenpec | So Paulo | v.2 | n.1 | p.183-213 | julho 2012 191

SOARES, Chico

medida viesse, eu pudesse interpret-lo de forma clara e til. A realizao dessa atividade est colocada no Plano Nacional de Educao sob o nome de expectativas de aprendizagem, ou direitos de aprendizagem, como passaram a ser denominadas recentemente nos documentos do MEC. A resistncia s avaliaes tem a sua razo de ser na medida em que o uso para a reflexo pedaggica foi dificultado estruturalmente. No fundo, essa uma discusso curricular; preciso explicitar o currculo. Uma comparao com a medicina ajuda no entendimento. O mdico aprende os procedimentos de tratamento das doenas a que vai se dedicar. Incorpora o que j foi sistematizado. Ns no sistematizamos procedimentos pedaggicos na educao pblica. preciso conceder que isso mais difcil na educao, mas alguma sistematizao tem de ocorrer. O sistema de avaliao deveria ajudar nesse processo. Temos problemas na medida, problemas na avaliao e, naturalmente, problemas nas polticas. H uma corrida muito rpida para transformar esses nmeros, que so nmeros informativos, mas limitados, e essas avaliaes, que so ainda mais limitadas, em polticas pblicas. Nessas circunstncias, difcil imaginar que aquela informao obtida nas avaliaes externas de aprendizagem vo produzir indicaes precisas para polticas educacionais. Temos tambm problemas de coordenao entre os entes federados. S para concretizar isso: vimos no ano passado, em Belo Horizonte, as crianas das escolas municipais serem avaliadas pelo mesmo critrio trs vezes. A Prefeitura faz uma avaliao, o Estado faz outra e o Governo Federal, outra. Todos utilizando as mesmas definies. Isso no faz sentido algum. Cadernos Cenpec: As avaliaes se converteram elas mesmas em polticas... Chico Soares: Exatamente. Como elas mesmas se tornaram polticas, eu acho, ento, que temos de nos perguntar se essa poltica est produzindo os resultados esperados ou no. Ou seja, avaliar as avaliaes. Mas insisto: tudo isso no deveria nos levar de volta ao tempo em que no tnhamos essa preocupao com o registro do aprendizado dos alunos e podamos dizer que nosso projeto educacional era bom, pois assim o avalivamos. Cadernos Cenpec: Em sntese, por que as avaliaes so importantes? Chico Soares: Elas so importantes, antes de tudo, por possibilitarem o registro e a divulgao do aprendizado do aluno. Costumo dizer que o aluno

cadernoscenpec | 192

A avaliao como instrumento de garantia do direito educao

tem o direito de ser avaliado pelo professor, porque s assim suas fragilidades vo aparecer. E a mesma coisa vale para a escola: ela deve ter o direito de ver seus resultados, pois s assim a qualidade ou a limitao do seu ensino e a do seu projeto pedaggico poder aparecer. Cadernos Cenpec: Ns passamos de um sistema de avaliao amostral para um sistema censitrio, no caso do Ideb e, agora, no caso da Provinha Brasil. Como voc avalia essa passagem? H ganhos? Chico Soares: A questo de a avaliao ser ou amostral ou censitria , inicialmente, uma questo apenas de unidade de anlise. A avaliao amostral, implementada no Saeb, dava informaes sobre os sistemas estaduais de ensino. Isso cumpriu uma funo, mas no a de instrumentalizar as escolas, onde o aprendizado ocorre de fato. Nenhuma escola se via representada naqueles dados. A avaliao dizia que o ensino no estado no estava to bom, que as crianas no estavam aprendendo, mas nenhuma escola concreta entendia que precisava mudar suas prticas. Mas as diferenas de aprendizado entre esse e aquele estado, apontadas pelo Saeb, eram diferenas reais, que pediam uma explicao. Esses dados permitiram, ainda, a considerao de questes importantes que no puderam ser tratadas anteriormente, como, por exemplo, a equidade educacional. Ou seja, o sistema amostral teve muitos mritos no apreciados por alguns crticos que diziam que a nica coisa feita foi hierarquizar os sistemas educacionais de Educao Bsica dos diferentes estados. Embora as avaliaes amostrais tenham produzido informaes teis, a sociedade brasileira entendeu que, para dar um salto educacional, era preciso produzir informaes especficas por escola. A mudana para o formato censitrio se deu apoiada por dois grupos que, usualmente, no se entendem sobre questes educacionais. Apoiou a deciso um grupo que pensa que os resultados de avaliao devem ser usados para processos de responsabilizao das escolas e prestao de contas, posio mais frequentemente encontrada entre os economistas da educao. E tambm a apoiou o grupo de pesquisadores que acredita que as escolas so muito singulares e, assim, somente olhares especficos tm validade pedaggica, estes mais associados com as Faculdades de Educao. Cadernos Cenpec: Uma rara convergncia... Chico Soares: Uma rara convergncia gerou a Prova Brasil, que, portanto, quase no foi questionada. As discordncias s vo aparecer depois da criao cadernoscenpec | So Paulo | v.2 | n.1 | p.183-213 | julho 2012 193

SOARES, Chico

do Ideb. Entretanto, algumas decises nesse processo nunca receberam o escrutnio devido. Entendo que toda poltica pblica deve ser escrutinada por todos que sero por ela afetados. Os testes amostrais do Saeb tinham uma maior cobertura das competncias avaliadas, pois eram constitudos de 150 a 160 questes ou itens. Com tantos itens, era possvel contemplar as muitas nuances de cada competncia e, portanto, ter um diagnstico mais fino do ensino oferecido. Com a avaliao censitria, houve a reduo para 70 ou 90 itens e no sabemos qual a cobertura que hoje se tem em relao que se tinha. Eu no estou sugerindo que temos um problema de cobertura, mas estou afirmando que isso no foi objeto de escrutnio. A profuso de dados domina hoje o debate em torno da Prova Brasil, em vez de seu possvel impacto no ensino. Sou simptico proposta de organizao da avaliao censitria presente no primeiro Plano Nacional de Educao. Naquela perspectiva, no seria funo do Governo Federal fazer a avaliao de cada escola pblica do Pas, j que no pode agir sobre elas. Sua funo seria criar o critrio que definiria o que deveria ser aprendido, dando consequncia ao artigo 210 da Constituio que diz que h um conjunto de conhecimentos que todos devem aprender. Alm disso, seria sua funo criar a mtrica, a escala de medida. A testagem dos alunos poderia acontecer com a mesma tecnologia, a mesma escala, mas sob a responsabilidade de cada estado, em parcerias com seus municpios. Cadernos Cenpec: Isso no geraria problemas, talvez? Seria a transferncia da mesma prova para cada estado aplicar ou cada um teria o seu sistema? Chico Soares: A soluo para isso muito fcil. O Governo Federal faria as provas, pois possvel fazer muitas provas, todas equivalentes. Esse um problema tecnicamente resolvido, apesar de exigir coordenao. Essa coordenao , no entanto, menos complicada do que o acompanhamento da logstica de aplicao da Prova Brasil em todos os estados da Federao. Cadernos Cenpec: O Governo Federal faria a prova e os estados seriam responsveis pela aplicao. E os custos? Chico Soares: O Governo Federal poderia transferir parte dos recursos que gasta atualmente. No Brasil, mais usual pensar solues na direo da uniformidade. Uma amiga disse ontem que o Brasil tem saudade do Imprio e da escravido. O Pas continua sonhando com centralizao e naturalizando desigualdades. A centralizao uma ideia muito ruim na avaliao. Eu

cadernoscenpec | 194

A avaliao como instrumento de garantia do direito educao

preferiria um sistema em que o dado produzido fosse mais utilizado e mais refletido a um sistema com muitas qualidades tcnicas, produzindo nmeros pouco utilizados. Cadernos Cenpec: Voc pensa que o direito aprendizagem deve ser o mesmo, que qualquer criana, em qualquer lugar do Brasil, deveria ter alguns conhecimentos que foram definidos pela sociedade direitos de todos. Sabe-se, no entanto, que as condies para aquisio desses direitos variam, por exemplo, em funo do background familiar. Essa constatao justifica que sejam feitas medidas que levem em conta essas diferenas de partida para se avaliar o sistema educacional. Isso importante, mas no resolve a questo da desigualdade. Em suma, como possvel, ao se avaliar o sistema educacional, levar em conta as diferenas da partida, de origem, e, ao mesmo tempo, avaliar o direito e ver se a medida da aprendizagem, que deve ser vlida para todos, efetivamente est assegurada? Chico Soares: Quando digo deve haver uma expectativa de aprendizagem para cada capacidade, contemplada nos testes atualmente apenas para leitura e matemtica, no espero que todos alunos tenham o mesmo domnio de cada uma delas. O que se pretende que as variaes naturais e esperadas se deem em nveis que permitam s pessoas funcionarem em sociedade naquelas atividades para as quais a capacidade importante. Essa uma ideia nem sempre entendida ou claramente formulada. s vezes vemos defesa da proposta de que todos devem sair da escola com o mesmo desempenho. Isso impossvel. O objetivo deve ser que a grande maioria das crianas, ao fim de sua escolarizao, tenha desempenho acima de um patamar julgado adequado. Deve existir tambm um grupo de crianas e de jovens que sejam excelentes na capacidade medida. Dificilmente uma mesma pessoa ser excelente em vrias competncias, a no ser os pouqussimos geniais. Mas o Pas precisa de alunos excelentes em Fsica, em Qumica, nas Artes, nos Esportes, etc. A variao importante e necessria. Porm, hoje temos uma variao de carta marcada. Os baixos desempenhos, os que esto sempre na parte de baixo da distribuio, tem cor, sexo, origem social. Isso no desejvel. Principalmente porque estamos falando de Educao Bsica e, portanto, falamos de algo que todos devem ter por direito. Sabemos que essa situao no a nica possvel, pois temos muitos exemplos de grandes sucessos na alfabetizao em situaes sociais as mais

cadernoscenpec | So Paulo | v.2 | n.1 | p.183-213 | julho 2012

195

SOARES, Chico

diferentes possveis. Ou seja, possvel ! Ento, podemos, com os recursos e conhecimentos pedaggicos que temos, produzir mais aprendizado para mais crianas. Entretanto, temos de ter muita clareza de que a criana que traz pouco de casa exige mais recursos escolares. A sociedade tem de estar ciente de que a excluso social criada no incio da vida gera custos extras para ser superada na escola. Gera mais necessidades. Paradoxalmente, o sistema educacional tem feito o contrrio: a criana que traz menos de casa colocada em escolas que tem menos. Nessas circunstncias, fica difcil superar as dificuldades. Cadernos Cenpec: Mas necessrio ter alguns patamares universalizados, a alfabetizao at os sete anos, por exemplo... Chico Soares: Vamos usar a alfabetizao para tratar desse tema. Como as pessoas so diferentes, no haver um resultado nico para todas as crianas. Quando se diz que crianas devem estar alfabetizadas aos sete anos, devese entender que as crianas no s tiveram oportunidades adequadas de alfabetizao, como tambm conseguem ler acima de um patamar de proficincia estabelecido, ao se construir a escala de medida da alfabetizao. No se deve ter medo da variao, mas sim medo de deixar alguma criana para trs, ou seja, no dar a todas acesso a essa capacidade essencial. No entanto, existem casos que, frequentemente por deficincias fsicas, tornam extremamente difcil a alfabetizao at o patamar desejado. Mas sempre importante lembrar que essa condio no tira o direito educao dessas crianas. O atendimento do direito delas, entretanto, mais difcil e custoso. Exige estruturas especiais tanto pedaggicas como de pessoal. Cadernos Cenpec: Voc acha possvel incluir a ideia da equidade na avaliao? Chico Soares: O conceito de equidade um dos mais difceis de serem entendidos, pois s pode ser tratado em coletivos de pessoas. Dois alunos podem ter desempenhos diferentes como resultado das variaes naturais e esperadas em sociedades humanas. Mas, idealmente, em uma sociedade educacionalmente equitativa, se analisarmos sem identificao as curvas de aprendizado de alunos de grupos sociais diferentes, no deve ser possvel identificar a curva de cada grupo. Ou seja, em um sistema educacional justo, existe variao, mas a variao a mesma para os diferentes grupos sociais, criados a partir de classificaes sociodemogrficas. Por exemplo, a distribuio de desempenho deveria ser a mesma tanto entre as crianas que nasceram no sul, como entre as que nasceram no norte. Em ambas devemos

cadernoscenpec | 196

A avaliao como instrumento de garantia do direito educao

observar, nas mesmas propores, excelncia, resultados medianos e resultados ruins. Cadernos Cenpec: Vamos falar do Ideb? Em certa ocasio, voc afirmou que ele um indicador de nvel socioeconmico caro. Chico Soares: Eu no sou poeta, mas me permito algumas licenas, s vezes [risos]. Como eu disse antes, eu gostaria que todas as decises relativas s avaliaes educacionais passassem por completo escrutnio pblico. Voc acabou de chamar a ateno para o fato de que a avaliao uma poltica e, portanto, deve ser avaliada. O que ocorreu, no caso dos indicadores, que eles foram pouco escrutinados. Entre a proposio e o uso intensivo, tivemos pouca discusso, inclusive tcnica. Longe de mim dizer que o Ideb no tem importncia, que as suas imperfeies impedem sua utilidade. De jeito nenhum. Mas ele no precisava ter algumas de suas limitaes. Do modo como est feito, reproduz de uma maneira muito forte as condies socioeconmicas dos alunos. Por qu? Porque se sabe que aquilo que o aluno traz de casa facilita ou dificulta o aprendizado. Como o Ideb mistura essas duas coisas a escola e a famlia no , portanto, uma medida pura da eficcia da escola para atender seus alunos. Se sairmos do Ideb e formos para o Enem, talvez seja possvel entender minha posio de uma forma mais clara. Quando a mdia do desempenho dos alunos das escolas publicada, a sociedade no tem dificuldade alguma de entender os resultados. Ningum se surpreende ao ponto de dizer que alguma coisa est errada. So os suspeitos habituais nos lugares habituais. Esto nos primeiros lugares, com as melhores mdias, as escolas que selecionam seus alunos pelo nvel socioeconmico ou que fazem admisso atravs de exames de alta competitividade. Ningum tem dificuldade com a hierarquizao resultante. As propagandas intensivas vo insistir, sem convencer, que os resultados so da escola e no dos alunos. O mesmo vale para pensar o Ideb. Hoje, usar o Ideb para hierarquizar os municpios ruim, porque h uma grande diversidade de projetos educacionais e muitos esto produzindo um bom aprendizado com as crianas que tm. No perceber que h transformaes relevantes em situaes onde os resultados finais ainda no so suficientemente bons muito ruim. jogar fora um nmero til. Cadernos Cenpec: Ento as avaliaes precisariam incluir alguns elementos que permitissem ver com mais clareza, como voc diz, o que o

cadernoscenpec | So Paulo | v.2 | n.1 | p.183-213 | julho 2012

197

SOARES, Chico

aluno traz de casa e o que a escola fornece? Chico Soares: Isso, perfeito. E a eu quero sublinhar a palavra avaliao e no a palavra medida, porque isso muito confundido. No vejo nada de errado em medir e constatar que essa pessoa se saiu melhor que aquela. Outra coisa tentar explicar essa diferena de desempenho sem trazer os elementos sociais. Mas o fato de eu explicar o desempenho pelas vrias caractersticas escolares ou sociais no pode ser uma desculpa. Quer dizer, o fato de se ter uma boa justificativa para o no aprendizado no nos liberta da necessidade de irmos buscar a boa pedagogia para que aquela criana concreta tenha o aprendizado a que tem direito. Eu parto sempre da ideia do direito e isso me leva a buscar saber qual o arranjo escolar que vai permitir a essa criana concreta aprender, inclusive as crianas que tiveram experincias de excluso social. Para mim, no fundo, a criana no aprende por um problema de estratgia educacional, por uma falha escolar, pedaggica. No aprende porque no descobrimos ainda a maneira de ensinar para aquela criana. A explicao atravs de estruturas sociais tem utilidade limitada, precisa ser seguida pela busca da soluo pedaggica. Para tentar ser mais claro, vou usar como metfora a medicina. A medicina tem um consenso chamado de CID (Cdigo Internacional de Doenas). Ao longo dos anos, as doenas foram sendo classificadas de formas extremamente especficas. O cncer no um so cnceres e so dezenas e, qui, centenas. Com essa classificao os profissionais tm uma referncia para identificar a doena que acomete uma pessoa e logo desenvolver o tratamento que deve ser usado. Precisamos de algo parecido na pedagogia. Uma linguagem que nos permita perceber as dificuldades especficas dos alunos reais e formas de superlas. No conseguimos fazer isso ainda. No entanto, existem nas escolas reais projetos pedaggicos inovadores ou bem implementados que tm conseguido essa faanha. Entretanto, diferentemente da medicina, essas experincias no esto sistematizadas. Nesse sentido, sou otimista; a avaliao educacional est viabilizando tambm esse tipo de reflexo. Em suma, a explicao que prioriza as condies sociais associadas ao no-aprendizado provisria e precisa ser substituda por esta questo: como reorganizar o pedaggico para que a aprendizagem acontea? Cadernos Cenpec: Sem essas explicaes muito difcil saber o quanto a escola est contribuindo efetivamente ou no para o desempenho do

cadernoscenpec | 198

A avaliao como instrumento de garantia do direito educao

aluno. Como que voc v essas polticas de responsabilizao forte da escola e de bonificao que alguns estados e municpios tm adotado? Chico Soares: Primeiramente, por uma questo de transparncia, devo dizer que fiz um estudo para a introduo de bnus no sistema da prefeitura de So Paulo. Para mim, importante que um sistema de bnus se baseie nas diferenas de aprendizado dos alunos, depois de retiradas as influncias das caractersticas sociodemogrficas, que cristalizam experincias sociais e escolares anteriores. Sabemos que essas diferenas explicam grande parte das diferenas observadas. Se no forem consideradas, o bnus ser atribudo aos profissionais das escolas que atendem a alunos de melhor perfil socioeconmico. Esse tipo de anlise mostra que, em uma cidade como So Paulo, que tem mais de 500 escolas municipais, existem escolas muito diferentes em termos de atendimento de seus alunos, como reflexo de suas rotinas e prticas pedaggicas. Essa uma informao que o debate educacional precisa utilizar. Eu no posso me dar ao luxo de descartar uma informao to preciosa. importante ressaltar que, na minha formulao, bonificao no salrio. So questes diferentes, que devem ser pensadas com hipteses diferentes. O bnus para a constatao do bom resultado inesperado e sua celebrao. Acho bom e justo que bons resultados, que podem ser associados aos esforos das equipes escolares, sejam conhecidos e celebrados. O bnus uma forma de se fazer isso. Um bom exemplo vem do Esprito Santo, um estado pequeno e que no est nas manchetes. L, primeiramente, negociou-se o salrio e, depois disso, implantou-se o bnus, aceitando-se a ideia de que quem est fazendo melhor e em condies mais adversas merece ser recompensado. Eu participei da elaborao dessa poltica do Esprito Santo. Cadernos Cenpec: um sistema parecido com o do municpio de So Paulo? Chico Soares: . S que o do municpio de So Paulo tem dados mais completos e que permitiram a considerao de outras dimenses. A explicao um pouco tcnica. Quando analisamos o aprendizado dos alunos de uma escola, deveramos saber onde a escola estava no perodo anterior e onde ela est hoje. Ou seja, sua trajetria deve ser considerada. Uma coisa a escola estar muito bem e depois cair um pouquinho, queda essa que provavelmente

cadernoscenpec | So Paulo | v.2 | n.1 | p.183-213 | julho 2012

199

SOARES, Chico

significaria uma mera flutuao relativa s caractersticas da coorte de alunos. Outra coisa ela estar muito abaixo e ter crescido, algo que deve ser comemorado. Mas h outras possibilidades. Por exemplo, uma escola estar muito abaixo e no melhorar nada. O que se espera da escola que est abaixo que ela melhore. Se ela est no alto, o que significa que seus alunos esto aprendendo, esperamos que ela no caia. Essas dimenses foram consideradas no modelo que uso para desenhar as minhas recomendaes para a prefeitura de So Paulo. Sou completamente favorvel a que os dados de eficcia escolar sejam utilizados. Isso, entretanto, leva o debate educacional a sair do espao pedaggico para, de modo absolutamente legtimo, ir para o espao do embate das foras polticas. Claro que o sindicato no vai apoiar que um projeto pedaggico de uma escola seja distinguido de outro, porque, na sua viso, legtima e necessria, no se deve fazer distines entre escolas. Mas a viso do sindicato no a nica que precisa ser considerada no debate para escolha de polticas pblicas. muito salutar conhecer as diferenas que surgiram pelas opes pedaggicas e gerenciais tomadas nas diferentes escolas. Cadernos Cenpec: Agora uma pergunta um pouco mais tcnica sobre o Ideb. Voc costuma dizer que, para podermos ter um olhar para a equidade, os indicadores deveriam considerar dados dos alunos. Essa seria uma fragilidade do Ideb, porque se baseia na mdia da escola. Escolas com desempenhos mdios de aprendizagem podem ser muito diferentes na forma como os resultados dos alunos se distribuem, no? Chico Soares: Os estatsticos, meus pares de formao, adoram a mdia... e tambm o desvio padro... [risos]. Mas eu aprendi que a mdia , com frequncia, uma m escolha metodolgica para descrever dados de desempenho educacional. Quando fazemos anlises usando a mdia, estamos assumindo que a realidade, vista atravs de um aluno tpico, um aluno mdio, a mesma realidade que seria vista se todos os alunos fossem considerados. Com frequncia essa hiptese no razovel. Pensar com os dados individuais dos alunos e no com uma mdia faz muita diferena do ponto de vista de poltica. Afinal, os direitos de aprendizagem so individuais. O atendimento do direito de uma pessoa no informa nada sobre o atendimento do direito de outros. Alm disso, o uso da mdia pode legitimar o uso pelas escolas de estratgias pouco equitativas. Quer dizer, a mdia tem dentro de si uma dimenso de excluso, porque pode crescer com o resultado de poucos. Esse um problema srio.

cadernoscenpec | 200

A avaliao como instrumento de garantia do direito educao

Cadernos Cenpec: E no Ensino Mdio? Chico Soares: No Ensino Mdio esse tema mais discutido. A divulgao do Enem nesse ltimo ano j usou categorias de participao das escolas. Elas foram comparadas com outras com o mesmo nvel de participao dos alunos. Melhor seria se fossem divulgados percentuais de alunos em, por exemplo, quatro nveis de desempenho. Isto daria uma melhor viso da variao de resultados dentro de cada escola. Alm disso, seria tambm muito bem-vindo mostrar os resultados por escolas agrupadas em nveis socioeconmicos. Afinal, a diferena entre os alunados que mais explica as diferenas de desempenho. O Instituto Unibanco financiou um trabalho de nosso grupo de pesquisa, o Game, (Grupo de Avaliao e Medidas Educacionais, da Faculdade de Educao da UFMG) que viabiliza essa abordagem. Temos o nvel socioeconmico de todas as escolas que j participaram da Prova Brasil e do Enem com mais de 15 alunos. Cadernos Cenpec: Voc falou que a sua abordagem pelo direito educao, mas as pessoas, no campo educacional, quando ouvem falar em nmero, mensurao, medida, tendem, com certa frequncia, a associar essa perspectiva com uma abordagem economicista da educao. Como que voc v isso? Chico Soares: Existem diferentes modelos tericos para se estudar a educao. Os economistas usam o modelo terico do Capital Humano, que coloca uma finalidade econmica no aprendizado. Eu no estou preocupado, quando penso a Educao Bsica, em como cada estudante usar o conhecimento adquirido. Apesar disso, assim como os colegas que tm uma preocupao central com o impacto econmico, defendo que precisamos verificar o aprendizado, medi-lo, verificar as associaes com as estruturas escolares e sociais para o desenho de polticas mais efetivas. Assim, nossas diferenas tericas no impedem o dilogo e a reflexo conjunta. Claro que h certo estranhamento quando estamos em ambientes que valorizam apenas outros modelos. Mas esse confronto de modelos e a cooperao na anlise dos dados constituem a essncia do debate educacional. H, porm, algumas nfases conceituais que dificultam, de fato, o debate. Por exemplo, o contraponto entre resultados e processos chega s vezes a impedir a cooperao. Minha soluo para esse aparente conflito foi construda a partir de uma reflexo filosfica do Amartya Sen, economista e filsofo. No seu ltimo livro, A ideia de justia, ele traz uma reflexo preciosa. Ele expande a ideia do resultado em um conceito que ele chama em ingls

cadernoscenpec | So Paulo | v.2 | n.1 | p.183-213 | julho 2012

201

SOARES, Chico

de comprehensive result resultado abrangente, que inclui processos em contraponto ideia de culmination result resultado final . Ou seja, ele qualifica o resultado, mas sem abandonar a ideia da importncia de os processos produzirem resultados. Em educao, reiterando minha viso, no considerar resultados de aprendizado optar por no verificar o direito. No entanto, a escola tem funes alm das que so verificadas nas atuais avaliaes. Devem ser considerados muitos outros aprendizados, a aquisio de valores democrticos e republicanos, por exemplo, e tambm as condies escolares e sociais nas quais os aprendizados se do. Quer dizer, os processos so fundamentais na medida em que viabilizam a ocorrncia do aprendizado. Essas duas dimenses processos e aprendizados precisam estar harmonizadas. No se pode colocar uma contra a outra, o resultado contra o processo. No Brasil, o debate educacional frequentemente dificultado por isso. No entanto, aos poucos esse quadro vai se transformando. Temos uma experincia muito interessante na UFMG. Eu e a professora Maria Teresa Gonzaga Alves oferecemos uma disciplina optativa sobre avaliao dos sistemas educacionais. J estamos no quarto semestre e temos tido uma turma de 40 alunos em todos os semestres. Ou seja, quase todos os alunos do curso de Pedagogia da UFMG dos ltimos dois anos optaram por curs-la. Como a imprensa fala sistematicamente de indicadores, as alunas de Pedagogia querem aprender para entender e participar da discusso e tambm, penso, para ter mais possibilidades de insero profissional. preciso reconhecer, contudo, que o sistema de avaliao tomou decises que dificultaram a percepo de sua relevncia. Os nmeros produzidos passaram, como disse antes, a ter vida prpria, quando deviam ter sempre uma expresso escolar, pedaggica. H muita mistificao, como a que cerca a TRI (Teoria da Resposta ao Item). Tudo isso gera justificadas e compreensveis rejeies. Cadernos Cenpec: Mas, ainda que as medidas no tivessem os problemas que tm hoje, parece haver uma lacuna muito grande em termos de formao do professor e da comunidade escolar para que as escolas possam de fato se apropriar desses dados. Chico Soares: A necessidade, o uso e o entendimento das medidas educacionais precisam entrar no dia-a-dia do fazer pedaggico. Nas minhas palestras, eu costumo dar o exemplo do ndice de Massa Corporal, o IMC. Ele no existia anos atrs e hoje est incorporado na discusso da

cadernoscenpec | 202

A avaliao como instrumento de garantia do direito educao

preveno de doenas. E seu clculo envolve uma raiz quadrada! Ou seja, o IMC um conceito bem complicado, mas ningum deixa de us-lo por isso. Foi incorporado, pois seu significado foi compreendido. Em relao s orientaes mais gerais, acho que, com ou sem nmeros, existem pessoas que pensam o sistema de educao com uma viso de incluso e outras com uma viso de segmentao. Como os que enfatizam a segmentao usam muito a hierarquizao de alunos, escolas e sistemas, facilitada pelos nmeros, a utilidade dos nmeros para a viso mais inclusiva da educao frequentemente no percebida. Mas essa no exatamente a minha viso. Ou seja, precisamos que a formao inicial dos professores contemple a realidade retratada nos resultados das avaliaes. Cadernos Cenpec: Comeamos nossa conversa falando da construo do campo de estudos sobre a avaliao educacional no Pas. Voltando a esse ponto, voc sente que ainda h uma grande polarizao que, artificialmente, divide quantitivistas e qualitivistas? De lado a lado, no raro a acusao a mesma e h eventos de desqualificao dos grupos de pesquisadores; h acusaes de que o domnio de atuao do outro ideolgico. Como anda essa polarizao no campo da pesquisa educacional? Chico Soares: Vou citar o Amartya Sen de novo. Em seu livro, ele volta a Adam Smith, mas no para trazer a tese da mo invisvel. Ele retoma com o debate pblico, sintetizado pela metfora do observador imparcial como forma de construo da boa poltica pblica, que seria aquela que foi escrutinada em um debate que deve ter a participao das pessoas cujos interesses so tocados por aquela poltica. Por isso, o debate educacional tem de incluir os professores, porque qualquer poltica pblica ir afet-los. preciso contar tambm com a viso de todos os intelectuais orgnicos, retomando o conceito de Gramsci, dos diferentes grupos polticos organizados e interessados, os empresrios, os movimentos sociais, os pais. Mas no temos conseguido e isso no exclusividade do Brasil que esse debate acontea de forma produtiva. Entre outras razes porque no h ainda um consenso sobre os objetivos, sobre os conceitos. H muitas certezas e o debate existente apenas uma apresentao das posies particulares. Na minha atividade, enfrento muita incompreenso quando procuro mostrar que a questo da equidade s pode ser estudada depois da existncia dos dados representativos de grandes coletivos de alunos. Uso metodologia

cadernoscenpec | So Paulo | v.2 | n.1 | p.183-213 | julho 2012

203

SOARES, Chico

quantitativa e dados empricos, pois isso exigido pela minha questo bsica de pesquisa, a equidade educacional. Assim, sempre procuro mostrar que os modelos de anlise da qualidade devem incluir tambm a dimenso da equidade. Isso no fcil, mesmo porque no tenho todas as respostas para as questes metodolgicas que o problema da equidade me coloca. Mas consigo mostrar que o uso dos dados numricos segue uma lgica conceitual e, nesse caso, de valores. Ento... A polarizao existe. Mas j h iniciativas que sinalizam outros tempos. Fernando Haddad, ministro da Educao entre 2005 e 2012, deu um exemplo que precisa ser seguido. O ex-ministro tem uma formao acadmica ampla: graduado em Direito, mestre em Economia e doutor em Filosofia. Quando esteve no Ministrio, ouvia frequentemente, em mbito privado ou atravs de auxiliares prximos, pessoas com posies muito diferentes em educao. Alis, difcil identificar algum com reflexo relevante em educao que no tenha sido ouvido pelo ministro em algum momento. claro que sua viso de economista influenciou mais na adoo de polticas. Seria timo que mais pessoas seguissem esse exemplo, pois construiramos um debate educacional mais slido, que resultaria em melhores polticas. Outro exemplo relevante o programa de bolsas da Fundao Lemman. Jovens com slidas formaes em economia e sociologia esto podendo se formar no exterior em timas universidades em polticas educacionais. Resumindo: eu entendo os preconceitos, eles esto a e no me perturbam muito, desde que consigamos conversar. No entanto, estamos conversando muito menos do que poderamos, pois muito mais confortvel estar no interior do prprio grupo. Cadernos Cenpec: E na Universidade, o debate avana mais do que no campo da poltica pblica? Chico Soares: Na rea da educao, em relao avaliao, a contribuio da Universidade poderia ser maior do que tm sido. como se as polticas educacionais que aconteceram no Brasil depois da redemocratizao tivessem caminhado mais rpido do que a produo acadmica da universidade. O sistema de formao de professores, por exemplo, refletiu muito pouco as muitas informaes geradas pelas avaliaes. As fragilidades da instruo utilizada foram identificadas, mas isso no foi incorporado ao nosso sistema de formao. A pesquisa educacional necessria para tornar a medida mais relevante pedagogicamente, a avaliao mais til e as polticas pblicas mais

cadernoscenpec | 204

A avaliao como instrumento de garantia do direito educao

efetivas ainda no foi feita. E isso apesar de um pujante sistema de psgraduao em Educao. Cadernos Cenpec: Voc falou do impacto das avaliaes sobre o currculo. Isto no estaria relacionado com a ausncia de bases slidas para as medidas? Chico Soares: A avaliao deveria vir depois da definio de um currculo, mas no Brasil fizemos o contrrio. Tanto o Saeb quanto a Prova Brasil vieram antes de uma especificao geral e compreensvel do que as escolas deveriam ensinar. Isso complicado porque as avaliaes so muito objetivas. Vou me reportar ao Enem novamente. Existem especificaes curriculares para o Ensino Mdio que so pouco conhecidas fora do crculo daqueles que se dedicam ao estudo desse segmento da educao. Ao mesmo tempo, existe uma matriz de especificao dos testes do Enem que um nmero enorme de pessoas usa e conhece. Hoje eu li uma notcia sobre empresas que vo vender questes do tipo das do Enem para os interessados receberem pelo celular. O que ser utilizado para a construo dessas questes? Certamente no ser a recomendao curricular, mas a matriz da avaliao. Essa preponderncia da matriz da avaliao no boa. Isso consequncia do fato de as referncias curriculares serem muito genricas, enquanto que as matrizes das avaliaes so especficas e, assim, podem ser mais facilmente apropriadas. A questo curricular um tema pedaggico por natureza. S por meio de uma reflexo curricular ser possvel descobrir exatamente as dificuldades de aprendizado, o conhecimento necessrio para termos uma ao pedaggica mais efetiva. Em ingls isso chamado de diagnostic assessment: as dificuldades de aprendizagem so diagnosticadas e tratadas. Para isso preciso ser mais focado, o que exige uma clareza muito grande sobre o que se deve aprender. No aprendizado de lngua estrangeira isso est muito desenvolvido. Um dado muito interessante que h mais gente estudando ingls na China do que falantes de ingls na Inglaterra. Com isso, as dificuldades que um falante de chins tem para aprender ingls esto sendo muito pesquisadas e, solues especficas, descobertas e divulgadas. Precisaramos de algo assim em vrias dimenses da Educao Bsica para no enfrentar o problema de que muitos passam pela escola sem aprender. preciso pesquisa pedaggica ao lado, antes e depois da avaliao. Como no o nosso caso, tudo isso fragiliza o que temos, fragiliza o uso que acabamos fazendo dessas informaes. Eu trabalho com a hiptese de que, quando o aprendizado no acontece, temos

cadernoscenpec | So Paulo | v.2 | n.1 | p.183-213 | julho 2012

205

SOARES, Chico

um problema de ensino. Portanto, preciso encontrar soluo para isso, buscando, trocando e refletindo dentro da pesquisa pedaggica. Cadernos Cenpec: Mas h uma forte oposio, especialmente das universidades, em relao formulao de expectativas curriculares nacionais... Chico Soares: Para responder tenho que dar um passo atrs. Na Universidade, fundamental e extremamente salutar que vrias propostas pedaggicas sejam estudadas. Existem propostas que tm um histrico de efetividade muito bom, mas para muito poucos. Um exemplo de que gosto muito o da escola Waldorf, onde h ciclos, aprendizados para as diferentes etapas da vida e uma proposta que funciona muito bem. Claro que o socilogo vai dizer que no o mtodo, so as famlias que buscam essas escolas. Eu no afasto a possibilidade de, neste caso, ser o mtodo. Entretanto, quando estou falando de direito de milhares, de milhes de alunos, no posso assumir que vou resolver problemas sociais to srios com solues artesanais. Por outro lado, o professor no um preparador de sanduche de lanchonete. No se planeja uma escola assumindo que se vai receber uma proposta pedaggica pronta, que deve simplesmente ser reproduzida. Ele tem que refletir, mas refletir a partir de decises que foram tomadas em um coletivo que a ultrapassa. O projeto pedaggico no uma opo individual. Se o professor identifica que ensinou um clculo matemtico de uma maneira a uma criana que no aprendeu, ento sua funo descobrir outra maneira de ensinar e no decidir que h formas de instruo que no so legtimas. Cadernos Cenpec: O professor recebe um mandato coletivo... Chico Soares: Sim, um mandato coletivo. S que esse mandato coletivo est registrado de forma muito difusa. Melhor seria se ele fosse mais preciso. nesse ponto que h um embate. No temos outro exemplo de especificao seno aquele que est feito nas avaliaes e, como eu disse h pouco, essa especificao no suficiente para informar um projeto educacional. Esta uma questo importante deste momento. Sobre a oposio a que voc se refere, a minha experincia mostra que, sempre que refletimos de forma slida e profunda sobre o problema do aprendizado, as diferenas ideolgicas diminuem muito, continuam a existir, mas no so impedimento para a busca da soluo pedaggica. Afinal, todos querem, por exemplo, que as crianas e os jovens sejam capazes de, ao fim

cadernoscenpec | 206

A avaliao como instrumento de garantia do direito educao

do seu perodo de escolarizao bsica, ler e entender os textos que sua participao cidad, poltica e o trabalho exigem. O que quero dizer com especificar? Quando a Constituio e a LDB, a Lei de Diretrizes e Bases (1996), afirmam que a educao um direito de todos, dever do Estado e da famlia, o que se pretende? Pretende-se que se realizem trs objetivos: o pleno desenvolvimento da pessoa humana, a insero na sociedade e a preparao para o trabalho. Mas so objetivos to amplos que acabam no dizendo nada. O que o pleno desenvolvimento da pessoa humana? Algum tem que especificar isso. Penso que ganharamos especificando. Mas a vem alguns que acham que preciso especificar, na minha metfora um pouco depreciativa, como uma receita de sanduche. Entendo que a especificao educacional deve estar no meio-termo: deve ultrapassar a generalidade, mas no deve chegar a impedir que o professor considere a especificidade de seus alunos. Cadernos Cenpec: Mas o MEC est nesse processo, no est? Chico Soares: O MEC tem dvidas internas muito grandes. H um embate e, at onde estou informado, no clara ainda a posio que ser vencedora. Cadernos Cenpec: E a questo das metodologias? Chico Soares: O caso da educao interessante porque ela vista por muitos como uma rea que no requer tecnologia. Na questo da alfabetizao, por exemplo, eu j ouvi cabeas coroadas argumentarem assim: a minha filha aprendeu com a irm e, portanto, os cursos de capacitao de alfabetizao so desnecessrios. Mas no esse argumento que eles vo utilizar em outras reas da sociedade. H um grande desconhecimento sobre a educao... H um grupo de pessoas que fizeram transformaes importantes no Brasil, seja na gesto, seja nas indstrias e que agora atuam na rea da educao. Eles querem resolver os problemas que identificam com as metodologias que viram funcionar, mas sem nenhuma ateno s especificidades da educao. Para estes eu sempre digo: bem-vindos ao mundo da complexidade. Para ilustrar, gosto de contar uma histria que vivi, ainda que muitos amigos digam que a inventei. Nos anos 1970 havia em Belo Horizonte uma livraria muito conceituada: a Van Damme. Vendia livros importados e era muito visitada. Eu estava l um dia quando entrou uma pessoa toda chique e pediu um dicionrio, mas acrescentou que podia ser pequenininho porque iria us-lo muito pouco. Eu adoro essa metfora usada na educao. como se para a educao fosse possvel encontrar solues simples, baratas e rpidas. Ingenuidade?

cadernoscenpec | So Paulo | v.2 | n.1 | p.183-213 | julho 2012

207

SOARES, Chico

Cadernos Cenpec: Uma pergunta mais geral: como voc v o ensino de Matemtica? Esse um tema caro para voc? Chico Soares: Olha, o tema caro para mim, hoje, o da leitura. O Ziraldo, que tambm mineiro, disse que ler mais importante que aprender. claro que uma licena potica, essa verdadeira. O professor Lino de Macedo, da Faculdade de Psicologia da Universidade de So Paulo (USP), outro dia me dizia que at a Matemtica tambm pode ser vista como um projeto de leitura. Quer dizer, quando estamos na Educao Bsica, estamos no domnio de um grande projeto de leitura. Claro que a Matemtica tem um papel importante. Os nossos piores resultados so em Matemtica. Por qu? Nos quatro primeiros anos do Ensino Fundamental, temos o professor polivalente, que frequentemente tem pouca formao em Matemtica. Quando comparamos as experincias internacionais, vemos que h outras solues. O livro do professor Martin Carnoy, de Stanford, sobre a vantagem acadmica de Cuba, mostra por que os cubanos, que do ponto de vista fsico e cultural so muito parecidos com os brasileiros, sabem muito mais matemtica do que ns. Isso porque o currculo de Cuba veio da Alemanha Oriental e extremamente exigente. No Brasil, temos uma expectativa de aprendizado muito baixa. Pensando em outro registro, preciso colocar a matemtica dentro da formao da pessoa. A matemtica uma coisa muito bonita, muito lgica. Um colega meu, que evanglico, diz que a linguagem de Deus. Sua beleza fez com que a educao da matemtica acabasse voltada para dentro da prpria Matemtica. Se a gente dissesse que a matemtica uma linguagem at para a apreciao artstica... A matemtica fundamental na Educao Bsica como uma forma de entender o mundo. Isso muito mais geral e to importante quanto seu papel na formao de futuros engenheiros. Cadernos Cenpec: Voc falou muito do Enem. O que voc achou da utilizao dele como um exame de ingresso na Universidade? Chico Soares: A reflexo sobre a Educao Bsica, em qualquer pas, deve vir acompanhada de uma pergunta: ser que estamos conseguindo que nossos alunos aprendam o que deveriam aprender? A ideia de ter um exame ao fim da Educao Bsica est presente em muitos pases. Existem exames muito tradicionais, verdadeiros ritos de passagem, na Frana, na Alemanha, na Inglaterra. No Brasil, temos um dificultador, porque a nossa Educao Bsica vai at os 17 anos. Em muitos pases, vai at os 15 anos. S para usar um exemplo prximo, que me muito caro, o do Mxico. L a Educao Bsica

cadernoscenpec | 208

A avaliao como instrumento de garantia do direito educao

termina aos 15 anos, e depois tem a Secundria Superior, que equivalente ao nosso Ensino Mdio, mas tem uma enorme diversidade de currculos. Dificulta muito no Brasil termos um projeto de Ensino Mdio nico para todos os jovens de 15 a 17 anos. Claro que existem conhecimentos comuns que todos devemos saber, mas nesse momento da vida muitos j tomaram decises de insero social que so legtimas e que devem ter apoio escolar. Existe uma coisa tima no Enem. Ele sinaliza que so quatro grandes reas: linguagem, matemtica, cincias da natureza e cincias humanas na sua dimenso cultural. O que no precisaramos ter a mesma nfase nessas quatro reas em todos os projetos de Ensino Mdio. Mas, como eu disse, a especificao que existe a da avaliao, pois a orientao curricular genrica. Ento, o que acaba valendo a especificao do Enem e ela no atende diversidade das necessidades dos alunos. Precisaramos ter essas quatro reas, mas com as nfases que as opes dos alunos exigirem. Essa reflexo foi feita em parecer do Conselho Nacional de Educao sobre o Ensino Mdio em 1997, mas infelizmente no teve o impacto desejado. O Enem produziu uma mudana importante: quer que a pessoa responda a perguntas que envolvem conhecimentos de mais de uma rea. Essa uma mudana que no devemos minimizar, uma mudana que impacta o ensino. Mas o Enem no enfrenta a questo da existncia legal de 19 componentes curriculares do Ensino Mdio. coisa demais. O melhor seria se o exame se estabilizasse em uma cobrana que ganhasse essa dimenso de interdisciplinaridade. Mas isso , de novo, um tema para o debate educacional, que felizmente est ocorrendo. Pessoalmente, eu gostaria de ver o Enem sendo utilizado apenas como na primeira etapa do vestibular, como a UFMG faz, e deixar o candidato que queira estudar Cinema mostrar outras habilidades, diferentes daquele que quer estudar Sociologia ou Engenharia. Cadernos Cenpec: O Enem est diminuindo o carter elitista das universidades pblicas? Chico Soares: Eu no tenho tanta segurana disso. O que est acontecendo que as universidades que usam o Enem terminam por receber uma verdadeira legio estrangeira, como o caso, em Minas, da Universidade Federal de Ouro Preto (UFOP). L, h alunos provenientes de todo o Pas. Isso porque, com o Enem, h a possibilidade de um aluno, com um nico exame, se candidatar a vrias universidades. Em So Paulo existe um nmero enorme de alunos muito qualificados e que no entravam nas universidades paulistas. Com cadernoscenpec | So Paulo | v.2 | n.1 | p.183-213 | julho 2012 209

SOARES, Chico

esse conhecimento adquirido, conseguem vagas em universidades de outros estados. Essa uma coisa com a qual o Enem de fato mexeu. Pessoalmente, gosto muito desse efeito, mas sei que isso polmico em algumas regies do Pas. A questo que a admisso s universidades continua contemplando os mesmos alunos. O que est mudando, de fato, o perfil dos alunos so os programas de cotas e aes afirmativas. Cadernos Cenpec: A incorporao de novos grupos sociais em algumas universidades e em alguns cursos no est se dando apenas pelo Enem, mas tambm pela expanso de vagas e por medidas especficas, no ? Chico Soares: Aconteceram dois movimentos sobre os quais eu gostaria de falar porque fazem parte das coisas em que acredito. Sou completamente favorvel, no caso da UFMG, a utilizar um sistema de bnus para empurrar o aluno que merece. Minha filha, quando foi fazer o vestibular, j falava ingls. Ela teve duas vantagens. Eram 120 questes, 15 eram de ingls. Ela fez as 15, acertou todas e ainda economizou um tempo que pde dedicar s outras questes. Essa uma vantagem indevida. Existem outras pessoas to capazes quanto ela, mas que morrem na praia. Ento, sou completamente favorvel ao sistema de bnus que beneficie os alunos que no aprenderam detalhes de disciplinas pela fragilidade de suas escolas e, no entanto, mostram slida formao e potencial para acompanhar os estudos da Universidade. Esses sistemas esto hoje presentes em muitas universidades, mas so polmicos, pois, no fim, tiram um aluno e pem outro. Naturalmente, quem est ficando de fora no gosta nem um pouco. Esses sistemas tm de ser calibrados de forma adequada para no gerar uma reao ruim na sociedade. Recentemente, a Universidade Federal Fluminense calibrou mal seu sistema e todos os aprovados eram bonistas. Isso porque era impossvel chegar ao valor mnimo de aprovao sem o bnus. O sistema de bnus uma iniciativa, uma forma importante de se tratar a questo do acesso e do direito educao. Estou tambm convencido de que a desigualdade no Brasil to grande e estrutural que as cotas tambm devem estar presentes. Mas gostaria de que os grupos contemplados por cotas fossem mais bem identificados. Atualmente, em muitos locais, as cotas favorecem os mais bem posicionados socioeconomicamente. A expanso das universidades federais foi outra dimenso da incluso, mas h de tudo nas expanses. Existe expanso pela cauda, expanso de carreiras cuja relevncia ainda est por se estabelecer. Essa ampliao tambm foi uma poltica que mudou o perfil dos alunos, mas eu estou menos seguro

cadernoscenpec | 210

A avaliao como instrumento de garantia do direito educao

de que o saldo, por hora, seja positivo. Todo pas precisa formar uma elite intelectual que, claro, no pode ter uma cor s, uma nica origem social. Essa questo est meio desatendida. Talvez o meu sentimento esteja errado nesse sentido, mas estamos assumindo que a qualidade de vrias universidades est consolidada; porm acho que essa qualidade delas construda num ambiente de pesquisa, de alunos dedicados, de cobrana. Nessa expanso, a defesa da excelncia no teve a proeminncia que deveria ter tido. Por outro lado, a expanso das universidades privadas atravs do ProUni das boas polticas pblicas feitas recentemente. Essas universidades tm outro projeto, mais prximo de formao de pessoal para o mercado de trabalho. Nessa dimenso, a incluso de centenas de milhares de alunos que antes no tinham acesso mudou muito o cenrio educacional. Cadernos Cenpec: Como garantir esses requisitos que constroem a qualidade, que voc menciona acima, nas Faculdades de Educao, que precisam de uma articulao muito forte com a Educao Bsica? Hoje, a pesquisa o elemento central da organizao da vida acadmica, mas ela pensada a partir de outras reas acadmicas e de necessidades que no so prprias para pensar a Educao Bsica... Chico Soares: A pesquisa importante. Mas o que est acontecendo no caso das Faculdades de Educao? Elas elegem como prioritrios temas que no esto associados funo bsica da Faculdade de Educao, que a formao de pessoal docente. Ns precisamos trazer para dentro do mundo da pesquisa, de forma mais central, as dificuldades concretas colocadas pelo ensino para a populao que est na escola pblica e no aprende o que deveria. Mas no conseguimos, porque o tempo, as cabeas, os recursos, as dedicaes e todas as honrarias esto dedicadas a outras coisas. ingenuidade pensar que no existem recursos. Precisamos trazer o atendimento do aluno real que temos para o centro da pesquisa. Cadernos Cenpec: Em outra direo, como as pesquisas podem influenciar as polticas pblicas? Chico Soares: A poltica pblica fruto de luta. O poltico quer se reeleger, no est preocupado com a evaso escolar necessariamente. Mas, se a evaso escolar impactar o voto, a ele vai, sim, se preocupar com ela. Os empresrios querem ganhar dinheiro, no esto preocupados com evaso escolar. Mas se puderem ganhar dinheiro arrumando uma soluo para a evaso escolar, eles buscaro essa soluo. Ns precisamos e preciso que o terceiro setor desempenhe esse papel de um grupo que pense e, por assim dizer, defenda cadernoscenpec | So Paulo | v.2 | n.1 | p.183-213 | julho 2012 211

SOARES, Chico

o bem pblico de tal maneira que se criem constrangimentos ou vantagens que conduzam a boas ofertas educacionais pblicas e privadas. O que eu gostaria de fazer isso com uma reflexo slida, baseada no melhor conhecimento que possamos ter o que papel da pesquisa, da cincia. A ao precisa estar apoiada nessa reflexo, tendo sempre o debate como garantia de que a gente no vai se encantar com solues fceis. Os sistemas privados de Educao Bsica esto florescendo sem crtica. A Constituio fala que o ensino livre iniciativa privada com dois condicionantes: a autorizao e a avaliao. Paradoxalmente, a escola privada de Ensino Fundamental no avaliada. Isso para mim uma inconsistncia, porque precisamos do contrrio. Nos ltimos dois anos, a matrcula nas escolas privadas subiu e nas escolas pblicas caiu. Isso faclimo de entender: as famlias tm mais renda, parte delas valoriza a educao e a opta por colocar o filho na escola privada. No entanto, no sabemos se esse esforo vai de fato atender ao anseio da famlia de oferecer uma educao de qualidade para seus filhos. Cadernos Cenpec: O quo importante a classe mdia voltar escola pblica? Chico Soares: Eu trabalhei com os dados da Prova Brasil com uma colega: Cibele Comini Cesar. Conseguimos verificar o seguinte: se voc aumenta a diversidade em uma turma, os alunos de alto desempenho perdem um pouquinho, mas o que eles perdem muito menos do que os outros ganham. A heterogeneidade prejudica muito menos do que ajuda. Eu falo no s de heterogeneidade socioeconmica, mas da cognitiva tambm. Cadernos Cenpec: Qual a heterogeneidade tima? Chico Soares: Em uma classe, a variao tem que ser pedagogicamente possvel. Em alguns projetos pedaggicos a enturmao por idade. Isso cria uma heterogeneidade impossvel de ser tratada pelo professor. Mas, quando uma turma tem uma variao adequada, isso salutar. O que aprendemos que, se considerarmos apenas o aprendizado em leitura e matemtica, a heterogeneidade salutar para muitos. Cadernos Cenpec: Isso contraria a lgica dos grupos que buscam uma homogeneidade definida pela alta renda e pelo alto capital cultural. A homogeneidade parece ser favorvel a esses grupos. Chico Soares: favorvel, sim. Mas do ponto de vista social isso gera

cadernoscenpec | 212

A avaliao como instrumento de garantia do direito educao

mais dano do que vantagem. Em uma situao de heterogeneidade, eles continuariam sendo super bem aprovados. Mesmo a educao pela seleo est enfrentando cada dia mais dificuldade. Vo sobreviver poucos colgios que podem ter um projeto pedaggico baseado na seleo. Cadernos Cenpec: Uma ltima pergunta: a setorizao da matrcula aceita quase como algo natural. Nos sistemas de ensino das grandes cidades, porm, a distribuio da matrcula pelo local de moradia dos alunos tem levado cada vez mais segregao nas escolas, que se tornam quase escolas de gueto, com populaes muito homogneas do ponto de vista dos recursos culturais. Em alguns pases, como os Estados Unidos, existe a possibilidade de os pais escolherem dentro de um setor trs ou quatro escolas e o sistema estrutura as escolas de modo a que elas sejam mistas do ponto de vista tnico, sociocultural, socioeconmico. Voc tem notcia de alguma coisa assim acontecendo no Brasil? Chico Soares: O que a gente sabe que os pais fazem de tudo para matricular os filhos nas escolas de boa reputao. Isso esperado e est presente em todos os lugares. No h uma soluo fcil a, porque se simplesmente tirarmos a restrio de matrcula perto do local de residncia, vamos ter uma demanda muito grande em algumas poucas escolas. Por outro lado, ns, da classe mdia, escolhemos a escola onde queremos que nossos filhos estudem. Difcil dizermos que isso no legtimo para os pais que dependem da escola pblica.

cadernoscenpec | So Paulo | v.2 | n.1 | p.183-213 | julho 2012

213