Do Provão Ao ENADE: Uma Análise Comparativa Dos Exames Nacionais Utilizados No Ensino Superior Brasileiro

Do Provo ao ENADE: uma anlise comparativa dos exames nacionais utilizados no Ensino Superior Brasileiro*
Robert Evan Verhine Lys Maria Vinhaes Dantas Jos Francisco Soares
Resumo
me que o antecedeu. Os autores concluem que o novo exame no conseguiu, at o Nesse artigo, os autores analisam, de momento, resolver vrios dos problemas idenmaneira comparativa, o Exame Nacional de tificados na abordagem anterior, mas que Avaliao do Desempenho de Estudante algumas das propostas, se implementadas, ENADE, e o Exame Nacional de Cursos constituiro um avano real para a utilizaENC, mais conhecido como Provo, a paro dos seus resultados. tir de crticas feitas ao segundo e da capaciPalavras-chave: Avaliao do ensino sudade do ENADE de enperior. Provo. ENADE. dere-las. Ao faz-lo, SINAES. Robert Evan Verhine identificam diferenas e PhD em Educao, Universitat similaridades entre os Hamburg, UH, Alemanha. Abstract dois exames, argumenProfessor Adjunto, UFBA tam que ambos tm inFrom the verhine@ufba.br tegridade tcnica e apreNational Lys Maria Vinhaes Dantas sentam contribuies Doutoranda, UFBA para o aprimoramento Course Exam lysv@ufba.br do exame vigente, tais (Provo) to Jos Francisco Soares como a elaborao de PhD em Educao, University of Michigan uma matriz permanente ENADE: a Professor do Programa de e a pr-testagem dos inscomparative Ps-Graduao em Educao, UFMG trumentos. Em sntese, as franciscosoares@ufmg.br anlises apontam para analysis of uma grande similaridanational de dos processos tcnicos das duas abordagens, enquanto que as diferenas se apreexams used in Brazilian sentam mais no plano conceitual, vez que o High School ENADE se prope a apresentar um indicaIn this article, the authors comparatively dor de diferena de desempenho e, especianalyze the National Exam for Evaluating almente, perde o carter high stakes do exa-
* O presente artigo baseado em um relatrio intitulado A Avaliao da Educao Superior no Brasil: do Provo ao ENADE, financiado pelo Banco Mundial sob encomenda do seu representante Alberto Rodriguez. Os autores agradecem a colaborao de Dilvo Ristoff, Diretor de Estatsticas e Avaliao da Educao Superior no INEP de Hlgio Trindade, Presidente da CONAES, e , dos membros das suas respectivas equipes que prestaram informaes para esta pesquisa.
Ensaio: aval. pol. pbl. Educ., Rio de Janeiro, v.14, n.52, p. 291-310, jul./set. 2006
292
Robert Evan Verhine, Lys Maria Vinhaes Dantas e Jos Francisco Soares
Student Achievement ENADE, and the National Course Exam ENC, better known as the Provo, focusing on criticisms directed at the latter and the ENADEs ability to address them. In so doing, they identify similarities and differences between the two exams, argue that both sustain an adequate level of technical integrity, and present suggestions for improving the present exam regarding aspects such as test specification and instrument pretesting. The analyses reveal that the technical processes adopted by the two approaches are very similar. Their differences are primarily conceptual in nature, since the ENADE, in contrast to the Provo, proposes to indicate achievement gain over time and is not high stakes in orientation. The authors conclude that the new exam has not, as yet, resolved a number of problems associated with the previous approach, but some of the current proposals, if implemented, constitute a genuine advance with respect to the utilization of the exam results. Keywords: High Education Evaluation. Provo. ENADE. SINAES.
Estudiantes (ENADE) y el Examen Nacional de Carreras (ENC, ms conocido como Provo), a partir de crticas hechas al segundo y de la capacidad del ENADE de encaminarlas. Al hacerlo, identifican diferencias y similitudes entre los dos exmenes, argumentan que ambos tienen integridad tcnica y presentan contribuciones para el perfeccionamiento del examen vigente, tales como la elaboracin de una matriz permanente y el testeo previo de los instrumentos. En sntesis, los anlisis sealan una gran similitud entre los procesos tcnicos de los dos abordajes, siendo que las diferencias aparecen ms en el mbito conceptual, dado que el ENADE se propone presentar un indicador de diferencia de desempeo y, especialmente, pierde el carcter high stakes del examen que lo antecedi. Los autores concluyen que el nuevo examen no consigui, hasta el momento, resolver varios de los problemas identificados en el abordaje anterior, pero que algunas de las propuestas, si fueran implementadas, constituiran un avance real para la utilizacin de sus resultados. Palabras clave: Evaluacin de la enseanza superior Provo ENADES - SINAES
Resumen Del Provo al ENADE: un anlisis comparativo de los exmenes nacionales utilizados en la Enseanza Superior Brasilea
En este artculo, los autores analizan, de un modo comparativo, el Examen Nacional de Evaluacin del Desempeo de los
Introduo
Na metade da dcada de 90, o governo brasileiro iniciou um processo gradual de implementao de um sistema de avaliao do ensino superior. O processo teve incio em 1995 com a Lei 9.131 (BRASIL, 1995), que estabeleceu o Exame Nacional de Cursos ENC, a ser aplicado a todos os estudantes concluintes de campos de conhecimento prdefinidos. Leis subseqentes incluram no sistema o Censo de Educao Superior e a Avaliao das Condies de Ensino ACE, atravs de visitas de comisses externas s institui-
Do Provo ao ENADE: uma anlise comparativa dos exames nacionais utilizados no Ensino Superior Brasileiro
293
es de ensino, mas o ENC, popularmente conhecido como Provo, permaneceu no centro desse sistema. Ainda que inicialmente boicotado em muitos campi, esse exame tornouse parte da cultura da educao superior no Brasil. Apesar do seu crescimento (de 3 reas de conhecimento testadas em 1995 para 26 em 2003) e da sua larga aceitao pela sociedade em geral, o Provo1 foi veementemente criticado por muitos membros da comunidade acadmica e especialistas em avaliao. Mudanas para esse exame foram amplamente debatidas durante a campanha presidencial de 2002 e, logo aps o novo presidente (Luiz Incio Lula da Silva) ter assumido o cargo, sua administrao anunciou a formao de uma comisso cujo trabalho teve como objetivo sugerir alteraes significativas ao sistema de avaliao vigente. Em agosto de 2003, a comisso props um novo sistema, chamado SINAES Sistema Nacional de Avaliao da Educao Superior, que foi formalmente institudo atravs da Lei 10.861 (BRASIL, 2004), aprovada em abril de 2004. Esse novo sistema inclua uma diferente abordagem para o exame de cursos, denominado ENADE Exame Nacional de Desempenho dos Estudantes. O presente artigo busca descrever, comparar e analisar o modelo do ENADE em relao ao exame que se props a substituir, atravs do levantamento das principais crticas feitas ao Provo e da sua resoluo, ou no, pelo ENADE. Ao faz-lo, procura identificar as diferenas e similaridades entre o ENADE e o Provo e discute a integridade tcnica dos exames. Para cumprir tais propsitos, alm da reviso da documentao existente (leis,
1 2
relatrios e artigos), foram conduzidas entrevistas com membros da equipe do INEP e da CONAES. importante enfatizar que todos os dados levantados a respeito da implementao do ENADE referem-se aplicao realizada em 2004. Assim, eventuais mudanas efetuadas para a aplicao em 2005 no so aqui consideradas. O presente artigo est organizado em trs sees alm dessa Introduo. A primeira seo descreve e contextualiza os dois exames o Provo e o ENADE. A segunda traz a comparao entre eles, a partir de seis das principais crticas feitas ao Provo e da tentativa do ENADE de endere-las. A terceira seo apresenta as consideraes finais, avaliando a integridade tcnica dos exames e oferecendo contribuies para a melhoria do modelo vigente.
Os diferentes contextos do Provo e do ENADE

Conforme amplamente documentado na literatura, o Provo nasce no mbito de globalizao e neoliberalismo, em que o ensino superior caracterizado por massificao e diversificao, por um lado, e maior autonomia institucional, por outro. Neste contexto, o estado, tanto no Brasil como no exterior, buscando conter despesas pblicas e valorizando o mercado como mecanismo de alocao de recursos escassos, inicia uma poltica de gerenciamento distncia, garantindo qualidade e responsabilidade social atravs de processos de avaliao em lugar dos de interveno e de controle direto.2 A partir da dcada de 80, no cenrio internacional, um modelo geral de avalia-
Nesse artigo optou-se por utilizar a terminologia popular, Provo, em lugar de sua abreviao oficial, ENC, ao se mencionar o Exame Nacional de Cursos. As relaes entre globalizao, neo-liberalismo e a avaliao do ensino superior so discutidos no contexto internacional por Brennan; Shah (2002), Heywood (2000) e Huisman; Curry (2004) e, no contexto brasileiro, por Dias Sobrinho (2003) e Gouveia e outros (2005).
294
o de ensino superior comea a emergir, caracterizado pela combinao de auto-avaliao e avaliao externa realizada por pares (BILLING, 2004). Embora este modelo no tenha se manifestado uniformemente, variando de acordo com as caractersticas especficas dos diversos contextos nacionais, interessante observar que, dentre aproximadamente 40 pases para os quais existem estudos na literatura disponvel, apenas o Brasil adotou o uso de um exame nacional de cunho obrigatrio. A legislao que criou o Provo determinou que exames escritos fossem aplicados anualmente, em todo o territrio nacional, a estudantes concluintes de cursos de graduao. Embora precedido por outras iniciativas buscando fomentar a avaliao do ensino superior no Brasil,3 foi a primeira poltica desta natureza a ser aplicada de forma universal e obrigatria (condicionada liberao do diploma). Desde o incio, foi planejada uma expanso gradual do nmero de cursos sob avaliao de modo a garantir cobertura de todas as reas. A poltica do Provo foi detalhada atravs do Decreto n 2.026/96 (BRASIL, 1996), que estabeleceu medidas adicionais para a avaliao da educao superior, determinando uma anlise de indicadores-chave da performance geral do Sistema Nacional de Educao Superior, por estado e por regio, de acordo com a rea de conhecimento e o tipo de instituio de ensino (baseada no Censo da Educao Superior). O Decreto acrescentava a avaliao institucional, cobrindo as dimenses Ensino, Pesquisa, e Extenso. Alm disso, determinava que to3 4
dos os cursos deveriam ser avaliados atravs dos resultados do Provo e dos relatrios de especialistas, que verificariam in situ as condies de ensino em termos do currculo, da qualificao docente, das instalaes fsicas e da biblioteca. Desde o incio, a responsabilidade pela avaliao de instituies de ensino superior (IES) e de cursos de graduao foi concedida ao INEP O . nico componente do sistema que permaneceu fora do domnio do INEP foi relativo avaliao da ps-graduao, desde 1976 sob responsabilidade da CAPES. O aspecto high stakes4 das avaliaes conduzidas pelo INEP que deveriam servir , para orientar decises relativas ao recredenciamento institucional e ao reconhecimento e renovao do reconhecimento dos cursos, foi estabelecido oficialmente atravs do Decreto n 3.860/01 (BRASIL, 2001). Apesar dessas determinaes, tais aspectos nunca foram implementados. Somente em casos extremos as instituies perderam credenciamento e o processo de recredenciamento peridico no chegou a ser posto em prtica (SCHWARTZMAN, 2004). Fruto da gesto de Fernando Henrique Cardoso, o Provo foi mantido pelo Partido dos Trabalhadores no seu primeiro ano de governo. Sensvel ao modelo dito neoliberal atrelado avaliao, o desagrado no novo governo tornou-se explcito quando da elaborao do Relatrio Tcnico do Provo 2003 (BRASIL, 2003b), do qual constam severas crticas a esse exame enquanto instrumento para medida de qualidade. Todavia, vale ressaltar que, ainda quanto aplicao em 2003, o INEP in-
Para informao sobre os programas de avaliao do ensino superior que antecederam o Provo, ver Brasil (2004) e Gouveia e outros (2005). Termo tcnico da rea de avaliao, sem traduo consensuada para o portugus, que significa com conseqncias significativas para aquele que est sendo avaliado. O termo low stakes significa o contrrio.
295
troduziu duas novidades na tentativa de enderear essas crticas. Primeiro, publicou os resultados dos cursos em ordem alfabtica, em lugar de ordem crescente de classificao nas escalas (dificultando, portanto, o ranking das IES). Em segundo lugar, inseriu como um dos resultados a mdia absoluta das reas de conhecimento, antes relativa, baseada na curva normal. Em paralelo operacionalizao do Provo 2003, o Ministrio de Educao designou a CEA para estudar o tema da avaliao do ensino superior.5 Em 27 de agosto de 2003, a Comisso divulgou a proposta preliminar para uma nova rede de avaliao, com componentes articulados e integrados, chamada Sistema Nacional de Avaliao da Educao Superior, ou mais sucintamente, SINAES.6 No final de 2003, o governo Lula aprovou a Medida Provisria 147, mudando a legislao que regia a avaliao da educao superior e, em paralelo, o MEC publicou e divulgou um documento detalhando todos os aspectos da nova abordagem de avaliao (BRASIL, 2003a). Ao faz-lo, se ocupou em identificar vrias das deficincias do exame utilizado anteriormente e em fundamentar os conceitos, princpios e caractersticas da nova proposta. Em contraste com o sistema anterior de avaliao, a abordagem do SINAES foi pensada como verdadeiramente sistmica e com foco na instituio. O documento acima referido, de apresentao do SINAES, obser5
vou que as avaliaes institucionais deveriam fornecer anlises abrangentes das dimenses, estruturas, objetivos, relaes, atividades, compromissos e responsabilidade sociais, das IES e de seus cursos, nas diversas reas de conhecimento. A proposta considerou tambm que os procedimentos, dados e resultados deveriam ser pblicos; que a autonomia e identidade das instituies e cursos deveriam ser respeitadas, preservando-se assim a diversidade que caracteriza o setor no pas; e que todos os membros da comunidade do ensino superior deveriam participar, bem como outros representantes da sociedade civil. Medida Provisria 147 se seguiu a Lei 10.861 (BRASIL, 2004), de 14 de abril de 2004, aprovada por grande maioria na cmara federal e no senado. Uma anlise dessa lei deixa claro que nem todos os aspectos da proposta inicial para o SINAES foram aceitos e, especialmente, que vrias das caractersticas da abordagem de avaliao do governo anterior foram mantidas, o que parece indicar que houve uma grande negociao entre dezembro de 2003 at a passagem da lei em abril do ano seguinte. Com ela, podese perceber a separao ntida entre avaliao institucional e avaliao de curso e, nesse momento, a avaliao de desempenho de estudante (ENADE) foi instituda como a terceira parte do sistema, com igual peso. Foi tambm instituda a Comisso Nacional de Avaliao da Educao Superior CONAES, j prevista no delineamento do sistema proposto pela CEA, mas no contemplada na Medida Provisria.
A Comisso Especial de Avaliao (CEA) foi formalmente instituda pelo Ministro da Educao, em 29 de abril de 2003 e apresentou sua proposta inicial para o sistema de avaliao em 27 de agosto do mesmo ano. Ela foi composta por 22 membros, incluindo 14 professores universitrios, 3 estudantes, e 5 representantes do MEC (do INEP CAPES e SESu). A CEA foi presidida pelo , Prof. Jos Dias Sobrinho, da Universidade de Campinas, um arquiteto-chave do PAIUB, programa de avaliao anterior ao Provo, considerado por muitos como o modelo a adotar, por ter sido participativo, voluntrio e centrado na auto-avaliao. 6 Embora alguns autores tenham se referido ao esforo de avaliao pr-SINAES como um sistema, ele nunca foi legalmente rotulado como tal e nunca recebeu um acrnimo referendando esse status.
296
Apesar das mudanas, ficaram assegurados os principais conceitos norteadores: respeito diferena, autonomia, identidade, alm da nfase na misso pblica e nos compromissos e responsabilidades sociais das IES. Tambm ficou mantido o protocolo de compromisso para aqueles que no obtivessem um conceito satisfatrio e garantido o carter regulatrio do SINAES, sem excluir os aspectos avaliativoeducativos do sistema. Alm disso, enquanto o Provo se prestava a ser um mecanismo de regulao, o ENADE passaria a fornecer no s um indicador com esse fim, mas principalmente seria uma ferramenta de avaliao, atravs do diagnstico de competncias e habilidades adquiridas ao longo de um ciclo de 3 anos de escolarizao superior, cruzado com a viso do aluno sobre sua instituio e com seu conhecimento sobre aspectos mais gerais, no relacionados a contedos especficos. O estabelecimento desses princpios trouxe um grande impacto no processo de avaliao: no s os resultados deixaram de se prestar a ranking e a competies, como os novos objetivos do sistema o tornaram mais subjetivo, conseqentemente, dificultando os processos de avaliao, em especial quanto ao estabelecimento de critrios e de padres a partir dos quais decises quanto regulao viriam a ser tomadas. Muitos dos aspectos de articulao entre as trs peas do SINAES (avaliao institucional, de curso e do estudante) s foram melhor regulados com a publicao,
7 8
em julho de 2004, da Portaria n 2.051 (BRASIL, 2004). Essa portaria se incumbiu de detalhar as atribuies da CONAES e do INEP (com uma grande mudana nas responsabilidades do INEP que passa a , ser apenas executor da poltica), bem como os procedimentos a serem usados em cada instncia a ser avaliada (instituio, curso, e aluno). Os componentes do SINAES que tratam da avaliao institucional e da avaliao de cursos no so objetos deste estudo e, assim, suas caractersticas no sero aqui detalhadas. 7 Quanto ao ENADE, da mesma forma que o Provo, tornou-se um componente curricular obrigatrio, com registro no histrico escolar de cada estudante. Outras similaridades podem ser encontradas entre o Provo e o ENADE: os resultados individuais dos estudantes so disponveis apenas para eles prprios; h premiao para os alunos com melhores desempenhos, por rea de conhecimento; dados de perfil do alunado, do curso e da instituio, e percepo sobre a prova, so levantados em paralelo aplicao do teste, fornecidos pelos estudantes e pelo coordenador do curso avaliado; alm da j mencionada expanso gradual do sistema. Dentre as diferenas entre o Provo e o ENADE, pode-se relacionar:
1 O ENADE aplicado para estudantes ingressantes e concluintes do curso sob avaliao, desta forma incluindo nos resultados uma aproximao da noo de valor agregado; 8
Para uma descrio de tais caractersticas, ver Brasil (2004). De acordo com o Diretor de Estatsticas e Avaliao da Educao Superior no INEP o ENADE foi desenhado para medir a , trajetria de aprendizagem e no para conferir desempenho (entrevista em 01/05/2005).
297
2 O ENADE avalia cada curso trienalmente, em lugar da freqncia anual do Provo; 3 O ENADE promete ser referenciado a critrio, baseando seus testes em padres mnimos pr-determinados; 4 O ENADE se prope a englobar vrias dimenses em seu teste, de modo a cobrir a aprendizagem durante o curso (em lugar de apenas medir o desempenho dos alunos ao final do curso) e dar um peso maior s competncias profissionais e formao geral, com nfase nos temas transversais; 9 5 O ENADE visa reduzir custos atravs da administrao dos testes a uma amostra representativa; 6 O ENADE divulga seus resultados de forma discreta, com pouco alarde da mdia; 7 O ENADE se atribui um uso diagnstico na medida em que se diz capaz de identificar as competncias no desenvolvidas pelos alunos ao longo de 3 anos de escolarizao superior; 10 e, 8 O ENADE parte da premissa de que as instituies e cursos utilizaro seus resultados como ingrediente em um processo avaliativo institucional mais abrangente.
Anlise comparativa entre o Provo e o ENADE a partir das crticas feitas ao primeiro
Ao comparar o Provo com o ENADE, os autores pretendem responder s perguntas: que deficincias do Provo o ENADE pretendeu suprir? Essa nova abordagem de fato trabalhou as deficincias? Para sintetizar sua resposta, optaram por relacionar a seguir seis das principais crticas feitas ao Provo e, para cada uma, comentar tecnicamente o movimento do ENADE no sentido de san-la.
1 Crtica
Faltou articulao do Provo com os demais componentes da Avaliao da Educao Superior que, por sua caracterstica de criao, no chegou a ser implementada atravs de um sistema, no qual as partes contribussem para uma viso geral da qualidade de cada instituio. Comentrio O SINAES, ainda que com algumas alteraes advindas da promulgao da Lei n 10.861/04 (BRASIL, 2004), em relao proposta original, contempla esse problema. Cada componente do sistema contribui na composio do conceito da instncia maior, ou seja, o ENADE utilizado para a composio da nota do curso e essa empregada para a composio do conceito da instituio. Trs ressalvas so necessrias: em primeiro lugar, os critrios de participao
O estabelecimento de semelhanas e diferenas entre ENADE e Provo interessante no sentido de se poder observar at que ponto o novo exame enderea as crticas feitas ao antigo, sem uma quebra de integridade tcnica. Por essa razo, uma vez situados os contextos de ambas as abordagens avaliativas, a seo a seguir relaciona as principais crticas feitas ao Provo e comenta a capacidade do ENADE de solucion-las.
9
10
Essa diferena foi enfatizada pelos consultores do ENADE em suas apresentaes na 1. Conferncia da Associao de Avaliao Educacional da Amricas (Braslia, 11-13 jul. 2005). Para um aprofundamento sobre o aspecto diagnstico do ENADE, consultar Limana e Brito (2005).
298
das notas do ENADE nos conceitos dos cursos e instituies ainda no foram divulgados e, a depender das decises feitas nesse sentido, podem dissipar a importncia do exame; em segundo lugar, no foram encontradas informaes sobre como as informaes provenientes do roteiro de auto-avaliao (ferramenta da Avaliao Institucional) sero processadas e analisadas; e por fim, em terceiro lugar, tambm no fica claro como outros componentes no centrais do sistema, como os conceitos da CAPES e as informaes do Censo, vo contribuir para o conceito final da instituio.
2 Crtica
O Provo foi imposto de fora para dentro, sem a participao das instituies a serem avaliadas. Alm disso, a sociedade, de maneira geral, e a comunidade acadmica no eram vistas como parceiros, apenas como consumidores de informao. Comentrio Embora o componente de auto-avaliao institucional seja a pea chave do SINAES, atravs da qual so respeitadas a autonomia, a identidade e a diversidade das instituies da educao superior, o ENADE, visto de maneira isolada, adota os mesmos procedimentos de representao utilizados pelo Provo. As instituies e a comunidade acadmica so convidadas a participar ao serem representadas nas comisses de avaliao, ao terem membros fazendo parte das bancas de elaborao de testes, ao responderem ao questionrio do coordenador de curso, e ao participarem de seminrios e eventos com objetivo de discutir os resultados obtidos e possveis melhoras para o exame.
Quanto composio das comisses assessoras de avaliao, uma ateno deve ser dada ao nmero pequeno de representantes envolvidos, tanto para o Provo quanto para o ENADE. A indicao de membros das comisses por diversas instncias e regies do pas garante algum tipo de representatividade, mas sete participantes por rea de conhecimento um nmero muito reduzido (embora os autores reconheam que comisses com uma grande quantidade de membros tendam a ser improdutivas). Essa deficincia potencializada pela inexistncia de um processo de validao externa, que envolva um nmero representativo de atores relevantes debruando-se sobre as especificaes produzidas por cada comisso. Merece reflexo um segundo problema relacionado s comisses: na busca por representatividade, nem sempre o perfil tcnico dos participantes garantido e no h, nos relatrios tcnicos do INEP meno pre, sena de especialistas em avaliao em larga escala fazendo parte desses grupos, ainda que experincia em avaliao seja um item para anlise do currculo dos membros das comisses. Isso pode ter um especial impacto nas especificaes do ENADE por que as comisses so tambm responsveis pela determinao do formato da prova. A sociedade, de maneira geral, continua apenas sendo informada dos resultados do exame, agora com menos alarde. No entanto, importante mencionar os planos do INEP de envolver, ainda mais, a comunidade cientfica no processo de discusso sobre a qualidade do Ensino Superior, atravs de convites formais para submisso de projetos de pesquisa baseados na utilizao dos dados do ENADE. Os
299
projetos aprovados em termos de mrito devero ser financiados pelo INEP Essa . estratgia tem a vantagem de gerar uma variedade bem maior de pesquisas acadmicas e de talvez angariar um apoio junto academia nunca desfrutado pelo Provo. Essa proposta de envolvimento, at o momento de elaborao desse artigo, ainda no tinha sido concretizada; se implementada, constitui um avano real do ENADE em relao ao Provo.
percepo da prova, o que, contrastado com o Provo, implica o acrscimo de uma importante dimenso analtica a compor os relatrios de avaliao. Quando comparado ao Provo, o ENADE se prope a ampliar a gama de aspectos avaliados atravs do teste. O Provo manteve o foco no conhecimento profissional especfico, esperado em alunos concluintes. No caso do ENADE, formao geral e componente especfico representam duas dimenses distintas da prova e so analisados separadamente. Alm disso, vez que o ENADE aplicou o mesmo teste a alunos ingressantes e a concluintes, as questes utilizadas deveriam cobrir os diferentes estgios (ou nveis) de aprendizagem esperados na trajetria do curso. Considerando o novo perfil do exame, o nmero de questes de teste, especialmente no componente de formao geral, parece ser muito pequeno para medir o conhecimento e as competncias que esto postas nas especificaes. De acordo com o Resumo Tcnico do ENADE (BRASIL, 2005, p. 10), os dez itens que compem a formao geral devem medir: 1) tica profissional, 2) competncia profissional, e 3) compromisso profissional com a sociedade em que vive. Ao mesmo tempo, devem avaliar a habilidade do estudante para analisar, sintetizar, criticar, deduzir, construir hipteses, estabelecer relaes, fazer comparaes, detectar contradies, decidir, organizar, trabalhar em equipe, e administrar conflitos. Alm dessas 12 competncias, as 10 questes do teste devem considerar 11 diferentes temas, a inclusos bio e sociodiversidade, polticas pblicas, redes sociais, cidadania, e problemticas contemporneas.
3 Crtica
O Provo enfatizou competncias finais especficas de cada rea de conhecimento, deixando de lado aspectos fundamentais relacionados ao processo de ensino-aprendizagem e formao do alunado, como compromisso profissional, tico e socialmente engajado. Alm disso, o Provo se concentrou no desempenho dos alunos, em lugar de atentar para o valor agregado, gerado pelo curso no decorrer do tempo. Comentrio Assim como o Provo, o ENADE se utiliza de quatro diferentes instrumentos para a coleta de dados: 1) os testes; 2) um questionrio para levantar a percepo dos alunos sobre o teste (que faz parte do caderno de prova); 3) um questionrio sobre o perfil socioeconmico-educacional do aluno (em caderno prprio, de preenchimento voluntrio, e que deve ser entregue no dia da prova); e 4) um questionrio a ser respondido pelo coordenador de curso sob avaliao, no qual se pedem suas impresses sobre o projeto pedaggico e as condies gerais de ensino de seu curso. No caso do ENADE, possvel comparar as respostas dos alunos ingressantes com aquelas apresentadas pelos alunos concluintes, no s em relao aos testes, mas tambm quanto ao perfil e
300
Contudo, a anlise dos itens do componente de Formao Geral oferecida nos Relatrios de rea do ENADE 2004 traz como habilidades avaliadas: analisar relaes, interpretar para inferir, interpretar texto potico para associar, estabelecer pontos comuns, identificar para associar, refletir, deduzir, e efetuar leitura de grfico. Em que medida essas oito habilidades esto relacionadas tica, competncia e ao compromisso profissionais no fica claro, assim como as anlises no aprofundam a relao do desempenho dos alunos com os temas transversais propostos. A partir da leitura dos relatrios e do Resumo Tcnico (BRASIL, 2005), no possvel identificar uma lgica coerente embasando o componente de formao geral. Registra-se ainda que no houve relato de estudos que considerassem se o nmero de questes foi realmente adequado. Como ser visto adiante, a inadequao do componente de formao geral do teste evidenciada pelo fato de que os alunos ingressantes e concluintes atingiram, em mdia, escores muito prximos. As questes do componente especfico foram mais difceis de avaliar por que diferem entre as vrias reas. Tambm elas foram, a priori, insuficientes para cobrir todo o escopo proposto. O problema foi exacerbado pelo fato de o nmero total de questes ser supostamente igual a 30.11 Como conseqncia, o grau de cobertura do escopo proposto de cada teste deve ter variado enormemente pelas reas. Esses problemas tambm foram identificados em relao ao Provo. Entretanto, eles so mais graves no caso do ENADE porque, como j observado, esse exame
11
aplica o mesmo teste a ingressantes e concluintes e, por essa razo, as questes deveriam tambm cobrir os vrios estgios de aprendizagem esperados em diferentes momentos do curso. O Provo, em contrapartida, foi menos ambicioso, vez que trazia seu foco para o conhecimento profissional especfico de final de curso. fundamental registrar uma limitao importante identificada no processo de construo dos instrumentos, tanto para o Provo quanto para o ENADE: a ausncia de pr-testagem dos itens, o que significa que um procedimento tcnico fundamental para assegurar a validade e confiabilidade do instrumento no foi realizado. De acordo com fontes do INEP essa ausncia tem sido re, sultante de cronogramas apertados para a elaborao dos testes, muitas vezes associados quantidade de tempo gasta no processo licitatrio para contratao de empresas especializadas em avaliao, que realizado a cada ano. Ainda que os itens e as provas, aps aplicao, sejam tornados pblicos e discutidos pelas comisses, agncias elaboradoras, e INEP alm de serem , submetidos a um crivo estatstico (parte do processo de anlise dos dados), essas aes pos-facto no podem ser consideradas adequadas para a composio das provas devido s caractersticas de ambos os exames, especialmente em uma situao onde os itens no so reutilizados. Como pode ser visto acima, muito da promessa do ENADE de aumento do escopo avaliado no pode ser atendida nas suas provas. Quanto ao valor agregado, o INEP o rotulou, posterior e adequadamente, como indicador de diferena de desempe-
A anlise de exemplos dos testes usados no ENADE 2004 mostrou que, ao contrrio das recomendaes oficiais de 30 itens, esse nmero variou no componente especfico. Por exemplo, a prova de agronomia teve 40 itens.
301
nho. A abordagem utilizada permite dois tipos de comparao. O primeiro a comparao, em uma mesma aplicao, entre as mdias obtidas pelo grupo de alunos ingressantes com as mdias do grupo de concluintes. O segundo tipo pode ser obtido atravs dos resultados dos alunos ingressantes no primeiro ano do ciclo trienal de avaliao com aqueles dos alunos concluintes no terceiro ano do mesmo ciclo. No caso do Provo, isso no era exeqvel, j que no havia a medio de entrada. No entanto, usando-se como medida de entrada o resultado de vestibulares seria possvel produzir, em regies restritas, uma medida do valor agregado como feito por Soares, Ribeiro e Castro (2001). H problemas bvios com essas duas comparaes. Quando se comparam alunos ingressantes e concluintes em um determinado ano, parte-se da premissa de que esses dois grupos so comparveis, mas preciso lembrar que o perfil de estudantes de um determinado curso ou instituio pode ter sido alterado ao longo do tempo. Alm disso, pode haver efeito de seleo ao longo do curso (atravs da aprovao/ reprovao dos alunos), que tende a artificialmente inflacionar o indicador de diferena de desempenho. No caso da anlise dos resultados de diferentes anos, a comparao de alunos ingressantes com concluintes pode gerar incentivos indesejveis e processos de avaliao, internos em cada curso, mais voltados para um bom indicador de diferena de desempenho. Nesse sentido, como exemplos de possveis polticas institucionais se podem citar o encorajamento de alunos ingressantes a demonstrar um desempenho ruim no teste e/ou o aumento da seletividade no processo de
aprovao das disciplinas nos cursos avaliados, segurando no percurso aqueles alunos com desempenho que venha a comprometer o resultado da instituio no ENADE. Se os mesmos estudantes fossem avaliados no primeiro e no ltimo ano do curso, esses problemas estariam sanados, mas as dificuldades logsticas associadas a um estudo em painel em larga escala so to grandes que, embora inicialmente pensados, essa opo foi julgada no factvel pela equipe do INEP Alm disso, outros . problemas poderiam advir do uso do painel, como, por exemplo, o fato que os alunos, uma vez identificados, poderiam, desde o primeiro ano, sofrer presses e polticas especiais da instituio, no sentido de garantir um bom indicador de diferena de desempenho aps trs anos. Deve-se registrar ainda um outro problema com a tentativa de o ENADE calcular o valor agregado: os alunos ingressantes so avaliados ao final do seu primeiro ano letivo (com de 7% a 22% da carga horria curricular cumprida). Com isso, algum efeito institucional poder ter sido introduzido, de modo que a diferena entre os escores dos alunos ingressantes e concluintes no capture todo o processo de aprendizagem no contexto do curso. Problemas com comparabilidade so agravados por causa de deciso, para o ENADE 2004, de se calcular um escore final nico por curso, baseado na combinao dos resultados dos alunos ingressantes e concluintes. Mais especificamente, neste clculo, o escore padronizado dos alunos ingressantes nos itens do componente especfico recebeu peso 15, o escore padronizado dos alunos concluintes nos itens do componente especfico recebeu peso 60, e o es-
302
core padronizado de todos os alunos ingressantes e concluintes nos itens do componente de formao geral recebeu peso 25. Dessa maneira, os alunos concluintes contriburam mais no clculo dos resultados (aproximadamente 75% de concluintes contra 25% dos ingressantes, considerando-se que a proporo de ingressantes e concluintes na amostra total era aproximadamente de 2 para 1). Do mesmo modo, os componentes especficos dos testes tiveram muito mais peso que a formao geral (novamente, 75% e 25%, refletindo o nmero relativo de questes 30 x 10 que supostamente compuseram os dois blocos de itens das provas). A razo para a composio de um resultado nico, a partir dos resultados dos ingressantes e concluintes, est ligada ao fato de que a diferena entre os resultados dos dois grupos foi muito pequena, especialmente no componente de formao geral. Essa pouca diferena surpreendente e levanta questionamentos sobre a qualidade dos itens. Simon Schwartzman (2005) chamou esse fenmeno de O enigma do ENADE. Uma das razes para o problema pode estar no fato, j mencionado, da utilizao de um nmero pequeno de itens. Uma outra considerao que os itens do componente de formao geral podem ter sido mais bem respondidos pelos alunos ingressantes por que tenderam similaridade com as questes comuns aos vestibulares, dessa maneira favorecendoos. Vale repetir que, sem pr-testagem, no foi possvel que os desenvolvedores de teste predissessem o comportamento dos itens, fazendo adequaes que se mostrassem necessrias de forma a evitar esses problemas. Apesar dos possveis problemas listados acima, no h dvidas de que o foco na diferena entre os ingressantes e concluintes o grande avano do ENADE, quando con-
trastado com o Provo, por que essa comparao fornece algumas informaes a mais sobre a aprendizagem e o perfil do aluno. O Provo, com foco exclusivo no desempenho do aluno concluinte, favorecia programas que tivessem sido mais seletivos nos seus vestibulares, ainda que esses programas no necessariamente tivessem proporcionado um ambiente mais favorvel aprendizagem. Infelizmente, esse avano potencial do ENADE foi prejudicado pela maneira escolhida pelo INEP para o clculo da nota final do curso. Atravs do uso de uma nota unificada, calculada a partir de pesos dos resultados de ingressantes e concluintes, essa comparao desaparece. Novamente, o efeito de um processo de seleo de entrada (vestibular) mais exigente, que enviesava o Provo, se apresenta no ENADE. possvel, no entanto, que esse escore unificado seja uma proposta temporria. Fontes do INEP mencionaram que, em trs anos, uma nova abordagem ser adotada, vez que, nesse momento, ser possvel comparar, para certos cursos, os escores dos estudantes ingressantes em 2004 com os concluintes em 2007.
4 Crtica
O Provo no se mantm como indicador de qualidade, pois a no equalizao dos seus instrumentos contribui para resultados instveis e sem comparabilidade, Comentrio Essa crtica, presente no Resumo Tcnico do ENC 2003 (BRASIL, 2003b), poderia ser aplicada inteiramente ao ENADE 2004. No s os instrumentos no foram pensados para garantir comparabilidade, como a frmula utilizada para a composio dos conceitos implicou resultados instveis e, pelo menos nas reas de Medicina e Odontologia, inflacionados, como ser melhor explicado a seguir.
303
Em relao atribuio dos conceitos, h duas maneiras de se transformar os escores para obt-las. Testes referenciados a norma classificam os avaliados com base na comparao entre eles. Testes referenciados a critrios utilizam padres pr-estabelecidos para o desempenho esperado ou desejado. Tanto o Provo quanto o ENADE argumentam que seu objetivo determinar se os alunos demonstram ter o conhecimento e as competncias que seus cursos requerem e, por essa razo, idealmente deveriam ser referenciados a critrio. Em realidade, muito difcil o estabelecimento de especificaes de teste para o ensino superior, dada a complexidade das competncias requeridas pelas carreiras que demandam grau superior. Um teste referenciado a critrio adequado deveria conter um amplo nmero de questes, o que inviabilizaria sua aplicao em um perodo razovel. Assim, nem o Provo nem o ENADE so referenciados a critrio. Esses dois exames apenas classificam os cursos avaliados a partir da comparao de seus resultados entre si, no mesmo campo de conhecimento, sem o estabelecimento de um padro mnimo satisfatrio a ser alcanado. Tanto o ENADE quanto o Provo basearam-se nos escores de testes padronizados para dar nota e classificar os cursos avaliados12. Mas, ao faz-lo, eles optaram por abordagens tcnicas diferentes. Por exemplo, no Provo o ponto de referncia para o estabelecimento da nota final de cada curso considerou os escores mdios obtidos por todos os cursos de uma determinada rea. No caso do ENADE 2004, o ponto de referncia no considerou as m-
dias obtidas pelos cursos em uma rea, mas a distribuio dos escores brutos de todos os estudantes do campo de conhecimento sob avaliao. Como os escores dos alunos variam mais que os escores mdios dos cursos, a abordagem usada pelo ENADE reduziu substancialmente o tamanho dos escores padronizados (z), potencialmente criando distores para a comparabilidade dos resultados.13 Um segundo problema apontado que, no caso do ENADE 2004, a nota do curso dependeu dos melhores e piores escores dos cursos em um dado campo de conhecimento. A nota de cada curso foi determinada atravs da seguinte frmula: notai = Xi X(1) , X(n) X(1)
Onde nota a nota do curso, xi a nota do curso i, x(1) a nota mnima entre todos os cursos e x(n) a maior nota entre todos os cursos. A nota resultante foi ento multiplicada por cinco e arredondada, de modo a que pudesse ser situada em uma escala de cinco nveis, variando de 01 a 05. Basear as notas nos escores mais altos e mais baixos cria distores e instabilidades para as comparaes ao longo do tempo. Uma mudana na posio relativa entre a menor nota e as outras notas das diferentes instituies far com que o processo produza valores substancialmente diferentes. Esse fenmeno pode j ser observado em Medicina. Em 2004, o mais baixo escore de curso foi substancialmente inferior aos outros. Se esse curso
12 Os autores prepararam uma nota tcnica explicando os detalhes estatsticos da atribuio de notas no Provo e no ENADE, que est disposio dos leitores interessados. 13 Para calcular o escore padronizado (z), subtrai-se o escore bruto da mdia de distribuio dos escores brutos e divide-se o resultado pelo desvio padro dessa distribuio. Dessa maneira, uma maior variao aumenta o valor do denominador da equao, reduzindo, portanto, o valor do escore z.
304
tivesse sido excludo da anlise, as notas dos demais teriam sido drasticamente alteradas para valores inferiores aos divulgados. Assim, o fato de que, em Medicina, o curso de mais baixo resultado tenha sido muito inferior aos demais resultou, no geral, que as notas da rea tivessem ficado artificialmente altas. Dos 84 cursos de Medicina avaliados pelo Provo em 2003, 64 (76%) melhoraram suas notas no ENADE 2004. O percentual dos cursos de medicina classificados nas duas faixas mais altas da escala subiu de 29% (24 cursos) em 2003 para 87% (73 cursos) em 2004. O percentual de cursos nas duas categorias mais inferiores na escala caiu de 21% (18 cursos) em 2003 para zero, em 2004. O caso de Odontologia igualmente emblemtico em relao instabilidade dos resultados. O nmero de cursos alocados nas duas categorias superiores da escala subiu de 41 (32% do total) para 115 (90%), enquanto que o nmero de cursos das duas categorias mais baixas caiu de 36 (28%) para apenas um. De maneira inversa ao fenmeno que aconteceu em Medicina e Odontologia, mas de acordo com o mesmo raciocnio, as notas de um determinado campo de conhecimento tornar-se-iam artificialmente baixas quando o maior escore de um dos cursos fosse substancialmente superior aos demais. Esse caso no foi identificado em nenhum dos sete campos de conhecimento avaliados em 2003 e em 2004, mas poder acontecer no futuro, contribuindo assim para a instabilidade dos resultados ao longo do tempo.14
14
A instabilidade do indicador da qualidade dos cursos, proveniente tanto do Provo quanto do ENADE, aumentada pela freqncia de revises feitas matriz de referncia de cada rea de conhecimento. No s os instrumentos em si no so equalizados ao longo dos anos, como tambm aquilo que avaliado pode mudar a cada reviso. Nesse caso, o prprio conceito de qualidade que instvel, o que dificulta a tomada de decises das instituies e formuladores de polticas pblicas no sentido de atingir um patamar, no mnimo, satisfatrio.
5 Crtica
O Provo seria economicamente invivel com o passar dos anos. Comentrio No h um valor preciso ou estimado do custo total do Provo ou do ENADE. Em 2002, o custo relativo contratao de agncias de avaliao representou um valor de aproximadamente R$ 100,00 por aluno (por volta de US$ 33,00 dlares). Quanto ao mesmo custo no ENADE 2005, o INEP estima que tenha gasto R$ 62,00 por aluno, equivalentes a US$ 27,00. No h informaes disponveis sobre os custos internos do Ministrio da Educao com despesas com viagens para seus membros e para aqueles que fazem parte das comisses assessoras de avaliao; com seminrios e eventos, com impresso de material de divulgao; com valor/hora do staff envolvido, com os pagamentos dos consultores responsveis pelas anlises de dados e com outros servios.
Os autores compararam os resultados de 2003 e 2004 em quatro campos: Medicina, Odontologia, Agronomia e Farmcia. Nesse grupo, os resultados melhoraram marcadamente nos casos de Medicina e Odontologia e moderadamente em Farmcia, permanecendo os mesmos em Agronomia. difcil ignorar o fato de que a tendncia geral de melhoria traz benefcios polticos potenciais e pergunta-se se essa conseqncia influenciou a deciso sobre a abordagem estatstica utilizada no ENADE. Pode-se, entretanto, argumentar que no h qualquer evidncia de que essas melhorias nos resultados tenham sido exploradas publicamente pelo INEP pela imprensa ou por grupos poltico-partidrios. Na verdade, o INEP tem sido muito discreto na divulgao dos , resultados do ENADE.
305
A magnitude do esforo do ENADE 2004 foi consideravelmente menor que aquela do Provo 2003. No seu ltimo ano de existncia, o Provo foi aplicado a um total de 423.946 alunos matriculados em 5.897 diferentes cursos, distribudos entre 26 campos de conhecimento diversos. Entre 2003 e 2004, o nmero de reas avaliadas foi reduzido pela metade e o nmero de alunos que responderam s provas foi diminudo em dois teros. Esse fato mostra que o procedimento de amostragem cumpriu seu propsito de reduo de custos, ao diminuir o nmero de participantes, especialmente frente s crescentes taxas de matrcula e considerando-se a incluso de alunos ingressantes como respondentes dos testes.15 Entretanto, exames em larga escala so caros por natureza e h um crescente surgimento de novos cursos e reas, que precisaro ser contemplados no futuro. Oramentos precisam ser garantidos no sentido de que no haja ruptura nos ciclos de avaliao ou queda da qualidade do exame, com a expanso do sistema.
as referncias para controles das IES por parte do governo e sociedade voltam a ser difusas. importante reconhecer que cabe ao governo federal a superviso e regulao da educao superior e essa funo no pode ser desprezada. Talvez, com a implementao plena do SINAES, essa dimenso venha a ser contemplada com mais clareza e consistncia do que at agora foi observado. A leitura sobre seis das principais crticas feitas ao Provo e dos esforos do ENADE no sentido de resolver tais questes permite perceber que a grande maioria delas continua sem soluo. Nas Consideraes Finais, a seguir, os autores apresentam algumas contribuies para o processo avaliativo.
Consideraes finais
O presente documento se props a descrever brevemente e a analisar o modelo do ENADE, contrastando-o ao ENC, conhecido como Provo. Aps a insero das duas experincias em seus contextos poltico-educacionais, uma anlise tcnica foi realizada a partir de seis das principais crticas feitas ao Provo e dos esforos do ENADE para san-las. Comparando-se os exames, foi possvel observar que, quanto a questes tcnicas, h muitas similaridades entre eles, especialmente em relao elaborao e administrao dos instrumentos. Pode-se dizer que ambos adotaram procedimentos criteriosos nas etapas de construo, administrao e anlise dos dados e que as estratgias de divulgao respeitaram o sigilo aos resultados individuais dos estudantes, ao tempo em
6 Crtica
O Provo concentrou seus esforos nos aspectos regulatrios da poltica, dessa maneira confundindo os conceitos de avaliao e regulao. Comentrio O ENADE refora os aspectos diagnsticos do exame, contribuindo para que a dimenso Avaliao prevalea sobre a Regulao. Entretanto, o conflito avaliao x regulao impactou o delineamento do SINAES, ressaltado, por exemplo, pelas diferenas entre a Medida Provisria 147 (BRASIL, 2003) e a Lei n 10.861 (BRASIL, 2004), e est longe de ser resolvido. Nesse novo panorama
15
Os autores analisaram a qualidade tcnica do processo de amostragem utilizado pelo ENADE 2004 e concluiram que o mesmo foi desenvolvido com rigor apropriado, considerando as limitaes das informaes disponveis sobre os parmetros relevantes.
306
que garantiram transparncia quanto aos dados agregados (por rea de conhecimento, regio e dependncia administrativa) e aos passos cumpridos para sua obteno. As principais diferenas esto intrinsecamente relacionadas mudana de foco e objetivo do ENADE, quando comparado ao Provo. Assim, dentre elas pode-se ressaltar a insero de um componente de Formao Geral, comum para todos os campos de conhecimento, nas provas dos estudantes; a aplicao dos testes a uma amostra de estudantes ingressantes e de concluintes; pelo envolvimento dos alunos ingressantes, a riqueza da anlise de um indicador de diferena de desempenho (tanto entre ingressantes e concluintes em uma mesma aplicao, quanto entre ingressantes em um ano x e concluintes em um ano x+3); a possibilidade da anlise cruzada entre esse indicador e os diversos fatores que compem o perfil do alunado e a percepo que tiveram da prova; a nfase de divulgao nos aspectos avaliativos do exame, que deixa de ser high stakes. Muitas das promessas do ENADE ainda no foram concretizadas. Dentre elas, algumas so pontuais, como a no-divulgao de um relatrio tcnico-cientfico do ENADE 2004, e outras so estruturais e mais srias, como: a) as dificuldades para a anlise das diferenas entre ingressantes e concluintes, criadas a partir da opo, pelo INEP de composio de uma , nota nica, em lugar de uma nota dos ingressantes, e outra dos concluintes; e b) a ausncia de um padro mnimo por rea. Um dos aspectos mais preocupantes quanto ao ENADE 2004, refere-se atribuio da nota final, que implicou inflao dos cursos com conceitos mais altos na escala (mantida com cinco nveis) em algumas reas de conhecimento, como Medicina e Odontologia.
Analisando-se os dois exames em relao integridade tcnica, pode-se afirmar que, de maneira geral, o ENADE manteve o padro estabelecido pelo Provo. O processo de especificao dos testes adotado pelo ENADE 2004 foi similar quele utilizado anteriormente pelo Provo. Para os dois exames, a formulao dos itens de teste, e a subseqente composio das provas foram realizadas, a partir das especificaes definidas por comisses assessoras, por agncias especializadas em avaliao, contratadas atravs de processo licitatrio. O processo interno conduzido por cada agncia foi descrito, com algum detalhamento, nos vrios relatrios e manuais disponibilizados pelo INEP e , parece ter sido conduzido de acordo com as melhores prticas internacionais. O grande impacto do ENADE est relacionado no a mudanas tcnicas, mas principalmente, aos aspectos regulatrios do exame, que deixam de existir isoladamente. Nesse sentido, imprescindvel que sejam criados e divulgados os critrios de utilizao das notas do ENADE na composio dos conceitos da Avaliao de Cursos e da Avaliao de Instituies. Entendendo que, dos pases que realizam avaliao do ensino superior, apenas o Brasil optou por uma aplicao nacional de exames escritos, por rea de conhecimento, no fez parte do objetivo dessa investigao discutir a pertinncia dessa escolha. Os autores partem da premissa que, adotados, os exames devem oferecer algumas contribuies para o aprimoramento do modelo atual, reconhecendo as dificuldades de delineamento de qualquer sistema de avaliao em larga escala, para efeitos diagnsticos, de regulao ou quaisquer outros necessrios aos governos em geral.
307
Essas contribuies podem ser agrupadas em trs diferentes categorias: 1) aspectos conceituais e estruturais; 2) aspectos tcnicos; e 3) aspectos administrativos. Em relao aos aspectos conceituais e estruturais, uma ateno maior poderia ser dada elaborao de matrizes de referncia para cada rea de conhecimento, de modo a garantir que sejam durveis por um perodo mais longo de tempo que o ciclo atual. Para tanto, o processo de especificao das matrizes, por campo de conhecimento, precisa ser mais aberto, com uma ampla discusso nacional sobre seus elementos e com uma etapa de validao posterior. Tambm interessante que haja mais incentivo s anlises de comparao em relao s mudanas no perfil socioeconmico-educacional de alunos ingressantes e concluintes. Sugere-se incluir nesses questionrios outras dimenses de pesquisa, para que sejam levantadas as contribuies da escolarizao do ensino superior, no s quanto aprendizagem dos alunos em relao aos contedos especficos e de formao geral, mas tambm em relao a atitudes e motivao, por exemplo. Por fim, defende-se uma maior articulao SINAES-CAPES, inclusive atentando para um certo paralelismo, de modo a garantir que os dois processos avaliativos sejam complementares e no concorrentes. Em relao a aspectos tcnicos, os autores acreditam que uma grande melhoria no exame pode ser resultante da pr-testagem dos itens de prova e questionrios. Essa etapa crucial para a qualidade do instrumento e pode favorecer a representao do escopo de competncias e habilidades em cada rea de conhecimento, na medida em que a perda de itens por desempenho insatisfatrio menor. Alm disso, essencial para a construo de instrumentos que estes sejam comparveis. Da mesma for-
ma, imprescindvel que a elaborao e administrao de testes sejam desenvolvidas no sentido de garantir comparabilidade, em uma mesma rea de conhecimento, atravs dos anos. Nos moldes de hoje, essa comparabilidade est comprometida. Quanto aos aspectos administrativos, as sugestes se voltam para os processos licitatrios, que poderiam ser feitos para todo o ciclo trienal, com amarras contratuais que permitam a quebra do contrato por falta de qualidade no processo e nos produtos/ de cumprimento das clusulas. Dessa forma, garante-se tempo para a pr-testagem dos instrumentos, a homogeneizao dos materiais, e facilita-se a comparabilidade dos resultados nos anos x e x+3. Para finalizar, imprescindvel reconhecer que nenhum processo avaliativo, especialmente considerando-se aplicao de instrumentos em larga escala, capaz de cobrir todas as dimenses que compem o conceito Qualidade da Educao Superior. Acresce-se a esse reconhecimento o fato de que uma avaliao integra um ciclo de gesto que se completa com as etapas de planejamento e implementao. Por essas razes, qualquer exame ou sistema avaliativo precisa ser constantemente avaliado, para que continue a ser til queles que dependem de suas informaes, de carter diagnstico ou no. Nesse sentido, a mudana ENADE x Provo interessante, bem como devem ser considerados os diversos aspectos mencionados acima, com o objetivo de aprimorar o exame vigente. Uma especial ateno deve ser dada utilizao dos produtos de um exame como o Provo e, depois dele, o ENADE. Todo esse esforo s se justifica se seus produtos forem efetivamente utilizados, nos diversos nveis de tomada de deciso: aluno, curso, instituio, governo e sociedade.
308
Referncias
BILLING, D. International comparisons and trends in external quality assurance of higher education: commonality or diversity? Higher Education, Netherlands, UK, v. 47, n. 1, p. 113-137, jan. 2004. BRASIL. Comisso Nacional de Avaliao da Educao Superior. Portaria n 2.051, de 9 de julho de 2004. Regulamenta os procedimentos de avaliao do Sistema Nacional de Avaliao da Educao Superior (SINAES), institudo na Lei n 10.861, de 14 de abril de 2004. Conaes, Braslia, DF, 2004. Disponvel em: <http://portal.mec.gov.br/conaes/ arquivos/pdf/portaria_2051.pdf>. Acesso em: 24 set. 2006. ______. Decreto n 2.026, de 10 de outubro de 1996. Estabelece procedimentos para o processo de avaliao de cursos e instituies de ensino superior. Casa Civil, Braslia, DF, 1996. Disponvel em: <http:/www.planalto.gov.br/ccivil_03/decreto/Antigos/ D2026.htm>. Acesso em: 24 set. 2006. ______. Decreto n 3.860, de 9 de julho de 2001. Dispe sobre a organizao do ensino superior, a avaliao de cursos e instituies e d outras providncias. Dirio Oficial [da] Repblica Federativa do Brasil, Braslia, DF, 10 jul. 2001. ______. Lei n 9.131, de 24 de novembro de 1995. Altera dispositivos da Lei n 4.024, de 20 de dezembro de 1961 e d outras providncias. Dirio Oficial [da] Repblica Federativa do Brasil, Braslia, DF, 24 nov. 1995. Edio Extra, p. 19257. Disponvel em: <http://www.planalto.gov.br/ccivil_03/Leis/L9131.htm>. Acesso em: 24 set. 2006. ______. Lei n 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliao da Educao Superior SINAES e d outras providncias. Leis, Braslia, DF, 2004. Disponvel em: <http://portal.mec.gov.br/arquivos/pdf/10861.pdf>. Acesso em: 24 set. 2006. ______. Medida provisria n 147, de 15 de dezembro de 2003. Institui o Sistema Nacional de Avaliao e Progresso do Ensino Superior. Dirio Oficial [da] Repblica Federativa do Brasil, Poder Executivo, Braslia, DF 16 dez. 2003. Seo 1, n. 244, p.1-2. , BRASIL. Ministrio de Educao. Comisso Especial de Avaliao. Sistema Nacional de Avaliao da Educao Superior SINAES: bases para uma nova proposta de avaliao da educao superior. Braslia, DF, 2003a. BRENNAN, J.; SHAH, T. Managing quality in higher education. Buckingham, UK: Open University Press, 2002. DIAS SOBRINHO, J. Avaliao: polticas educacionais e reforma da educao superior. So Paulo: Cortez, 2003.
309
GOUVEIA, A. B. et al. Trajetria da avaliao da Educao Superior no Brasil. Estudos em Avaliao Educacional: revista da Fundao Carlos Chagas, So Paulo, v. 16, n. 31, p. 101-132, jan./jun. 2005. HEYWOOD, J. Assessment in higher education: student learning, teaching progammes and institutions. London: Jessical Kingsley Publishers, 2000. HUISMAN, J.; CURRIE, J. Accountability in higher education: bridge over troubled waters. Higher Education, Netherlands, UK, v. 48, n. 4, p. 529-551, dez. 2004. INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANSIO TEIXEIRA. Exame Nacional de Cursos 2003: resumo tcnico. Braslia, DF, 2003b. Disponvel em: <http://www.inep.org.br>. Acesso em: 4 dez. 2004. ______. Exame Nacional de Desempenho dos Estudantes ENADE 2004: resumo tcnico. Braslia, DF, 2005. ______. SINAES: da concepo regulamentao. 2. ed. ampl. Braslia, DF, 2004. LIMANA, A.; BRITO, M. R. F. O modelo de avaliao dinmica e o desenvolvimento de competncias: algumas consideraes a respeito do ENADE. Revista da Rede de Avaliao Institucional da Educao Superior, Campinas, SP v. 10, n. 2., jun. 2005. , SCHWARTZMAN, S. O contexto institucional e poltico da avaliao do ensino superior. In: SCHWARTZMAN, S.; DURHAM, E. R. (Org.) Avaliao do ensino superior. So Paulo: Ed. da USP 1992. p. 13-27. , SCHWARTZMAN, S. O enigma do ENADE. Disponvel em: <www.schwartzman.org.br>. Acesso em: 12 dez. 2004. SCHWARTZMAN, S. The National Assessment of Courses in Brasil. In: PUBLIC POLICY FOR ACADEMIC QUALITY (PPAQ). Research Program. Chapel Hill: University of North Carolina, 2004. Disponvel em: < www.unc.edu/ppaq>. Acesso em: 1 fev. 2005. SOARES, J. F.; RIBEIRO, L. M.; CASTRO, C. M. Valor agregado de instituies de ensino superior em Minas Gerais para os cursos de direito, administrao e engenharia civil. Dados, Rio de Janeiro, v. 44, n. 2, p. 363-396, 2001. Recebido em: 03/07/2006 Aceito para publicao em: 01/09/2006

Do Provão Ao ENADE: Uma Análise Comparativa Dos Exames Nacionais Utilizados No Ensino Superior Brasileiro

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Do Provão Ao ENADE: Uma Análise Comparativa Dos Exames Nacionais Utilizados No Ensino Superior Brasileiro

Transféré par

Droits d'auteur :

Formats disponibles

Do Provo ao ENADE: uma anlise comparativa dos exames nacionais utilizados no Ensino Superior Brasileiro*

Os diferentes contextos do Provo e do ENADE

Vous aimerez peut-être aussi