AVALIAO DA APRENDIZAGEM ATRAVS DE PROVAS DE RENDIMENTO: APORTES METODOLGICOS Wagner Bandeira Andriola Cristiany Gomes Andriola Universidade Federal

do Cear (Brasil) w_andriola@yahoo.com

A avaliao da aprendizagem atravs do uso de provas de rendimento tem se verificado prtica rotineira nos pases possuidores de sistemas de avaliao da qualidade educacional, sobretudo quando se est a fazer inferncias para grande quantidade de discentes. Sendo assim, seu emprego necessita estar pautado em cuidados pedaggicos e estatsticos. O primeiro deles refere-se a necessidade de o elaborador de itens possuir treinamento mnimo nessa arte. O segundo desses cuidados est associado a relevncia do pr-teste dos itens, com o intuito de verificar se os mesmos possuem a desejvel caracterstica de eqidade na medida da aprendizagem. Para tal, haver que se utilizar procedimentos estatsticos adequados, fundamentados em slidos modelos matemticos. Anlise estatstica de itens componentes de provas de rendimento nas reas de Matemtica e Lngua Portuguesa, que so utilizadas na Universidade Federal do Cear (UFC) para a seleo de candidatos, verificou elevada proporo de itens com funcionamento diferencial (DIF), isto , itens injustos ou no eqitativos para aprendizes oriundos de distintos tipos de escolas (pblicas ou particulares). O trabalho visa a apresentar as possveis causas do DIF luz do uso de vrios procedimentos estatsticos para detectlo, baseados, todos eles, na Teoria da Resposta ao Item (TRI).

Introduo No mbito das correntes cognitivistas, a aprendizagem pode ser considerada uma mudana qualitativa e estvel, ocorrida no mbito das capacidades cognitivas de memorizao, compreenso, aplicao, anlise, sntese e julgamento. Esse cmbio comportamental pode ser avaliado atravs de procedimentos apropriados p. ex.: uso de testes ou provas de rendimento; questionrios; seminrios; observaes em sala de aula; freqncia de participao durante as aulas; execuo de tarefas extra sala de aula, etc. Cabe destacar, ainda, que essas capacidades cognitivas esto associadas a determinados contedos ou objetivos curriculares. Assim, por exemplo, o professor de portugus, atravs do uso de um texto literrio qualquer, poder medir o grau de consecuo dos seguintes objetivos curriculares: Ser capaz de compreender um texto literrio exige-se a capacidade cognitiva de compreenso; Ser capaz de analisar os elementos explcitos de uma mensagem exige-se a capacidade cognitiva de anlise; Ser capaz de sintetizar uma mensagem original em uma segunda forma paralela e mais simples exige-se a capacidade cognitiva de sntese; Ser capaz de julgar o valor literrio de uma obra, com base em critrios prestabelecidos exige-se a capacidade cognitiva de julgamento.

843

No mencionado exemplo, o professor estar avaliando o grau no qual os seus aprendizes alcanaram quatro objetivos educativos ou curriculares, que esto associados a distintas capacidades cognitivas, componentes da aprendizagem. Nesse mbito, faz-se necessrio recordarmos o propsito de toda e qualquer sistemtica avaliativa: fornecer subsdios, para que os responsveis pela coordenao e planejamento de aes educativas possam tomar decises, visando o seu aperfeioamento. No caso da sala de aula, caber ao professor avaliar os seus alunos para que, assim, possa julgar a adequao da sua atuao docente e o progresso individual dos aprendizes. Baseado nessas informaes poder o docente rever os procedimentos pedaggicos utilizados e, ademais, orientar os alunos que no alcanaram os objetivos educacionais. J que os fins educativos consistem, essencialmente, em determinar as mudanas que sofrem os aprendizes, isto , as transformaes nas formas de comportamento dos estudantes, em termos de aquisio de novas aprendizagens, a avaliao da aprendizagem o processo de determinar em que medida ou grau se consegue tal mudana, possibilitando, assim, um juzo de valor sobre a qualidade dessas supostas mudanas (Andriola, 2005; Andriola & Mc Donald, 2003, 2004). Nesta definio existem duas idias bsicas: O objeto da avaliao o comportamento: o comportamento entendido como sendo determinado por atributos intrapsquicos ou organsmicas (tais como a motivao, compreenso, raciocnio, memorizao, entre outros, que so a base da aprendizagem), pelo qual a tarefa avaliadora consiste na busca das manifestaes externas que sirvam de indicadores dos aspectos internos, no avaliados diretamente. As relaes entre os atributos internos e as manifestaes externas (p. ex. as respostas aos itens de um teste de rendimento) tm por base o modelo correlacional. O objetivo pretendido a descrio e posterior predio do comportamento a partir dos resultados obtidos em um ou mais testes; A avaliao deve ser um processo sistemtico de coleta e anlise de informaes: deve proporcionar pelo menos duas medidas: uma no incio do processo de ensino e outra, no final, posto que sua finalidade ltima a emisso de um juzo de valor sobre as mudanas de comportamento devidas aprendizagem. interessante dizer que todo testemunho (conversas informais, debates em sala de aula, participao dos alunos, etc.) vlido para avaliar a aprendizagem. Os testes de rendimento so uma dessas inumerveis formas de dar testemunhos que permitem a obteno de informaes teis, vlidas e fidedignas sobre a aprendizagem de estudantes. No obstante, em qualquer testemunho, existem algumas etapas que devem ser seguidas, tais como: a) seleo de comportamentos ou aes que sejam indicadores dos objetivos curriculares que se deseja avaliar (tipo de objetivo educativo a ser avaliado);

844

b) apresentao de tarefas pedaggicas que possibilitem aos alunos expressar o que sabem sobre um determinado contedo (tipo de problema a ser utilizada). Nesse contexto, possvel dizer que o uso dos testes de rendimento uma forma de dar testemunho, ademais, caracteriza um procedimento cientfico de obter observaes sistemticas, em situaes estruturadas ou tipificadas, com a finalidade de descrever o comportamento do aprendiz (Tyler, 1981). Devemos destacar que durante a aplicao dos testes de rendimento, o processo de padronizao das condies fundamental, isto , instrues, tempo de aplicao, ou qualquer outra condio devem ser similares. A possibilidade de comparar o mesmo sujeito em diferentes testes ou diferentes alunos no mesmo teste se baseia, precisamente, em manter as mesmas condies de aplicao.

Classificao dos Testes de Rendimento Diversos autores tm proposto uma grande variedade de classificaes para os testes de rendimento (Martinez Arias, 1997; Perez Juste & Garcia Ramos, 1989). Em nosso caso, utilizaremos uma classificao proposta por Verdugo Alonso et all. (1994), que consideram dois aspectos: o critrio adotado na avaliao dos alunos e a relao dos contedos do teste com o currculo.

Critrio Usado na Avaliao dos Alunos Nesse grupo, destacamos dois tipos de testes de rendimento: referido a uma norma e referido a um critrio. Teste referido norma: quando avaliamos um aluno podemos situar o seu desempenho com respeito a uma norma, que vem determinada pelo rendimento dos alunos de sua classe, por exemplo. Os dados da avaliao com referncia norma se apresentam, geralmente, em termos de percentis. Quando no nos interesa a comparao entre o rendimento de um aluno particular com os demais, isto , quando o que pretendemos somente avaliar seu rendimento com relao a uns objetivos propostos a priori, ento seremos ns mesmos os que estabeleceremos o critrio mnimo de execuo e, assim, compararemos o rendimento do aluno com respeito a esse critrio. Seu problema fundamental reside no contedo do teste. Se o contedo desse no corresponde ao previsto pelo currculo que est sendo ensinado, o teste intil para avaliar o que o aluno aprendeu durante o perodo escolar. Quando o contedo do teste no tem nenhuma associao com a instruo educacional, as pontuaes dos alunos nos testes refletiro, provavelmente, sua habilidade intelectual e no a aprendizagem obtida no perodo escolar.

845

Teste referido a um critrio: diferentemente dos testes referidos norma, que comparam a pontuao de um aluno com a mdia da pontuao de outros alunos de mesmas caractersticas, os testes referidos a um critrio comparam a pontuao do aluno com um critrio especificado. Nestes procedimentos o importante a tarefa. Assim, se estabelece um critrio para consider-la superada por qualquer aluno. Esse critrio se fundamenta, geralmente, em um conjunto hierarquizado de objetivos educativos medidos por uma ou vrias tarefas pedaggicas. Desse modo, fixado um critrio mnimo de respostas que devem ser acertadas pelos respondentes. Todavia, no conveniente esquecermos que importante estabelecer o critrio de acordo com os objetivos educativos pretendidos. O quadro 1 sintetiza as principais diferenas entre os testes referidos norma e a um critrio, segundo Martnez Arias (1997).

ASPECTO Finalidade da Avaliao Construo do teste e especificao do contedo dos itens Seleo dos itens Significado das pontuaes (escores) Interpretao das pontuaes

TESTE REFERIDO NORMA TESTE REFERIDO A UM CRITRIO Estimar as diferenas entre indivduos no Estimar o rendimento do sujeito nos trao latente que mede o teste. objetivos educativos que esto sendo medidos pelo teste. Os contedos se derivam de alguma teoria Os contedos refletem os domnios e de traos ou construtos. Comumente so objetivos educativos desejados. limitados, ambguos e sem delimitao clara do domnio dos contedos. So selecionados com o objetivo de So selecionados em funo dos objetivos e distinguir as diferenas individuais. usos pretendidos para o teste. A pontuao se considera um indicador da A pontuao representa o estimador puntuao verdadeira em um trao latente. amostral do rendimento do sujeito no domnio. Tem significado unicamente com relao aos Tem significado em termos absolutos. resultados do grupo normativo.

Quadro 1. Caractersticas dos Testes Referidos Norma e Referidos a um Critrio.

Relao dos Contedos com o Currculo So mencionados dois tipos de teste de rendimento: os que utilizam contedos diretamente relacionados ao currculo educativo e os que no utilizam contedos previstos pelo currculo educativo. Testes relacionados diretamente com o currculo: neste caso, existe uma coincidncia total entre aquilo que ensinado e aquilo que est sendo avaliado atravs dos itens do teste. Uma grande vantagem desse tipo de teste de rendimento que se obtm uma inquestionvel validez de contedo. No existe nenhuma dvida de que o instrumento mede aquilo que queremos medir. Todavia, devemos ter em conta que as estratgias de ensino e o aprofundamento ou detalhamento de um mesmo aspecto do currculo podem ser muito distintas, de um centro educativo a outro. Esse motivo pode influenciar, positiva ou negativamente, o desempenho dos alunos de um ou outro centro.

846

Avaliao relacionada indiretamente com o currculo: a apario no mercado de mltiplos currcula, a proliferao de diversos tipos de instrumentos de avaliao baseados diretamente no currculo e, ultimamente, a organizao de bancos de itens, gerou a necessidade de dispor-se de instrumentos que pudessem ser utilizados pela maioria dos programas e que, ademais, no estivessem sujeitos s valoraes e peculiaridades de cada currculo. Os instrumentos de avaliao relacionados indiretamente com o currculo devem conter aspectos relevantes para o progresso educativo e social e que, assim mesmo, sejam elementos vlidos para todos os currcula. O suposto central que existem aspectos que, ainda que no estejam previstos em boa parte dos currcula oficiais, so tidos como muito importantes por professores, investigadores, especialistas em currculo e na rea especfica, objeto da avaliao (Requena, 1995). Como exemplo de utilizao da avaliao relacionada, indiretamente, com o currculo, nesse caso no mbito do ensino mdio, citamos um estudo realizado em 1997 por uma comisso de especialistas do Instituto Nacional de Calidad y Evaluacin (INCE). Tal avaliao no partiu dos contedos estabelecidos pelos currcula oficiais nas matrias ou disciplinas avaliadas, seno de lo que se supone un deseable y correcto dominio en las materias objeto de la evaluacin (INCE, 1997, pg. 17). De modo geral, os resultados obtidos, a partir do uso de testes de rendimento, tm uma grande variedade de funes que permitem, por exemplo: Comparar o progresso da aprendizagem dos alunos, em distintos perodos, com o objetivo de estimar a magnitude das mudanas; Identificar as debilidades e fortalezas do currculo educativo; Identificar as debilidades e fortalezas da prtica docente; Propor explicaes ou hipteses sobre acertos e erros mais freqentemente cometidos entre os respondentes. Em sntese, o uso dos testes de rendimento, no mbito da avaliao da aprendizagem, pode ter uma grande utilidade para os estudos sobre a eficcia educacional, ou seja, para a avaliao da qualidade dos produtos educativos, a partir da atuao docente e das caractersticas curriculares.

Importncia dos Testes de Rendimento Antes de ressaltar sua importncia queremos recordar algumas crticas genricas feitas ao uso dos testes. O uso massivo desses instrumentos de medida ocasionou muitos problemas devido s suas prprias limitaes e, sobretudo, pelo uso das pontuaes ou escores muito mais alm do que era aceitvel. No obstante, os testes continuam a ser muito utilizados nos Estados Unidos, em atividades como, seleo de funcionrios para o servio pblico e militar, avaliao

847

de imigrantes e progresso educativo de estudantes. Para termos idia da quantidade de testes utilizados, anualmente, no contexto norte-americano, citamos algumas palavras de Hartle e Battaglia (1993): The National Commision on Testing and Public Policy has estimated that each year elementary and secondary school students take 127 million separate tests. Some students may take as many as 12 tests a year. The National Center for Fair and Open Testing has calculated that roughly 100 million standardized tests were administered during the 1986-1987 school year 1 (pg. 291). Finalmente, faremos uma breve meno importncia dos testes para uma clase muito especfica: os militares norte-americanos. Sabemos que em 1917 o Exrcito dos Estados Unidos utilizou, pela primeira vez, os mundialmente conhecidos Testes Alpha e Betha, com o objetivo de selecionar e classificar os soldados que iam participar da Primeira Guerra Mundial (Anastasi, 1988; Pasquali, 1997). Devido ao xito de seu uso e, uma vez finalizada a guerra, a indstria e o restante das instituies em geral, inclundo a educao, passaram a utilizar massivamente os testes, conheendo-se uma expanso sem precedentes durante as dcadas subseqentes. Segundo dados fornecidos por Elam (1990), 73% dos estudantes do ensino mdio norteamericano (high school students), entrevistados em 1990 pelo Instituto Gallup de Opinio Pblica, aprovaram ser submetidos a algum tipo de teste de rendimento, para obter o diploma desse nvel de ensino. Um incremento de 50% com respeito ao ano 1958, no qual foi feita, pela primeira vez, essa mesma pergunta. Como destacam Hartle e Bataglia (1993), com base em informaes dessa natureza, o governo federal dos Estados Unidos est usando e encorajando o uso de mais testes de rendimento nos processos de avaliao educacional. No mbito brasileiro, desejamos ressaltar a importncia dos testes para duas relevantes reas: Psicologia e Pedagogia. No caso da Psicologia, Nick (1988) costuma caracterizar trs fases distintas. A primeira, compreendida entre os anos 30 e 60, chamada Momento da Idealizao e tida como a fase urea da construo de instrumentos de medida psicolgica. Apesar disso, muitos dos autores relegaram a segundo plano a determinao dos parmetros mtricos de seus testes e, entre aqueles que estabeleceram tais parmetros, necessrio ressaltar a precariedade com que foram realizadas as anlises estatsticas dos seus instrumentos, pois no contavam com anlises sofisticadas, proporcionadas por softwares, nem com computadores. Assim, embora sejam considerados vlidos tais parmetros, necessrio admitir a existncia de inmeros erros, sobretudo de amostragem, e de preciso dos clculos.

A Comisso Nacional de Avaliao e Polticas Pblicas estima que so utilizados, anualmente, 127 milhes de testes, nos nveis fundamental e secundrio de ensino. Alguns alunos podem chegar a submeter-se a at 12 testes ao ano. O Centro Nacional para Avaliaes Justas e Democrticas calculou que foram utilizados 100 milhes de testes durante o ano acadmico 1986-87.

848

A segunda fase, compreendida entre o final dos anos 70 e meados de 80, foi denominada por Nick (1988) de Momento da Desiluso. Pode ser caracterizada pela supervalorizao dos testes psicolgicos, resultando no uso generalizado e quase sempre inadequado dos mesmos; a orientao vocacional foi uma das reas mais prejudicadas. O resultado imediato desse fenmeno foi um tremendo descrdito por parte da sociedade, principalmente das empresas privadas, na utilizao dos testes psicolgicos. nesse momento que surgem crticas contrrias aos estudos de adaptao de instrumentos de medida psicolgica realidade brasileira. Como exemplo, citamos a posio de Augras (1990), para quem os testes so produtos culturais, e s fazem sentido dentro do universo de referncias simblicas que os gerou (pg. 79). O Momento de Maturidade caracteriza a atual fase, que teve incio na segunda metade dos anos 80. Possui como trao principal a reao de parte dos psiclogos s crticas lanadas aos testes psicolgicos. o perodo no qual aumentam, considerablemente, os estudos visando adaptaes, construes e informatizaes de instrumentos psicolgicos realidade brasileira; so criados cursos de especializao em Avaliao e Medida Psicolgica; inicia-se a tentativa de elevar a credibilidade da sociedade nos instrumentos de medida psicolgica (Andriola, 1995 ab). J no contexto pedaggico da avaliao educacional, mais especificamente no ensino superior, os testes de rendimento so utilizados pela maioria das universidades brasileiras, sejam de natureza pblica ou privada, como procedimento para a seleo dos aspirantes ou candidatos aos seus cursos, que popularmente conhecido como vestibular (Bosi, 2000). No mbito da Universidade Federal do Cear (UFC) so utilizados, anualmente, uns 220.000 testes durante a realizao do seu vestibular. Por exemplo, no ano 2000 se apresentaron quase 33.000 candidatos, que foram submetidos a sete testes nas reas de matemtica, fsica, qumica, biologia, histria do Brasil e geral, lngua portuguesa e lngua extrangeira (Andriola, 2002). Igualmente, nos trs processos de avaliao da qualidade do ensino nacional, realizados pelo Ministrio da Educao e Desporto (MEC), so utilizados testes de rendimento. O Sistema Nacional de Avaliao da Educao Bsica (SAEB), rgo subordinado ao MEC, responsvel pela avaliao da qualidade do ensino fundamental desde o ano 1988. A partir desse ano executou avaliaes sistemticas nos anos 1990, 1993, 1995, 1997 e 1999. A ltima delas contou com a participao de 360,4 mil estudantes de 2.145 municpios dos 27 estados federativos, que cursavam a 4 e 8 sries. Esses alunos foram avaliados nas disciplinas de lngua portuguesa, matemtica, cincias, histria, geografia, fsica, qumica e biologa (MEC, 2001 a). A avaliao da qualidade do ensino mdio foi implantada pelo MEC em 1998, atravs da portaria ministerial n 438, publicada no Dirio Oficial da Unio (DOU) em 28 de maio do

849

mesmo ano. conhecido como Exame Nacional do Ensino Mdio (ENEM) e foi executado nos anos 1998, 1999 e 2000 (MEC, 2001b). De acordo com dados do MEC, 315 mil alunos foram submetidos ao ENEM no ano 1999. Finalmente, o processo de avaliao da qualidade do ensino superior foi criado pela lei 9.131/1995, sendo conhecido como Exame Nacional de Cursos (PROVO). Desde ento, foi executado nos anos 1996, 1997, 1998, 1999, 2000 e 2001. Segundo o MEC, o PROVO do ano 2000 contou com a participao de, aproximadamente, 205.000 universitrios, o que supe o uso de igual quantidade de testes de rendimento (MEC, 2001 c). Diante de tantos processos avaliativos, no causa nenhuma surpresa a afirmao de que, no Brasil, alcanamos uma certa maturidade avaliadora. O termo maturidade revela um aceitvel grau de progresso da nossa sociedade, pois nos damos conta de que os sistemas educativos representam uma das maiores empresas de interveno social. Sua atividade e seus produtos afetam, direta ou indiretamente, a maioria dos membros da sociedade civil. Avaliar o seu funcionamento algo de extremada relevncia, j que uma enorme quantidade de verba pblica utilizada para tal, devendo, portanto, ser gerenciada e controlada, adequadamente, pela sociedade civil (Andriola, 2002, 2003).

guisa de concluso Destacamos que avaliao da aprendizagem lhe cabe a funo de delimitar as aquisies e os modos de raciocnio de cada aprendiz, de maneira que o professor possa auxililo a progredir e, assim, alcanar ou aproximar-se, o mximo possvel, dos objetivos curriculares propostos a priori. Nesse mbito ela, a avaliao, torna-se uma atividade necessria e imprescindvel, porque uma estratgia pedaggica de luta contra o fracasso escolar e, por conseguinte, das desigualdades sociais. Ora, mas se a avaliao, nessa perspectiva, nada mais do que um modo de regular a ao pedaggica luz das informaes sobre os aprendizes, por que no uma prtica corrente? Por vrios motivos. Destaquemos to somente dois deles. Primeiro: porque a formao dos professores trata muito pouco da avaliao e dos seus modelos, menos ainda, da avaliao da aprendizagem. Segundo: porque esse modelo avaliativo choca-se com inmeros obstculos materiais e institucionais turmas numerosas, concepes inadequadas de ensino, alunos desmotivados, famlias ausentes da escola, dentre inmeras outras dificuldades. Outrossim, afirmamos que a qualidade educacional, independentemente do seu significado, um construto intimamente associado ao uso de procedimentos sistemticos de avaliao (Andriola, 1999 a; Andriola, 2000 c). Alm do mais, abemos que um poderoso

850

indicador da qualidade de uma instituio educacional o nvel de alcance dos objetivos curriculares propostos a priori, isto , o grau de efetividade ou eficcia escolar que possui. Destacamos que o procedimento mais adequado para medir o grau de efetividade escolar atravs da comparao dos resultados educativos observados com aqueles esperados, isto , comparar o grau de aprendizagem obtido pelos alunos com os objetivos educativos propostos. Para tanto, devemos usar os conhecidos testes de rendimento ou referidos a um critrio, j que so considerados os instrumentos mais adequados a esse tipo de estudo. No obstante, bastante comum que os itens utilizados nesse tipo de teste tenham uma caracterstica conhecida como funcionamento diferencial do item (DIF). Faz-se mister enfatizar: o DIF ocasiona srios problemas s avaliaes educacionais. Trata-se de um fator de injustia para alguns grupos de respondentes, j que os alunos que possuem o mesmo grau de aprendizagem, mas que provm de distintos grupos demogrficos, tm distintas probabilidades de acertar um mesmo item. Portanto, devemos reconhecer a relevncia das investigaes sobre o DIF, j que podem proporcionar maior eqidade aos processos de avaliao educacional, atravs da identificao e no utilizao daqueles itens que possuam algum tipo de DIF. Por fim, devemos enfatizar a opinio de Andriola (2002): o estudo do DIF deve preceder qualquer processo de avaliao educacional srio, ou seja, esse tipo de estudo deve, necessariamente, fazer parte da fase de pr-teste dos itens antes de sua definitiva utilizao. Em suma, esse o panorama atual. Entre as inmeras necessidades educacionais reais e as polticas propostas para supri-las, nem sempre h coerncia. Porque existe, atualmente, no seio educacional, certa paralisia pela crise econmica, fragilidade da maioria detentora do poder, contradies internas e excesso de burocracias educativas, fatores esses que provocam o distanciamento entre os ideais declarados e a realidade dos sistema educacional. Como afirma um antigo adgio latino: lii semntem fciunt, lii metent (uns fazem a sementeira, outros colhem os frutos).

851

Referncias Bibliogrficas ANASTASI, A. Psychological Testing. New York: MacMillan, 1988. _______________. Os testes psicolgicos no Brasil: problemas, pesquisas e perspectivas. In L. S. Almeida & I. S. Ribeiro (Org.), Avaliao Psicolgica. Formas e contextos (pp. 77-82). Braga: Associao dos Psiclogos Portugueses, 1995 a. _______________. Problemas e perspectivas quanto ao uso de testes psicolgicos no Brasil. Psique, 6, 46-57, 1995 b. _______________. Avaliao do raciocnio numrico em estudantes do 2 grau. Educao em Debate, 29/32, 95-99, 1995 c. _______________. Deteccin del funcionamiento diferencial del tem (DIF) en tests de rendimiento. Aportaciones tericas y metodolgicas. Tese de Doutorado (629 p.). Madrid: Universidad Complutense de Madrid, 2002. _______________. Cuidados na avaliao da aprendizagem: algumas reflexes (p. 157-168). In McDonald, Brendan Coleman (Org.). Esboos em Avaliao Educacional. Fortaleza: Editora da UFC, 2003.

_______________. (Org.). Avaliao educacional. Navegar preciso. Fortaleza: Editora da UFC, 2004. _______________. (Org.). Mltiplos olhares em torno da Educao. Fortaleza: Editora da UFC, 2005. ANDRIOLA, W. B. & Mc DONALD, B. C. (Org.). Avaliao. Fiat lux em Educao. Fortaleza: Editora da UFC, 2003. AUGRAS, M. Testes psicolgicos e antropologia. Arquivos Brasileiros de Psicologia, 42 (3), 77-87, 1990. BOSI, A. A importncia da Universidade Pblica. Cincia Hoje, 28 (165), 42-48, 2000. BRASIL. Ministrio da Educao e Desporto. O Sistema Nacional de Avaliao da Educao Bsica (SAEB). Texto retirado do World Wide Web <http//:www.inep.gov.br/saeb/default.htm>, 2001 a. _______________. Ministrio da Educao e Desporto. O Exame Nacional do Ensino Mdio (ENEM). Texto retirado do World Wide Web <http//:www.inep.gov.br/enem/default.htm>, 2001 b. _______________. Ministrio da Educao e Desporto. O Exame Nacional de Cursos (PROVO). Texto retirado do World Wide Web <http//:www.inep.gov.br/enc/default.htm>, 2001 c. ELAM, S. M. The 22nd annual Gallup poll of the publics attitudes toward the public scholls. Phi Delta Kappan, 72(1), 42-55, 1990. HARTLE, T. W. & BATTAGLIA, P. A. The Federal Role in standardized Testing (pp. 291311). In R. E. Bennett & W. C. Ward (Org.), Construction versus Multiple Choice Items in Cognitive Measurement. New Jersey: Lawrence Erlbaum Associates, 1993.

852

INCE - INSTITUTO NACIONAL DE CALIDAD Y EVALUACIN. Informe Tcnico de los Resultados Escolares. Diagnstico del sistema educativo-1997. La escuela secundaria obligatoria. Madrid: Ministerio de Educacin y Cultura (MEC), 1998. MARTNEZ ARIAS, R. Psicometra. Teora de los Tests Psicolgicos y Educativos. Madrid: Ediciones Sntesis, 1997. Mc DONALD, B. C. (Org.). Esboos em Avaliao Educacional. Fortaleza: Editora da UFC, 2003. NICK, E. Vivncias relativas ao trabalho em avaliao psicolgica. Dificuldades, limites e perspectivas para o Brasil. Anais da 18 Reunio Anual da Sociedade Brasileira de Psicologia de Ribeiro Preto-SBPRP (pp. 523-525). Ribeiro Preto: SBPRP, 1988. PASQUALI, L. Psicometria: Teoria e Aplicaes. Braslia: Editora UnB, 1997. PEREZ JUSTE, A. & GARCA RAMOS, R. Diagnstico, Evaluacin y Toma de Decisiones. Madrid: Ediciones Rialp S. A., 1989. TYLER, L. E. Testes e Medidas. Rio de Janeiro: Zahar Editores, 1981. VERDUGO ALONSO, M. A., FUERTES, J., JENARO, C., JIMNEZ GMEZ, F., LZARO, A. J., NGELES MAYOR, M., MONJAS, I., ORRANTIA, J., PEDROSA, C., RUBIO, V. SAIZ, C. SNCHEZ MIGUEL, E., VERDUGO, M. A. & ZALDVAR, F. Evaluacin Curricular. Una gua para la intervencin psicopedaggica. Madrid: Siglo XXI de Espaa Editores S. A., 1994.

853

854