ESUD 2011 VIII Congresso Brasileiro de Ensino Superior a Distncia Ouro Preto, !

de outu"ro de 2011 # U$I%EDE

ANLISE ESTATSTICA E PEDAGGICA DE AVALIAES SERIADAS: ESTUDO DE CASO DE QUESTES DE FSICA

Jefferson Adriano Neves1, Ulisses Azevedo leito2
1

Universidade Federal de Lavras/DEX, jneves@fisica.ufla.com

2

Universidade Federal de Lavras/DEX, ulisses@ufla.br

Resumo O presente trabalho apresenta uma anlise estatstica, baseada na Teoria de Resposta ao Item (TRI), corroborada por uma anlise pedaggica, de itens do Processo de Avaliao Seriada (PAS) da Universidade Federal de Lavras. Temse como objetivo analisar o desempenho dos alunos atravs da TRI, dentro do modelo logstico de trs parmetros, e verificar, por meio de anlises pedaggicas comparativa dos itens, quais foram as principais falhas conceituais envolvendo as questes de Fsica da 1 etapa do PAS. O estudo se resume ao ano de 2010, realizado por 2110 alunos de diversas escolas pblicas e privadas de diversos Estados. O presente trabalho evidencia uma enorme defasagem conceitual dos alunos na primeira etapa do PAS, que fortemente indica que a no observao do Currculo Bsico Comum do Estado de Minas Gerais no processo seriado pode estar prejudicando o desempenho de alunos oriundos das escolas pblicas. Palavras-chave: Processo seletivo, Avaliao seriada, Teoria de resposta ao Item Abstract This paper presents a statistical analysis based on Item Response Theory (IRT), corroborated by a pedagogical analysis of items of the Serial Evaluation Process (PAS), of the Federal University of Lavras. It is done with the purpose to analyze the performance of the students through the TRI, within the three-parameter logistic model, and verify, by means of pedagogical analysis of items, which were the main conceptual failures involving questions of Physics of the 1st stage of PAS. The study summarizes the PAS occured in year 2010, performed by 2110 students of various schools public and private in various States. This work shows a huge conceptual gap of pupils in the first step of PAS, which strongly indicates that the non-observation of the Common Core Curriculum (CBC) of the State of Minas Gerais, in case of PAS, may be hindering the performance of students from public schools. Keywords: Selection process, Serial assessment, item response theory

1. Introduo
A avaliao o mecanismo primrio de retroalimentao no sistema educacional. Assim, avaliar as concepes espontneas e a estrutura conceitual apresentada pelos estudantes um desafio e uma necessidade. O objetivo maior da pesquisa em educao o desenvolvimento 1

de um arcabouo terico visando a compreenso e a melhoria do processo de ensino/aprendizagem. Neste contexto, o instrumento e o processo de avaliao desempenham um papel crucial. No contexto da Educao a Distncia (EaD), por exemplo, disciplinas em ambientes virtuais de aprendizagem (AVA) com 150 alunos/professor tornam necessrio o desenvolvimento de estratgias de avaliao de aprendizagem continuada, que permitam identificar lacunas conceituais e viabilizem uma rpida resposta e interveno por parte dos agentes pedaggicos e tutores. Seja no ensino presencial, seja no ensino a distncia, o processo seletivo de acesso dos estudantes Universidade uma tarefa que demanda tempo e uma abordagem individualizada do estudante. Neste contexto, grande parte da avaliao dos processos seletivos compem-se de testes objetivos, de mltipla escolha. necessrio desenvolver padres de avaliao que permitam assegurar a confiabilidade, equivalncia e a equiparao de diferentes verses de teste, bem como desenvolver mtricas para comparar, de forma to objetiva quanto possvel, diferentes populaes de estudantes. Por outro lado, o processo seletivo seriado precisa levar em considerao o currculo desenvolvido nas escolas. O CBC Currculo Bsico Comum implementado pela Secretaria de Estado da Educao no Estado de Minas Gerais (SEEDMG, 2011) est praticamente implantado nas escolas pblicas estaduais. Entretanto, a sua organizao curricular no se expressa na maioria dos editais. Nos ltimos 20 anos, grande esforo foi realizado no exterior para o desenvolvimento e a anlise de instrumentos de avaliao de mltipla escolha padronizados em diferentes reas do ensino de Fsica. Vale citar o Force Concept Inventory FCI [Hestenes 1992] e o Determining and Interpreting Resistive Electric Circuit Concepts Test DIRECT 1.1 [Engelhardt 2004]. No Brasil so raros os estudos e o desenvolvimento de instrumentos de avaliao de aprendizagem na rea de Fsica. Um estudo recente [Rezende 2009] mostra que grande parte da pesquisa em Ensino de Fsica no Brasil se concentra no processo de Ensino-aprendizagem, que corresponde a dois teros dos 152 artigos publicados entre 2000-2007. Deste total, apenas trs artigos na rea de Avaliao de Aprendizagem e apenas oito na rea de levantamento de concepes e dificuldades conceituais. Vale destacar os estudos de Moraes et al. [Moraes 2000] no computados por [Rezende 2009]. As duas ltimas dcadas verificou-se o estabelecimento da Teoria de Resposta ao Item (TRI) [Baker, 2001] como ferramenta fundamental para anlise estatstica de testes educacionais. A utilizao desta ferramenta em macro avaliaes generalizada. Alguns exemplos de uso como metodologia para o estabelecimento de escalas de avaliao: o National Assessment of Educational Progress, do Ministrio da Educao dos Estados Unidos [US Dept. Education, 2010], o SARESP Sistema de Avaliao de Rendimento do Estado de So Paulo e o ENEM Exame Nacional do Ensino Mdio. Vide p.ex. [Andrade, 1998]. Entretanto, a TRI como ferramenta de anlise ainda no faz parte do cotidiano educacional. Em sua aplicao educacional, a TRI visa, por um lado, estimar os parmetros intrnsecos das questes individuais de um teste, como o seu grau de dificuldade e sua capacidade de discriminao. Neste sentido uma ferramenta que possibilita a comparao entre diferentes instrumentos de avaliao sobre o mesmo tema. Por outro lado, utilizando 2

estes mesmos parmetros das questes, a TRI estabelece uma mtrica para a habilidade latente do aluno, permitindo avaliar as caractersticas de diferentes grupos de alunos que pertencem a uma mesma populao. Vale ressaltar que estas caractersticas fazem da TRI um instrumento essencial para a avaliao de macro avaliaes, como o ENEM. Ela permite comparar o rendimento de alunos em diferentes edies do exame. Note ainda, que esta tambm uma caracterstica desejvel como um mecanismo de controle das avaliaes de ensino-aprendizagem no cotidiano educacional. O presente trabalho apresenta uma anlise estatstica, baseada na TRI, corroborada por uma anlise pedaggica, de itens do Processo de Avaliao Seriada (PAS) da Universidade Federal de Lavras. Temse como objetivo analisar os resultados dos alunos atravs da TRI e verificar, por meio de anlises pedaggicas dos itens, quais foram as principais falhas conceituais envolvendo as questes de Fsica da 1 etapa do PAS. O estudo se resume ao ano de 2010, realizado por 2110 alunos de diversas escolas pblicas e privadas de diversos Estados. A TRI utilizada para estimar os parmetros dos itens do PAS1-Fsica, dentro do modelo logstico de trs parmetros. O presente texto est organizado da seguinte forma. No prximo item sero apresentados a definio do objeto de estudos e os aspectos metodolgicos da anlise realizada. A seguir, no item 3, apresenta-se a anlise estatstica e pedaggica dos resultados obtidos. Uma discusso e as concluses do trabalho esto no item 4.

2. Metodologia
O Processo de Avaliao Seriada (PAS) realizado pela Universidade Federal de Lavras UFLA, um processo seletivo no qual o candidato avaliado em trs etapas, sendo 1 e 2 etapas e Enem, ao final de cada srie do Ensino Mdio, permitindo o acesso UFLA. A participao do PAS proporciona ao candidato o somatrio das pontuaes nas trs etapas, com a seguinte distribuio de pesos: 1 Etapa 30%, 2 Etapa 30% e a 3 Etapa 40%. Ao final de cada etapa o candidato recebe o Relatrio de Desempenho do Candidato com sua nota em cada matria, com isso, poder corrigir suas falhas e melhorar seu desempenho ao longo do processo. As escolas tambm recebem o Relatrio Geral de seus alunos inscritos no PAS, com o objetivo de constatar as possveis deficincias em cada contedo. As respostas dos alunos que realizaram a primeira etapa do PAS em 2010 foram tabuladas e analisadas utilizando a TRI. No presente trabalho sero apresentados os dados dos itens de Fsica. Uma vez tabuladas as respostas, utiliza-se o Software Livre ICL Item Response Theory Command Language (Hanson, 2010) para realizar a estimao dos parmetros da TRI de cada item. O software ICL utiliza o Algoritmo EM para estimar os parmetros (Woodruff, 1996). Os resultados obtidos pela TRI foram utilizados para orientao da anlise pedaggica. Em especial, os itens discrepantes foram analisados em maior profundidade, visando 3

compreender as razes pedaggicas e curriculares que poderiam estar na origem destas observaes.

3. Anlise do resultado
3.1. Anlise Estatstica A TRI surge como uma alternativa para avaliao de resultados de um teste de conhecimento. A principal vantagem da TRI frente ao mtodo convencional (Estatstica Clssica EC), que a nota do aluno no mais o score bruto, mas a sua habilidade frente ao teste. Alm disso a TRI separa as caractersticas do teste (o grau de dificuldade dos itens, por exemplo) das caractersticas do aluno (sua habilidade em determinado item curricular). Veja, por exemplo, Andrade (Andrade, 1998) e Baker (Baker, 2010). A TRI associa a cada item de um teste trs caractersticas, e segundo estas caractersticas o aluno ir acertar ou errar o item de acordo com sua Habilidade ou Trao Latente. Estas caractersticas so conhecidas como Parmetros (Baker, 2010). Neste modelo utiliza-se os parmetros A, B e C, no qual o parmetro A o poder de discriminao de cada item, B a dificuldade do item e C a probabilidade de um aluno com baixa habilidade acertar o item, ou acerto aleatrio. Na Tabela 1 se encontra os parmetros de cada item. Dos itens, apenas o 14 obteve parmetro C acima de 0,25 (25 %). Com isso, pode-se concluir que os alunos, ao ler o item, conseguiam eliminar uma opo, consequentemente o acerto aleatria aumenta. Apenas os itens 7 e 10 possuem o parmetro C dentro da faixa do esperado.
PAS12010 Parmetros
ITENS A B C

11 12 13 14 15 16 17 18 19 20

0,88 1,42 1,57 1,80 0,41 0,26 1,28 1,31 0,76 0,73

2,25 2,39 3,39 2,49 3,01 0,48 3,79 2,50 1,97 2,21

0,13 0,17 0,20 0,34 0,16 0,18 0,25 0,16 0,13 0,24

Tabela 1: Parmetros estimados com o software ICL dado as respostas dos alunos para o PAS 1 ETAPA

Todos os demais ficaram abaixo do esperado, o que desejvel, pois indica que as alternativas do item no podiam ser excludas a priori, e foravam uma anlise de todas as alternativas para a resoluo do item. Em geral, o PAS12010 possui itens difceis, exigindo dos alunos uma compreenso maior para a sua resoluo. Isto tambm verificado na TRI, onde 90 % dos itens possuem valores do parmetro B perto ou acima de 2,00, o que elevado dentro da escala deste parmetro. Conforme a Tabela 1, os parmetros A so bem elevados, implicando em um alto poder de discriminao dos itens. O 13 se destaca pelo alto poder de discriminao e dificuldade e acerto aleatrio abaixo do esperado.

Porcentagem de acerto
(%) 60% 50%
Porcentagem

40% 30% 20% 10% 0% 11 12 13 14 15

Itens

16

17

18

19

20

Fi ura 1: Porcenta em de acerto dos itens!

3.2. Anlise Pedaggica O programa de matrias da 1 etapa do PAS relaciona-se aos contedos curriculares indicados pelos Parmetros Curriculares Nacionais PCN para o ensino fundamental e para o 1 ano do ensino mdio. A parte de Fsica composta por dez questes, que podem abranger os seguintes conceitos: Trajetria; Deslocamento; Velocidade; Acelerao; Movimento retilneo uniforme; Movimento retilneo uniformemente variado; Movimento circular uniforme e uniformemente variado; Movimento de projteis; Movimento relativo; Leis de Newton; Equilbrio de uma partcula; Equilbrio de um corpo rgido; Gravitao universal; Hidrosttica; Trabalho, potncia e energia; Conservao e dissipao da energia mecnica; Impulso e quantidade de

movimento (momento linear); Conservao da quantidade de movimento (momento linear) e colises. Conforme a Tabela 2, apenas no item 16 os alunos obtiveram um desempenho aceitvel, tendo 54% de acerto. O que condiz com a TRI, que afirma que este o item mais fcil, com parmetro B de 0,48. As anlises pedaggicas foram realizadas para todos os itens, porm sero apresentados apenas os itens que se evidenciaram dentro da TRI e os que se mostraram importantes para compreenso das principais falhas conceituais.
FREQ !NCIA"#E"ESC$%&A"PAS1'"2010 A%TERNATI(AS
A B C # $)ISS*$ 0,09% 0,14% 0,05% 0,05% 0,09% 0,05% 0,05% 0,05% 0,05% 0,14% ITENS 11 12 13 14 15 16 17 18 19 20

18+91, 57,01% 25,55% 9,57% 47,54% 10,43% 30,71% 18+10, 27,16% 31+75,

28,72% 17,49% 41,04% 35+17, 26+87, 26,07% 22,37% 31,75% 13,46% 36,30%

30,00% 19+53, 13,55% 33,03% 21,33% 8,77% 24+93, 35,21% 23+08, 22,94%

22,27% 5,83% 19+81, 22,18% 4,17% 54+69, 21,94% 14,88% 36,26% 8,86%

Tabela ": Fre#u$ncia de escol%as e omiss&o dos alunos #ue reali'aram a PAS 1 etapa! (nde os itens em ne ritos s&o os corretos!

Dos itens, o 12 apresenta relaes no-lineares em suas alternativas. Em um trabalho anterior (Leito, 2010), foi constatado que tais relaes envolvem mais de uma etapa de raciocnio, o que pode originar destrator os alunos apresentam maior grau de dificuldade conceitual. Este item obteve 0,1& ' de omisso. Item 12
Um bloco abandonado ( v 0 =0 ) do alto de um plano inclinado, totalmente isento de atrito. No final do 1 segundo de movimento, o bloco desliza uma distncia d. Ao final do 3 segundo de movimento, ter percorrido uma distncia de: (A) 3 d (B) 6 d (C) 9 d (D) 8 d

!(,01 '

1(,&) ' 1),! ' 0!,* '

Fi ura " ) Item 1" da a*alia+&o PAS,-FLA. com respecti*as fre#u$ncias de escol%a

No item 12 so abordados os conceitos de cinemtica. Para a sua resoluo, os alunos deveriam encontrar o valor da acelerao, perceber que a velocidade inicial nula e utilizando a funo horria da posio (MUV), obter que a posio proporcional ao quadrado do tempo. Resultado na alternativa (C) com apenas 19,53% de acerto. Este item comprova o raciocnio linear dos alunos. Para 1,0 segundo a distncia percorrida d para 3,0 segundos a distncia ser de d . Que resultou na opo (A) cerca de 57,01% das escolhas. No item existem duas alternativas que, aparentemente, no fazem nenhum sentido e obteveram 23% das escolhas. De acordo com a Teoria de Resposta ao Item o parmetro C, ficou com 0,17, ou seja, abaixo do esperado. Isso comprova que no houve descarte de opes. Uma anlise cuidadosa, que poder ser corroborada por pesquisas qualitativas atravs de entrevistas, aponta para o fato de que, talvez, a opo (B) seja resultado de concepo errnea associada a confuso entre relao de potncia ( 2 d ) e multiplicao ( 2 d ). Item 13 Um corpo, ao se deslocar em um meio fluido (lquido ou gasoso) fica
sujeito a uma fora de resistncia, que expressa por:

F R= kv

, em que

uma constante de proporcionalidade e

a velocidade do corpo no

meio. Considerando o Sistema Internacional de Unidades (SI), CORRETO afirmar que a constante

k dada pelas unidades: 2!,!! '

(A) kg / s 2 (B) (C)

N.m / s
2

&1,01 ' 1 ,!! '

1),*1 '

N.kg / s

(D) kg / m

Fi ura / ) Item 1/ da a*alia+&o PAS,-FLA. *ide te0to!

O item 13, Figura 3, obteve 0,05% de omisso e envolve anlise dimensional da constante. Para sua resoluo os alunos devem perceber que o resultado da fora dado em N (Newton) e do lado esquerdo da equao deve aparacer as unidades que resultam em Newton. s2 [ k ]= N 2 como m que obteve apenas cerca de 20 % de acerto. Assim resultam que a m N = Kq 2 resultando na alternativa (D), s

A alternativa (A) um resultado sem sentido. Na alternativa (B) os alunos so testados em sua capacidade de discernir a multiplicao da diviso. Em (B) e (C), os alunos realizaram apenas a primeira parte do problema, sem definir a unidade de fora N. Estas opes totalizaram 55,56 % das escolhas dos alunos.

Item 14 O estudo de lanamento oblquo de projteis j foi de grande interesse

estratgico. Considerando desprezvel o efeito da resistncia do ar sobre o projtil, CORRETO afirmar que: (A) para um ngulo de lanamento de 45, a altura mxima atingida pelo projtil sempre metade de seu alcance mximo.

),!( '

(B) o movimento do projtil tratado como a composio de dois movimentos que se realizam simultaneamente: um movimento uniforme na direo horizontal e outro movimento uniformemente variado na direo vertical.

!,1( '

(C) a velocidade do projtil no ponto mais alto da trajetria nula.

,0 '

(D) a acelerao que atua no projtil no ponto mais alto da trajetria nula.

22,1* '
Fi ura 1 ) Item 11 da a*alia+&o PAS,-FLA. *ide te0to!

O item 14, Figura 4 acima, aborda os conceitos do lanamento oblquo. Na sua resoluo os alunos devem compreender que o movimento de projtil corresponde a composio de dois movimentos, um na horizontal com o MU (Movimento Uniforme) e um na vertical com o MUV (Movimento Uniformemente Variado). Apenas 35,17% dos alunos realizaram o processo descrito acima e acertaram o item. Em um lanamento oblquo, quando o projetil se encontra na altura mxima a componente vertical da velocidade nula, isso levou 33,03% dos alunos a optarem pela alternativa (C). Neste tipo de movimento no existe acelerao na componente horizontal (componente que realiza o MU) h apenas acelerao da gravidade na vertical. Os alunos que optaram pela alternativa (D), devem ter confundindo os conceitos de velocidade com acelerao. O item 20, Figura 5 abaixo, obteve 0,14% de omisso e aborda o conceito de Conservao de Energia. Para resolver o item os alunos devem encontrar a energia do sistema antes do objeto comear a subir a rampa e quando ele entra em repouso, dessa forma utilizando o conceito de conservao de Energia encontrar a energia dissipada pelo atrito, que resulta na alternativa (A). A alternativa (C) representa a primeira etapa do raciocnio enquanto a (B) a segunda etapa resultando em 57% das escolhas do alunos E a alternativa D) seria verdadeira se nenhuma energia fosse perdida (conservao da energia mecnica).

Item 20 Um objeto de massa 10 kg se desloca horizontalmente com

v 0 =! m / s ,

encontra um plano inclinado de um ngulo e percorre-o at uma altura de 1 m, quando momentaneamente entra em repouso e volta base (figura abaixo). Considerando g = 10 m/s2, CORRETO afirmar que a energia dissipada pela fora de

atrito na subida do plano foi de: (A) 25 J +B, 100 +C, 12! +D, 0 -

1, (! ' ., 0 ' 22,)& ' 0*,*. '

Fi ura 2 ) Item "3 da a*alia+&o PAS,-FLA. *ide te0to!

Vale entretanto observar que este item, que discute a questo da energia, possui um ndice razovel de acerto. Tal fato pode ser relacionado ao fato de que o CBC no Estado d forte nfase ao conceito de energia em seu primeiro ano. Em contraste, o item 12, uma questo simples de cinemtica, que no consta do CBC para o primeiro ano, obteve um ndice de acerto bem aqum do esperado.

4. Discusso e concluses
Conforme apresentado anteriormente, a prova do PAS 1 Etapa baseadas no PCN, proposto pelo Governo Federal como proposta de currculo. Entretanto, segundo a LDB de 96, todas as escolas pblicas que ofertam o ensino mdio so de responsabilidade do Estado. Todas as escolas pblicas do Estado de Minas Gerais, o Currculo Bsico Comum CBC, que no primeiro ano apresenta um contraste muito grande quando comparado com o PCN. O contedo ensinado no 1 ano do Ensino Mdio, segundo o CBC, compreende os seguintes tpicos Eixos Temticos: Energia na Terra, Transferncia, Transformao e Conservao e a Energia Aplicaes. Tal formatao difere de um forma drstica do PCN, o que pode estar na origem dos resultados observados. Dos dez itens que compem a 1 Etapa do PAS de 2010, apenas dois so relacionados com o conceito de Energia. A anlise dos resultados corrobora o fato de que os alunos, em um modo geral, obtiveram um desempenho um pouco melhor em itens que envolvem o conceito de energia. 9

Assim, a principal concluso do Universidade desenvolver uma avaliao Curriculo Bsico Comum - CBC, para pblica onde, por fora das aes da implantado.

presente trabalho aponta para a necessidade da de seu processo seletivo que seja coerente com o atender de forma equilitria, aos alunos da rede Secretaria Estadual de Educao, o CBC est

Uma anlise mais ampla, com a realizao em paralelo de pesquisa qualitativa e anlise de entrevistas poderia ser necessria para elucidar esta observao.

Referncias
ANDRADE, Dalton Francisco de; VALLE, Raquel da Cunha, Introduo Teoria da Resposta ao Item: Conceitos e Aplicaes, Estudos em Avaliao Educacional. So Paulo, Fundao Carlos Chagas 18, pgs. 13 32, (1998). BAKER, Frank B. The Basics of Item Response Theory, ERIC Clearinghouse on Assessment and Evaluation, 2001, ISBN 1-886047-03-0, acessado em 01 de agosto de 2010: http://info.worldbank.org/etools/docs/library/117765/Item%20Response%20Theory%20-%20F
%20Baker.pdf

BEICHNER, R.J. Testing student interpretation of Kinematics Graphs, Am. J. Phys. 62 (8), pgs. 750-762 (1994). ENGELHARDT, Paula, Examining students understanding of electrical circuits through multiple-choice testing and interviews, Ph.D. dissertation, North Carolina State University, (1997). ENGELHARDT, Paula V. e BEICHNER, Robert J. Students' understanding of DIRECT current resistive electrical circuits Am. J. Phys. 72 (1), pgs. 98-115 (2004). HANSON, Bradley A., IRT Command Language Manual, (2002) acessado em 01 de agosto de 2010 em: http://www.b-a-h.com/software/irt/icl/ HESTENES, D.; WELLS, M.; e SWACKHAMER, G. Force concept inventory, Phys. Teach. 30 (3), pgs. 141-158 (1992) ULISSES A. LEITO, ALEXANDRE O. L. DO BAIXO, JEFFERSON A. NEVES Anlise Estatstica de Avaliao de Aprendizagem em Eleromagnetismo, XIX Simpsio Nacional de Ensino de Fsica SNEF 2011 Manaus, 2011. MALONEY, DAVID P., O'KUMA, THOMAS L., HIEGGELKE, CURTIS J., Surveying students' conceptual knowledge of electricity and magnetism, Am. J. Phys. 69 (S1) S12S23 (2001). MORAES, ARTHUR M., MORAES, ITAMAR J., A Avaliao Conceitual de Fora e Movimento, RBEF, V. 22, n. 2, 232-246 (2000) PRADO, C. Avaliao da aprendizagem Campinas: Papirus, 1997. REZENDE, Flvia; OSTERMANN, Fernanda e FERRAZ, Gleice. Ensino-aprendizagem de fsica no nvel mdio: o estado da arte da produo acadmica no sculo XXI, Revista

10

Brasileira de Ensino de Fsica, 31 (1), 1402-1409 (2009). SECRETARIA DE ESTADO DA EDUCAO NO ESTADO DE MINAS GERAIS, portal do professor em: https://www.educacao.mg.gov.br/ , acessado em 20 de julho de 2011. TAREKEGN, Getachew, Can computer simulation substitute real laboratory apparatus?; Lat. Am. J. Phys. Educ. 3 (3), 506 517 (2009). THORNTON, Ronald K.; SOKOLOFF, David R. U. Assessing student learning of Newton's laws: The Force and Motion Conceptual Evaluation and the Evaluation of Active Learning Laboratory and Lecture Curricula; Am. J. Phys. 66 (4), April 1998. U.S. DEPARTMENT OF EDUCATIONInstitute of Education Sciences (2010), aces-sado em 5 de agosto de 2010 em: http://nces.ed.gov/nationsreportcard/tdw/analysis/ WOODRUFF, DAVID J. , HANSON, BRADLEY A. - Estimation of item response models using the EM algorithm for finite mixtures, ACT research report series -- 96-6, 1996, acessvel em: http://www.act.org/research/researchers/reports/pdf/ACT_RR99-06.pdf

11