1

O USO DA ESTATSTICA NA EDUCAO: A METODOLOGIA

EMPREGADA NA PESQUISA TALIS

ROBSON SIPRAKI - OBSERVATRIO DE
EDUCAO DO ENSINO SUPERIOR
UFPR e FACINTER1
robsonsipraki@gmail.com
ROSSANA LOPES SALES FACINTER2
lopes.rossana@yahoo.com.br
GISELE ADRIANA MACIEL PEREIRA UFPR3
giselife@bol.com.br

RESUMO: O Survey Internacional sobre Ensino e Aprendizagem (TALIS), em sua

traduo do ingls: Teaching and Learning International Survey, consiste em uma
pesquisa de alcance internacional, idealizado e coordenado pela Organizao
para a Cooperao e Desenvolvimento Econmico (OCDE). Ao se considerar que
boas prticas educacionais, aliadas aos estudos comparados, possibilitam uma
melhor compreenso da realidade, julga-se de suma importncia o estudo da
estatstica e seu emprego no campo educacional. Para tanto, intenta-se
compreender primeiro o significado da estatstica, bem como, sua histria, ainda
que superficialmente, pois, sua magnitude abrange uma rea que ultrapassa a
proposio do presente texto. Neste sentido, o objetivo desse estudo pretende-se
obtemperar de maneira sucinta, dvidas e questionamentos no emprego da
estatstica, especificamente questes referentes ao uso das tcnicas de
amostragem utilizadas na pesquisa TALIS. Os esclarecimentos sobre o emprego
dessas tcnicas emergem de forma a contribuir para uma melhor compreenso
da complexidade da pesquisa.
Palavras-Chave: TALIS, Estatstica, Tcnicas de Amostragem
1

Ps graduando em Tutor de Cursos de Mdias Integradas na Educao da UFPR - Ps

graduando em Engenharia de Produo FACINTER Professor em Escola Estadual Bolsista
do Observatrio da Educao do Ensino Superior UFPR Bacharel em Estatstica UFPR.
2
Ps graduando em Engenharia da Produo FACINTER Bacharel em Estatstica UFPR
Bacharel em Comunicao Social UFAM.
3
Doutoranda em Polticas Educacionais PPGEUFPR Bolsista CAPES Mestre em
Educao-PPGE-UPFR. Pedagoga pela UFPR.

INTRODUO
O Survey Internacional sobre Ensino e Aprendizagem4 (TALIS), em sua
traduo do ingls: Teaching and Learning International Survey, consiste em uma
pesquisa de alcance internacional, idealizado e coordenado pela Organizao
para a Cooperao e desenvolvimento Econmico (OCDE). Segundo Babbie
(1999),
Nenhum survey satisfaz plenamente os ideais tericos de investigao
cientfica. Cada um representa um conjunto de compromissos entre o ideal
e o possvel. (...) Surveys perfeitos podem no ser possveis, mas bons
surveys podem e devem ser realizados (BABBIE, 1999, p.31).

Neste particular, assinala-se, tal como consta no documento da OCDE

(2009) que,
A pesquisa internacional da OCDE sobre Ensino e Aprendizagem (TALIS)
proporciona insights sobre como os sistemas educacionais esto atuando,
uma vez que fornece a primeira perspectiva comparativa das condies do
5
ensino e da aprendizagem (OCDE, 2009, p.03).

E, tal como assevera Pereira (2011, p.22), ainda que [o survey] no

retrate a totalidade e a diversidade do que a educao (...) trabalha com uma
amostra representativa. Neste sentido, faz-se imperativo situar que:
O TALIS surge da reviso da OECD de 2005 sobre as polticas dos
professores, quando identificou lacunas importantes nos dados
internacionais e tem como objetivo ajudar os pases a revisar e desenvolver
polticas para tornar a profisso de professor mais atrativa e efetiva. TALIS
um programa de pesquisas, desenvolvido em rodadas para levantar
6
problemas elencados por cada um dos pases envolvidos (OCDE, 2009,
p.03).

A OCDE foi fundada em 1960, com o objetivo de encontrar caminhos

para a manuteno da estabilidade financeira entre os pases membros, discutir e
propor metas para o desenvolvimento econmico mundial, estabelecer parmetros
para o desenvolvimento do nvel de vida, criar mecanismos para o crescimento do
4

(Livre Traduo do autor). No original: Teaching and Learning International Survey

(Livre Traduo do autor). No original: The OECDs Teaching and Learning International Survey
(TALIS) provides insights into how education systems are responding by providing the first
internationally comparative perspective on the conditions of teaching and learning.
6
(Livre Traduo do autor). No original: TALIS draws on the OECDs 2005 review of teacher
policy, which identified important gaps in international data, and aims to help countries review and
develop policies to make the teaching profession more attractive and more effective. TALIS is
conceptualised as a programme of surveys, with successive rounds designed to address policyrelevant issues chosen by countries.
5

nvel de emprego, dentre outros. Posto que se configure numa organizao de

cooperao internacional composta por 34 pases7, sediada na cidade de Paris
(Frana), alm de sucessora da OECE (Organizao Europia de Cooperao
Econmica) (1948 1960), criada no contexto do Plano Marshall, com o objetivo
de buscar solues para a reconstruo dos pases europeus afetados pela
Segunda Guerra Mundial (PEREIRA, 2011; OCDE, 2008).
Recentemente a melhoria da qualidade educacional tem-se constitudo
em um objetivo poltico crucial nos pases da OCDE, e em grande medida, passa a
ser tambm buscado por outros pases, nos quais se incluem o Brasil, em meio a
outros

latino-americanos,

mediante

as

reformas

em

mbito

educacional

implementadas, especialmente aps a dcada de 1990 (CASASSUS, 2001;

FERREIRA e OLIVEIRA, 2009).
Ao se considerar que boas prticas educacionais, aliadas aos estudos
comparados, possibilitam uma melhor compreenso da realidade, julga-se de suma
importncia o estudo da estatstica e seu emprego no campo educacional. Para
tanto, intenta-se compreender primeiro o significado da estatstica, bem como, sua
histria, ainda que superficialmente, pois sua magnitude abrange uma rea que
ultrapassa a proposio do presente texto. Neste sentido, a opo ser focar,
sobremaneira, acerca do uso da estatstica na educao, especificamente a
amostragem utilizada no projeto TALIS,

1- A estatstica na histria

A estatstica em simbiose com a matemtica traz para a realidade

anlises que comprovam de uma forma especfica, mtodos que buscam provar ou
refutar hipteses em um referido estudo. Em conformidade com esse pensamento
Spiegel (1975) afirma que a estatstica,
(...) est interessada nos mtodos cientficos para coleta, organizao,
resumo, apresentao e anlise de dados bem como na obteno de

ustria, Blgica, Dinamarca, Frana, Grcia, Islndia, Irlanda, Itlia, Luxemburgo, Holanda,
Noruega, Portugal, Sucia, Sua, Turquia, Reino Unido, Alemanha, Espanha, Canad, Estados
Unidos, Japo, Finlndia, Austrlia, Nova Zelndia, Mxico, Repblica Tcheca, Hungria, Polnia,
Coria do Sul, Eslovquia, Chile, Estnia, Israel, Eslovnia.

concluses vlidas e na tomada de decises razoveis baseadas em tais

anlises (SPIEGEL, 1975, p. 01).

Autores como Medeiros (2007) e Bayer et al., (2004), fazem um

resgate de como a estatstica era usada, desde os povos da antiguidade,
passando pela era crist e acompanham o seu percurso no sculo XVIII, quando
finalmente, o alemo Gottfried Achemmel8 a denominou como cincia. E para,
alm disso, percebe-se tambm, sobretudo nos escritos de Bayer et al., (2004)
referncias histricas do contexto brasileiro.
No que concerne ao uso da estatstica pelos povos da antiguidade,
Medeiros (2007, p. 17), situa que,
O primeiro levantamento estatstico de que se tem conhecimento se deve
a Herdoto e se refere a um estudo da riqueza da populao do Egito,
cuja finalidade era averiguar quais eram os recursos humanos e
econmicos disponveis para a construo das pirmides, isso no ano de
3050 a.C., no ano de 2238 a.C., o imperador Chins Yao ordenou a
realizao de uma Estatstica com fins industriais e comerciais. No ano de
1400 a.C., o famoso fara egpcio Ramss II ordenou um levantamento
das terras do Egito (MEDEIROS, 2007, p.17).

Um dos momentos de maior relevncia histrica da estatstica na era

crist narrado na bblia,
Naquele tempo o imperador Csar Augusto mandou uma ordem para
todos os povos do Imprio. Todas as pessoas deviam se registrar a fim de
ser feita uma contagem da populao. Quando foi feito esse primeiro
recenseamento, Cirnio era governador da Sria. Ento todos foram se
registrar, cada um na sua prpria cidade. Por isso Jos foi de Nazar, na
Galilia, para a regio da Judeia, a uma cidade chamada Belm, onde
tinha nascido o rei Davi. Jos foi registrar-se l porque era descendente de
Davi. Levou consigo Maria, com quem tinha casamento contratado. Ela
estava grvida, e aconteceu que, enquanto se achavam em Belm,
chegou o tempo de a criana nascer. Ento Maria deu luz ao seu
primeiro filho. Enrolou o menino em panos e o deitou numa manjedoura,
pois no havia lugar para eles na penso (BBLIA, N.T. Lucas, 2:1-7, grifos
nossos).

Por ventura, um acontecimento ao acaso, mas, se no fosse o senso

populacional da poca, a histria crist teria tomado outro percurso. Fatos
importante para estatstica de relevncia significativa, tambm mostra a trajetria
8

A palavra estatstica surge em 1752 pelo alemo Gottfried Achenwall (1719 1772) que deriva
da palavra latina STATU, que significa estado, pelo aproveitamento que os polticos e o estado
tiravam dela. Ele foi um dos intelectuais que mais significativamente contriburam para o
desenvolvimento da Estatstica moderna, pois tratava da descrio abrangente das caractersticas
scioeconmicas dos diferentes estados.

dessa cincia, aps a era de Cristo, e Bayer et al., (2004) narra trs fatos
marcantes: (1) Surgiu no ano de 620, em Constantinopla, o primeiro Bureau de
estatstica; (2) Um dos pilares da estatstica, os princpios do calculo de
probabilidades, foi estabelecido por Blaise Pascal e Pierre de Fermat, no ano de
1654; (3) A criao do primeiro curso de estatstica foi criada na Universidade de
IENA, na Alemanha no ano de 1708.
Em Bayer et al., (2004), tambm so retratados fatos importantes no
que se refere ao uso da estatstica no Brasil, quais sejam: (1) No ano de 1872,
houve o primeiro senso geral da populao brasileira feito por Jos Maria da Silva
Paranhos, conhecido como Visconde do Rio Branco; (2) Em 1936 tem-se a
Criao do Instituto Brasileiro de Geografia e Estatstica (IBGE); (3) Em 1953
duas escolas iniciaram o Ensino de Estatstica no Brasil: uma no Rio de Janeiro, a
Escola Nacional de Cincias Estatstica (ENCE) e a outra conhecida como Escola
de Estatstica da Bahia.

2- A relao entre Estatstica e Educao

A estatstica pode se empregada largamente em todas as reas, e

como qualquer outra cincia, tambm pode ser aplicada educao de forma
plausvel, na medida em que lida com quantidades e qualidades para mudana de
padres, na contribuio de novas polticas educacionais mais eficientes, tal como
se observa na afirmao de Medeiros, quando assevera que,
A despeito do que possa ser considerada grande quantidade, no restam
dvida sua frtil aplicao no campo educacional, como ferramenta para
a formulao de planos, programas e projetos nos sistemas de ensino,
bem como, no interior da prpria escola (MEDEIROS, 2007 p.20).

Uma contribuio relevante da estatstica para a educao est em seu

emprego no programa TALIS. Este programa focalizado no ensino do nvel
secundrio bsico, bem como, nos professores e diretores das escolas, com o
intuito de promover ndices relevantes. Posto que seu objetivo geral consiste em:
(...) promover, de forma efetiva tanto em questo de tempo quanto de
custo, indicadores internacionais fortes e uma anlise relevante das
polticas sobre professores e ensino para ajudar os pases a revisar e
desenvolver polticas que criam as condies para um ensino eficiente.
Anlises entre pases proporcionam a oportunidade de comparar naes

que passam por desafios similares e tambm aprender diferentes

abordagens polticas e seus impactos no ambiente de aprendizagem das
escolas (OCDE, 2008, p.13).

Algumas organizaes contriburam, para que o programa obtivesse

xito, dentre os quais se destacam: a Organization for Economic Cooperation and
Development (OECD); Indicators of Education Systems (INES);

International

Association for the Evaluation of Educational Achievement (IEA); Instrument

Development Expert Group (IDEG); Statistics Canada; National Project Managers
(NPMs); National Data Managers (NDMs); e, Trades Union Advisory Council
(TUAC)9 (OCDE, 2008).
Perguntas e dvidas surgem com frequncia quanto ao uso da
estatstica. Neste artigo pretende-se obtemperar, de maneira sucinta, somente as
questes referente ao uso das tcnicas de amostragem utilizadas no programa
TALIS. Questionamentos acerca da diversidade econmica, social e cultural entre
os pases, teste piloto, tamanho da amostra, plano de amostragem, erro amostral,
em meio a outros so exemplos que podem emergir no decorrer de um
determinado estudo.
Como este estudo tem abrangncia de mbito mundial, preocupaes
de aspectos culturais foram levadas em conta na elaborao e aplicao dos
questionrios. Devido a problemas de tradues, o TALIS acompanhou de perto
para assegurar a validade dos testes, e para isso contou tambm com os
mtodos de psicometria, utilizado para examinar equivalncia transcultural na
medio (OCDE, 2008, p.140).
Por se tratar de um estudo que exigiu grandes recursos financeiros e de
demanda, foi necessrio cumprir todas as fases do processo da elaborao at
seu trmino. Assim foi realizado o estudo piloto (teste piloto) para garantir a
eficcia do estudo.
No que concerne ao estudo piloto, Babbie (1999), assevera que esse
diz respeito ao exame, em pequena escala, de todo o delineamento da pesquisa,
ou seja, uma verso em menor escala (miniatura) de um estudo completo, de
modo a testar adequadamente os instrumentos e os procedimentos de coleta de
dados e preparao da base de dados.
9

Para obter mais informaes a respeito das organizaes e sua contribuio para o xito do
programa TALIS, ver o manual TALIS 2009.

No TALIS o estudo piloto foi conduzido em 2006, ocasio em que

Brasil, Malsia, Noruega, Portugal e Eslovnia ofereceram-se para testar os
instrumentos em seus respectivos pases. Para tanto, o estudo recolheu dados de
5 diretores e 25 professores de cada pas (OCDE, 2008, p.20).
O plano amostral visa reconhecer o universo a ser estudado, a
populao a ser investigada e a unidade amostral. Segundo Fernando Rebouas
(s/d p. 01) plano amostral um conjunto de etapas que possibilitam a definio de
segmentos pertencentes a uma amostra de resultados. Os seguimentos podem
ser a populao e o universo.
A Amostragem aleatria do tipo probabilstica se refere a todos os
elementos da populao e possui a mesma chance de participar da amostra.
Consoantes com esta afirmao Bolfarine & Bussab (2005, p.16), exclarecem que
cada unidade elementar sorteada com igual probabilidade, individualmente, e
com um nico estgio e seleo aleatria. Desta forma, para a definio do seu
plano na pesquisa TALIS, utilizou-se de uma lista composta por escolas e
professores escolhidos aleatoriamente, com probabilidade proporcional ao
tamanho.
O universo da amostra de interesse foi composto por escolas,
juntamente com os diretores e professores do ensino secundrio bsico, em
conformidade com os Indicadores dos Sistemas Educativos (INES) (OCDE,
2008). Importante ressaltar que nem tudo o que selecionado pela amostra
precisa ser coletado. Destarte, o TALIS reconheceu que levantar dados de
escolas muito pequenas (com at 3 professores) ou at mesmo escolas
localizadas em regies geograficamente remotas, poderiam ser um trabalho, caro,
rduo, demorado e estatisticamente ineficientes.
Para tanto foi determinado para alguns pases a possibilidade de excluir
esses professores da coleta e com isso criar uma nova populao de inqurito
nacional, diferente da populao-alvo nacional, sem prejudicar a anlise final,
contudo, as razes para exluso foram documentadas (OCDE, 2008, p.58).
Em estudos com coletas de dados nos quais as amostras representam
uma populao, as amostras esto associadas a uma margem de erro sendo,
portanto, de fundamental importncia calcular suas estimativas. Em Boufarine &
Bussab (2005, p.28) considera-se como erro amostral aquele desvio devido

apenas ao processo amostral e no de problemas de mensurao e obteno das

informaes.
Em outras palavras, quando o plano adotado do tipo probabilstico, a
qualidade traduz-se pela estimativa do seu erro padro. No TALIS, o erro de
amostragem para questionrios repetidos, dado a sua complexidade, requeriu
uma ateno especial quando se tratou de estimativa, especialmente estimativa
do erro de amostragem. Tanto o desenho da pesquisa e os pesos desiguais so
necessrios para obter (aproximadamente) estimativas no viesadas de erro de
amostragem. No atentar para este particular pode levar a uma grave
subestimao do erro de amostragem (OCDE, 2008, p.123).
Portanto, o tamanho da amostra requerida que permite uma estimativa
e uma modelagem confivel. Em razo disso, foi fixado no tamanho mnimo da
amostra, 20 professores em cada escola participante. A amostra mnima de 200
escolas deveria ser elaborada a partir da populao das escolas selecionadas.
Assim, o tamanho da amostra nominal internacional foi no mnimo de 4 000
professores. Em que pese a Statistics Canad ter definido a amostra, excees
foram feitas para a Islndia e Malta por causa de sua dimenso: o tamanho da
amostra para a Islndia foi de 10 escolas, 10 diretores e 100 professores e para
Malta, de 4 escolas, 4 diretores e 40 professores, posto que, nesses pases se
recorreu ao senso das escolas e professores (OCDE, 2008, p.21).
Entretando, uma vez que a Holanda no atendeu aos padres das
amostras, seus ndices no foram includos nas tabelas internacionais, to pouco
nas anlises, todavia, um resumo dos resultados obtidos pela Holanda foi feito
separadamente (OCDE, 2008, p.142).
Uma viso geral dos planos de amostragem por pas, demonstrando
suas respectivas estratificaes, nmeros de escolas, nmeros de professores,
tamanho de amostra por escolas e a amostra esperada de professores, pode ser
observado na sequncia (Tabela 1).
Uma vez que, professores de ensino da mesma escola tendem a
compartilhar opinies, e se comportar de maneiras semelhantes, mais do que
professores de escolas diferentes, cidades ou provncias de um determinado pas,
a esta tendncia, se convenciou chamar de "efeito de aglomerao" e muitas
vezes medido pelo "coeficiente de correlao intracluster (TALIS, 2008 p.58).

TABELA 1 VISO GERAL DOS PLANOS DE AMOSTREAGEM NACIONAIS

Nota: * Tamanho da populao professor nvel 2, desconhecida.

Fonte: OECD, TALIS Database

De acordo com Reis (1997 p. 287), a anlise de Cluster um processo

utilizado em estatstica multivariada, com vistas a organizar um conjunto de
indivduos, para os quais conhecida uma informao detalhada, em grupos
relativamente homogneos, ou seja, a anlise de cluster procura agrupar
elementos de dados, baseando-se na similaridade entre eles.
Isto permite compreender, que devido homogeneidade de opinies
entre professores da mesma escola, foi utilizado no programa TALIS este tipo de
anlise, pois, o efeito de aglomerao, determinante para compor o nmero final
de elementos da amostra.
A hiptese de trabalho na preparao do TALIS, com base em estudos
anteriores do desempenho do aluno, consistiu em usar um coeficicente de
correlao de cluster de 0,30, supondo que os professores fossem to
homogneos quanto seus alunos. .Assim, a preciso esperada da amostra de 20
professores em 200 escolas, que corresponde a 4000 professores obtido pelo
desenho complexo da amostragem, equivalente ao de uma amostra aleatria
simples de 433 professores, selecionados da lista nacional, como apresentado
na tabela abaixo, mediante a derivao do tamanho da amostra correlacionado

10

com o efeito de correlao de cluster (Tabela 2). A margem de erro esperado para
uma amostra aleatria simples deste tamanho de (1,96) (1/433) = 9,4%
(OCDE, 2008, p.58).
TABELA 2 DERIVAO DO TAMANHO DA AMOSTRA

Fonte: OECD, TALIS Database

3- A definio de critrios de amostra no TALIS, e concluses

preliminares

Em suma, os critrios da amostra foram definidos da seguinte forma:

- Populao internacional alvo: professores e diretores do ensino secundrio
bsico (lower secundary education);
- Tamanho da amostragem: 200 escolas por pas, 20 professores em cada escola;
- No interior das amostras das escolas: amostragens representativas das escolas
e dos professores destas mesmas escolas;
- Resposta do pblico alvo: 75% das escolas da amostragem (as escolas eram
consideradas se 50% dos professores da amostra respondessem), com o intuito
de atingir 75% da resposta de todos os professores da amostragem do pas;
- Questionrios: questionrios separados para professores e diretores, os quais
levavam 45 minutos para completar;
- Modo de captura dos ndices: questionrios para serem preenchidos em papel
ou online;
- Datas da pesquisa: Outubro-novembro de 2007, para os pases do hemisfrio
sul e Maro-Maio de 2008, para pases do hemisfrio norte.
As coletas dos dados obtidos nas pesquisas traduziram resultados
surpreendentes e significativos para este estudo. Dessa forma, os dados do
TALIS possuem o objetivo de complementar e no contradizer as estatsticas
oficiais (OCDE, 2008), e diante do exposto, conclui-se que o TALIS utilizou

11

apropriadamente os mtodos estatsticos, pois, estes se mostraram bem

explorados como recurso para amparo cientfico na sua composio.
Ao mostrar a abrangncia da tcnica de amostragem, bem como, a
exposio dos dados extrados, pode-se atestar a seriedade e critrio na
conduo do inqurito fazem da pesquisa TALIS uma referncia de mbito
mundial.

12

REFERNCIAS

BABBIE, E. Mtodos de pesquisa de survey. Trad. Guilherme Cezarino. Belo

Horizonte: Ed. UFMG, 1999.
BAYER, A. BITTENCOURT, H. ROCHA, J. & ECHEVESTE, S. Estatstica e sua
Histria (2004). . Disponvel em:
http://www.exatas.net/ssbec_estatistica_e_sua_historia.pdf.
Acesso
em:
6/01/2012
BBLIA. So Paulo: Ed. Ave Maria, 1997.

BOLFARINE, H. & BUSSAB. W.O: Elementos de Amostragem: Ed. Edgard

Blucher Ltda. 1 edio. 2005.
CASASSUS. J. C. A reforma da Amrica Latina no contexto da globalizao. In:
Cadernos de pesquisa. N.114, p.7-28, Nov. 2001. Disponvel em:
http://www.scielo.br/pdf/cp/n114/a01n114.pdf. Acesso em: 16/02/2012.
CRESPO, A. A. Estatstica Fcil: So Paulo, Ed. Saraiva - 18 edio 2002.

FERREIRA, E. B.; OLIVEIRA, D. A. (Orgs). Crise da Escola e Polticas

Educativas. Belo Horizonte: Autntica, 2009.MEDEIROS, C. A. de. Estatstica
Aplicada a Educao. Distrito Federal: Universidade de Braslia, 2007.
MEDEIROS, C. A. de. Estatstica Aplicada a Educao. Distrito Federal:
Universidade de Braslia, 2007.

PEREIRA, G. A. M. Brasil e Argentina: Um Estudo Comparado das Reformas

Educacionais a partir do PISA 2000. Dissertao (Mestrado) Setor de
Educao. UFPR, Curitiba, 2011, 247p.
REBOUAS,
F.
Plano
Amostral.
S/D.
Disponvel
www.Infoescola.com.br/estatistica/planoamostral. Acesso em: 26/03/2012.

em:

REIS, E. Estatstica Multivariada Aplicada: Lisboa, Ed. Silabo, 1997

SPIEGEL, M. R. Estatstica: Resumo da Teoria, 875 problemas resolvidos e 619
problemas propostos. So Paulo. Mcgraw-Hill, 1975.

13

OCDE. TALIS Tchenical Report. OCDE, Paris, 2008. Disponvel

http://www.oecd.org/dataoecd/16/14/44978960.pdf Acesso em: 26/01/2012

em

_____. OCDE Anual Report. OCDE, Paris, 2009. Disponvel

http://www.oecd.org/dataoecd/45/58/20946947.pdf Acesso em: 6/01/2012

em