Vous êtes sur la page 1sur 35

O PRÉ-TESTE AO EPPLE (EXAME DE

PROFICIÊNCIA PARA PROFESSORES


DE LÍNGUAS ESTRANGEIRAS):
DESAFIOS TECNOLÓGICOS,
VALIDADE E HISTÓRICO DE
IMPLEMENTAÇÃO
Jessica Nunes Caldeira Cunha
Orientador: Douglas Altamiro Consolo – UNESP/IBILCE
ROTEIRO DA
APRESENTAÇÃO

• Introdução
• Pré-teste
• Metodologia
• Análise
• Novas propostas
• Considerações finais
• Referências

2
INTRODUÇÃO

3
Contexto
Figura 1 – Círculo vicioso da formação de professores de línguas no Brasil.

Condições insatisfatórias para


ensino/aprendizagem de LE na
escola regular

Falta de proficiência Baixos níveis de proficiência


para o ensino de LE oral entre ingressantes nos
cursos de Letras

Níveis inadequados de
proficiência oral em LE entre
formandos de Letras

Fonte: Traduzido e adaptado de CONSOLO, 2017, p. 64. 4


EPPLE e pré-teste

• EPPLE: Exame de Proficiência para Professores de


Línguas Estrangeiras (CONSOLO, 2004; CONSOLO;
SILVA, 2007, 2014)

• Pré-teste ao EPPLE (AGUENA, 2016; CONSOLO &


AGUENA, 2017).

5
Tecnologia e avaliação

• Tendência  aprendizagem de línguas e avaliação


(CHAPELLE; VOSS, 2016)

• Vantagens (PATHAN, 2012)

• Popularização de smartphones (MANS, 2016; GOMES,


2016)

6
Validade

“Validade é um julgamento avaliativo integrado do grau


em que evidências empíricas e raciocínios teóricos
sustentam a adequação de interpretações e ações baseadas
em resultados de testes ou outras formas de avaliação”

(MESSICK, 1991, p. 5, grifos no original, tradução nossa)

7
PRÉ-TESTE

8
Primeira versão

• Aguena (2016)
• Plataforma - Lingt classroom (web-based)
• Desenho – 10 questões – 30 minutos
(4 pessoais, 6 compreensão, dentre as quais uma metalinguística)
• Faixas de proficiência
Variação, precisão, fluência, interação, coerência ( CEFR)
• Incompatível com DTMs (Adobe Flash Player)
• Resultados e discrepâncias

9
Figura 2 – Tela do pré-teste (versão 1).

Figura 3 – Tela do pré-teste com vídeo (versão 1).

Fonte: CONSOLO; AGUENA, 2017. p. 41.


10
Versão atual
• Plataforma – Google Forms (web-based)
• Desenho - 8 questões – 30 minutos
2 questões pessoais, 1 metalinguística, 5 questões de compreensão,
dentre as quais uma metalinguística
• Faixas de proficiência
Variação, precisão, coerência/coesão, compreensão oral,
metalinguagem
• Compatibilidade com DTMs.

11
Figura 4 – Tela do pré-teste em computador (versão atual).

Fonte: dados da autora.

12
Figura 6 – Tela do pré-teste em celular (versão atual).

Fonte: dados da autora.


13
Construto do pré-teste
• 2 conteúdos: linguístico e metalinguístico
(FREEMAN et al, 2009)

• EPPLE  proficiência linguístico-


comunicativo-pedagógica do professor de
línguas (CONSOLO; SILVA, 2014)

• Testes de natureza comunicativa

14
METODOLOGIA

15
Sujeitos

Pré-teste (SP1, SP2 e MG) = 32 participantes

• MG (12)
– MGs (7) EPPLE1 (SP2 e MG) = 24 participantes

• SP1 (8)
• SP2 (11) EPPLE2 (MGs) = 7 participantes

16
Aplicações
Nº de
Pré-teste EPPLE1 EPPLE2
participantes

20/10/2017
MG 13 20/10/2017
(computador)
7 (dos 13 de
MGs 24/11/2017
MG)
31/10/2017
SP1 8
(celular)
28/11/2017 30/11/2017 a
SP2 11
(celular) 07/12/2017
TOTAL 32 32 24 7

17
VALIDADE PARALELA

18
REFERÊNCIA - PRÉ-TESTE EPPLE1 ORAL EPPLE1 ESCRITO
A
1

0
Validade 25%

0%
B
0

2
0%

50%
B2 C
2 50% 2 50%
D
1 25% 0 0%
4 PARTICIPANTES E
0 0% 0 0%
A
0 0% 0 0%
B
3 60% 0 0%
B1 C
2 40% 3 60%
D
0 0% 1 20%
5 PARTICIPANTES E
0 0% 1 20%
A
0 0% 0 0%
B
0 0% 0 0%
A2 C
2 100% 0 0%
D
0 0% 0 0%
2 PARTICIPANTES E 19
0 0% 2 100%
REFERÊNCIA – EPPLE1 ORAL PRÉ-TESTE
B2
2 40%
B1
B 3 60%
A2
0 0%
5 PARTICIPANTES A1
0 0%
B2
2 33%
B1
C 2 33%
A2
2 33%
6 PARTICIPANTES A1
0 0%

20
VALIDADE PREDITIVA

21
REFERÊNCIA - PRÉ-
TESTE EPPLE ORAL 2 EPPLE ESCRITO 2
A
0 0% 0 0%
B
2 100% 0 0%
B2 C
0 0% 1 50%
D
0 0% 0 0%
2 PARTICIPANTES E
0 0% 1 50%
A
0 0% 0 0%
B
2 40% 0 0%
B1 C
3 60% 0 0%
D
0 0% 2 40%
5 PARTICIPANTES E
0 0% 3 60%
22
REFERÊNCIA - EPPLE
ORAL 2 PRÉ-TESTE

B2

2 50%
B1
B
2 50%
A2
0 0%
4 PARTICIPANTES A1
0 0%

B2
0 0%
B1
C 3 100%
A2
0 0%
3 PARTICIPANTES A1
0 0% 23
Limitações
• Avaliação contaminada (“muddied” – WEIR, 1990)

• Problemas nas faixas de proficiência (faixas demais


no pré-teste, ou descritores problemáticos)

• Problemas no desenho (número de itens mais fáceis


ou difíceis; número de itens mais relacionados a
cada aspecto da proficiência)

• Amostra pouco heterogênea

24
DESAFIOS TECNOLÓGICOS

25
Observações
1. Autocorreção do celular

2. Espaço para anotações quando escutando o


texto oral

3. Incompatibilidade de dispositivos

4. Problemas de conexão

26
Questionários
• Vantagens:
Controle de áudio (volume, quantas vezes ouvir, possibilidade de fazer as
questões na ordem que preferir), a facilidade, a rapidez, e a interatividade.

• Desvantagens:
Flutuações na conexão com a internet, incompatibilidade do dispositivo com
algum tipo de arquivo ou função, interrupção da atividade do teste por chegada
de mensagens ou notificações de outros aplicativos.

• Celular x Computador:
Computador (45%) - tamanho do teclado e da tela do DTM, presença de
autocorretor, digitação mais lenta que a do computador, maior chance de o
computador abrir os arquivos, possibilidade de habilitá-lo para o teste com
antecedência.

27
NOVAS PROPOSTAS

28
Versões do Pré-teste

• PT1 – Aguena, 2016 (Lingt Classroom)


• PT2 – Cunha, 2017 (Forms)
• PT3 oral – Cunha, 2018 (Whatsapp)
• PT3 escrito – Cunha, 2018 (Forms)

29
PT3 oral - Whatsapp
• Questões de compreensão e produção oral

• Celular oficial do EPPLE – interessado receberia


questões e teria prazo de 24h para envio de
respostas.

• Plataforma permite gravação e reprodução de


áudio com facilidade

30
31
PT3 escrito - Forms

• Questões de produção e compreensão escrita.

• Questões de múltipla escolha, exceto uma de


produção escrita (facilidade – celular; facilidade
de correção)

32
MUITO OBRIGADA!

jessicancc@gmail.com

33
Referências
• AGUENA, D. M. Avaliação da proficiência linguístico-comunicativa-pedagógica do professor de
línguas: operacionalização de construto no Exame de Proficiência para Professores de Línguas
Estrangeiras - ETAPA II. 2016. 22 f. Relatório de Iniciação Científica (Graduanda em Licenciatura Em
Letras) - Universidade Estadual Paulista “Júlio de Mesquita Filho” (UNESP), São José do Rio Preto,
2016.

• CHAPELLE, C. A. Technology in language testing. 2010. 6 min, son., color. Disponível em:
http://languagetesting.info/video/main.html. Acesso em: 2 de junho de 2018.

• CHAPELLE, C. A.; VOSS, E. 20 years of technology and language assessment in Language Learning &
Technology. Language Learning & Technology, v. 20, n. 2, p; 116–128, 2016. Disponível em:
http://llt.msu.edu/issues/june2016/chapellevoss.pdf.

• CONSOLO, D. A. A construção de um instrumento de avaliação da proficiência oral do professor de


língua estrangeira. Trabalhos em Linguística Aplicada, Campinas, v. 43, n. 2, p. 265-286, 2004.

• CONSOLO, D. A. Classroom oral interaction in foreign language lessons and implications for teacher
development. Linguagem & Ensino, Pelotas, v. 9, n. 2, p. 33-55, 2006.

• CONSOLO, D. A. Assessing EFL teachers’ oral proficiency: On the development of teacher education
programmes and testing policies in Brazil. IN: CONSOLO, D. A.; GATTOLIN, S. R. B.; TEIXEIRA
DA SILVA, V. L. (orgs.), Perspectivas em Avaliação no Ensino e na Aprendizagem de Línguas:
pesquisas e encaminhamentos na formação e na prática docente. Campinas: Pontes Editores, 2017, p. 59-
71.

• CONSOLO, D. A.; AGUENA, D. M. Pré-testagem ao Exame de Proficiência para Professores de


Língua Estrangeira (EPPLE): desenho e desafios tecnológicos para avaliação de proficiência oral em
dispositivos tecnológicos móveis. Revista Polifonia, Cuiabá, v. 24, n. 35/2, p. 30-49, 2017.

34
Referências
• CONSOLO, D. A.; BERTOLDO, E. S.; COX, M. I. P. ; PETERSON, A. A. A. ; VIANA, N.;
FÉLIX, A. . Desafios e perspectivas na formacao de professores de línguas no brasil. Estudos
Lingüísticos (São Paulo), São Paulo - SP, v. 28, n.1, p. 112-117, 1999.

• CONSOLO, D. A.; SILVA, V. L. T. Em defesa de uma formação linguística de qualidade para


professores de línguas estrangeiras: o exame EPPLE. Revista Horizontes de Linguística
Aplicada, v. 13, p. 63-87, 2014.

• GOMES, H. S. Smartphone passa PC e vira aparelho nº 1 para acessar internet no Brasil. Portal
G1. Abr. 2016. Disponível em: http://g1.globo.com/tecnologia/noticia/2016/04/smartphone-
passa-pc-e-vira-aparelho-n-1-para-acessar-internet-no-brasil.html. Acesso em: 17 de maio de
2017.

• MANS, M. Uso de smartphones já alcança 80% dos brasileiros, aponta estudo. Estado de São
Paulo. Out. 2016. Disponível em: http://link.estadao.com.br/noticias/cultura-digital,uso-de-
smartphones-ja-alcanca-80-dos-brasileiros-aponta-estudo,10000082680. Acesso em: 17 de maio de
2017.

• MESSICK, S. Validity of test interpretation and use. In: ALKIN, M. C. (ed.). Encyclopedia of
Educational Research. 6 ed. New York: Macmillan, 1991.

• PATHAN, M. M. Computer Assisted Language Testing (CALT): Advantages, Implications


and Limitations. Research Vistas, v. 1, n. 4, p. 30-45, 2012.

35