Evaluacin Adaptativa de Ingls en el sistema educativo

uruguayo, 2014
Resumen Ejecutivo
Departamento de Segundas Lenguas y Lenguas Extranjeras del CEIP
Programa Ceibal en Ingls Plan Ceibal
Divisin de Investigacin, Evaluacin y Estadstica de ANEP
Departamento de Monitoreo y Evaluacin - Plan Ceibal
Consultor: Mario Luzardo

Introduccin
Del 17 de noviembre al 6 de diciembre de 2014 se realiz la primera evaluacin adaptativa en
el sistema educativo uruguayo. Estudiantes de ingls de 4, 5 y 6 ao de escuelas pblicas de
Uruguay, que estudian ingls en el Programa del Departamento de Segundas Lenguas y
Lenguas Extranjeras del CEIP y en el Programa Ceibal en Ingls por videoconferencia, realizaron
una evaluacin adaptativa de actividades sobre vocabulario, gramtica y lectura en ingls, y
una evaluacin de escritura en ingls.
La evaluacin constituy un esfuerzo conjunto del Departamento de Segundas Lenguas y
Lenguas Extranjeras del CEIP (DSLyLE), el Programa Ceibal en Ingls de Plan Ceibal (CI), la
Divisin de Investigacin, Evaluacin y Estadstica de CODICEN, el Departamento de Monitoreo
y Evaluacin de Plan Ceibal, el British Council y el especialista en psicometra Mario Luzardo.
Este tipo de evaluaciones utilizan las actividades de un banco de tems calibrados para estimar
el nivel de desempeo del alumno. Las actividades que responde cada nio se gradan en
funcin de sus respuestas; de este modo, cada nio recorre un conjunto de actividades en
funcin del desempeo que va demostrando. El desarrollo de la prueba adaptativa se realiz
en la plataforma SEA1, las pruebas se aplicaron en computadora y el maestro obtuvo los
resultados en forma inmediata.
Objetivos de la evaluacin
La evaluacin tuvo tres objetivos especficos:
Evaluar los conocimientos de ingls de los nios de 4, 5 y 6 en las dos modalidades
de enseanza de ingls que actualmente tiene Primaria.
Generar un plan de evaluacin permanente que permita ver el progreso interanual en
los conocimientos de ingls en los ltimos aos de escolaridad.
Generar informacin para la continuidad de las polticas lingsticas entre Primaria y
Media (en Educacin Media, el ingls constituye una asignatura obligatoria, por lo que
resulta de gran inters para el sistema educativo conocer el nivel de ingls con el que
los alumnos egresan de Primaria).
1

SEA: Sistema de Evaluacin en Lnea - http://www.anep.edu.uy/sea/

Cobertura de la enseanza de ingls y de la evaluacin

El universo de anlisis estuvo compuesto por los alumnos de 4, 5 y 6 de Educacin Primaria
que en 2014 participaron en alguno de los dos programas de enseanza de ingls.

Programa
Ceibal Ingls
Seg. Lenguas
Total

Cobertura de los
programas
Escuelas
Grupos
383
2.128
269
1.181
652
3.309

Participantes de la
evaluacin
Grupos
Alumnos
1.502
30.196
932
18.497
2.434
48.693

Tasa de
respuesta
Grupos
71 %
79 %
74 %

De los 3.309 grupos que constituan el universo potencial total, participaron 2.434, lo que
constituye una tasa de respuesta a nivel de grupos del 74 %, balanceada entre todos los
contextos socioculturales y grados escolares. Fueron evaluados 48.693 estudiantes, 62 % de
ellos pertencean a Ceibal en Ingls y 38 % al programa de Segundas Lenguas. Hay que
recordar que el programa de Ingls del Departamento de Segundas Lenguas se concentra en
las escuelas de Tiempo Completo o Tiempo Extendido, mientras que Ingls Ceibal se despliega
en todas las escuelas que aceptan el programa y no tienen extensin de tiempo pedaggico.
Diseo de la evaluacin
Para el desarrollo de la evaluacin se cont con un banco de 195 tems que fueron calibrados
mediante TRI2 con el modelo logstico de dos parmetros. La medicin del conocimiento de
ingls se realiz a travs de la evaluacin de las macrohabilidades comprensin y produccin
escrita. La comprensin escrita fue evaluada a travs de tres dimensiones: gramtica,
vocabulario y lectura. Cada alumno responda entre 25 y 30 preguntas de mltiple opcin y
una pregunta abierta para evaluar produccin escrita. Por ltimo, se relev si el alumno
estudiaba ingls fuera del mbito escolar. Esta pregunta fue contestada por 35.452 alumnos
(73 %) y respondieron afirmativamente 8.443 (24 %).
Los alumnos podan obtener en la prueba adaptativa un puntaje de entre 0 y 1.500 puntos.
Esta escala de puntaje fue clasificada en cinco categoras asociadas a los estndares de
desempeo del Marco de Referencia Europeo de Enseanza y Aprendizaje de Lenguas. La
correspondencia establecida fue la siguiente: de 0 a 288 puntos corresponda a un nivel A0, de
289 a 456 puntos al nivel A1- y as hasta alcanzar el mximo nivel (A2+) correspondiente a un
puntaje de entre 924 y 1.500 puntos.

Teora de respuesta al tem

Tabla 1. Niveles de desempeo de la prueba

Nivel

Puntaje

Categora

A0

0-288

IN PROGRESS

A1-

289-456

BEGINNER LOW

A1+

457-536

BEGINNER HIGH

A2-

537-923

ELEMENTARY LOW

A2+

924-1500

ELEMENTARY HIGH

Resultados
Resultados globales
A continuacin, se presentan los resultados obtenidos por todos los alumnos evaluados.
Como se expresa en el grfico 1, el 57 % de los alumnos que tomaron la prueba alcanz un
nivel A1, mientras que el 42 % obtuvo un nivel A2.

Grfico 1. Resultados globales de la prueba adaptativa

En % de alumnos que hicieron la prueba
39
27

30

3
A0

A1-

A1+

A2-

A2+

En el caso de la pregunta de produccin escrita, se realiz una rbrica de correccin por los
desarrolladores de la prueba, con un puntaje que variaba entre 0 y 5 puntos. Para la correccin
de dicha produccin, se tom una muestra aleatoria de 2.419 respuestas.
Los resultados de esta muestra se presentan en el grfico 2.

Grfico 2. Resultados globales de la produccin escrita

En % de alumnos que contestaron la pregunta
35
27
17
10

0 ptos

1 pto

2 ptos

3 ptos

4 ptos

5 ptos

En produccin escrita, el 39 % de los alumnos que contestaron la pregunta abierta obtuvo un

puntaje de 3 o ms puntos, lo que implica que el alumno logra escribir oraciones en ingls sin
recurrir al espaol, aunque puede haber errores de ortografa, sintaxis o vocabulario3.
Resultados segn estudios de ingls fuera de la escuela, grado escolar, sexo y contexto
sociocultural
A continuacin, se analizan los resultados segn si el alumno declar que estudia ingls fuera
de la escuela, segn grado escolar, gnero y contexto sociocultural de la escuela.
Los alumnos que estudian ingls fuera de la escuela obtuvieron mejores resultados que los
que solo estn expuestos a los programas de enseanza de ingls de Primaria, lo cual refleja
entre otros aspectos la consistencia del diseo de la prueba. El 57 % de los alumnos que
estudian afuera alcanz un nivel A2, en comparacin con el 40 % de los que estudian solo en la
escuela.
3

Rbrica utilizada para la correccin de la respuesta escrita. 0 puntos: Escribe palabras sueltas en ingls
con errores de ortografa, pero estas no estn relacionadas con la tarea propuesta. 1 punto: Intenta
comunicarse, pero bsicamente escribe palabas sueltas en ingls, que pueden tener errores de
ortografa. El alumno intenta armar oraciones en interlengua que suelen ser incompletas. Los errores
interfieren en la comunicacin. 2 puntos: Escribe oraciones con errores de sintaxis, vocabulario u
ortografa al intentar dar detalles. El alumno puede recurrir al uso de espaol para terminar de formular
oraciones o completar ideas. 3 puntos: Logra escribir oraciones. Describe con detalles bsicos pero hay
errores de ortografa, sintaxis o uso de vocabulario, que pueden interferir en la comprensin del texto.
El alumno no recurre al espaol para comunicarse. 4 puntos: Escribe oraciones en ingls sin recurrir al
espaol y describe con detalles, con un uso adecuado de sintaxis y vocabulario relevantes a la
propuesta. Si hay errores de ortografa o sintaxis, estos no interfieren en la comprensin del texto.
Aparecen conjunciones entre adjetivos o verbos. 5 puntos: Escribe varias oraciones en ingls y describe
con variados detalles, haciendo un uso correcto de sintaxis y vocabulario, variado y relevante. Hay varios
elementos de cohesin.

Grfico 3. Resultados de la prueba segn estudio de ingls fuera de la escuela

En % de alumnos que hicieron la prueba y contestaron la
pregunta
0,2%
27%

0,3%
22%
20%

33%

0,3%
27%

A0

30%

A1A1+

49%
37%

39%

A2A2+

3%

8%

3%

No

Si

Total

Al analizar los resultados por grado escolar, se observa que mejora el desempeo a medida
que aumenta el grado, aunque los grados escolares no siempre se asocian a mayor tiempo de
exposicin a los programas de enseanza de ingls (un grupo de 6 puede estar participando
por primer ao en cualquiera de los programas al igual que un alumno de 4). Por lo tanto, se
podra decir que esto responde a la madurez del nio, la exposicin a mayor cantidad de
pruebas, entre otras cosas.

Grfico 4. Resultados de la prueba segn grado escolar

En % de alumnos que hicieron la prueba
1%
37%

%
26%

%
17%
27%

32%
32%

28%

A0
A1A1+

39%

50%

2%

3%

5%

A2A2+

En cuanto al desempeo por gnero, los resultados muestran que las nias tuvieron un mejor
desempeo que los nios.

Grfico 5. Resultados de la prueba segn gnero

En % de alumnos que hicieron la prueba
0%

0%

24%

30%

A0
31%

A1-

30%

A1+
41%

37%

4%

3%

Nias

Nios

A2A2+

Si bien los resultados por contexto sociocultural de la escuela resultan consistentes con lo que
ocurre en otras asignaturas, donde los alumnos de contextos ms favorables obtienen mejores
resultados que los nios de contextos ms crticos, los resultados obtenidos en materia de
aprendizaje de ingls son menos pronunciados a los observados en las evaluaciones de
aprendizaje en Lectura o Matemtica. Este dato podra sugerir una menor determinacin del
contexto sociocultural en los desempeos de los alumnos, que es un objetivo muy importante
para lograr la justicia social.

Grfico 6. Resultados de la prueba segn contexto sociocultural 2010

En % de alumnos que hicieron la prueba

37%

33%

30%

25%

17%
28%

30%

32%

29%

32%

29%

33%

37%

39%

2%
Nivel 1 ms
crtico

2%
Nivel 2

3%
Nivel 3

3%
Nivel 4

A0
A1-

49%
6%
Nivel 5
menos
crtico

A1+
A2A2+

Resultados por programa

Los resultados alcanzados por los alumnos de ambos programas fueron muy similares. El 56 %
de los alumnos de Ceibal en Ingls alcanz un nivel A1 en comparacin con el 57 % del DSLyLE,
y el mismo porcentaje (43 %) alcanz el nivel A2 en ambos programas.
Grfico 7. Resultados de la prueba por programa
En % de alumnos que hicieron la prueba
40%38%
26%27%

30%30%

3% 5%

% %
A0

A1-

A1+

Ceibal en Ingls

A2-

A2+

Segundas Lenguas

Si se analizan los resultados por tiempo de exposicin al ingls, se observa nuevamente que los
niveles alcanzados en ambos programas son relativamente similares. Para poder realizar este
anlisis, es necesario restringir los aos de enseanza de ingls de 1 a 2 aos, ya que mientras
que en el DSLyLE los alumnos pueden tener hasta 7 aos de exposicin, en Ceibal en Ingls el
tiempo mximo a 2014 era de 2 aos.

Grfico 8. Resultados de la prueba por tiempo de exposicin al programa

En % de alumnos de Ceibal en Ingls y Segundas Lenguas que hicieron la prueba
22%

19%

29%

29%

31%

30%

30%

38%

36%

47%

4%

3%

5%

3%

5%

3%

Segundas
Lenguas

Ceibal en
Ingls

Segundas
Lenguas

Ceibal en
Ingls

Segundas
Lenguas

Ceibal en
Ingls

37%

28%

35%

30%

28%
26%

1,5

A0
A1-

48%

34%

A1+
A2A2+

Las leves diferencias encontradas en los niveles alcanzados se pueden deber a que se est
comparando la totalidad de los alumnos de Ceibal en Ingls con solo un 40 % de los alumnos
del DSLyLE (aproximadamente el 60 % tiene ms de 2 aos de exposicin), adems de que se
trata de poblaciones diferentes entre s.

Principales conclusiones
La evaluacin adaptativa realizada a fines de 2014 da cuenta de la experiencia de aprendizaje
de la enseanza de ingls en Primaria. De este proceso se evidencian tres grandes logros que
se resumen a continuacin4.
El primer logro refiere a la importancia de contar con una evaluacin nica y sistmica que no
evala el contenido curricular de los programas, sino que se basa en el marco de referencia
europeo.
El segundo ha sido la realizacin por primera vez en Uruguay de una evaluacin adaptativa.
Esta permiti evaluar a una cantidad muy importante de nios con niveles de apropiacin de
conocimientos muy dispares debido a historias educativas muy diferentes. A diferencia de las
pruebas tradicionales, las pruebas adaptativas permiten aplicar un formato de evaluacin a
poblaciones heterogneas. La realizacin y administracin de una prueba adaptativa a gran
escala constituy un avance tcnico importante en el sistema de evaluacin educativo
uruguayo que pretende tener continuidad y dar cuenta de los avances interanuales de los
aprendizajes alcanzados. De esta forma, se pretende generar a fin de cada ao lectivo
informacin relevante para todos los actores involucrados. Asimismo, es indispensable a
efectos de pensar la continuidad de los aprendizajes de ingls en Enseanza Media.
El tercer logro refiere a los buenos resultados obtenidos en materia de aprendizajes de ingls
de los nios de ambos programas. Los nios uruguayos estn saliendo de la escuela Primaria
con un nivel de ingls apreciable, lo que debe ser reconocido por los niveles universales de
enseanza de ingls en Educacin Media. Subsiste igual una gran heterogeneidad de
desempeos al culminar la Educacin Primaria, a la cual se agrega el hecho de que no toda la
poblacin que egresa ha participado en la enseanza de ingls.

Los resultados de la prueba son consistentes en varios sentidos, lo cual constituye en s mismo una
indicacin de la calidad de la prueba y el proceso de evaluacin: a mayor tiempo de exposicin se
evidencia una mejora en el desempeo de los alumnos; al igual que ocurre en otras reas del
conocimiento, las nias logran mejores resultados que los nios; por ltimo, si bien los programas
alcanzan buenos resultados en todos los contextos socioculturales, los contextos menos crticos
alcanzan relativamente mejores resultados.