Ponte a prueba con PISA

PISA por computadora: hecho clave en 2015

La innovación y el avance son rasgos que han

caracterizado a PISA a lo largo de sus diferen-
tes ciclos de aplicación. Como parte de esta
dinámica y en un contexto relacionado con el
uso cada vez mayor de las tecnologías de la
información y la computación dentro de la
sociedad del conocimiento, durante la vida del
programa se identifican tres desafíos en el
desarrollo de sus instrumentos de medición.

1. La necesidad de abarcar otras competen-

cias que refuercen el proceso de “aprender a
aprender”, como las habilidades de colabora-
ción, organización y resolución de problemas.
Actualmente, lo que PISA llama alfabetización
consiste en la promoción de estructuras no
lineales de información que permita hacer
frente a la ambigüedad y la resolución de
problemas con base en información provenien-
te de fuentes diversas, una de ellas el Internet.

2
2. La modalidad de aplicación de la prueba. La
forma tradicional de lápiz y papel se ha visto
E=mc

rebasada al no permitir la medición de tareas

auténticas ni la ampliación a otros dominios.
La nueva manera es la electrónica, interactiva
y dinámica, más acorde con el perfil de la
nueva generación de estudiantes que se
evalúan.

3. La relevancia y adecuación de las tareas de

evaluación para los estudiantes con diferentes
niveles de rendimiento. La evaluación por
computadora tiene el potencial de adaptarse
de manera interactiva a los niveles diferencia-
les de desempeño de los jóvenes, permitiendo
que la experiencia sea atractiva para los estu-
diantes de alto y bajo desempeños.
 La respuesta a estos tres desafíos se vino
gestando a lo largo de los distintos ciclos de
PISA y ha tenido avances importantes en esa
dirección. Desde el ciclo 2006, durante un
periodo de transición y de ensayo, esta
modalidad de evaluación por computadora
(CBA -computer based assessment-, por sus
siglas en inglés) se incorporó de manera
progresiva. Ese ciclo fue el primero en incluir
algunas tareas del área de Ciencias en formato
electrónico que contenían videos,
simulaciones y animaciones.

En el 2009 se ofreció la modalidad de

evaluar Lectura por computadora
(DRA - digital reading assessment- o
ERA - electronic reading assessment-,
por sus siglas en inglés), como una
opción que los países podían o no
tomar, junto con la evaluación en papel.

En 2012, la evaluación por computadora se

amplió al área de Matemáticas y se mantuvo
su carácter optativo, ya que paralelamente se
ofreció la modalidad en papel. Además se
contó con la evaluación exclusivamente por
computadora del componente de Solución de
Problemas.

PISA 2015 es la aplicación en que por primera

vez se evalúan todas las áreas vía computado-
ra en la mayoría de los países participantes.
No se trata de una aplicación en línea, sino
que se efectúa con la ayuda de una USB que
contiene el sistema aplicativo con la prueba y
los cuestionarios.
 Existió la opción de realizar la evaluación mediante los
instrumentos impresos, y algunos países la tomaron; sin
embargo, esta evaluación se limitó a los reactivos de
Ciencias, Matemáticas y Lectura considerados ancla o de
tendencia. Los nuevos reactivos de Ciencias fueron
diseñados sólo para la aplicación por computadora.

De los 72 países participantes, 57 condujeron la

aplicación por computadora y los 15 restantes,
en la modalidad impresa (Albania, Argelia,
Argentina, Georgia, Indonesia, Jordania,
Kazajistán, Kosovo, Líbano, Malta, Moldavia,
República de Macedonia, Rumania, Trinidad y
Tobago, y Vietnam).

Es importante señalar que para la comparabilidad de

los resultados de este ciclo fue necesario establecer
la equivalencia de los instrumentos impresos y los
basados en computadora. Ambos tipos de pruebas se
vincularon mediante reactivos comunes, llamados
reactivos ancla, desarrollados y aplicados en papel en
los ciclos previos.

Durante la prueba piloto de PISA 2015 se condujo en todos los

países participantes un estudio especial que consistió en medir
la equivalencia de los reactivos a través de los dos modos de
administración (mode-effects study). Para esto, los estudiantes
que participaron en la prueba piloto se dividieron en dos
subgrupos del mismo tamaño; uno de ellos respondió la prueba
de la manera habitual en papel, en tanto que el otro lo hizo por
computadora; ambos grupos respondieron los reactivos ancla
de las tres competencias, adaptados para ser compatibles en
computadora.
Es importante resaltar que los dos subgru-
pos de estudiantes contestaron exacta-
mente las mismas preguntas de Ciencias,
Lectura y Matemáticas.
Sólo los reactivos que pasaron la prueba
de equivalencia fueron utilizados para la
aplicación definitiva. De esta forma se
sustenta la comparabilidad de puntajes
entre el ciclo de 2015 y los anteriores, así
como la comparabilidad entre un país y
otro.