Las pruebas Pisa, un negocio ms que una

evaluacin
La editorial Pearson logr el contrato para hacerlas en el 2015
Por: Enrique Javier Dez Gutirrez* | julio 01, 2015

Es absolutamente impactante y vergonzoso ver a algunas personas, por lo

dems racionales y bien educadas, creer que tres puntuaciones de las pruebas
de PISA muestran la calidad de sus sistemas educativos, la eficacia de su
profesorado, la capacidad de su estudiantes, y la futura prosperidad de la
sociedad.
Julio Carabaa, uno de los socilogos de la educacin ms reputado, ha
publicado recientemente la investigacin La inutilidad de PISA para las
escuelas, donde demuestra slidamente que este programa de evaluacin
internacional carece de valor para ayudar a mejorar la enseanza en las aulas y
el funcionamiento de las escuelas.

PISA carece completamente de valor como gua para mejorar la enseanza a

nivel de escuelas y de pases, y por tanto de utilidad para los docentes y para
los polticos. As de contundente se muestra Carabaa, ante la constatacin de
que las pruebas de este examen miden capacidades muy generales.
Capacidades que dependen de la experiencia acumulada en toda la vida del
alumnado, desde su nacimiento. Por lo que, como incluso reconoce PISA en sus
propias textos si un pas punta ms que otro no se puede inferir que sus
escuelas sean ms efectivas, pues el aprendizaje comienza antes de la escuela
y tiene lugar en una diversidad de contextos institucionales y extraescolares.
De ah la inadmisible pretensin de la OCDE que busca utilizar PISA para llevar
las polticas educativas en una direccin determinada. No slo porque las
capacidades que mide PISA dependen poco o nada de las escuelas, sino porque
ni siquiera dependen de los cambios pedaggicos y polticos que PISA propone.
Este fallo fatal inutiliza completamente a PISA para su objetivo principal,
ayudar a la mejora de las escuelas y los sistemas educativos, afirma este
especialista. No se trata de un fallo secundario o accidental, sino de un fallo
esencia, fatal, que convierte PISA primero en un fracaso y, con el tiempo, en un
fraude.
Entonces por qu se sigue utilizando y dando publicidad. El xito meditico y
poltico de PISA se debe a que los resultados se publican en forma de ranking o
clasificacin mundial y un sector de polticos los utilizan para justificar sus
reformas y atacar las de sus contrarios.
Un total de 83 grandes expertos internacionales en educacin enviaron una
carta al director del programa PISA, expresando su preocupacin por la cada
vez mayor influencia que empieza a tener en las prcticas educativas en
muchos pases. Como resultado de PISA, los pases estn reformando sus
sistemas educativos, buscando soluciones a corto plazo, con la esperanza de
mejorar en el ranking, pese a que la investigacin muestra que los cambios
duraderos en las prcticas educativas necesitan dcadas. Adems, explican, al
centrarse en un reducido conjunto de aspectos susceptibles de ser medidos,
PISA distrae la atencin de los objetivos educativos menos susceptibles o
imposibles de ser medidos, tales como el desarrollo fsico, moral, cvico o
artstico, reduciendo peligrosamente de este modo nuestra imaginacin
colectiva en torno a lo que es o debera ser la educacin.
Otro de los aspectos crticos que apuntan estos expertos es que, en tanto que
la OCDE es un organismo econmico -a diferencia de la UNESCO o UNICEF-,
est naturalmente sesgada a favor del papel econmico de las escuelas. Pero
preparar a los estudiantes para el empleo no es la nica -ni siquiera la ms
importante- meta de la educacin pblica. Sealan tambin que la OCDE se ha
aliado para ello con compaas multinacionales con fines de lucro listas para
obtener beneficios financieros de los problemas -reales o percibidos- que
muestre PISA.

La editorial britnica Pearson, la multinacional educativa ms grande del

mundo, duea adems de Financial Times y The Economist, logr el contrato
para los exmenes de PISA 2015, que pagan los ministerios de Educacin, y la
exclusiva para la creacin de la plataforma digital que los sustenta. Pearson no
solo redacta los exmenes, tambin los corrige y aporta las herramientas
informticas para analizarlos. Segn el acadmico canadiense Donald Gutstein,
Pearson utiliza PISA como cabeza de puente para manejar los hilos de la
educacin mundial. Es un plan ambicioso para comercializar sus productos y
servicios.
Sus crticos se preguntan por qu una empresa privada y con nimo de lucro
tiene tanta influencia en el sistema educativo pblico. Diane Ravitch, profesora
de Educacin de la Universidad de Nueva York, considera que estamos ante la
irrupcin de big data [grandes datos] en las escuelas. Es una frmula
empresarial para desarrollar apps, vender datos de estudiantes y hacer dinero,
afirma. De hecho, el capital riesgo ya se ha fijado en este mercado y est
entrando a manos llenas en compaas digitales de creacin y evaluacin de
exmenes.
Finalmente, estos especialistas, apuntan que el rgimen de PISA, con su ciclo
continuo de medicin global, est haciendo dao al alumnado y empobreciendo
la educacin, aumentando an ms el ya alto nivel de estrs en las escuelas,
con una presin constante por el rendimiento, lo que pone en peligro el
bienestar de los estudiantes y de los docentes. Alertando que esta dinmica
supone un riesgo real de matar el placer de aprender, transformando el deseo
de aprender en afn de aprobar.
Terminan denunciando que una institucin como la OCDE se haya convertido en
el rbitro global de los medios y fines de la educacin en el mundo, asumiendo
el poder de configurar la poltica educativa mundial, sin debate acerca de la
necesidad o de las limitaciones de las metas de esta institucin econmica.
Como plantea el Dr. Hugh Morrison, matemtico de la Universidad Queen de
Belfast en Irlanda del Norte, o el clebre Dr. Yong Zhao: Es absolutamente
impactante y vergonzoso ver a algunas personas, por lo dems racionales y
bien educadas, creer que tres puntuaciones de las pruebas de PISA muestran la
calidad de sus sistemas educativos, la eficacia de su profesorado, la capacidad
de su estudiantes, y la futura prosperidad de la sociedad.
Debemos reconsiderar este tipo de pruebas y asumir la evaluacin como un
proceso integral orientado a producir informacin, contextualizada social y
culturalmente, para mejorar los procesos de enseanza y aprendizaje. La
evaluacin es parte constitutiva del proceso formativo en las instituciones
educativas y una herramienta para reconocer sus avances y dificultades. La
evaluacin permite identificar los mltiples factores y actores que inciden en
ese proceso y disear polticas y estrategias orientadas a mejorar las prcticas
pedaggicas con un sentido formativo y no culpabilizador de escuelas, docentes
y estudiantes. Por eso, la poltica educativa no se puede extraer de una prueba

como PISA. Como toda poltica se ha de definir mediante un debate

democrtico en el que la comunidad educativa ha de tener el protagonismo.
Tomado de NuevaTribuna
*Enrique Javier Dez Gutirrez
Profesor de Didctica y Organizacin Escolar de la Universidad de Len y
Coordinador del rea Federal de Educacin de IU

Lo que oculta el informe Pisa

PISA y otras pruebas similares son una cabeza de puente para, manejar y
controlar los hilos de la educacin mundial
27/04/2014 - 00:00 Carlos Manuel Snchez - XL Semanal
Saba usted que PISA no hace las mismas preguntas en todos los pases? Y
que, adems, no tienen el mismo nivel de dificultad? Quin va a ganar
millones con las nuevas pruebas cien por cien digitales que se van a instaurar
en 2015? Le contamos lo que esconde la fiebre mundial de los test educativos.
En los colegios de Finlandia no se hacen exmenes externos hasta los 18
aos.
Pisa se ha convertido en un mastodonte y su influencia es cada vez
mayor. La prueba diseada por la Organizacin para la Cooperacin y el
Desarrollo Econmico (OCDE) ha evolucionado. Ha pasado de ser una
herramienta para diagnosticar debilidades y fortalezas de los sistemas
educativos nacionales a convertirse en una liga de pases. En apariencia, con
las mejores intenciones. Pero detrs de ese prurito por sacar mejores notas que
el vecino se esconde algo que tiene poco que ver con la enseanza: un
negocio multimillonario.
Las claves de un gran negocio
La obsesin con los exmenes es un nuevo nicho de mercado. Y quien lo ha
visto claramente es la editorial britnica Pearson, una multinacional con filiales
en todo el mundo, duea adems de Financial Times y The Economist y que
factur ms de 6.000 millones de euros en 2013. Pearson ha logrado el
contrato para los exmenes de PISA 2015, que pagan los ministerios de
Educacin, y la exclusiva para la creacin de la plataforma digital que los

sustentar. Pearson utiliza PISA y otras pruebas similares como cabeza

de puente para, segn sus crticos, manejar los hilos de la educacin
mundial. Pearson no solo redacta los exmenes, tambin los corrige y aportar
las herramientas informticas a los ministerios de Educacin para analizar el
rendimiento casi en tiempo real, como si fuera una Bolsa de Valores, donde los
que cotizan no son empresas, sino colegios y, en ltimo trmino, nuestros hijos.
Es positivo o negativo? Es bueno, argumentan unos, porque as no se
nos escapa ningn talento. Pearson sostiene que su objetivo es
revolucionar el concepto de 'educacin' en el mundo, personalizarla y
reducir costes. Es malo, sostienen otros, porque las escuelas van a pasar
ms tiempo examinando que enseando.As lo considera el acadmico
canadiense Donald Gutstein en un informe para los profesores de la Columbia
Britnica (Canad). Pearson consigue el grueso de sus ingresos de textos
digitales, herramientas de enseanza virtual, exmenes on-line... Y sigue una
serie de estrategias para crecer aprovechando la transicin de lo fsico a lo
digital. Es un plan ambicioso para comercializar sus productos y servicios. Si
tienen xito, convertirn a los estudiantes en simples clientes.
Pero cmo hemos llegado a esto? Hagamos historia. La primera edicin de
PISA fue en el ao 2000 y por su carcter trianual solo se han celebrado cuatro
hasta la fecha. Los resultados de la quinta se darn a conocer el ao que
viene. Participan 71 pases, seis ms que en la ltima (2012). PISA ha
desbancado a otras pruebas internacionales como TIMMS o PIRL. Ms de
medio milln de alumnos de 15 aos se someten a los test, que en un principio
se limitaban a ciencias, matemticas y lectura, pero que van incorporando
nuevos mbitos, como los problemas de la vida cotidiana. PISA genera un
informe muy exhaustivo, con multitud de anlisis. Lo de comparar a los
pases participantes era una estadstica ms, unas tablas orientativas
medio escondidas en un bosque de lenguaje burocrtico.
Pero la tentacin de hacer una liga es culpa nuestra, de los periodistas,
que nos encantan esas competiciones porque se prestan a titulares
redondos, del tipo Espaa fracasa otra vez (la media de la OCDE sera
la arbitraria lnea entre el aprobado y el suspenso), Finlandia se cae del
podio, Los asiticos golean... Colombia, en el ltimo lugar en

nuevos resultados de pruebas Pisa, Periodismo deportivo ms que

educativo. Y tambin es culpa de los polticos, que sacan pecho si la cosa
ha ido bien(cuando en realidad sera mrito de la Administracin anterior),
o justifican una reforma educativa a su gusto si las cosas van mal. Pero
podemos fiarnos de PISA? Sus resultados son objetivos?

Son fiables los datos de Pisa? Las crticas hacia PISA arrecian desde el
ltimo informe (2012). Saba usted que no son las mismas preguntas
para todos los pases? Y que ni siquiera tienen el mismo nivel de
dificultad? No solo eso, en ediciones anteriores hubo pruebas que algunos
pases se saltaron, como las de comprensin lectora. Y lo que hizo PISA fue
realizar una estimacin 'plausible', es decir, una proyeccin de lo que podan
haber puntuado esos alumnos, como hacen a veces las elctricas con el recibo
de la luz, que nos cobran por lo que suponen que podemos haber gastado y no
por el consumo real. Adems, las diferencias econmicas (a mayor nivel
adquisitivo, mejor nota), sociales (a mayor emigracin, peor nota) influyen. Pero
tambin las diferencias de mentalidad de los nios en la gestin del
tiempo. Son exmenes contra reloj. Segn comprob Joachim Wuttke, un
profesor alemn de Ingeniera Informtica, los nrdicos y centroeuropeos
dan un vistazo general, contestan primero a lo que saben y no tienen
apreturas; los mediterrneos van pregunta a pregunta y luego no les da
tiempo.
Batiburrillo de datos
Cmo homogeneizar todo este batiburrillo de datos para confeccionar la
dichosa liga mundial? PISA echa mano de un complejo sistema matemtico
llamado 'mtodo de evaluacin de Rasch', por cierto muy discutido por algunos
matemticos, que consideran que contiene errores. Adems, un estadstico
dans, Svend Kreiner, profesor emrito de la Universidad de Copenhague y
discpulo del propio George Rasch, el creador del mtodo, ya advirti que
encimaPISA no lo estaba usando bien, bsicamente porque no se deberan
equiparar los resultados si las preguntas no tienen el mismo grado de dificultad.
Pisa se defiende de los crticos
Los responsables de PISA han recibido acusaciones de oscurantismo en el
tratamiento de los datos. Se defendieron con un informe de 419 pginas. No
obstante, el director de PISA, Andreas Schleicher, reconoci que para ellos la
comparativa entre pases no era lo ms importante y que podan existir
discrepancias en la clasificacin, dependiendo de cmo se analizasen los
datos. Pero es que las diferencias pueden ser tremendas, como demostr
Kreiner. Aplicando el mtodo de Rasch y con variaciones mnimas a la hora de
privilegiar los parmetros, Canad ocupara el segundo puesto o el 22.; Japn
el octavo o el 40.; y el Reino Unido, cualquiera entre el 14. y el 30..
A las crticas sobre la fiabilidad de PISA, muy fuertes en el Reino Unido, donde
llevan varios aos de reformas por sus resultados mediocres, los Estados
Unidos, Australia, Alemania y otros pases, hay que sumar ahora las
suspicacias. Quin se beneficia de este pique entre pases? Por qu los
asiticos arrasan? Es mejor su modelo basado en la repeticin, la

memorizacin y la obediencia cuando muchos surcoreanos, que son los

mejores del mundo, luego se estrellan cuando van a una universidad
estadounidense? Adems, hay muchas dudas sobre la 'limpieza' de ChinaShanghi. Hacen trampas? Estamos ante una adulteracin de la
competicin, como pasaba en el deporte con la antigua RDA?
La obsesin se convierte en negocio
En este ro revuelto, alguien ha sido ms listo: Pearson. Una estrategia que
dise su anterior CEO, Marjorie Scardino. Y que sigue el actual, John Fallon.
Hagamos las preguntas. Diseemos las plataformas digitales para hacer los
exmenes. Redactemos los textos para que los nios estudien y saquen
buenas notas en esos exmenes. Convenzamos a los polticos para que nos
los compren. Pearson dispone de think tanks y expertos a sueldo. Al fin y al
cabo, es la mayor editorial educativa del mundo. Y el catlogo de nuevos
productos puede ser inagotable. Por qu no poner al alcance de las
escuelas los test que hacen los pases punteros? El prestigio que
supondra para un colegio poder decir: somos mejores en matemticas
que los coreanos... Dicho y hecho, empiezan a probarlo en los Estados
Unidos. Y por qu limitarse a estudiantes de quince aos? Por qu no
sacar pruebas para que los adultos puedan compararse con sus hijos...
Aunque la casa matriz de Pearson est en Londres, la estrategia empez en
los Estados Unidos. Pearson consigui en 2011 un contrato de cinco aos para
los exmenes oficiales de las escuelas pblicas de Nueva York por 32 millones
de dlares. Precisamente la semana pasada hubo una protesta inslita en
Nueva York. Padres, alumnos y profesores de decenas de centros, todos
de acuerdo por una vez, se quejaban de la cantidad de exmenes, que
algunos califican de epidemia. Nios de Primaria sometidos a pruebas de
tres horas. Muchos se preguntan por qu una empresa privada y con nimo de
lucro tiene tanta influencia en el sistema pblico. Pearson tambin logr el
contrato para los exmenes de PISA 2015 a un mdico precio: al parecer, sobre
1,3 millones de euros. Esa plataforma marca un hito, segn Andreas
Schleicher, el jefe de PISA: La prueba de 2015 tiene el potencial para
comenzar una nueva era en los exmenes internacionales. Tenemos que hacer
un uso mucho ms inteligente de la tecnologa. Al fin y al cabo, las destrezas
digitales son las que se pedirn en el futuro a los nios.
'El big data', llevado a la educacin
El negocio puede ser redondo. Va en la lnea de la plataforma digital de
Bloomberg, pero aplicado a la educacin. Datos continuos que fluyen. Escuelas
que suben y escuelas que bajan. Pases que cotizan en rojo y en verde. No
olvidemos que la galaxia Pearson es uno de los grupos mediticos ms
influyentes. En un arranque de sinceridad y advirtiendo que forma parte de

Pearson, The Economist seala que la industria de los exmenes

internacionales est creciendo, aunque sacar conclusiones de ellos es
ms difcil.
Para Diane Ravitch, profesora de Educacin de la Universidad de Nueva York,
estamos ante la irrupcin de big data [grandes datos] en las escuelas. Es
una manera de ayudar a estudiantes y profesores? Puede. Pero tambin es
una frmula empresarial para desarrollar apps, vender datos de
estudiantes y hacer dinero, denuncia. De hecho, el capital riesgo ya se
ha fijado en este mercado y est entrando a manos llenas en compaas
digitales de creacin y evaluacin de exmenes, como Renaissance
Learning Inc., con participacin de Google Capital y en la que la firma
especulativa Hellman & Friedman inyect en marzo 1100 millones de
dlares. Al contado. Son exmenes donde todo est tabulado. Los
cuestionarios son tipo test. No hay lugar para salirse del guion. Dnde queda
la creatividad? Y la imaginacin? Segn Ravitch, estamos perdiendo la
habilidad de pensar diferente y premiando el conformismo (o
construyendo un pensamiento nico?).
Qu pasa en...
... Finlandia? Incluso cuando eran los mejor clasificados, eran escpticos con
PISA. De hecho, los estudiantes no hacen exmenes externos hasta los 18
aos. La estandarizacin de los exmenes mata la creatividad, dice el
experto Pasi Sahlberg.
... Shanghi? La revista Time, a la vista de los resultados obtenidos por los
chinos, que arrasaron en los test, se pregunta si hicieron trampas en el ltimo
PISA. Y tambin si los profesores preparan a los alumnos especficamente para
superar con xito esta prueba.
... el Reino Unido? En el pas son muy crticos con todo lo que tiene que ver
con PISA. El diario The Guardian, adems, ha arremetido contra la creciente
influencia de Pearson en la reforma de la educacin pblica, que considera una
privatizacin encubierta.
Dos visiones enfrentadas
La visionaria Marjorie Scardino
Es la empresaria ms influyente del Reino Unido. Ocup la presidencia de
Pearson hasta el ao pasado y fue la primera en vislumbrar que el futuro de la
educacin est en el uso de las tabletas. Dise una estrategia para monetizar
los exmenes valindose de plataformas digitales. No es extrao que Twitter la
haya fichado. Pearson, su excompaa, ha conseguido el contrato para PISA
2015.
El acadmico enfadado Svend Kreiner

Estadstico dans que seal fallos en el modelo de evaluacin de PISA. Las

comparaciones no tienen sentido porque PISA no utiliza preguntas del mismo
nivel para cada pas, ni hay un solo tem que sea igual para todos los
participantes. Su discusin acadmica con los responsables de la OCDE ha
sido tan enconada que la Universidad de Copenhague, donde ensea, ha
creado un simposio en su honor. Otros muchos acadmicos lo apoyan. Por su
parte, el coordinador de PISA reconoce que las comparaciones
internacionales no son fciles y nunca son perfectas, pero cualquiera que eche
un vistazo serio a las cifras y los datos de PISA reconocer que es una
herramienta robusta y que genera confianza.
Qu pasa en...
... EE.UU.? El fiscal de Nueva York investig a la multinacional Pearson por la
sospechosa confluencia entre los estudios que publican las fundaciones sin
nimo de lucro de su rbita y los intereses de la compaa. Finalmente, pag
una multa de 7,5 millones de dlares.
... La India? Qued antepenltima de entre todos los pases analizados en
2009. Las autoridades decidieron que una y no ms y se deslig de PISA. Pero
no ha marcado tendencia; cada vez son ms los pases que firman. Empezaron
32 en el ao 2000 y en 2015 sern 71.
... Espaa? Como en el Reino Unido y Australia, los mediocres resultados se
usan por los gobiernos de turno como justificacin para hacer reformas de las
leyes educativas. A nivel prctico, eso se nota en un aumento de evaluaciones
externas en los cambios de ciclo.