1

1 Organización para la Cooperación y el Desarrollo Económicos

(OCDE)

PISA
Fundamentos, usos e impactos

Paris, 18 de Octubre de 2007

Andreas Schleicher
Jefe de División, Indicadores y Análisis
Dirección de Educación de la OCDE

2

2 Agenda
1. ¿Por qué PISA?
 Un mundo de cambio en la demanda de
competencias
 Cómo funciona PISA y cómo puede hacer la
diferencia en política pública
2. Dónde estamos
 Calidad, equidad y eficiencia en educación
3. Dónde podemos estar
 Ejemplos de los países con mejor desempeño
4. Cómo podemos llegar ahí
 Algunas plataformas de polίticas que emergen de
PISA
3 En la oscuridad…
3 …todos los alumnos, escuelas y sistemas educativos parecen iguales…
4
4

Pero con un poco de luz….

…se hacen visibles diferencias importantes….
5
5 Crecimiento de calificaciones de base
Un mundo de cambio
Aproximación por porcentqje de personas con nivel de calificación 3 en el ISCED, por grupos de edad de 55-64, 45-55, 45-44 y 25-34 años.

%
1
13

1 27 29
29

1. Excluding ISCED 3C short programmes 2. Year of reference 2004

3. Including some ISCED 3C short programmes 3. Year of reference 2003.
6
6 Growth in university-level qualifications
Approximated by the percentage of persons with ISCED 5A/6 qualification
born in the age groups shown below (2005)

%

2
4

1 28

A1.3a 1. Year of reference 2004.

2. Year of reference 2003.
7 Rising female participation in university
7 education explains much of this expansion
Gender difference in university attainment in percentage points

Gender difference in
percentage points

Men have
higher
attainment

Women have
higher attainment

A8.3

8

8

Por qué PISA

9
9
Países de PISA en 2009
2003
2000
2001
2006
1998
Cobertura de la economía mundial 87%
83%
86%
85%
81%
77%
10
10 Marco de PISA
Ámbito 1 Ámbito 2 Ámbito 3
Resultados Política Antecedentes
impacto del educativa contextualiza o
aprendizaje determina los resultados ed. limita la política ed.
Calidad y Actitudes
Condiciones
Nivel distribución de individuales,
A
Alumno conocimientos y dedicación y
socioeconómicas
de los alumnos
habilidades comportamiento
Prácticas de Condiciones de
Calidad de la
Nivel Entorno de la enseñanza y aprendizaje del
B
enseñanza
enseñanza aprendizaje, clima alumno y de
impartida
del aula trabajo del prof.
Escuelas y El entorno del Características de
Nivel Resultados de las
C otras instituciones
aprendizaje en la la comunidad y de
instituciones escuela la escuela
Resultados Estructuras,
Educación nacional,
Nivel económicos y asignación de
D País o sistema sociales de la recursos y
contexto
económico y social
educación políticas
11 Algunos rasgos de PISA
Una evaluación internacional trianual que…
… examina el desempeño de alumnos de 15 años en materias
clave, asί como un rango amplio de resultados educativos
que incluye las actitudes de los estudiantes hacia el
aprendizaje, sus concepciones sobre sí mismos, y sus
estrategias de aprendizaje
… recopila datos contextuales sobre escuelas, padres y
sistemas
 Los datos contextuales de PISA explican el 71% de la variación
en el desempeño de las escuelas a nivel internacional
Cobertura
 Muestras probabilísticas representativas de entre 3,500
y 50,000 alumnos de 15 años
 La mayorίa de los paίses con régimen federal también
efectúan un muestreo regional
 PISA cubre aproximadamente nueve décimos de la
economía mundial
12 Colaboración y fortalecimiento de capacidades

Una red internacional sólida de expertos en los paίses
participantes…
 Desde el establecimiento de marcos de evaluación…
– Las evaluaciones de PISA incluyen tareas provenientes de más de
40 países
… y el desarrollo de instrumentos…
– Con validez de comparación entre países y entre culturas
… hasta el análisis e interpretación de resultados
– Análisis e informes a nivel nacional, regional e internacional
– Estudios minuciosos a nivel país
… apoyada por un consorcio de instituciones líderes en la
investigación…
 ACER, CITO, ETS, NIER, WESTAT
… coordinada a través de la OCDE, en colaboración con otros
organismos internacionales

Fortalecimiento de capacidades y talleres de formación

Acceso público a los datos y a las metodologías
 Potencial alto de impacto para la enseñanza y la política pública
13
13 Lo que no debe faltar Beneficios inmediatos
La provisión a los maestros y a Distribución de los resultados
los creadores de políticas públicas educativos al interior y entre
de una perspectiva de cómo países, así como información de
mejorar la calidad, equidad y los factores sistémicos asociados
eficiencia con estos resultados
La ampliación del rango de
competencias a través del cual se
evalúa la calidad
Factiblidad baja Factiblidad alta

Prestigio relativo de escuelas y

países

Fugas de dinero Frutos al alcance

Potencial bajo de impacto

14
14
Decidiendo qué evaluar...

ver hacia atrás, hacia lo que se espera

que los estudiantes hayan aprendido
…o…
ver hacia adelante, hacia qué tan bien
estos pueden extrapolar lo que han
aprendido y aplicar sus conocimientos y
habilidades a nuevos escenarios
Para PISA, los países de la OCDE escogieron la segunda opción.
15
15 Cómo ha cambiado la demanda de habilidades
Economy-wide measures of routine and non-routine task input
task input as percentiles of the 1960 task distribution

Mean

(Levy and Murnane)

16
16 The OECD assessment framework
Using “tools”
interactively to
engage with the world
e.g.
PISA
Using language, numbers
seeks direct
Interacting with information
measures
Capitalising on the potential
of technologies
Interacting in Acting
diverse groups autonomously
e.g. e.g.
PISA
Relating to others Acting withinPISA
the bigger picture
Learning strategies
exploresworking
Co-operating, indirect
in teams explores indirect
Taking responsibility and understanding rights
Managingmeasures
and resolving conflicts measures
and limits
17
17
Using “tools”
interactively to
engage with the world
To analyse, compare, contrast, ande.g.
evaluate
Using language, symbols and texts
Interacting withToinformation
think imaginatively
Capitalising on the potential
Reading literacy (2000, 2009, 2018…)
of technologies
Interacting in Acting
Using, diverse
interpreting
groups and reflecting
autonomously
on written
e.g. material e.g.
Relating well to others Acting within the bigger picture
Co-operating, working in Forming
teams and conducting life plans
Managing and
To apply knowledge in real-life Taking responsibility and
resolving situations
conflicts
understanding rights and limits

To communicate thoughts and ideas effectively

18
18
Using “tools”
interactively to
engage with the world
To analyse, compare, contrast, ande.g.
evaluate
Using language, symbols and texts
Interacting withToinformation
think imaginatively
Capitalising on the potential
Mathematical literacy (2003, 2012, 2021,…)
of technologies
Interacting in Acting
Emphasis is on mathematical knowledge put into
diverse groups autonomously
functional use in a multitude
e.g.
of different e.g.situations
in varied,Relating
reflective and
well to insight-based
others ways
Acting within the bigger picture
Co-operating, working in Forming
teams and conducting life plans
Managing and
To apply knowledge in real-life Taking responsibility and
resolving situations
conflicts
understanding rights and limits

To communicate thoughts and ideas effectively

19
19
Using “tools”
interactively to
engage with the world
To analyse, compare, contrast, ande.g.
evaluate
Using language, symbols and texts
Interacting withToinformation
think imaginatively
Capitalising on the potential
Scientific literacy (2006, 2015, 2024,…)
of technologies
Interacting in Acting
Using scientific knowledge, identifying scientific
diverse groups autonomously
questions, and drawinge.g.evidence-based conclusions
e.g. to
understand and make well
Relating decisions about
Acting the
to others natural
within world
the bigger picture
Co-operating, working in Forming
teams and conducting life plans
Managing and
To apply knowledge in real-life Taking responsibility and
resolving situations
conflicts
understanding rights and limits

To communicate thoughts and ideas effectively


2

2
0
0

Where we are - and where we can be

What PISA shows students can do

Examples of the best performing countries
from the 2003 PISA assessment
 Alto Hong
rendimiento en matemáticas
21
21
Kong-China
Korea
Liechtenstein
550
Finland
Netherlands
Japan Rendimiento medio de
Canada
Belgium
Macao-China
New Zealand
Switzerland
Australia
Czech Republic
los alumnos de 15 años
Iceland
Denmark
France
Sweden
Austria
en matemáticas
Ireland Germany
Slovak Republic 500
Norway
Luxembourg
Poland Hungary
Latvia Spain
United States

Russia
Italy Portugal
Mexico – OECD social background
450
Greece
Serbia

Uruguay Turkey
Thailand Mexico – OECD wealth

400

Mexico Mexico – reality today

Tunisia Indonesia
Brazil
350

Bajo rendimiento en matemáticas

22
22 Competencia matemática en PISA
El mundo real El mundo de las matemáticas

Hacer el problema susceptible

de tratamiento matemático
Un modelo de la realidad Un modelo matemático
Comprender,
estructurar y Emplear las
simplificar la situación herramientas
matemáticas
Una situación real apropiadas para
resolver el
Validar los resultados problema

Resultados Resultados
reales matemáticos
Interpretar los resultados
matemáticos
23
23
Can PISA performance at age 15 predict future success?
Increased likelihood of postsec. particip. at age 19 associated with PISA reading proficiency at
age 15 (Canada) after accounting for school engagement, gender, mother tongue, place of
residence, parental, education and family income (reference group Level 1)

20
18
16
14
12
10
8
6
4
2
0
Level 2 Level 3 Level 4 Level 5
 High average performance High mathematics performance High average performance
24
24 Large socio-economic
disparities
Hong Kong-China
Korea
550
Finland
Netherlands
High social equity
Average performance
Liechtenstein Japan
Canada
Macao-China Belgium
Switzerland
Australia
of 15-year-olds in
Fuerte impacto de New Zealand

las condiciones
Iceland
Czech Republic
Denmark
France
mathematics
Distribución de las
Sweden
Austria oportunidades de
socioeconómicas Ireland Germany
Slovak Republic 500 aprendizaje
sobre el rendimiento Norway
Luxembourg
Poland Hungary socialmente equitativa
del alumno Latvia Spain
United States

Russia
Italy Portugal

450
Greece
Serbia

Uruguay Turkey
Thailand

400

Mexico

Tunisia Indonesia
Brazil
Low average performance 350
Low average performance
Large socio-economic disparities
Low mathematics performance High social equity
 High average performance High mathematics performance High average performance
25
25 Large socio-economic
disparitiesLiechtenstein
550

Netherlands
Korea
Hong Kong-China
Finland High social equity
Japan
Canada
Belgium Macao-China
Switzerland Australia
New Zealand
Fuerte impacto de Czech Republic
Iceland
France Denmark Distribución de las
las condiciones Sweden
Germany Ireland
Austria oportunidades de
socioeconómicas 500
Slovak Republic aprendizaje
sobre el rendimiento Luxembourg Norway
Hungary Poland socialmente equitativa
del alumno United States Spain Latvia

Russia
Portugal Italy

450
Greece
Serbia

Turkey Uruguay
Thailand

400

Mexico

Tunisia Indonesia
Brazil
Low average performance 350
Low average performance
Large socio-economic disparities
Low mathematics performance High social equity
26
26
School performance and schools’ socio-
economic background – Mexico
700

OECD

Student performance and student
SES within schools

OECD
performance

School performance and school SES

OECD

Student performance and student SES

School proportional to size

500

Student

300
-3 -2 -1 0 1 2 3

Disadvantage
PISA Index of social
Advantage

background
Figure 4.13

27
27 Universal policies

700
Student performance and student SES
within schools

School performance and school SES

Student performance

School proportional to size

500

300
-3 -2 -1 0 1 2 3

Disadvantage PISA Index of social background Advantage

Figure 4.13
28
28 Socio-economically targeted policies

700
Student performance and student SES
within schools

School performance and school SES

Student performance

School proportional to size

500

300
-3 -2 -1 0 1 2 3

Disadvantage PISA Index of social background Advantage

Figure 4.13
29 Performance-targeted policies
29 The critical role of assessment
700
Student performance and student SES
within schools

School performance and school SES

Student performance

School proportional to size

500

300
-3 -2 -1 0 1 2 3

Disadvantage PISA Index of social background Advantage

Figure 4.13
30 School performance and schools’ socio-
30 economic background - Finland

800

Student performance and student SES

within schools

School performance and school SES

Student performance

School proportional to size

500

200
-3 -2 -1 0 1 2 3
Disadvantage PISA Index of social background Advantage
Figure 4.13

3

3
1
1

How can we get there?

Levers for policy that emerged from

the PISA 2003 assessment
32
32 El dinero importa, pero otras cosas también

600

550 Finland
Korea
Netherlands Japan
Rendimiento en matemáticas

Canada Belgium
Switzerland
Czech republic Australia Iceland
Sweden Denmark
Ireland Germany
France Austria
500 Slovak republic
Hungary Norway
Poland
Spain United States

Portugal Italy

450 Greece

El gasto por alumno está relacionado positivamente
con el rendimiento medio del alumno…
400
… pero no es una garantía de buenos resultados
Mexico
 Australia, Bélgica, Canadá, la República Checa, Finlandia,
Japón, Corea y los Países Bajos lo hacen bien en términos deR2 = 0.28
350
“relación
0 10,000
calidad/precio”…
20,000 30,000 40,000 50,000 60,000 70,000 80,000 90,000 100,000
… mientras que algunos de los países que más gastan rinden por
Gasto acumulado (en dólares USA)
debajo de la media
33
33

La indulgencia
Altasno eleva los
ambiciones y estándares;
las aspiraciones, sí claros
estándares

PISA indica…
… que los alumnos y los centros rinden mejor en un
clima caracterizado por las altas expectativas y la
predisposición al esfuerzo, el disfrute con el
aprendizaje, un fuerte clima de disciplina y unas
buenas relaciones entre alumnos y profesores
– Entre estos aspectos, la percepción por parte de
Accesodea sus
los estudiantes las relaciones
mejores con los
profesoresprácticas y desarrollo
y el clima disciplinario del aula son los
profesional
que muestran de calidad
una relación más estrecha con el
rendimiento
34
34 Exigencia y ayuda

Grandes ayudas

Bajo rendimiento Fuerte rendimiento

Mejoras de carácter particular Mejora sistemática

Escasa Gran
exigencia exigencia

Bajo rendimiento Conflicto

Estancamiento Desmoralización

Escasas ayudas
35
35
Altas ambiciones

Delegación de
responsabilidad: la
escuela como centro
de la acción
Rendición de cuentas
e intervención
en proporción
inversa al éxito
Acceso a las mejores
prácticas y desarrollo
profesional de calidad
 Alto rendimiento en matemáticas
36
36 Durchschnittliche
Hong Kong-China
Rendimiento superior a la media Rendimiento superior a la media
Schülerleistungen
Corea
Finlandia
im
Grandes disparidades socioeconómicas 540
Países Bajos Alta igualdad social
Liechtenstein Bereich Mathematik
Japón
Canadá
Bélgica
Suiza
Australia
Nueva Zelanda
520
República Checa
Islandia
Dinamarca
Francia
Fuerte impacto de Suecia
Austria Distribución de las
las condiciones Alemania Irlanda
oportunidades de
socioeconómicas Eslovaquia
500
aprendizaje
sobre el rendimiento Noruega
Luxemburgo socialmente equitativa
del alumno
Hungría Polonia
España
Estados Unidos Letonia
480

Federación Rusa
Portugal Italia
Rendimiento inferior a la media 460 Rendimiento inferior a la media
Grandes disparidades socioeconómicas Alta igualdad social

Bajo rendimiento en matemáticas

Grecia
 Alto rendimiento en matemáticas
37
37 Durchschnittliche
Hong Kong-China

540
Schülerleistungen
Corea
Finlandia
im
Países Bajos
Liechtenstein Bereich Mathematik
Japón
Canadá
Bélgica
Suiza
Australia
Nueva Zelanda
520
República Checa
Dinamarca Islandia
Francia
Suecia
Fuerte impacto de Austria Distribución de las
Alemania Irlanda
las condiciones 500 oportunidades de
socioeconómicas Eslovaquia aprendizaje
Noruega
sobre el rendimiento Luxemburgo socialmente equitativa
Hungría
del alumno Polonia
España
Estados Unidos Letonia
480

Federación Rusa
Portugal Italia
Escuela con responsabilidad para
460
decidir su oferta de cursos
Alto grado de autonomía
Escaso grado de autonomía
Bajo rendimiento en matemáticas
Grecia
38
38 School autonomy and external exams
Pooled international data

PISA math 40 36.4

performance
35
32.5
30

25

20

15

10

5 Yes

0 0.00%
No Central
Yes exams
School autonomy No

Woessmann, 2005
39
39 School autonomy and external exams
Pooled international data

PISA math 40
performance
35

30
23.6
25

20

15
0.0
10
4.5
5 Yes

0 0
No Central
Yes exams
School autonomy No
determining course content

Woessmann, 2005
40
40
Altas ambiciones

Delegación de
Oportunidades
responsabilidad: la
educativas
integradas escuela como centro de
la acción

Rendición de cuentas Aprendizaje

individualizado
Acceso a las mejores
prácticas y desarrollo
profesional de calidad
 Alto rendimiento en matemáticas
41
41 Durchschnittliche
Hong Kong-China

540
Schülerleistungen
Corea
Finlandia
im
Países Bajos
Liechtenstein Bereich Mathematik
Japón
Canadá
Bélgica
Suiza
Australia
Nueva Zelanda
520
República Checa
Dinamarca Islandia
Francia
Fuerte impacto de Suecia
las condiciones Austria Distribución de las
Alemania Irlanda
socioeconómicas 500
oportunidades de
Eslovaquia aprendizaje
sobre el rendimiento Noruega
del alumno Luxemburgo socialmente equitativa
Hungría Polonia
España
Estados Unidos Letonia
480

Federación Rusa
Portugal Italia
Selección temprana y 460
diferenciación institucional
Ato grado de estratificación
Escaso grado de estratificación
Bajo rendimiento en matemáticas
Grecia
42
42 The quality of the education system cannot
exceed the quality of its teachers
El futuro de los sistemas
educativos debe ser rico en
conocimiento

Prescripción Criterio profesional

informada informado; el
profesor es un
“trabajador del
Prescripción conocimiento”
Criterio
nacional profesional
Prescripción no
informada; el Criterio profesional
profesor se limita a no informado
implementar el
curriculum Los sistemas educativos
tradicionalmente han
estado faltos de
conocimiento
43
43
Altas ambiciones

Delegación de
Oportunidades
responsabilidad: la
educativas
integradas escuela como centro de
la acción
Rendición de cuentas e
intervención Aprendizaje
en proporción inversa al individualizado
éxito
Acceso a las mejores
prácticas y desarrollo
profesional de calidad
44
44 Maximizar el potencial de PISA

Cosas que pueden hacerse facilmente
 La extension de los cuestionarios contextuales con preguntas que
aumenten la relevancia nacional y el poder de análisis
– Estudiantes, escuelas, padres
 El desarrollo de una base de datos a nivel sistema que facilite el
análisis sistémico (Marco de INES)
 El enfoque en los cuadernillos de evaluación
– Resolución significatimente mejorada en el extremo bajo de la
distribución del desempeño

Cosas que necesitan una planificación ciudadosa
 La extensión de exámenes con material de evaluación a nivel
nacional (o regional), para unificar parámetros internacionales de
evaluación con lo que se considera importante a nivel nacional
– Brazil
 Muestreo a nivel de entidades subnacionales o de grupos de
interés
 Un componente basado en grado que unifique PISA y TALIS

Cosas que son costosas pero muy poderosas
 La extension longitudinal de PISA permite el analisis de causas y
provee una “vision externa” de los sistemas educativos
 El enlace conTALIS
45 ¿Qué impacto podemos esperar de PISA en
cuestión de política pública?

La optimización de políticas existentes y el reflejo
en la transformación más fundamental de los
paradigmas y creencias que conforman las políticas
actuales

El establecimiento de objetivos de políticas en
términos de metas medibles alcanzadas por otros
sistemas

La identificación de plataformas de políticas y el
establecimiento de trayectorias para las reformas

El estudio de prioridades y la revisión de la
realidad de alcance en la línea de frente

Y por último…
… Tener a otros para que te digan lo que no quieres decir tú
mismo

4

4
6
6
 www.oecd.org
 www.pisa.oecd.org
– Todas las publicaciones nacionales e
internacionales
– La base de datos completa a nivel micro
 Muchas Gracias !
Correo electrónico: pisa@oecd.org

 Andreas.Schleicher@OECD.org

… y recuerde:
Without data, you are just another person
with an opinion

4

4 Ranks comparisons: Overall vs favourites
7
7
Rank on own most appropriate items 0
Rank on favourites higher FIN
CAN
than overall rank NZL
AUS
5
SWE JPN
AUT KOR
10 Norway 13th overall NOR BEL
10th on favourites FRA
ISL Korea 3rd overall
15 9th on favourites
DNK
ESP
ITA For all other countries,
20
CZE the ranks were not
HUN
GRC significantly different.
25
Rank on favourites
lower than overall rank
30
30 25 20 15 10 5 0
Rank on all items

4

4
8
8