El marco PISA para la evaluacin lingstica

Eduardo Vidal-Abarca
Catedrtico Universidad de Valencia Miembro del Grupo de Expertos de PISA-Lectura

Contenidos

PISA: Una visin general PISA-Lectura TCL-PISA De la evaluacin al currculum

PISA
Una visin general

Mapa de PISA

Pases OCDE

Pases fuera OCDE en PISA Pases fuera OCDE en PISA 2006 Y PARA TAPAR EL MAPA DEL MUNDO 2006

Evolucin de PISA

Pases OCDE

80 70 60

Pases fuera OCDE en PISA 2006

Pases fuera OCDE en PISA 2006 Y PARA TAPAR EL MAPA DEL MUNDO

N Pases

50 40 30 20 10 0 2000 2003 2006 2009

La evaluacin de PISA
Competencias complejas Lectura, Matemticas, Ciencias Evaluadas cada 3 aos

2000 Lectura, Matemticas, Ciencias 2003 Lectura, Matemticas, Ciencias 2006 Lectura, Matemticas, Ciencias 2009 Lectura, Matemticas, Ciencias

Recomendaciones de poltica educativa

Tipos de evaluacin
Evaluacin

Sistemas
(Calidad del sistema, poltica educativa)

Individuos
(Clasificar, intervenir)

En comn:
Definir un campo de evaluacin Disear tareas representativas (modelos tericos, currculum) Graduar tareas por dificultad Desarrollar instrumentos de medida (fiabilidad, validez, etc)

Tipos de evaluacin
Evaluacin

Sistemas
(Calidad del sistema, poltica educativa)

Individuos
(Clasificar, intervenir)

Diferencias:
Muestras vs. Totalidades Cantidad de tems de las pruebas Uso de los datos

PISA: Lectura

Evaluacin de sistemas: PISA

Marco internacional de evaluacin
Consenso (definicin, marco, medidas)

Conexin: polticas pblicas evaluacin - investigacin

Evaluar capacidades lectoras:

Ms all de lo escolar (Curriculum vs. Capacidades) Ampliar lo textual (desarrollo personal y social)

Conectar con procesos (investigacin cognitiva)

La competencia en lectura se define como comprender, usar y reflexionar sobre textos escritos a fin de lograr metas personales, desarrollar el conocimiento y las potencialidades personales, y participar en la sociedad

Organizacin de PISA Lectura

Situaciones: En qu situaciones se lee? Textos: Qu textos se leen? Aspectos (tareas): En qu tareas hay que

ser un competente lector?

Situaciones

Publicas (38 %) participar en la sociedad

Documentos oficiales, peridicos, folletos pblicos, etc

Educativas (28%) - informacin y conocimiento

Libros de texto, enciclopedias educativas, etc

Personal (19 %) intereses personales

Novelas, biografas, cartas, textos informativos, etc

Ocupacionales (15 %) tareas laborales

Leer para hacer (p. ej., qu hacer en caso de )

Textos

Continuos (64 %)

Expositivos Narrativos Argumentativos Descriptivos Instrucciones

Grficos Tablas Diagramas Mapas Anuncios

No-continuos (36%)

Artculo periodstico
-Pblico -Continuo-Expositivo

Folleto informativo
-Ocupacional -Continuo-Descriptivo

Figura de Enciclopedia
-Educativo

-No-Continuo - Grfico

Informe de resultados
-Pblico
-No-Continuo Tabla

Textos

Continuos No-continuos Mixtos Mltiples

Medio:

2009

Impreso Electrnicos

Aspectos (tareas)
COMPRENDER Preguntas de USAR

Textos escritos

REFLEXIONAR SOBRE

INTRUCCIONES:

Consulta la tabla para contestar a las preguntas siguientes

Aspectos (estructura de tareas)

LECTURA
Informacin en texto Fuera del texto

Aspectos (estructura de tareas)

LECTURA
Informacin en texto Partes independientes Relaciones en el texto Todo el texto Partes del texto Fuera del texto

Aspectos (estructura de tareas)

LECTURA
Informacin en texto Partes independientes Relaciones en el texto Todo el texto Partes del texto Recuperar Comprensin Interpretar global Fuera del texto

Aspectos (estructura de tareas)

LECTURA
Informacin en texto Partes independientes Relaciones en el texto Fuera del texto Contenido Estructura

Todo el texto Partes del texto Reflexionar y Reflexionar y Comprensin Interpretar Recuperar Evaluar Evaluar global Contenido Forma

Escalas (Capacidades)
LECTURA
Informacin en texto Fuera del texto

Recuperar informacin

Interpretar

Reflexionar

Recuperar

Comprensin global

Contenido

Interpretar

Forma

PROCESOS DE COMPRENSION

Comprender un texto:

Operaciones -> representacin mental

Intra-texto: (ciclos)

Formar ideas Relacionar ideas: partes, globalmente Auto-regular

Ms all: contenidos, forma

Responder preguntas:

Comprender pregunta (Auto-regular) Activar representacin Construir Respuesta (Auto-regular)

Decisiones (releer?)

OPERACIONES MENTALES
Formar ideas Relacionar ideas: -Elementos textuales -Relacin global -Prrafo -Texto Auto-regular

REPRESENTACION FINAL
CONOCIMIENTO PREVIO + TEXTO

Representacin mental COHERENTE

Representacin mental INCOHERENTE (y errnea)

PROCESO PREGUNTA-RESPUESTA

PREGUNTA
Cul de las ?

RESPUESTA
. .. TEXTO Xxx xxx xx xxx xxx xx x xxx xxx x xxx xx xx x xx xx xx

Ciclos: pregunta (texto) - respuesta Auto-regulacin 2 CAMBIOS EN LA REPRESENTACIN

Fuentes de Dificultad
Texto: longitud, complejidad, familiaridad Pregunta -Texto:

cantidad de informacin para buscar o relacionar superposicin pregunta-texto (inferencias) informacin textual en competicin (contexto de ideas) cantidad conocimiento previo para activar (transferencia)

Formato de pregunta: seleccionar vs. producir

EJEMPLOS

EJEMPLO

EJEMPLO

Niveles de competencia (Integrar)

5
Comprensin completa y detallada del texto

Inferencias basadas-en-el-texto en contexto poco familiar

Integrar partes del texto para entender una idea importante

Identificar la idea esencial de un texto

Reconocer el tema esencial del texto cuando el tema es familiar

Conclusiones
Esquema de competencias amplio pero especfico Ms all de lo escolar Tareas variadas y ajustadas a competencias

Test (Individual) de Competencias en Lectura para ESO (TCL)

TCL-PISA (Lpiz y papel)

Modelo PISA de Capacidades

Recuperar Interpretar Reflexionar

Objetivos:
Evaluar capacidades a comienzos de ESO Conectar con intervencin educativa

Procedimiento de elaboracin

Decidir el esquema de competencias (PISA) Seleccionar/Elaborar Textos

Pertinentes Atractivos Formulacin clara Dificultad variada Criterios de correccin claros

Elaborar preguntas

Pruebas piloto previas

Contenido

Textos:

Continuos 3 No continuos 2 Recuperar Integrar Reflexionar

Contestar preguntas usando informacin textual

Preguntas (20)

Tarea:

Ejemplo 1

Ejemplo 2

Accidentes de trfico

Ejemplo 3
Variacin de la temperatura de La Tierra (1000-2000)

El calentamiento global

Aumento de Emisiones de CO2 (1800-2000)

Ejemplo 4

Energa nuclear

Aplicacin

Muestra

603 nios y nias de 1, 2, 3 ESO (204, 200, 199 alumnos respectivamente) Control de variables demogrficas y educativas

Puntuacin por curso

20 18 16 14 12 10 8 6 4 2 0 1 ESO 2 ESO 3 ESO
Diferencias significativas entre cursos

12,6 11

13,8

Media

Relacin TCL y Rendimiento

Ciencias: .481** Ciencias Sociales: .298**

Matemticas: .223* Valenciano: .187* Lengua Espaola: .121

Conclusiones

Evaluacin individual basada en PISA Adecuada para niveles ESO Base para intervencin educativa Relacin variada con Rendimiento

De la evaluacin de competencias al currculum escolar

Evaluacin de competencias en centros y aulas

Enseanza/Evaluacin de competencias en centros

Qu competencias ensear/evaluar?

POCAS competencias Competencias CLAVE Contextos REALES Conexin TRANSVERSAL y LONGITUDINAL

Alineadas con las competencias Variadas (en dificultad y representatividad) Con criterios de correccin claros Amenas

Qu tareas utilizar?

Evaluacin de competencias en centros

Procedimiento para evaluacin sumativa

Elaborar un esquema coherente (competencias situaciones conocimientos) Seleccionar/Elaborar materiales de evaluacin a partir del esquema y elaborar criterios de correccin Probar materiales (textos, preguntas, etc ): dificultad, adecuacin, facilidad de correccin Desarrollar prueba final Tomar criterios externos de validez

Enseanza de competencias

Alinear enseanza y evaluacin (pero no confundir) Ensear a comprender:

Qu ensear?

Captar ideas Relacionar ideas Sintetizar Aplicar Reflexionar y evaluar Guiar el aprendizaje Atender diferencias individuales

Cmo ensear

Evaluar peridicamente

Gracias por la atencin!