Preguntas de investigacin y mtodos empricos para estudiar la calidad educativa en diferentes disciplinas

Richard J. Shavelson Stanford University & SK Partners

Conferencista Invitado Programa de Fomento a la Investigacin sobre Calidad Educativa

Bogota, Colombia
Julio 6, 2010

Contenido
Reflexiones sobre el nuevo Programa Icfes de Investigacin en Calidad Educativa Tipos de preguntas de investigacin y su rol en el estudio de la calidad educativa Tipos de mtodos para cada tipo de pregunta de investigacin Problemas alrededor del rol de las preguntas y los mtodos Comentarios de cierre
2

Respaldo al nuevo programa Icfes de fomento a la Investigacin en Calidad Educativa

Apoya con recursos a investigadores de calidad educativa que emplean datos ICFES Apoya con recursos a estudiantes de maestra y PhD que investigan sobre calidad educativa empleando datos ICFES Organiza seminarios para presentar estudios sobre calidad educativa Ofrece talleres para entrenamiento de investigadores sobre calidad educativa usando datos ICFES
3

Programa AERA para la Investigacin y el Entrenamiento 1990 - hoy

Meta: Mejorar la infraestructura de investigacin para conducir estudios cuantitativos que empleen grandes bases de datos Puesto en marcha en 1990; todava en operacin Apoyado por el Centro Nacional de Estadsticas Educativas de Estados Unidos (NCES), y la Fundacin Nacional de Ciencias (NSF) Gobernado por una Junta de Becas independiente, integrada por investigadores altamente respetados Los componentes del programa han variado con los aos, incluyendo:
Investigadores Senior en NCES & NSF Programa de becas de investigacin Programa de becas de doctorado Tanques de pensamiento
4

Algunas lecciones aprendidas

Modelo de Gobierno del Programa (la Junta), esencial para credibilidad, independencia y calidad Flexibilidad en el diseo del programa permite cambios, evaluacin & evolucin Es necesario tiempo (aos) para establecer un programa de fomento a la investigacin vibrante Un instituto de estadsticas es vital para desarrollar la siguiente generacin Es positivo vincular hallazgos cuantitativos con seguimiento cualitativo Un tanque de pensamiento sirve como grupo independiente de anlisis para abordar preocupaciones gubernamentales: (i) Pruebas TIMSS de matemticas y
ciencias; (ii) Anlisis del manual TIMSS; (iii) Libro sobre investigacin causal con datos observacionales

Tipos de preguntas de investigacin*

1. Qu est ocurriendo? 2. Hay un efecto sistemtico? 3. Por qu ocurre o cmo ocurre?

*Shavelson

& Towne. Scientific Research in Education. Washington, DC: National Research Council.
6

Tipos de preguntas & Rol en Investigacin en CE1

Qu est ocurriendo?
Descriptivo, cuantitativo y cualitativo para describir algn aspecto de la educacin Muestra, por ejemplo:
Nmero de maestros de primaria y secundaria y su nivel educativo en Colombia Diferencias de logro entre subgrupos de la poblacin (ejemplo: mujeres, niveles socioconmicos, etnias) Relaciones como estilos de enseanza asociados con resultados de logro en ciencias, por tipo de colegio Condiciones de contexto que afectan el logro en matemticas
7

Tipos de preguntas & Rol en Investigacin en CE2

Existe un efecto sistemtico? Foco en causa-efecto
Cules son los efectos de la reduccin del tamao de clase en el logro estudiantil, especialmente en las minoras? Cules son los efectos de la instruccin con lectura en voz alta, en el logro en lectura de los estudiantes de la escuela primaria? Cultivan las universidades el pensamiento crtico, la resolucin de problemas y las destrezas de comunicacin? (Saavedra & SaavedraICFES data) Cules son los efectos de los colegios en concesin en el logro? (BonillaICFES data)
8

Tipos de preguntas & Rol en Investigacin en CE3

Por qu ocurre o cmo ocurre? Foco en mecanismos causales que originan los efectos observados
Qu podra explicar los efectos de la reduccin del tamao de clase? Qu podra explicar que los colegios catlicos tienen mejor desempeo que los colegios pblicos? Qu podra explicar los efectos de los colegios en concesin?
9

Tipos de mtodos de investigacin para tipos de preguntas

Las preguntas de investigacin deben orientar el diseo de la investigacin y el anlisis estadstico, y no al revs Para algunas preguntas de investigacin se puede aplicar una amplia gama de diseos/anlisis, especialmente para las preguntas tipo qu est ocurriendo Para otro tipo de preguntas, la seleccin de diseos/anlisis es algo mas restringida , especialmente para preguntas tipo hay un efecto sistemtico?
10

Qu est ocurriendo?
Estadsticas simples, descriptivas, univariadascuntos maestos hay y cul es su formacin? Estadstica de correlacincules prcticas docentes se relacionan con el logro en ciencias en la escuela primaria? Mtodos cualitativos incluyendo Observacin Estudios de caso Etnografa

11

Hay un efecto sistemtico (causal)?

Para tener en cuenta: sesgo de seleccin (entre otras amenazas de validez) La regla de oro*experimento aleatorio

*

Grupo de control Aleatoriedad Grupo de control Pre-tests No aleatoriedad Efectos fijos Propensity score matching Regresin discontinua Variables instrumentales
12

Cuasi-experimentos

Diseos observacionales (corte transversal vs. longitudinal)

Cronbachexperiments as cases studies, context effects; Murnanesimple treatments.

Por qu ocurre o cmo ocurre?

Estudios cualitativos
Observacin Entrevistas Etnografa

Estudios de correlacin Experimentos Experimentos diseados

13

Problemas alrededor de preguntas y mtodos

Foco de SRE fue en ciencias aplicadas a educacin notando que
Comunidad cientfica en educacin es una mezcla eclctica con Diferentes normas y diferentes estndares de evidencia

La comunidad de investigadores en educacin, sin embargo, es mas grande que la comunidad cientfica con muy diferentes epistemologas y valores
14

Comunidad cientfica eclctica

Diferentes disciplinas o reas de estudio sociales, comportamentales y educativos conllevan sus propias preguntas y mtodos para estudiar la educacin Psiclogos educacionales se enfocan en preguntas de:
Tratamientos educativos y sus procesos Diferencias individuales y su interaccin con tratamientos, usando Mtodos experimentales y de correlacin, y estudios de caso Estructura organizacional, normas y desempeo de grupos Estatus, equidad y resultados de vida, usando primordialmente Modelos causales, de correlacin, y estudios de caso Productividad educativa Polticas de apalancamiento para producir resultados esperados, usando Modelos de correlacin, causales y funciones de produccin Cultura y normas, y sus impactos en el comportamiento, usando Estudios de caso, etnografa y otros mtodos
15

Socilogos de la educacin se enfocan en preguntas de:

Economistas de la educacin se enfocan en preguntas de:

Antroplogos de la educacin se enfocan en preguntas de:

Hay una comunidad an mayor que investiga sobre educacin

Desde historiadores de la educacin y filsofos, hasta acadmicos postmodernos, humanistas y feministas:
Preguntas de investigacin varan mucho Mtodos de investigacin varan mucho Garantas de conocimiento y existencia de estndares varan mucho

Cada perspectiva contribuye a garantizar la comprensin de la educacin La diversidad de perspectivas es saludable Problema: Lo que el conocimiento reclama cuenta, y cmo se asegura
16

Preguntas que desbordan lo emprico

Preguntas sobre normas y valores Frecuentemente la investigacin social y educativa se usa para justificar a priori conjuntos de normas o valores La investigacin emprica no puede resolver estas preguntas (pero puede informar sobre ellas) Al final, lo que cuenta como calidad educativa, y cmo la conocemos, involucra normas y valores

Anlisis histricos y filosficos sobre los valores y las posturas normativas debajo de investigacin imparcial cientfica, deben ser parte del gran proyecto de la investigacin educativa
17

Cmo algunos usan las ciencias sociales para definir polticas y temas normativos
En qu trabajas? Clculos para ir a Marte Lo haces mal! Si?

Ms fcil empezar con la solucin, te devuelves, y pones los nmeros correctos

mtodo matemt ico mgico

ASI NO SE HACE CIENCI A!

Con razn no vamos a Marte

Fuente: Non Sequitur

Valores: Caso de Accin Afirmativa en pregrado, U. Michigan

La Asociacin Nacional de Acadmicos dice que la decisin Bakke implica que la diversidad estructural (racial) impacta directamente los resultados universitarios. Agrega que la racionalidad Powell sobre diversidad establece que los estudiantes se benefician de asistir a universidades con diversidad racial (ceteris paribus) Metodolgicamente esta fue la nica manera de modelar estadsticamente la relacin entre resultados y diversidad en forma legtima.
Caractersti cas estudiante Experiencias diversidad Resultados (y)

Carcteris institucin

Otro argument que NAS interpret incorrectamente a Powell al ignorar, intencionalmente, los efectos de actividades educativas que dependen de la existencia de una diversidad estructural. Y que plante incorrectamente el modelamiento estadstico. Esto es, que la diversidad estructural opera no directamente sino mediante los procesos educativos formales e informales que tal diversidad permite

Poltica de la enseanza: Ciencia o valores?

Los resultados

Los tratamientos: Descubrimiento & Instruccin directa

Descubrimiento

Investigador provee metas y materiales; estudiantes exploran aparato experimental sin gua directa ni retroalimentacin

Instruccin directa Bsqueda guiada

Investigador provee metas, materiales, ejemplos y explicaciones explcitas sobre cmo controlar variables; estudiantes corren experimentos con gua y retroalimentacin directa

Comentarios de cierre
Honrado de ser parte de este seminario inaugural! La iniciativa ICFES de Investigacin en Calidad Educativa es visionaria y excitante Esta iniciativa probablemente mejorar:
La calidad de la investigacin Colombiana sobre educacin (beneficiando tambien a otros pases) La calidad de la educacin en Colombia

Tres sugerencias:
Apoyar estudios con preguntas tiles para las polticas y la prctica Esforzarse por rigor y sofisticacin al disear y analizar cualquier pregunta de investigacin que les interese! Al emplear datos ICFES considere el rol de:
Mtodos cualitativos Anlisis de normas y valores de polticas e investigacin
23

Thank You!