11 de diciembre

ABET
ABET is recognized as the worldwide leader in assuring quality and stimulating innovation in applied science, computing, engineering, and engineering technology education.

http://www.abet.org/

Comisiones
CAC ASAC EAC TAC

El nombre del programa determina la comisin que lo evaluar

Para poder acreditarse, el programa debe tener al menos 1 egresado en el ao acadmico previo a la visita

Timeline
Solicitar Readiness Review si es la primera vez que un programa en la institucin va a buscar la acreditacin

Ms de un ao antes: Enfocarse en las actividades de assessment Empezar a trabajar en el autoestudio Recolectar evidencias de trabajo de los alumnos, syllabi de los cursos, libros de texto

Criterios
1. 2. 3. 4. 5. 6.

Students Program Educational Objectives Student Outcomes Continuous Improvement Curriculum Faculty

7.
8.

Facilities
Institutional Support

Ejercicio

Propsitos del assessment y la evaluacin de programas

Para qu?

Es una forma de obtener informacin que permite mejorar los programas y la enseanza. No se realiza solo para certificar la calidad o demostrar xito. Es una evaluacin interna, a cargo de los profesores. Fundamentalmente se realiza para hacer mejor lo que hacemos. A mediano plazo ayuda a fortalecer el sentido de responsabilidad colectiva por nuestros estudiantes y su futuro impacto en la comunidad.

Niveles de evaluacin de las competencias de egreso

Qu se evala?

Estudiantes

Cursos
Institucin

Programa

Visin general del proceso

Cmo?

Definir el perfil de egreso del programa acadmico

Evaluar y mejorar los resultados

Disear y aplicar el plan de evaluacin

Responsables de la evaluacin de programas

Quin?

Este proceso es responsabilidad de los directores o coordinadores acadmicos, profesores y cuerpos colegiados de los programas. Es un proceso en manos de quienes conocen y administran el currculum, la enseanza y la evaluacin.

Definir el perfil de egreso del programa acadmico

Cunto es bueno para ABET?

Objetivos de programa
(5 6 objetivos por programa)

Competencias de egreso
(6-12 competencias por programa)

Criterios de desempeo
(2-3 criterios para cada competencia)

Definir el perfil de egreso del programa acadmico

Competencias de egreso
Student outcomes describe what students are expected to know and be able to do by the time of graduation. These relate to the skills, knowledge, and behaviors that students acquire as they progress through the program.

Competencias de ABET

(a) an ability to apply knowledge of mathematics, science, and engineering (b) an ability to design and conduct experiments, as well as to analyze and interpret data (c) an ability to design a system, component, or process to meet desired needs within realistic constraints such as economic, environmental, social, political, ethical, health and safety, manufacturability, and sustainability (d) an ability to function on multidisciplinary teams (e) an ability to identify, formulate, and solve engineering problems

(f) an understanding of professional and ethical responsibility

(g) an ability to communicate effectively (h) the broad education necessary to understand the impact of engineering solutions in a global, economic, environmental, and societal context

(i) a recognition of the need for, and an ability to engage in life-long learning
(j) a knowledge of contemporary issues (k) an ability to use the techniques, skills, and modern engineering tools necessary for engineering practice.

Definir el perfil de egreso del programa acadmico

Acciones clave en esta fase

Definir los objetivos y competencias de egreso del programa

Definir 2 o 3 indicadores o criterios de desempeo para cada competencia.

Revisar alineacin y congruencia

Misin vs objetivos Objetivos vs competencias Competencias vs a-k

Identificar a qu materias o mdulos estn asociadas las competencias de egreso.

Mapa de competencias vs cursos (reflejar cmo est planeado el desarrollo gradual y acumulativo de competencias)

Definir el perfil de egreso del programa acadmico

Factores crticos

Claridad Consenso Construccin colectiva Visin compartida (p.e. qu significa desarrollar el pensamiento

crtico?)

Recapitulacin

Si las competencias de egreso ya estn establecidas

Si ya revisamos que dichas competencias estn debidamente alineadas a la misin institucional y objetivos del programa
Si ya definimos indicadores o criterios de desempeo para cada competencia Si ya verificamos la articulacin entre competencias y currculum

Entonces estamos listos para disear y poner en marcha nuestro plan de evaluacin.

Definir el perfil de egreso del programa acadmico

Desarrollar un plan de evaluacin implica:

a. b. c.

Definir el ciclo completo de evaluacin de las competencias de egreso. Seleccionar 1 o 2 competencias a evaluar en este periodo. Decidir en qu cursos se recopilar la informacin. Revisar la matriz de competencias/cursos. Mapear dnde se va a evaluar.

d.
i. ii.

Disear la metodologa
A qu muestra de alumnos Qu evidencias y con qu mtodos directos e indirectos se recopilarn dichas evidencias. Con qu rbrica, lista de cotejo u otro instrumento se evaluarn las evidencias Aplicar los instrumentos

iii.

e.

f.

Procesar los datos (grficas, tablas) e integrar la informacin en un reporte.

Disear y aplicar el plan de evaluacin

a. Definir el ciclo completo de evaluacin de las competencias de egreso (5 6 aos)

MULTI-YEAR PROCESS: Dont look each outcome each year

Assessment Planning Flow Chart2004, Gloria M. Rogers, Ph.D., ABET, Inc. (grogers@abet.org)

Disear y aplicar el plan de evaluacin

b. Seleccionar 1 o 2 competencias a evaluar

La interrogante que anima todo el proceso de evaluacin de programas es:

Estamos logrando como programa acadmico que los estudiantes y egresados desarrollen las competencias propuestas? How well the program, taken as a whole, is achieving its goals?

Establecer prioridades, ser selectivos: qu pregunta se quiere responder en este momento.

No empezar por lo ms difcil. No empezar por lo que ya sabemos que estamos haciendo bien.

Disear y aplicar el plan de evaluacin

c. Decidir en qu cursos se va a obtener la informacin

Una competencia se monitorea a lo largo del currculum, en diferentes cursos y reas, y con el egresado (hasta 5 aos despus) Revisar el mapa competencias vs cursos y decidir colegiadamente en dnde se van a recopilar evidencias de aprendizaje.
La competencia se mide no dnde se ensea sino donde ya se tiene que tener desarrollada.

Disear y aplicar el plan de evaluacin

d. Disear la metodologa
i. Muestra de alumnos

Muestra representativa (considerando nmero total de alumnos, gnero, desempeo acadmico, grupos, profesores, etc.)

ii. Evidencias

Privilegiar las evidencias de aprendizaje directas (textos escritos por los alumnos; trabajos, proyectos, observacin) sobre las indirectas (encuestas de opinin o percepcin)
Capitalizar lo que los productos del aprendizaje que los alumnos ya elaboraron (versus solicitar nuevos trabajos)

iii. Rbricas

Reutilizar listas de cotejo o rbricas que ya hayan sido desarrolladas por los profesores .

Disear y aplicar el plan de evaluacin

Mtodos e instrumentos de evaluacin

Directos Observacin o examinacin directa de los conocimientos y habilidades de los estudiantes con base en criterios de desempeo previamente establecidos.

Observacin, OSCEs, exmenes orales, exmenes escritos, simulaciones. portafolios, etc.

Indirectos Medicin indirecta del aprendizaje de los estudiantes con base en la opinin, percepcin o auto-reporte del grado o valor de las experiencias de aprendizaje.

Encuestas, entrevistas, grupos de enfoque.

Disear y aplicar el plan de evaluacin

e. Aplicar los instrumentos de evaluacin (rbricas o listas de cotejo)

Recordar que no se est volviendo a evaluar a cada alumno en lo individual ni al profesor.

Alinear la forma en que los evaluadores usan las rbricas o listas de cotejo. Suprimir en la medida de lo posible datos que identifiquen a los alumnos en lo particular.

Disear y aplicar el plan de evaluacin

f. Procesar los datos

Presentacin grfica Descripcin narrativa Equilibrio entre la informacin cuantitativa y cualitativa.

Disear y aplicar el plan de evaluacin

MUY IMPORTANTE: Asegurarnos de elaborar un plan de evaluacin viable

Simple, gradual y continuo

Reusar instrumentos y evidencias ya existentes. Basado en muestras de alumnos. No sobrecargar a los profesores. Que sirva para hacer mejor lo que hacemos (no llenarnos de informacin que despus no sabemos cmo utilizar)

Cuidarse de la parlisis por anlisis Evitar el Death by assessment

Disear y aplicar el plan de evaluacin

Definicin
Comprende los pasos para describir el proceso de qu y cmo se har la presentacin de los resultados de la evaluacin con base en la audiencia y las necesidades; el diseo de los datos para un presentacin efectiva; as como la distribucin y divulgacin de los resultados en la institucin.

Evaluar y mejorar los resultados

Elementos

Identificar las caractersticas de la audiencia. Tener presente el planteamiento inicial. Tener acceso y comprender los resultados de la evaluacin. Identificar a los responsables y gestores de los resultados. Conocer los diferentes medios de comunicacin en la organizacin.

Evaluar y mejorar los resultados

Actividades:
a.
b. c.

Presentar los resultados.

Analizar y evaluar los resultados. Elaborar un plan de mejora.

d.
e.

Implementar y dar seguimiento al plan de mejora.

Repetir el proceso con otra competencia.

Evaluar y mejorar los resultados

a. Presentar de los resultados.

En qu consiste?

Exponer los resultados en una sesin de trabajo a un comit de profesores con visin de la carrera completa o del rea curricular implicada.

Resumir el proceso de evaluacin realizado (contextualizacin)

Qu objetivos y/o competencias de egreso se evaluaron Qu pregunta se buscaba responder Con qu mtodos se recopilaron evidencias En qu momento o periodo se realiz. Quines participaron

Presentar grficas y tablas que den una visin rpida de los datos obtenidos. Incluir frases o enunciados que describan en forma narrativa los resultados obtenidos.

Qu se espera?

Hacer una presentacin electrnica es suficiente (no un reporte formal).

Guardar un equilibrio de la informacin cuantitativa y cualitativa.

Evaluar y mejorar los resultados

b. Analizar y evaluar los resultados.

En qu consiste?

Revisar y valorar los resultados obtenidos:

Qu nos dicen los datos? Qu fortalezas identificamos? Qu debilidades?

Cul es nuestro juicio sobre los resultados obtenidos?

Qu acciones podemos recomendar para mejorar los resultados?

Qu se espera?

Asegurar un ambiente de dilogo y respeto. nfasis en la responsabilidad compartida.

Evaluar y mejorar los resultados

c. Elaborar un plan de mejora.

En qu consiste?

Proponer acciones con base en los objetivos, para mejorar el nivel de dominio de las competencias por parte de los alumnos.

Discriminar entre acciones que implican cambios curriculares, docentes, operativos, administrativos, etc.
Integrar las conclusiones, recomendaciones y acciones sugeridas en un plan de accin que incluya cronograma, responsables, seguimiento.

Qu se espera?

Comprometer a los participantes a continuar en el proceso de evaluacin.

Evaluar y mejorar los resultados

d. Implementar y dar seguimiento al plan de mejora.

En qu consiste?

Incorporar acciones del plan de mejora como parte de la cultura de trabajo de la institucin.

Qu uso se le va a dar a la informacin? Cules son los indicadores de evaluacin del plan de mejora? Cul es son las acciones que tiene prioridad?

Quines van a participar? Qu opinan los responsables de rea?

Cul es el costo (econmico y recurso humano) implcito?

Qu se espera?

Crear una cultura de trabajo con base en la investigacinaccin.

Evaluar y mejorar los resultados

e. Repetir el proceso con otra competencia.

En qu consiste?

Transferir el plan de mejora a otra competencia para validar el proceso.

Cul es el corazn del plan de mejora? Qu parte es transferible?

Qu se puede mejorar de la experiencia de assessment: instrumentos, tiempo, recurso humano, etc?

Qu instrumentos de recoleccin de informacin son estndares y se pueden replicar en el ciclo mayor de evaluacin de resultados?

Qu se espera?

Depurar el plan de mejora y desarrollar instrumentos de recoleccin de informacin institucionales.

Evaluar y mejorar los resultados

Errores comunes

NO EVALUAR. Creer que si los alumnos acreditan los cursos estn logrando las competencias. EVALUAR= CALIFICAR. Basarse en calificaciones como nico indicador de logro acadmico. EVALUAR TODO. Querer evaluar todas las competencias al mismo tiempo.

Lecciones aprendidas
Dra. Gloria Rogers
1.

Usualmente no hay recursos ni tiempo para evaluar todo.

No hay una nica forma de evaluar un programa acadmico. No abrumarse de informacin. Negociar (escoge tus batallas) Aprovechar la experiencia acumulada. Empezar con un reto manejable. Separar este proceso de la evaluacin de los profesores.

1.

3.

4.

5.

6.

7.

ABET no requiere que se adopten las competencias a-k textualmente.

Los programas pueden adoptarlas, adaptarlas o agregar competencias a la lista de ABET Si se adaptar o se agregan, hay que demostrar de que manera se cubren las a-k

a b c d e f g h i j k CE1 x x CE2 x CE3 x .

Ejercicio
Revisar

las competencias del programa y elaborar la matriz de relacin con la a-k

Competencias

Competencias de egreso:

Las competencias se manifiestan en la ACCION, de manera INTEGRADA. Poseer solo los conocimientos o solo las habilidades no significa ser competente. Una competencia no se adquiere de manera definitiva, es necesario reforzarla constantemente, de este modo podemos incidir en su construccin. Una competencia SE DEMUESTRA en un contexto.

Las competencias:

Empiezan con un solo verbo de ACCION en infinitivo, aunque tambin se puede usar el presente La accin del verbo debe ser observable

Se especifica el objeto sobre el cual recae la accin

Se especifica la finalidad de la accin Se especifica el criterio o parmetro de calidad esperado para la accin en un contexto determinado

Competencias, segn Tobn Las competencias son procesos complejos de desempeo con idoneidad en un determinado contexto, con responsabilidad.

Tobn, S. (2006). Las competencias en la educacin superior. Polticas de calidad. Bogot: ECOE.

Indicadores o criterios de desempeo

Pautas para disear el instrumento de evaluacin

Indicadores de desempeo:

Son comportamientos manifiestos, evidencias representativas, seales, pistas, rasgos observables de la actuacin humana, que gracias a una argumentacin terica bien fundamentada, permiten afirmar que aquello previsto se ha alcanzado. Son muy concretos y dan cuenta de los avances que se tienen en el logro de un criterio, dentro de una determinada competencia. Value free: no contiene trminos como efectivamente, completamente, correctamente, etc. (esos vendrn despus, en los instrumentos de evaluacin) Hay evidencias de ellos

A trabajar con competencias