Académique Documents
Professionnel Documents
Culture Documents
por:
Resumen
En forma anloga a como un piloto de aviones emplea diversos instrumentos para controlar su
nave, la gestin de instituciones educativas exige el empleo de ciertos indicadores que le
permitan a los cuadros directivos lograr las metas de las instituciones que dirigen. Este artculo
presenta los resultados de un proyecto de investigacin orientado a generar un modelo de
evaluacin de instituciones educativas. El modelo propone un total de 54 indicadores
agrupados en 10 categoras: (1) formacin integral y calidad, (2) capital humano, (3) capital
social, (4) investigacin, (5) consultora, (6) servicio social, (7) promocin cultural, (8)
patrimonio fsico, (9) prestigio social y (10) sustentabilidad econmica. El modelo muestra
adems la forma en que, para cada una de estas categoras, existen estrategias de gestin
1
orientadas a una mejora de la calidad educativa. El estudio reporta adems evidencia colectada
en forma emprica para validar el modelo en el contexto particular de instituciones de
educacin media-superior y superior.
Reconocimiento:
La ponencia que aqu se presenta fue parte de un proyecto titulado: Modelo sistmico de
evaluacin institucional para el mejoramiento de la calidad educativa, el cual fue financiado
por el Fondo Mixto de Fomento a la Investigacin Cientfica y Tecnologica del CONACYT y
del Gobierno del Estado de Guanajuato. Los investigadores agradecemos el apoyo que se nos
ha brindado para el desarrollo de esta investigacin.
Introduccin
Da a da, miles de vuelos estn siendo operados en todo el mundo de una forma que no
para de sorprendernos, por lo que implica el sustentar en el aire a un vehculo de varias
toneladas de peso y poderlo operar a lo largo del da (y de la noche) bajo distintas condiciones
atmosfricas. Buena parte de que los viajes por avin tengan un alto ndice de seguridad se
debe al uso de instrumentos de control, que proporcionan al piloto un conjunto de indicadores
de muy distinta especie: un indicador de rumbo o giroscopio direccional para indicar la
direccin que lleva el avin, un indicador de velocidad aerodinmica o anemmetro para
medir la velocidad del avin con respecto al aire que se mueve alrededor, un altmetro para
conocer la altitud a la cul est volando el avin, un indicador de actitud u horizonte artificial
para saber si el eje longitudinal del avin est nivelado, un indicador de las reservas de
combustible con que cuenta la aeronave y muchos ms que sera largo citar. Cada indicador
lleva consigo un propsito y le proporciona al piloto informacin valiosa que le permite
conducir la aeronave en forma segura su aeronave y llegar a su destino siguiendo una ruta
ptima.
La descripcin anterior sirve para proponer una analoga con el trabajo que el director (o
los cuadros directivos) de una institucin educativa realizan. As como un piloto de aviones
cuenta con un conjunto de instrumentos para poder operar su nave, los directivos de una
institucin educativa deben contar tambin con instrumentos que le permitan tomar decisiones
para mejorar la gestin de la institucin y cumplir con metas que sean congruentes con la
misin y visin institucional. La responsabilidad que el director tiene para conducir su escuela
y universidad es similar a la de un piloto de avin: mientras que el segundo lleva consigo la
responsabilidad de realizar un viaje sin que ocurran accidentes que le cuesten la vida a cientos
de pasajeros, el primero tiene tambin una responsabilidad enorme en la que se pone en juego
no la vida, pero s la calidad de vida de los estudiantes en trminos de la educacin que estn
recibiendo. En ambos casos, la responsabilidad no es exclusiva de los "capitanes": as como el
piloto depende de todo un equipo de tierra y aire para que el avin opere sin falla alguna, el
director de una institucin educativa cuenta con un equipo de profesores y personal acadmico
y administrativo para brindar a los alumnos una educacin que aspira a ser de calidad.
Si bien estas ideas se escuchan razonables en lo general, la realidad de muchas
instituciones educativas es distinta. Sus "pilotos" tienen que volar, en muchas ocasiones, "a la
ciega", ya que no cuenta con instrumentos apropiados que les den informacin para la toma de
decisiones.
Marco terico
A la evaluacin educativa se le reconoce un doble papel: si bien se le aprecia
simplemente como una forma de medir eso que se llama calidad educativa (como quiera que
sta se defina), tambin se le reconoce que la evaluacin puede ser un medio para promover
esa calidad. Tal como Valenzuela (2004, p. 5) comenta:
La evaluacin es una parte esencial de cualquier proceso administrativo. Presente desde
el momento mismo de la planeacin, nos permite diagnosticar el estado en que se
encuentra una institucin. Al emplearse durante las etapas de ejecucin, nos permite
regular nuestras acciones para corregir el rumbo en caso de estarnos apartando de los
objetivos perseguidos. Aplicada al trmino del proceso, nos ofrece una mirada
retrospectiva de lo que hemos hecho, de los aciertos que hemos tenido, de los errores
que hemos cometido y del grado en el que hemos alcanzado los objetivos que nos
propusimos lograr. Con todo y su evidente importancia, tambin hay que reconocer que
la evaluacin es un proceso complejo y difcil, que en muchas ocasiones trae consigo
descontento y malestar. A algunas personas no les gusta ser evaluadas, y siempre
aparecen muestras de inconformidad por ms cuidado que pongamos en nuestro trabajo
de evaluacin.
4
Mtodo
La investigacin realizada no estuvo orientada a un planteamiento formal de hiptesis
que pudieran ser comprobadas a partir de evidencia emprica y eventualmente interpretadas
dentro de marcos tericos preestablecidos. En su lugar, la investigacin sigui ms bien un
proceso de diseo de un modelo de evaluacin institucional compuesto por diversos
indicadores, y la prueba de dicho modelo por parte de diversos usuarios (personas e
instituciones educativas). En ese sentido, el problema por atender pudiera planterase en
trminos de identificar cules son las caractersticas que debe tener un modelo de evaluacin
que proporcione informacin a los cuadros directivos de una institucin educativa para
mejorar los procesos de toma de decisiones, la gestin de la institucin y, eventualmente, la
calidad del servicio educativo que ofrece.
El problema as planteado llev a los investigadores a proponer un proyecto consistente
en tres etapas:
Resultados
Es complejo presentar en este documento los hallazgos de las distintas etapas de un
proyecto de tan gran magnitud como el que se llev a cabo. Tan solo la etapa del diagnstico
de necesidades de evaluacin institucional o la documentacin de la experiencia de formacin
Componentes e
indicadores
Sistema de
informacin
Gestin
Misin y visin de
la institucin
este proyecto, la idea de los autores fue generar un modelo relativamente general que pudiera
aplicarse a instituciones educativas de distinta naturaleza y en distintos contextos, de una
manera tal que cada institucin pueda tomar del modelo aquello que sea ms significativo para
su realidad concreta. No se propone un modelo encaminado a generar rankings, aunque puede
ser usado para tal fin. Tampoco se propone un modelo orientado a asegurar acreditaciones o
certificaciones de instituciones educativas, aunque puede servir para tal fin. Como ya se ha
indicado en el propsito, la idea de este modelo es apoyar la toma de decisiones del trabajo de
gestin, a travs de proveer informacin valiosa acerca de la institucin educativa.
2.
11
estar cumpliendo con ciertos estndares de factibilidad que todo modelo de evaluacin
debe tener (Joint Committee on Standars for Educational Evaluations, 1988 y 2004).
3.
Enfoque sistmico. El modelo propuesto puede ser visto como un subsistema dentro de
otro gran sistema que es la institucin educativa. Al asumir la idea de un enfoque
sistmico, la evaluacin es concebida como un conjunto de procesos que tienen insumos y
salidas. El proceso de evaluacin asume que el evaluador se mueve a lo largo de una
dimensin que va desde una perspectiva atomista (evaluando las componentes de la
institucin) a una perspectiva holista (evaluando a la institucin en conjunto, o de manera
integral) y viceversa (Valenzuela, 2004).
4.
5.
6.
Componentes del modelo. Para definir las componentes del modelo, se comenz por
definir un conjunto de metas vinculadas a las instituciones educativas. Esas metas fueron
denominadas como "axiomticas", por ser un tanto obvia (sin mayor necesidad de
demostracin o justificacin) su importancia para la institucin. A partir de estas metas, se
definieron 10 componentes para configurar el modelo educativo: (1) formacin integral y
calidad, (2) capital humano, (3) capital social, (4) investigacin, (5) consultora, (6) servicio
social, (7) promocin cultural, (8) patrimonio fsico, (9) prestigio social y (10) sustentabilidad
econmica. Vinculados a estas 10 componentes, se propuso un total de 54 indicadores, en
trminos de su relevancia para proveer de informacin a los cuerpos directivos y alinear sus
acciones al logro de las metas axiomticas. La Tabla 1 presenta en forma sinttica las
componentes e indicadores del modelo propuesto.
Tabla 1
Componentes del modelo de evaluacin institucional
Componentes
1. Formacin integral y
calidad. Es el proceso
educativo que permite el
desarrollo de los estudiantes en
todas sus dimensiones (fsica,
psicolgica, sociocultural,
ecolgica, trascendente y
profesional), con miras de
asegurar que los egresados de
un programa educativo
cumplen con estndares
definidos por los curricula de
la institucin educativa.
Indicadores
1.1. Frecuencia de actualizacin de planes y programas de
estudio.
1.2. Proporciones relativas de materias destinadas a las
distintas dimensiones de formacin del estudiante.
1.3. Grado de cumplimiento de lo establecido en los
curricula, en trminos del nmero de temas que se
abordaron y que se debieron haber abordado.
1.4. Grado de cumplimiento de lo establecido en los
curricula, en trminos del nmero de clases que se
impartieron y que se debieron haber impartido.
1.5. Resultados del sistema de evaluacin de profesores.
1.6. Resultados de la evaluacin de los programas.
1.7. Resultados de exmenes departamentales.
1.8. ndice de desercin de los alumnos.
1.9. Nmero promedio de alumnos en cada grupo escolar.
1.10. Estadsticas de calificaciones de los alumnos.
13
Componentes
Indicadores
1.11. Proporcin de alumnos egresados que se encuentran
trabajando en su rea profesional.
1.12. Ingresos anuales promedio de los alumnos que
egresaron hace cinco y diez aos.
1.13. Resultados de sistemas de evaluacin de los egresados
aplicados a empleadores.
2. Capital humano. Es el
potencial del personal que
tiene una institucin educativa,
dado por el nivel de
competencias y experiencia
que poseen los trabajadores y
que se pude traducir en valor
para la institucin.
3. Capital social. Es el
potencial que tienen las redes
internas y externas de los
trabajadores y que se traducen
en valor para la institucin.
Componentes
Indicadores
experto de la institucin
educativa contribuye a dar
soluciones al sector productivo
que las solicita.
6. Servicio social. Es la
contribucin que la institucin
educativa ofrece a su entorno
social a travs del trabajo de
sus estudiantes.
7. Promocin cultural. Es la
7.1. Nmero de eventos de difusin cultural organizados
preservacin, difusin,
por la institucin.
creacin y recreacin de los
7.2. Proporcin relativa del nmero de eventos de difusin
valores culturales y de las
cultural realizados en las distintas reas de
distintas manifestaciones
manifestacin artstica.
artsticas propias de un entorno
social y de la humanidad en
general.
8. Patrimonio fsico. Es el
8.1. Proporcin del presupuesto destinado a mantenimiento
conjunto de recursos materiales
preventivo y correctivo.
que permiten a la institucin
8.2. Inventario de recursos materiales de la institucin
educativa cumplir sus
educativa.
funciones para la presente y
futuras generaciones.
9. Prestigio social. Es el
9.1. Resultados de los alumnos en exmenes nacionales
reconocimiento que la sociedad
estandarizados.
9.2. Nmero de programas acreditados.
otorga a la institucin
9.3. Posicin de la institucin educativa en rankings.
educativa por el servicio que
presta en la formacin de los
estudiantes, as como por su
impacto social.
10. Sustentabilidad
econmica. Es aquello que
asegura que una institucin
educativa pueda operar
manteniendo un equilibrio
entre sus ingresos y sus
egresos.
2.
16
3.
Las discrepancias de las que se habla en el punto anterior nos hablan de la dificultad
concpetual para entender lo que un indicador es. En trminos generales, la claridad
conceptual sobre cada tipo de indicador depende, en buena medida, de qu tanto los
directores (o las personas a cargo de generar esos indicadores) han tenido que calcularlos
en el pasado (bien sea como parte de procesos de acreditacin o como prctica comn de
los procesos de gestin), o de qu tanto cuentan con una capacitacin previa sobre
cuestiones de evaluacin institucional. En entrevistas con algunos informantes, los
investigadores llegaron a apreciar que ni siquiera el concepto de indicador es
suficientemente claro para algunos. En contraste, otros informantes rpidamente
reconocieron el tipo de informacin que se les solicitaba, y podan generar ms de una
estimacin de cada tipo de indicador. Lo importante de este anlisis no era el generar
distintas definiciones para cada indicador. Lo importante radicaba en buscar aquella
definicin que cumpliera con las cuatro caractersticas que se supone debe tener cada
indicador (Joint Committee on Standars for Educational Evaluations, 1988 y 1994):
precisin, utilidad, factibilidad (para su determinacin) y propiedad (aplicacin de
principios ticos para generarlo).
4.
El mero clculo de un indicador no debe verse como un hecho aislado, sino como un
proceso que est inmerso en un ambiente en donde entran en juego dos elementos: las
competencias que tengan las personas a cargo de definir y generar un cierto indicador, y la
existencia (o inexistencia) de una cultura de evaluacin dentro de la institucin. Por
comentarios con los informantes, se lleg a subrayar la importancia de que un modelo de
esta naturaleza fuera implementado junto con una adecuada capacitacin del personal de
la institucin. Esa capacitacin deba incluir no slo cuestiones tcnicas sobre el clculo
de cada indicador, sino tambin el desarrollo de cierto tipo de competencias
17
Conclusiones
El proyecto de investigacin aqu descrito permiti muchos aprendizajes sobre la forma
de concebir la evaluacin institucional y los procesos de gestin de instituciones educativas.
Uno de los aspectos que aflor desde la primera etapa del proyecto fue la enorme
heterogeneidad estructural en las instituciones de educacin media-superior y superior del
Estado de Guanajuato. Los contrastes se hacen palpables tanto por el nmero de alumnos,
como por los recursos con los que cuentan, las orientaciones curriculares para la formacin,
18
entre otros muchos factores. Esta misma heterogeneidad que se observa en el tamao e
infraestructura de las instituciones, se manifiesta tambin en las prcticas de evaluacin y en
los sistemas con los que cuentan para tal fin. Desde luego, tambin se observan coincidencias
entre las instituciones cuando, al hablar de evaluacin, se mencionan la que se hace del
aprendizaje (internamente o mediante tests estandarizados a nivel nacional) o de los profesores
(a travs de encuestas aplicadas a los alumnos). Asimismo, hay muchas coincidencias en
cuanto a las evaluaciones no realizadas, como podra ser la que implica un seguimiento a
egresados (son contadas las instituciones que manifestaron estudios en esta lnea). Fuera de
estas coincidencias, la diversidad de formas de evaluar es palpable. Desde esta perspectiva, era
preciso proponer un modelo de evaluacin que retomara las prcticas recurrentes de
evaluacin, pero que tambin viera la forma de integrar al modelo las "ausencias" detectadas.
Un patrn recurrente de las instituciones educativas fue que no existen prcticas que
sistemticamente vinculen a la evaluacin con los procesos de gestin. Esto no implica que se
carezca de evaluaciones. Por el contrario, existen muchos esfuerzos para realizarlas. A veces
se llevan a cabo simplemente para cumplir con registros estadsticos que se le solicitan a la
institucin; y a veces por un deseo de contar con una acreditacin como institucin o en
alguno de sus programas. Sin embargo, estas evaluaciones son "puntuales" y no se llevan a
cabo de una manera continua en que se aprecie un vnculo claro con los procesos de toma de
decisiones y de gestin. En ese sentido, el modelo propuesto pretendi establecer precisamente
ese vnculo entre la informacin que se genere de los procesos de evaluacin y los procesos de
gestin asociados con la calidad educativa.
19
Referencias
Carey, L. M. (2001). Measuring and evaluating school learning (3a. ed.). Boston, MA,
EE.UU.: Allyn and Bacon.
Domnguez, G. (2000). Evaluacin y educacin: Modelos y propuestas. Buenos Aires,
Argentina: Fundec.
Edwards, M. R. y Ewen, A. J. (1996). 360 feedback: The powerful new model for employee
assessment & performance improvement. New York, EE.UU.: American Management
Association.
Fitzpatrick, J. L., Sanders, J. R. y Worthen, B. R. (2004). Program evaluation: Alternative
approaches and practical guidelines (3a. ed.). Boston, MA, EE.UU.: Pearson.
Isaac, S. y Michael, W. B. (1995). Handbook in research and evaluation: A collection of
principles, methods, and strategies useful in the planning, design, and evaluation of
studies in education and the behavioral sciences (3a. ed.). San Diego, CA, EE.UU.:
EdITS.
Joint Committee on Standars for Educational Evaluations, The. (1988). The personnel
evaluation standards: How to assess systems for evaluating educators. Newbury, Park,
CA, EE.UU.: Corwin Press.
Joint Committee on Standars for Educational Evaluations, The. (1994). The program
evaluation standards: How to assess evaluations of educational programs (2a. ed.).
Thousand Oaks, CA, EE.UU.: Sage.
Kaplan, R. S. y Norton, D. P. (1997). El cuadro de mando integral: The balanced scorecard.
Barcelona, Espaa: Gestin 2000.
Kubiszyn, T. y Borich, G. (2003). Educational testing and measurement: Classroom
application and practice (7a. ed.). Hoboken, NJ, EE.UU.: Wiley.
Lafn, M. R. (2008). Deteccin de necesidades de evaluacin institucional en educacin
media-superior y superior. Tesis de maestra indita, Tecnolgico de Monterrey, Ciudad
Jurez, Chihuahua, Mxico.
Lora, E. (2002). La competitividad de las universidades pblicas mexicanas: Una propuesta
de evaluacin. Distrito Federal, Mxico: Universidad Autnoma del Estado de Mxico y
Plaza y Valds.
Mayor, C. (1998). La evaluacin como estrategia de mejora: Evaluacin de programas,
centros y profesores. Sevilla, Espaa: Kronos.
20
21
Anexo
Primer autor:
Adscripcin:
Tecnolgico de Monterrey
Direccin:
Av. Eugenio Garza Sada No. 2501 Sur, Edificio CEDES, Stano 1
Col. Tecnolgico
Monterrey, Nuevo Len 64849, Mxico
Telfono:
Correo
electrnico:
jrvg@itesm.mx
Currculum
sinttico:
Segundo autor:
Adscripcin:
Tecnolgico de Monterrey
Direccin:
Av. Eugenio Garza Sada No. 2501 Sur, Edificio CEDES, Stano 1
Col. Tecnolgico
Monterrey, Nuevo Len 64849, Mxico
Telfono:
Correo
electrnico:
solramirez@itesm.mx
Currculum
sinttico:
Resumen
(abstract):
Modalidad del
trabajo:
Ponencia escrita
Naturaleza del
trabajo:
Temtica:
Evaluacin institucional
Requerimientos
para la
exposicin:
23