Vous êtes sur la page 1sur 40

ISSN: 1130-3743

EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

Evaluation of university. Criteria of quality

Gonzalo VÁZQUEZ GÓMEZ, Antoni J. COLOM CAÑELLAS y Jaunie SARRAMONA LÓPEZ Facultad de Educación-Centro de Formación del Profesorado. Universidad Complutense de Madrid. 28040 Madrid. Facultad de Educación. Universidad de las Islas Baleares. Campus Universitario. 07071 Palma de Mallorca. Facultad de Ciencias de la Educación. Universidad Autónoma de Barcelona. 08193 Barcelona.

BIBLID [(1130-3743) 10, 1998, 55-94]

RESUMEN

En este estudio se analizan tres cuestiones básicas: los precedentes y el mode- lo de la evaluación institucional de la universidad española y europea, una pro- puesta de evaluación de la calidad de la docencia del profesorado universitario y la evaluación de la productividad científica de los profesores de universidad. El conjunto del artículo responde a un enfoque sistèmico. Se pretende vincular la eva- luación a la innovación y a la gestión de la calidad del conjunto de la organización universitaria.

SUMMARY

Three questions are analyzated in this study: the origins and the model of institutional evaluation of University in Spain and in Europe, a proposal of eva- luation of quality of the university teaching, and the quality assessment of the scientific productivity of the university teachers. The study responds to a systemic approach of the quality in higher education. It proposes to connect the quality criteria with the innovation, and the management of quality inside of the univer- sity institution.

©

Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

5 6

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS Y JAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

Hay que tener en cuenta que no hay nada más difícil de llevar a cabo, ni de más dudoso éxito, ni máspeligroso de controlar, que comenzar con un nuevo orden de cosas.

NICOLÁS MAQUIAVELO

1. LA CUESTIÓN DE LA EVALUACIÓN COMO PRETEXTO

En los últimos años se está experimentando un creciente interés por el pro- blema de la calidad de la universidad. Es ésta una cuestión que trasciende los lími- tes de un asunto mera y explícitamente pedagógico para entrar en el territorio del debate social sobre el sentido de la institución universitaria y de la educación superior en ese fin de siglo. El asunto ha adquirido una considerable amplitud y envergadura de tal modo que constituye una de las corrientes educativas (peda-

gógicas)

más intensas de nuestro tiempo 1 .

1.1. Necesidad de conceptuar de nuevo la universidad. Los análisis actuales sobre la universidad suelen balancear dos tratamientos: su función generadora y transmisora de cultura y su vinculación con los problemas y necesidades sociales

y económicos contemporáneos. A lo largo de su historia, y según los distintos

modelos encarnados en diversos países y modelos de sociedad, la universidad se ha concebido como formadora de hombres y de ideales culturales, como genera-

dora y transmisora de conocimiento y como formadora de profesionales 2 .

En la actualidad, el problema universitario se sitúa en la perspectiva de la

sociedad de la información y de la crisis del Estado del bienestar

la universidad es solamente una de las formas de educación postsecundaria al lado

de otras tales como la educación superior. La creciente desregulación de la edu-

cación superior y de las instituciones universitarias dibuja un campo de educación postsecundaria de perfiles frecuentemente muy poco definidos (Escuelas Universitarias, Centros Universitarios, Centros Superiores Universitarios, Escuelas

Universidades Públicas, Universidades de

la Iglesia, Universidades Privadas; Universidades Abiertas Públicas, Universidades

Abiertas en régimen privado; Centros Superiores acogidos al régimen de recono- cimiento de títulos por universidades europeas y norteamericanas Además, la variación producida en la duración de los estudios universitarios (con primeros ciclos y segundos ciclos de dos y de tres años), el efecto de doble titulación generado por el tercer ciclo y la progresiva acreditación por parte de las empre- sas de competencias adquiridas fuera de las aulas universitarias (TOEFL, G-MAT,

. Por una parte,

3

Superiores, Facultades Universitarias

;

1. Que esta cuestión sea propiamente pedagógica o que nos encontremos ante un «mero injer-

to mecánico en el árbol universitario de enfoques propios de otros ámbitos» (por decirlo en palabras d e GARCÍA DEL DUJO, 1995, p . 3) es un a d e las cuestione s d e fondo e n este problema .

2. La propuesta de Ortega y Gasset en Misión de la Universidad sigue teniendo vigencia; a ella

se refieren los trabajos actuales sobre la institución universitaria.

3- Ver VÁZQUEZ, G. (ed.) (1998): Madrid: espacio universitario abierto. Fundación Universidad-

Empresa. Madrid

© Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS Y JAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

5 7

Diplomas de Práctica profesional

)

son otros agentes, «actores», que están deman-

dando un papel en la acreditación de las competencias, más que de los títulos. Estas prácticas y otras muestran que, ni hay una sola forma de concebir los estudios postsecundarios, ni las competencias profesionales se adquieren sólo en las aulas universitarias. Por fin, las enseñanzas que conducen a los títulos propios otorgados por las universidades, actuando por sí solas o mediante aventuras con- juntas con organizaciones de diversa naturaleza, prueban que la educación supe- rior forma hoy parte de un concepto, sumamente amplio pero real, de educación básica de tal forma que los estudios de hoy habrán de volver ulteriormente a aulas, reales o virtuales, de educación superior para adquirir nuevas cualificacio- nes y competencias. En síntesis, las diversas organizaciones de educación superior han de situarse dentro de la Sociedad post-industrial o de la Información 4 .

En segundo lugar, es menester examinar las dos dimensiones de la universidad. Una, «pública» o función de interés general, de servicio a la colectividad, basada en la creencia de que su inclusión dentro de los servicios del Estado del bienes- tar se justifica por su contribución, siquiera sea a medio plazo, para el manteni- miento de ese mismo estado de cosas. Otra, «privada» o privatizable, en el senti- do que le reconoce Sáez de Miera, esto es, «que genera actividades que tienen un valor de mercado y sobre las cuales existe una demanda solvente» (1997, p. 11). Aunque por razones jurídicas sigue teniendo su valor de uso la distinción entre Centros de Educación Superior de régimen público y privado (y a pesar de que, en muchos casos, se pueden reconocer diferencias importantes de calidad entre unos y otros), lo cierto es que, en un plano simplemente teórico, la distinción es pro- blemática. Sobre todo, dentro del enfoque del cada vez, cuando menos por ahora, más difícilmente sostenible Estado del bienestar. Progresivamente, se está «privati- zando» la discusión pública sobre la educación; parece como si todos los servicios que presta la universidad huvieran de tener un inmediato valor de mercado. Esto rige para la investigación básica igual que para la aplicada, por no hablar del esca- so o nulo valor añadido que se reconoce a la docencia de calidad. Es menester situar la cuestión de la calidad universitaria en la perspectiva de la «sostenibilidad» del Estado del bienestar. En efecto, y conforme con la realidad actual, [una vez] asegurada la convergencia nominal [con Europa], España se enfrenta a dos importantes retos, ya como miembro de la Unión Monetaria. El pri- mero viene representado por el logro de la convergencia real, en tanto que el segundo se basa en el aseguramiento de un crecimiento sostenido que permita

consolidar la situación económica y social conseguida por la sociedad española

Dentro de este marco, se hace necesario alcanzar la armonía entre el creci- miento estable, sostenido y justo de nuestra economía con el mantenimiento y la mejora de la prestación de los servicios de interés público entre los cuales se incluye, además de las políticas activas a favor del empleo, el mantenimiento de

5

.

4. SÁEZ DE MIERA, A. (1997): «Perspectivas económicas y empresariales en la universidad del futu-

ro». Coloquio Reinventar a Universidade, Lisboa, 13 de noviembre de 1997, pp. 7-10.

5. FERNÁNDEZ DE PINEDO, M. (1998): Presentación. En FERNÁNDEZ-MIRANDA, E. (dir.): Espacio Euro:

Sostenibilidad Estado del bienestar en España. Price Waterhouse. Madrid.

©

Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

5 8

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS YJAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

las pensiones y del sistema de salud, la calidad de la educación en todos los nive- les de la educación básica, en el sentido que aquí se ha dado a esta expresión. No es posible extenderse mucho en este punto, pero es cuestión muy perti- nente para el examen de la calidad de la educación en la universidad. En efecto, los datos actuales sobre la universidad española nos muestran que, aunque a nues- tra manera, España ha alcanzado unas cotas de participación universitaria muy difí- ciles de superar por nuestro propio país, así como por otros países del entorno europeo. Situados, sólo tras Holanda, a la cabeza de % de alumnos matriculados en la educación superior respecto del total de alumnos entre 18 y 24 años, el creci- miento demográfico de la población universitaria bien merece el nombre de explo- sión y masificación. Sin embargo, el análisis prospectivo de la demanda educativa en esos mismos niveles de edad nos arrojan resultados exponentes de un fuerte cambio de tendencia pues en los veinte años que van desde 1991 al año 2010 se estima que se perderá un 37,9% de la población en España (en los niveles citados). Esta previsión ha contribuido a desacelerar la preocupación política y la adopción de medidas sobre la cuestión del acceso a la universidad y se está teniendo en cuen- ta a la hora de hacer el cálculo de plantillas de profesorado universitario 6 . En suma, se puede señalar que la evaluación de la calidad de la educación universitaria, más que un problema textual, es una cuestión pretextual para reexa- minar qué entendemos y qué queremos hacer con las enseñanzas universitarias en el escenario de los cambios sociales, económicos, tecnológicos y demográficos. Como se ha dicho antes, la discusión sobre la calidad de la educación universita- ria debe situarse en el terreno de la «publicidad» y de la autonomía que convenga dar a un asunto aparentemente sólo de índole técnica. ¿Para qué se evalúa cada universidad? 7 . La cuestión de la evaluación de la uni- versidad se sitúa en la encrucijada de dos caminos: el de la autonomía y la pres- tación de un servicio de interés para la construcción de la ciudadanía, por un lado, y el de la tensión entre el presente y el futuro, por el otro. La institución universitaria siempre ha estado sujeta a un sistema de evalua- ción por parte de la sociedad y de la administración. Lo que hay de nuevo en este momento no es tanto la función evaluativa, cuanto que es la propia organización quien asume ahora la responsabilidad de su autoevaluación. De esta forma se eva-

6. Las cifras no son menos extremas en los niveles correspondientes a las edades de la secunda-

ria obligatoria, con un 40,5% de decremento, y de la secundaria no obligatoria, con un 42,7%. A dife- rencia de lo que pueda ocurrir con los niveles de las enseñanzas preuniversitarias, en los que las migra- ciones pueden suavizar ligeramente estos decrementos, no cabe esperar apenas influjo alguno todavía sobr e la educació n superior . Ver: PUYOL, R. Y OTROS (1998) : «El ret o d e la sostenibilida d de l Estad o de l bienestar en educación y universidad», cap. III. En FERNÁNDEZ-MIRANDA, E. (dir.): Espacio Euro:

Sostenibilidad del Estado del bienestar en España. Price Waterhouse. Madrid.

7. Este punto puede verse más desarrollado en VÁZQUEZ, G. (1998): «Evaluación de la calidad

de las universidades [evaluación e innovación de la comunidad universitaria]». Gaceta Complutense (26), 26 de mayo, p. 2. Confróntese, también, el parecer de autores como de Luxán, Mora, Rodríguez Espinar, en sus respectivos trabajos sobre la evaluación institucional de la universidad, en Revista de Educación (315), enero-abril 1998. Desde una perspectiva institucional concreta, la de las doce uni- versidades radicadas en Madrid, puede verse esta cuestión tratada en VÁZQUEZ, G. (ed.) (1998): Madrid:

espacio universitario abierto. Fundación Universidad-Empresa. Madrid.

©

Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS Y JAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

5 9

lúa, proyectivamente, para mejorar, no simplemente para sobrevivir, ni como con- cesión modal a la estrategia de la excelencia selectiva o competitiva. La universi- dad no es una empresa más, sino una peculiar organización fruto del histórico compromiso entre la cultura y la construcción dialógica del hombre y de la comu- nidad. En esto reside el valor implícito en la función de evaluar nuestro saber hacer. Se evalúa para innovar en los procesos y mejorar la gestión. También, para trans- ferir la competencia formativa al conjunto de la sociedad. El problema se puede examinar, además, desde una nueva perspectiva: la eva- luación de la calidad y de la eficacia requiere que todos los miembros de la comu- nidad universitaria participen activamente en el proceso. La partida no se juega tanto en el terreno del liderazgo, como en el de la reflexión y la competencia com- partidas. Para ello se adoptan la reflexión crítica y el diálogo como enfoque de tra- bajo. Por eso es importante examinar cuáles son las condiciones del diálogo que acompañan a la evaluación, así como las decisiones que siguen a la elaboración del informe final después de que acabe la evaluación «interna» y «externa». En suma, y en estos tiempos de incertidumbre y de inquietante bonanza se trata de verificar lo que sabemos hacer dentro de esta sociedad cognitiva o post-industrial. Ya no sólo pensamos y hacemos para los demás, sino que aprendemos con ellos. La metodología de evaluación integrará la participación de la comunidad universitaria y de su entorno (mejor decirlo así que hablar de evaluación «interna» y «externa»). Los actuales proyectos de evaluación de las universidades resultarán eficaces en la medida en la que cuenten, no sólo con el impulso de sus respectivos equi- pos de gobierno, sino con el esfuerzo de todo el campus, y que acierten a vincu- lar la evaluación con la innovación tecnológico-pedagógica, con la mejor forma- ción humana de sus alumnos y con la formación continua de sus profesores. Ésta es la nueva dimensión a contemplar; lo demás podría sonar a un excesivo control social en tiempos de insuficientes recursos para la universidad, espectáculo algu- na vez vivido ya. Por la vía apuntada podrá surgir una universidad más compe- tente para afrontar con un mejor activo nuevos tiempos de crisis.

2 .

EL CONTEXTO DE LA EVALUACIÓN UNIVERSITARIA

Debido fundamentalmente al acceso al poder de los partidos conservadores europeos en una época de crisis, la cuestión económica pronto se ligó con el tema del rendimiento, por lo que de manos del tatcherismo surgió el modelo de finan- ciación pública a tenor de los resultados alcanzados por las instituciones de ense- ñanza superior, con ello se encontró una buena excusa para cerrar algunas de ellas o disminuir su oferta de titulación en otras muchas. De esta forma, masifica- ción, costes y evaluación se nos presentan a lo largo de estos treinta últimos años de forma concadenada como los temas que protagonizan el interés de la biblio- grafía universitaria 8 .

8. Obviamente nuestras afirmaciones se mueven en el sentido de enmarcar las grandes corrien-

tes más claramente definidas y no son en absoluto taxativas ya que no negamos que otras cuestiones hayan despertado inquietudes bibliográficas. Más diremos: por lo general, y desde los ámbitos propios

©

Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

6 0

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS Y JAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

La política universitaria conservadora de los años ochenta se centró, funda- mentalmente, en dos objetivos, a saber:

- la descentralización, o si se quiere, la dotación de mayor autonomía a las

universidades a través de modelos de autorregulación de sus propios recursos; de menor presión por parte de los ministerios y de mayor competitividad e innova- ción entre ellas. Se pretendía abrir un modelo propio del liberalismo a las institu-

ciones superiores, tradicionalmente más tuteladas, a fin de lograr una racionaliza- ción del gasto, mayor grado de adaptación a las necesidades sociales, y mayor calidad en sus programas;

- ahora bien, el precio de esta autonomía consistió en la necesidad de dar

cuentas de sus resultados y de los logros alcanzados como forma de control del gasto bajo la filosofía de lograr el máximo rendimiento a tenor del dinero inverti- do, máxime cuando, tal como hemos mencionado, la asignación presupuestaria estaría en razón directa de las cotas de calidad alcanzadas. En definitiva autono- mía implicaba evaluación (Vought, 1991, P- LXXXVI). Este control fue ejercido en el Reino Unido y en Francia por parte de sus res- pectivos gobiernos centrales, iniciándose así la cultura evaluadora de las institu- ciones de enseñanza superior, que pronto, con matices en el discurso y también en la práctica, fue retomada y perfeccionada en sus líneas generales por las posi- ciones propias de las políticas socialdemócratas, hasta tal punto que hoy en día la cuestión de la calidad y de la evaluación universitaria es una exigencia social que ya posee categoría de recomendación como paso previo, creemos, a lo que pró- ximamente será sin duda una «directiva» de la Unión Europea. En este sentido, cabe afirmar que el interés en la UE por la evaluación uni- versitaria se asienta fundamentalmente en el ya clásico de conocer los resultados para gestionar más eficientemente los gastos sociales y públicos pero también acompañados ahora por otros objetivos coherentes con las políticas educativas europeas tales como la de orientar el trasvase de estudiantes entre las diversas uni- versidades de acuerdo con sus intereses y exigencias (asegurando la calidad de las distintas instituciones) y desarrollar unos niveles educativos acordes con las demandas de una sociedad tecnológica (Michavilla y Calvo, 1998, p. 158).

de las Ciencias de la Educación, es desde donde mejor se puede denotar esta afloración múltiple de intereses por la universidad que poco a poco va formando un elenco de lo que podríamos denominar Pedagogía Universitaria. Véase, como evidencia de lo afirmado y para la cuestión metodológica, los trabajos, citados en la bibliografía, de Román (1980) y Bernad (1990). Para la cuestión del fracaso/éxito escolar, ver: Prieto (1979), González (1985 y 1989), J. Tourón (1984), Herrero e Infestas (1980), Escudero (1981), Salvador y Valcárcel (1989), Celorio (1983), Demanda y rendimiento académico en educación superior (1991). En referencia a la cuestión de la orientación y el empleo, consúltese: Sanz (1982), González (1976), Martín y De Miguel (1979), Subirats (1981), Consejo de Universidades (1989). En relación con el tema de la investigación: Bach (1990), Lafourcade (1974), Revista Española de Pedagogía (1990). En referencia a las empresas: Azofra, Hernández y Rojo (1988), Contreras (1990), Mayor (1996). En relación con los aspectos psicológicos de la enseñanza universitaria: Hernández (1986). Por último y como muestra general de este interés diversificado por múltiples aspectos de la educación universitaria véase: Universidad Politécnica de Madrid (1991), Consejo de Universidades (199O), Universidad de Cádiz (1991), Universidad de Zaragoza (1984), Benedito, Ferrer y Ferreres

(1995).

© Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS Y JAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

6 l

Ha sido en los Países Bajos, tras notables esfuerzos llevados a cabo por Finlandia y Noruega principalmente, en donde se ha aportado el que se considera mejor modelo europeo de evaluación de las universidades y que salvo pequeñas modificaciones ha sido recomendado en la UE. Se trata de un modelo autorregula- do, organizado y controlado fundamentalmente por las propias instituciones de enseñanza superior, superando el control de supervisión centralizado de las prime- ras experiencias. Se trata de un proceso evaluador asentado en la autoevaluación y por tanto participado e impregnado de los principios de la evaluación como mejo- ra o evaluación formativa. Más adelante lo analizaremos detalladamente.

3- LOS PRECEDENTES ESPAÑOLES

Nuestro país presenta una aceleración y solapamiento de las etapas antes mencionadas debido a los condicionamientos de su política interna, al menos hasta 1978. Sin duda, como afirma Quintanilla (1996, pp. 35-48), los objetivos de la universidad en la década de los setenta están ya consolidados: democratización, autonomía, modernización, inserción en el entorno social, extensión y profundi- zación de las actividades de investigación; asimismo, la tendencia a la autorregu- lación y autonomía efectiva que impregnaba la cultura de los años ochenta deja sentir su influencia en el seno de la LRU, culminando con su traspaso a los gobier- nos autonómicos; igualmente, se ha logrado atajar el problema cuantitativo y de masificación con la creación de múltiples universidades en estos últimos años. En definitiva, se han ido quemando rápidamente etapas pendientes hasta tal punto que al principio de los noventa, y debido a la autonomía, junto a las mayo- res responsabilidades asumidas, el aumento de recursos económicos y tecnológi- cos, los programas de investigación compartidos y la movilidad estudiantil, tam- bién se dejaron sentir entre nosotros el reto de la efectividad y de la evaluación de logros, refrendado y reforzado al mismo tiempo por nuestra inclusión en la UE. De todas formas, nuestra historia evaluativa de las universidades cuenta con algunos precedentes que no dudamos en destacar. A mediados de la década de los años ochenta se crea en la Universidad de Barcelona un gabinete de evalua- ción e innovación universitaria 9 que tendrá su continuidad en la Politécnica de Madrid cuando en 1988 se elabora un plan estratégico basado en el control total d e calidad; al mismo tiempo , los exámene s y los resultado s del MIR servían par a establecer una cierta clasificación de las Facultades de Medicina. Una año más

9. Independientemente de todo el proceso narrado centrado en la evaluación institucional de

las universidades, ya a finales de los ochenta las universidades de forma autónoma iniciaron expe- riencias de evaluación del profesorado, cuestión ésta que también ha preocupado a la Unión Europea creando en consecuencia el denominado Proyecto Piloto Europeo de evaluación de la calidad docen- te, que se desarrolló a lo largo de 1995. Las conclusiones se presentaron en diciembre en este mismo año en Las Palmas de Gran Canaria, con la activa presencia de nuestro país. Fruto de esta reunión fue la publicación de las actas de los trabajos presentados bajo el título La Universidad del siglo XXI y su impacto social. Universidad de las Palmas, Las Palmas de Gran Canaria, 1996. Evitamos aquí la refe- rencia a este tipo de experiencias pues no es objeto de nuestro trabajo.

© Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

6 2

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS Y JAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

tarde, el Ministerio de Educación toma cartas en el asunto organizando en Segovia una reunión internacional en donde se analiza la viabilidad de las clasificaciones de las universidades según criterios de calidad (MEC, 1989)- No obstante, es en el año 1991 en el que de alguna manera se ponen ya las bases para desarrollar un plan sistemático d e evaluación universitaria pue s e l mismo MEC patrocinará una s Jornadas en Almagro cuyas conclusiones más importantes fueron:

- unanimidad sobre la necesidad de realizar una evaluación institucional

universitaria,

- el objetivo del proceso evaluador debe ser la mejora de la calidad institu-

cional,

- la futura evaluación deberá abarcar a los docentes, la investigación, los

servicios, etc., así como las relaciones que se dan entre todos estos elementos,

- los resultados, así como el propio proceso evaluador, deben poseer carác-

ter formativo. Estas tesis fueron refrendadas este mismo año con la publicación en diciem- bre por parte de la UE de un Memorandum sobre educación superior en la Comu- nidad Europea, en cuyo punto 52 se planteaba la necesidad de controlar la cali- dad de la enseñanza e investigación de las instituciones de enseñanza superior. A partir d e aquí, obtenido el consenso interno y vistas las directrices d e la UE, se lanzó un programa experimental de evaluación de las universidades españolas que duró de 1992 a 1994, y cuyo objetivo fue poner a prueba una metodología de eva- luación institucional inspirada en experiencias internacionales. El programa se desa- rrolló sobre la base de tres niveles de evaluación: el primero era común a las 17 uni- versidades participantes y su pretensión era reconocer unos indicadores globales aptos para analizar el rendimiento de cada institución; el segundo nivel se centró en seis universidades en las que se evaluaron algunas instituciones y áreas de conoci- miento. Por último, el tercer nivel contempló a tres universidades que además fue- ron objeto de evaluación externa (Michavila y Calvo, 1998, pp. 168-169)-

La estructura del protocolo que se aplicó en este programa experimental fue la siguiente (Consejo de Universidades, 1995, p. 17):

NIVEL I

Enseñanza:

Metas, objetivos y planificación de la universidad.

Investigación:

Alumnos (indicadores de demanda y de rendimiento). Profesorado y personal investigador. Producción científica (número y peso cuantitativo). Calidad (impacto esperado). Productividad (producción/profesor). Colaboración.

Organización: Recursos (económicos y físicos).

Servicios horizontales (información, biblioteca, servicios asis-

tenciales

).

Organización general.

© Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp . 55-94

GONZALO VAZQUEZ GOMEZ, ANTONI J. COLOM CANELLAS Y JAUME SARRAMONA LOPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

6 3

NIVEL II Enseñanza:

Metas, objetivos y planificación de la titulación. Plan docente. Desarrollo de la enseñanza. Profesorado. Recursos científicos (humanos, económicos, infraestructura).

Investigación:

Producción científica. Estructura científica (líneas de investigación, movilidad, pro- yección). Organización: Análisis del proceso de la toma de decisiones.

NIVEL III

Enseñanza: Recopilación de la información mediante técnicas cuantitativas. Investigación: Incorporación del análisis cualitativo externo mediante revi- sión por pares. Organización: Recopilación de información mediante técnicas cualitativas.

Los déficits hallados en estas evaluaciones fueron cubiertos por el Proyecto Piloto Europeo que se aplicó durante el curso 1994-95 y en el que participaron 17 países. De España participaron cuatro universidades a las que se le aplicaron los mismos instrumentos europeos si bien adaptados por cada país en función de las peculiaridades de los respectivos sistemas universitarios (Consejo de Universidades, 1995, p. 19). Por fin, y de acuerdo con los resultados obtenidos, en 1995, el Consejo de Universidades aprobó el Primer Plan Nacional de Evaluación de la Calidad de las Universidades con una duración prevista de 5 años, a cuya primera convocato- ria que finalizaba en 1997, han respondido voluntariamente 46 universidades, de entre ellas seis privadas 10 .

4. SOBRE «CALIDAD» Y UNIVERSIDAD

Como ha quedado dicho, el origen y razón de ser de la evaluación universi- taria se encuentra en conocer los niveles de calidad alcanzados. Se introduce pues en el objeto evaluador un término -el de calidad- que creemos desvirtúa el sen- tido que debe tener la evaluación de la universidad, sobre todo si lo tomamos al pie de la letra y en su sentido empresarial. «Calidad» en la universidad, más que un concepto riguroso debe ser un término orientativo que muestre los niveles de mejo- ra alcanzados a nivel institucional o, en todo caso, debe entenderse tal como viene definida en el diccionario de la Real Academia Española, a saber, «propiedad o conjunto de propiedades inherentes a una cosa que permite apreciarla como igual,

10. De estas 46 universidades siete solicitaron evaluar todas sus titulaciones, 26 aceptaron eva-

luar alguna de sus titulaciones (en total se han evaluado 32 títulos). Trece universidades se han eva-

luado en el segundo año (1997), aunque nos consta que debido a cierto retraso del plan algunas de estas universidades han sido evaluadas en los primeros meses de 1998.

© Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS Y JAUME SARRAMONA LÓPEZ

6 4

EVALUACIÓN DE LA UNIVERSIDAD.

CRITERIOS DE CALIDAD

mejor o peor que las restantes de su especie». Es decir, calidad, en un sentido com- parativo, y por tanto, encerrando en su propio significado el requerimiento eva- luativo.

En el mundo empresarial que es desde donde se ha difundido el concepto de «calidad», el nivel de exigencia que encierra es tal, que difícilmente puede ser apli- cable de manera automática a los procesos y productos universitarios. Así, se ha definido como «conjunto de propiedades y características de un producto o servi- cio que le confieren su aptitud para satisfacer unas necesidades expresas o implí-

. Asimismo, Panera (1991, p. 388) define la calidad afirmando que es el con-

citas»

11

junto de las características fundamentales de un bien o servicio que lo distinguen y lo hacen útil para la aplicación para la que ha sido producido. Por su parte, Sebastián y colaboradores (1991, p. 472) afirman que realizar una acción con cali- dad es «diseñar, producir y servir un producto o servicio que sea útil, lo más eco- nómico posible y siempre satisfactorio para el usuario». Todo ello, excúsese la insistencia, es difícil de ser trasladado completamente a la universidad.

Aplicado al mundo empresarial, la calidad total se aleja de los objetivos de la evaluación universitaria porque supone el control sobre las funciones, el tiem- po, el personal, los medios, las relaciones, los clientes e incluso el grado de satisfacción de los sujetos implicados, pues también se debe lograr la «satisfac- ción total». Cabe aquí, para ilustrar tal requisito, plantear el cambio de paradig- ma que supone la calidad total en el contexto de la empresa; hasta ahora se decía que el objetivo de una empresa era el accionariado, o sea, el aporte de beneficios, que se conseguía a través de los clientes y mediante los empleados, por lo que los niveles de importancia se establecían así: accionistas, en primer lugar, clientes y por último, los empleados. En cambio, la calidad total supone incidir en el «empleado», como elemento más importante de la empresa -el fac- tor o capital humano- ya que sólo así serán capaces de elaborar buenos pro- ductos -por lo tanto, se ampliará la clientela- que posibilitará la generación de beneficios para el accionariado. La introducción de planes en pro de la calidad está, como se ve, lejos de las posibilidades universitarias, máxime cuando supone además cambiar el estilo de dirección y organización, abrir canales internos de comunicación, desarrollar sis- temas de revisión para ver si se cumplen las expectativas y desarrollar, funda- mentalmente, programas de formación, ya que la calidad es antes que nada cali- dad humana (Juran y Gryna, 1995). Formar para la calidad es un factor motivador hacia la autonomía personal, hacia la perfección del sujeto implicando incluso un verdadero rearme moral. De ahí que se hable de la pedagogía de empresa como sinónimo de formación empresarial (Colom, Sarramona y Vázquez, 1994) porque hoy en día la calidad se basa en el logro de altos niveles morales de las personas

11. Tal es la definición qu e aporta la Norma UNE 66-001/88. Véase Calidad-Vocabulario.

AENOR, Madrid, 1988. AENOR es la institución española competente en la cuestión de calidad, por lo que es la encargada de certificar los niveles de calidad asumidos por las empresas españolas. En el plano europeo opera la Fundación Europea para la Gestión de la Calidad que se creó en 1988 y que lanzó su modelo evaluativo de calidad empresarial en 1991-

© Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS Y JAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

6 5

implicadas en una organización. Si la calidad se basa en hacer bien las cosas, el sentido del deber, la responsabilidad, la conciencia de actuar éticamente, de cum- plir con sus obligaciones laborales, etc., son requisitos básicos e indispensables en el logro de la calidad total. Sin calidad humana, no hay calidad empresarial. El objetivo primordial de las universidades ha de ser el de concebir la calidad

en términos d e

«no rehusabilidad», o si se quiere, como u n camino para conocer-

se, o sea, para controlar sus acciones, e iniciar cambios considerados positivos, lo

que al fin y al cabo supone dirigir procesos de evaluación. En este sentido, sus objetivos de calidad se centrarían en los resultados, en las actividades, en su pro- pio mantenimiento y gestión, y en todo caso, en la economía.

4.1. La calidad universitaria. Teniendo en cuenta que la universidad es una

organización cuyo objeto es dar un servicio, y entendiendo por servicio el resul- tado de un acto o sucesión de actos de duración y localización definidas, conse- guidos gracias a medios humanos y materiales puestos a disposición del cliente según procesos, procedimientos y comportamientos codificados, sus prestaciones, en cuanto a «servicio de calidad», se centrarían en:

- satisfacción de necesidades,

- posibilitar la realización de las mismas,

- la competitividad y

- la eficiencia en los costes.

Se estima que, siempre y en buena lid, la calidad dispara la demanda, con lo que una vez más vemos cómo la calidad implica un aumento de la complejidad organizacional o, como se ha venido diciendo, la calidad supone empezar siem- pre de nuevo. Este servicio de calidad implicaría a su vez el control de las carac- terísticas del servicio, de sus procesos, de sus niveles de prestación, de las conse- cuencias de los mismos en todos los órdenes y acaso del resultado final. Sin embargo, este servicio que calificamos de «calidad» distaría aún de lo que hemos venido en denominar calidad total. De cualquier forma, evaluar la calidad es también mucho más complejo que simplemente evaluar, por la mera razón que se requieren los denominados «indi- cadores de calidad» o descripción de las características cuantitativo-empíricas que debe tener todo proceso de prestación de servicios, lo que en todo caso se debe lograr por consenso, como fruto de acuerdos mutuos de todos los implicados. Lo que no resulta sencillo dentro de las universidades y entre ellas. Además, esta cuestión nos llevaría a la necesidad de definir el concepto de «cliente» así como las expectativas de los mismos, lo que la objetividad de los indicadores sería de difícil consecución. Por lo demás, estos indicadores de calidad deberían ajustarse a los siguientes criterios:

- han de suministrar una base común para las decisiones,

- han de ser comprensibles,

- han de ser susceptibles de ser aplicados,

- han de ser económicos en su aplicación,

- su obtención ha de ser posible con los instrumentos que se poseen.

©

Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

6 6

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS Y JAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

Por otra parte, los indicadores deben estar referidos también a los objetivos y metas con que definimos la calidad lo que hace más compleja aún, si cabe, la difi- cultad de concebir la posibilidad de evaluar la calidad total de las universidades 12 . En todo caso debemos hablar de calidad universitaria como una estrategia de aproximación a la evaluación, y no en el justo sentido del término, o al menos en su acepción empresarial; de hecho así lo han entendido, por lo general, los auto- res que han tratado la cuestión. En este sentido, Panera (1991, p. 386), habla de la calidad universitaria como una propuesta de mejora continuada; por su parte,

Rodrígue z (1991, p . LVI), afirma qu e «la calida d universitaria es u n concept o rela- tivo y multidimensional en relación a los objetivos y actores del sistema educati- vo» y que en el contexto universitario sólo sería posible aplicarla a los recursos o

a los productos (rendimiento aca-

démico, abandonos, investigación

potencial del alumno y del profesorado. Concretando en el modelo español y europeo de evaluación de las universi- dades, el tema de la calidad universitaria se ve de forma muy relativa y de algu- na manera en el sentido que hemos ido indicando. Se defiende sin género de dudas la calidad como un enfoque comprensivo de los niveles de mejora de la universidad, alejándose entonces de las definiciones a través de criterios o indica- dores, propios de las empresas. De todas formas y desde una perspectiva multidimensional, se concibe la posibilidad de analizar la «calidad» - o aspectos de mejora- de la universidad espa- ñola con proyección en las siguientes dimensiones (Consejo de Universidades, 1997a, p. 9-11):

inputs, (profesores, alumnos, instalaciones

a la oferta de los estudios y al desarrollo del

),

),

- Disciplina, asociada al establecimiento de estándares de las áreas específi-

cas. Son en todo caso los expertos a través de organizaciones científicas y profe-

sionales los que determinan los niveles de excelencia.

- Reputación, u opinión de las diferentes audiencias sociales sobre la calidad de una institución o de una titulación.

- Perfección o consistencia, entendida como idea, pues es la realización de

acciones y productos con o sin defecto alguno. Para ello deben plantearse espe- cificaciones de tiempos de realización así como las cualidades o características que debe contemplar la acción.

- Económica o de resultados, que contempla la calidad en cuanto a dispo-

nibilidad de recursos y en cuanto al logro de objetivos. Busca por tanto la calidad

del producto -eficacia- y la economía de la producción -eficiencia-. A nivel eva- luativo ello supondría analizar la tasa de ingreso/egreso y el coste por graduado.

- Satisfacción de los usuarios, concebido como uno de los componentes de

calidad más importantes por su alto grado de definición del rendimiento de una institución. Su capacidad de análisis reside en la relevancia profesional alcanzada en los distintos campos profesionales por parte de los alumnos egresados, y en

12. BENSIMON (1995) expresa las implicaciones negativas que el enfoque del TQM {Total

Mangemeni)

supone para la evaluación de las instituciones académicas.

Quality

©

Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS Y JAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

6 7

los grados de flexibilidad e innovación logrados sobre la base de analizar la capa- cidad de respuesta/adaptación a nuevas perspectivas profesionales y a los nuevos avances dentro de los distintos campos profesionales.

- Organización, o capacidad de adaptación a las nuevas demandas y servicios,

por lo que la toma de decisiones ocuparía aquí un lugar relevante y definitorio.

5 .

LA EVALUACIÓN UNIVERSITARIA

Estamos, pues, ante un caso de evaluación formativa en donde el proceso de evaluación ayuda al perfeccionamiento y mejora de los implicados y evaluados, lejos entonces de las pretensiones cuantificadoras propias de las evaluaciones uni- versitarias norteamericanas realizadas sobre la base de la denominada «acredita- ción», o valor numérico que se da a los recursos docentes, económicos, físicos, planes de estudio, organismos administrativos, alumnado, egresados en el mundo del trabajo, etc., todo ello convenientemente reducido a una escala cuantificada que confirma la «calidad» por criterios mínimos o indicadores. En cambio, y en el contexto europeo hoy, se busca una evaluación que, según León (1991, p- 128), tenga las siguientes características:

- los objetivos de la evaluación deben estar en estrecha relación con los pla- nes de desarrollo institucional,

- la metodología utilizada debe ser de carácter adaptativo e integrador,

- el diseño deber ser emergente (no se debe planificar a priori sino durante el desarrollo de la evaluación),

- los instrumentos deben ser complementarios y deberán elaborarse en el

contexto en que se utilizan,

- la evaluación debe estar en manos de expertos y debe considerarse tanto

la evaluación interna como la externa. Fundamentalmente, se insiste en las bondades de la autoevaluación por los beneficios coligados que de ella se desprenden. De todas formas, y a pesar de tan buenas intenciones, la verdad es que la evaluación, al menos de la universidad española, se complica aun más por la falta de autonomía, ya que difícilmente podremos analizar y ponderar la actividad de una universidad que:

- no controla las pruebas de acceso de sus alumnos,

- no se configura en un distrito único,

- no personaliza las pruebas de acceso de su profesorado,

- tiene mediatizados ministerialmente sus planes de estudios,

- no paga adecuadamente a sus profesores,

- no puede diferenciar los salarios, ni dentro de una misma categoría docen- te, ni entre las distintas universidades 13 , y

13- Conjuntamente con la falta d e personalización de las pruebas d e entrada de los profesores

(aunque este aspecto podría matizarse si existiera la fórmula mixta de la acreditación+contratación), es este criterio de la imposibilidad de modificar la asignación de recursos y la estabilidad en la función lo que más dificulta la asunción de la práctica de la evaluación y mejora de la calidad por parte de las universidades. No obstante, no es del todo seguro que todas las universidades españolas asignen un mismo tratamiento económico a profesores de un mismo nivel.

©

Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

6 8

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS Y JAUME SARRAMONA LÓPEZ

EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

- no controla los puestos de trabajo obtenidos, ni los niveles de remunera- ción logrados por sus titulados,

- etc.

Son, pues, demasiados los elementos que se escapan de su control y que mediatizan la funcionalidad de las universidades, por lo que su evaluación se con- vierte más en una valoración del sistema universitario que de sus propios rendi- mientos y logros. De hecho, de la anterior sistemática se desprenden fundamentalmente dos enfoques enfrentados, a saber, el modelo de evaluación a modo de control

(gubernamental, regional

ra desde dentro de la institución universitaria, denominada por ello mismo «Evaluación institucional». Asimismo, la primera se suele asociar a la evaluación basada en indicadores de rendimiento, mientras que la segunda se coliga con un tipo de evaluación formativa orientada a la mejora. Pueden efectuarse, no obs- tante, búsquedas sistemáticas más complejas en un intento de abarcar todas las posibilidades evaluativas. La característica más importante de la denominada evaluación institucional es que abarca la totalidad de la institución, o de la unidad objeto de evaluación; por otra parte, plantea un tipo de evaluación que atiende tanto a la eficacia como a la eficiencia pues toma en consideración los inputs y outputs así como los procesos (Consejo de Universidades, 1997a, p. 12). Desde otra perspectiva, cabe determinar cuál debe ser la unidad universitaria a evaluar; en este sentido, cabe indicar que algunos autores consideran que tal unidad debe ser el departamento ya que siempre ha sido visto como eje del desa- rrollo y de la innovación, así como la estructura organizativa por excelencia de la universidad. Por su parte, De Miguel (199D apuesta más por las titulaciones, ya que de esta forma se puede tener mejor información de los egresados, mientras que otros autores, como es el caso de Escotet (1984), se inclinarían más por eva- luar los centros (Facultades, Escuelas o Institutos). Por último, se trataría de deli- mitar en cada uno de estos contextos, qué aspectos serían, en concreto, objeto de evaluación; en este sentido, cabe decir que por lo general se incide sobre el apren- dizaje de los estudiantes, el rendimiento de los profesores, los servicios y la ges- tión institucional. En general, las típicas funciones de la universidad: desarrollar conocimientos, capacidades, e investigación, junto con los servicios o medios de que dispone para el logro de sus fines, lejos entonces y tal como se puede com- probar de las auditorías empresariales de calidad total.

Así, finalmente, la elaboración de modelos de evaluación universitaria para estas pocas variables supone una complejidad de instrumentos y de datos que creemos ilus- tra la imposibilidad del control de calidad total de las universidades. Como ejemplo de nuestras afirmaciones baste consultar los criterios en los que asientan la calidad universitaria modelos tales como los que en su día propusieron Escotet (1984) 14 ,

)

y el modelo autorregulado, cuya evaluación se gene-

14. El modelo que nos aporta M. A. ESCOTET controla múltiples aspectos de los siguientes

capítulos: Organización y estructura de extensión, recursos humanos, interacción de la institución

© Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS Y JAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

Lamo

(1991) 17 .

de

Espinosa

(1989) 15 ,

Balbas

y

colaboradores

(1990) 16

y

De

6 9

Miguel

6. METODOLOGÍA ACTUAL DE LA EVALUACIÓN UNIVERSITARIA EN ESPAÑA

Como mencionábamos al principio de estas páginas, el pleno del Consejo de Universidades, en sesión de 25 de septiembre de 1995, aprobaba el Plan Nacional de Evaluación de la Calidad de las Universidades, que se confirmaría por el R.D. 1947/1995 de 1 de diciembre (BOE de 9 de diciembre) y que era de alguna forma la adaptación española del plan europeo de evaluación de instituciones superio- res, que sigue en todo al modelo diseñado en los Países Bajos y que fue el elegi- do para su aplicación en el contexto de la UE. La evaluación que se aplica, pues, en España, y en Europa en general, se acoge al siguente modelo que se aplicará por estudios; o sea, que lo que se evalúa

con el sistema regional de educación superior y por último, la articulación entre la educación supe- rior y los demás niveles educativos. Este modelo fue aplicado en la región centro occidental de Venezuela.

15. Emilio LAMO DE ESPINOSA (1989, pp- 87-94) nos ofrece los siguientes parámetros objeto de

evaluación bajo el título «Modelo estructural de las variables de las instituciones universitarias y su influencia sobre la calidad de la enseñanza y del aprendizaje»: Variables de infraestructura del centro:

tamaño del centro, número de alumnos y evaluación en los últimos tres años, ratio profesor/alumnos, número de despachos, medios de apoyo para la docencia e investigación (laboratorios, medios infor-

máticos, bibliotecas

apoyo, tamaño de los grupos en promedio (por ciclos), distancia del centro urbano, antigüedad de la

institución, otros servicios (deportivos, recreativos

démico, selección, formación y promoción, percepción de los estudiantes, edad, sexo, rango, antigüe- dad, clase social, dedicación, investigación, docencia y servicios, formación académica y profesional, publicaciones, otras variables curriculares. Variables intracentro y del departamento y clima: número de departamentos, número de profesores por departamento y por estamento, presupuesto y sistema de retribución, número de asignaturas, alumnos por departamento, apoyos personales (administrativos,

laborales

extranjeros, reuniones y periodicidad, reuniones científicas, congresos, conexión intradepartamental, relaciones externas (otros departamentos, centros universitarios, otros centros), investigación (básica, aplicada, etc.), publicaciones, programación docente, participación, toma de decisiones del profesora- do, participación, toma de decisiones del alumnado. Variables de los estudiantes: expectativas, eva- luación de la docencia, actitudes hacia la enseñanza, clase social, edad, sexo, etc., horas de trabajo adi- cional a la clase, sistemas y formas de enseñanza. Rendimiento: rendimiento académico, abandonos, satisfacción.

16. Este modelo es de carácter autoevaluativo y se fundamenta en la evaluación de los siguien-

apoyos materiales (despachos, bibliotecas, laboratorios, medios informáticos), profesores

Variables del profesorado: satisfacción, clima aca-

presupuestos y su distribución, personal de

),

apoyo exterior (convenios

).

),

),

tes aspectos: objetivos institucionales, gobierno y funcionamiento, gestión económica y financiera, infraestructura física, actividades educativas, personal docente, alumnos, personal de administración y servicios, recursos didácticos, relaciones externas de la universidad. Para cada uno de los puntos que engloban los grandes capítulos aquí mencionados se debe desarrollar un análisis descriptivo, evalua- tivo y de previsiones o tendencias futuras.

17. La propuesta de M. DE MIGUEL comprendería la evaluación de los objetivos de la titulación,

las características de los alumnos, el perfil del profesorado, el plan docente, los medios materiales y humanos de apoyo, el rendimiento académico, la calidad de la investigación así como sus resultados, los recursos científicos, la producción científica, la estructura científica de la universidad, cada uno de los servicios y unidades administrativas y en general los recursos humanos.

© Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

7 0

GONZALO VAZQUEZ GOMEZ, ANTONI J. COLOM CANELIAS YJAUME SARRAMONA LOPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

serán

Universidades, 1997b, p. 4) 18 .

las

titulaciones,

no

los

centros

o

los

departamentos

(Consejo

de

EV. INTERNA (AUTOEVALUACIÓN)

información

rendición de cuentas mejora

A

informe

valoración

valoración

autoinforme

y

información

EV. EXTERNA (EVALUACIÓN POR PARES)

Se aplica, por consiguiente, una metodología combinada basándose en la autoevaluación y en la evaluación externa (evaluación por pares). La autoevalua- ción es un proceso de evaluación interna llevada a cabo por la propia institución. Se pretende que sea una reflexión participativa, profunda y crítica, con relación a la cuestión de la calidad. Este proceso supone las siguientes fases: recogida de información, reflexión, valoración de la información y la elaboración de un autoin- forme donde se efectúan las valoraciones y las propuestas de mejora. A esta fase de autoevaluación le sigue la evaluación externa llevada a cabo por expertos externos a la institución y que trabajarán sobre la base del autoinforme, a la reco- gida personal de información, y tras una etapa de reflexión y valoración, culmi- narán sus tareas con la elaboración de un informe. En cualquier caso, cabe indicar que la evaluación institucional no se acoge necesariamente a indicadores o criterios de rendimiento, que son más típicos, tales como hemos visto, de las universidades americanas y en general de las evalua- ciones externas de carácter gubernamental. Hay que tener en cuenta que un cri-

18. Todo el proceso de la evaluación de la universidad española está tomado, a modo de resumen,

de la información que se aporta en las obras, citadas en la bibliografía, del CONSEJO DE UNIVERSIDADES (1997a y 1997b).

©

Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS Y JAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

7 1

terio de rendimiento o de calidad implica siempre una cuantificación numérica -un dato empírico- que nos informa sobre un nivel de logro de un objetivo ins- titucional (Consejo de Universidades, 1997a, p. 14), lo que implica que todo indi- cador debe estar vinculado con un objetivo. Ahora bien, la evaluación por indicadores o criterios conlleva una serie de dificultades que cabe reseñar. En primer lugar, la dificultad de distinguir entre un criterio y una mera estadística, o el peligro que se corre de elevar a indicador lo que es una simple cuantificación. Asimismo es difícil, para no decir imposible, encontrar criterios e indicadores para todos los ámbitos de la evaluación universi- taria, lo que nos conduce a otro posible error de confusión tal como considerar criterio de calidad lo que es simplemente un criterio o descripción de funciona- miento. En general, ambas dificultades se solventan generándose criterios exclusi- vamente en los ámbitos cuantificables, lo que supone un empobrecimiento eva- luativo, que además nos aleja de la realidad. En el Plan Nacional de Evaluación que se está aplicando sólo se atiende a los indicadores de calidad cuando son, sin duda alguna, identificables con objetivos. Ante tales consideraciones, el Consejo de Universidades, y más concretamen- te los rectores del Plan Nacional de Evaluación de la Calidad de las Universidades, no marcan ningún indicador de calidad en concreto, transformando en todo caso tal planteamiento por una guía de autoevaluación que sirve de índice al comité interno de autoevaluación a fin de que pueda desarrollar su cometido. Obviamente, esta guía también sirve de modelo para que el comité externo extraiga sus propias conclusiones, dejando entonces al libre albedrío o a mejor entendimiento, la utili- zación de criterios de rendimiento o de calidad, de tipo numérico.

5.1. Autoevaluación. La evaluación universitaria se inicia de acuerdo con lo analizado hasta el momento, con la autoevaluación y más concretamente con la elaboración del autoinforme. Ello significa la organización en cada universidad y por cada estudio a evaluar de un «comité de evaluación de la titulación» que debe integrar los ámbitos de la dirección, del profesorado, de personal de administra- ción y servicios y del alumnado.

A partir de aquí, y de acuerdo con las especificaciones de la guía de auto- evaluación, el comité de autoevaluación deberá identificar las fuentes de informa- ción o su creación para la obtención de datos que se le demandan y elaborar un

planning

de trabajo.

Debe, por otra parte, quedar perfectamente clarificado que el destinatario del autoinforme es la comunidad universitaria de la titulación evaluada, y luego, por extensión, el comité de evaluación conformado por los expertos externos. Los contenidos generales (Consejo de Universidades, 1997a) sobre los que se centrará la evaluación interna, a saber: la enseñanza, la investigación y la gestión. Por lo que se refiere a la enseñanza cabe distinguir los siguientes capítulos y aspectos a evaluar:

Contexto institucional de la titulación en referencia a la universidad y la

sociedad.

1.

© Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

7 2

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS Y JAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

2. Metas y objetivos de la titulación.

3. El programa de formación (plan de estudios, programas de las asignatu-

ras, organización de la enseñanza).

4. Sobre el desarrollo de la enseñanza (atención tutorial, metodología

docente, trabajo de los alumnos, evaluación de los aprendizajes, resultados de la

enseñanza).

5. Alumnado (número, atención que reciben).

6. Profesorado (perfil, idoneidad, asignación

7. Instalaciones y recursos (biblioteca, medios audiovisuales, laboratorios,

medios informáticos; equipamientos: espacios, edificios, aulas; valoración de dota-

ciones complementarias).

8. Relaciones externas (organizaciones empresariales, intercambio con otras

universidades, participación en programas de la UE, convenios, imagen de la titu-

lación y de los graduados

9. Puntos débiles y fuertes encontrados en referencia a la enseñanza tras ana-

lizar la titulación.

En cambio, con relación a la investigación el autoinforme se centrará en los siguientes aspectos:

1. Aspectos generales (magnitud y pertinencia de los recursos, valoración

relaciones investigación-plan de estudios, etc.).

2. Contexto (descripción, características departamentales, relaciones entre

docencia e investigación).

19 ).

3.

Objetivos.

4.

Recursos (humanos, económicos y materiales).

5.

Estructura (relaciones dentro de la institución, relaciones con otras institu-

ciones).

6.

Resultados.

7.

Rendimiento y calidad (actividades, éxito, productividad, concentración,

evaluación, calidad).

8. Puntos fuertes y débiles, como resultado de la evaluación.

9. Propuestas de mejora o avance de soluciones para mejorar los niveles de

investigación.

10. Comentarios sobre la evaluación (hasta qué punto sirve para tomar concien-

cia de la situación, consideraciones en torno al protocolo aplicado para su mejora).

Por último, y con referencia a la gestión se debe contemplar:

1. Toma de decisiones (organigramas, órganos unipersonales y colegiados,

unidades académicas, organización de la administración y servicios).

19. La escasa tradición en la universidad española de asociaciones de graduados y de mecanis-

mos de vinculación (fidelización le llaman en las organizaciones comerciales) de los antiguos gradua-

dos hace difícil su aportación, sobre todo en los casos de los nuevos títulos profesionales (Ciencia y

Tecnología de los Alimentos, Bioquímica, Psicopedagogia, Administración y Gestión

ciertas reivindicaciones propias de nuevos titulados sin una identidad y unas salidas profesionales cla- ras (como puede ser el caso de los logopedas al lado de los maestros especializados en Audición y Lenguaje) enmascaran, quizá, unas apreciaciones debidamente objetivas.

). Por otra parte,

© Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS Y JAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

7 3

2. Recursos humanos (profesorado y personal investigador, sistemas de con-

tratación, valoración de la plantilla, gestión del personal docente, formación del profesorado; personal de administración y servicios: plantilla, gestión, formación; recursos materiales para la gestión; presupuesto; procesos de gestión).

3. Gestión de calidad (liderazgo, compromiso, participación de los dirigentes).

4. Política y estrategia (utilización de la información, planificación, comuni-

cación de objetivos

5. Gestión del personal (planificación, evaluación, descentralización, recom-

pensas, comunicación).

6. Recursos (sistemas de asignación, utilización, control, nuevas tecnologías).

).

7. Procesos (identificación, seguimiento, control de actividades, mejora de las

mismas, auditorías y medios de evaluación).

8. Satisfacción del cliente (medición de factores, comparación

9. Satisfacción del personal (mediciones y evaluación, comparación).

10. Impacto en la sociedad (implicación d e la universidad en la comunidad,

análisis de impactos

).

11. Puntos débiles y fuertes encontrados.

En relación con los puntos hasta ahora expuestos y que son objeto de auto- evaluación pueden encontrarse indicadores de rendimiento o criterios de calidad numéricos en los siguientes aspectos:

1. Referidos a los resultados de la enseñanza:

- tasas de éxito, tasas de retraso, tasas de abandono, duración media de los

estudios, tasas de abandono en el primer año, tasa de presentados, tasas de éxito, tasa de rendimiento.

2. Referidos a la investigación:

- indicadores de actividad, indicadores de éxito y productividad, indicadores

de concentración, indicadores de evolución. En cambio, se afirma que «ningún conjunto de criterios bibliométricos puede sustituir el juicio ponderado de los propios investigadores» e incluso se llega a deci r qu e «la evaluació n instituciona l d e la investigació n n o pued e reducirs e a u n simple cómputo de publicaciones y de su "factor de impacto"» (Consejo de Universidades, 1997a, p. 42).

5.2. Evaluación externa. Una vez cumplimentada la tarea de la autoevalua-

ción que concluye con la emisión del autoinforme de evaluación, el Consejo de Universidades nombra a un comité de expertos que será el encargado de la eva- luación externa de la titulación pertinente. Normalmente este comité de expertos está formado por un presidente y dos vocales que de alguna forma sean expertos en el tema de la evaluación y profe- sionales con experiencia en el mismo campo. Según el Consejo de Universidades (1997b, p. 5), el objetivo general del comité de expertos no es sino «formular jui- cios de valor sobre el diseño, la organización, el desarrollo de los procesos y los resultados de la enseñanza, la investigación y la gestión, en relación con los obje- tivos propios de las unidades evaluadas, con el fin de estimar la calidad y propo-

© Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

7 4

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS Y JAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

ner acciones de mejora. Es decir, analizar cómo una institución gestiona la calidad de su oferta educativa». De este macro objetivo se desprenden, según la misma fuente, los siguientes objetivos específicos:

- establecer criterios en relación con la evaluación de la calidad,

- analizar el contenido del autoinforme con relación a los requisitos técnicos de la guía de autoevaluación.

- analizar el proceso de autoevaluación.

- cotejar el contenido del autoinforme con lo manifestado por las diferentes audiencias, lo observado en la visita y la documentación adicional,.

- elaborar una opinión sobre los recursos disponibles, su organización, el funcionamiento y los resultados de la unidad evaluada,

- proporcionar a los miembros de la unidad evaluada la adecuada regla-

mentación para que pueda reflexionar sobre su realidad desde la perspectiva de los agentes externos,

- reflexionar y aportar propuestas de mejora,

- elaborar un informe claro, equilibrado y constructivo acerca de la calidad

de la institución, de su gestión y del proceso de autoevaluación seguido. De hecho, la lectura del listado de objetivos específicos es una buena manifesta- ción de las tareas a desarrollar por el comité de expertos, ya que, en función del autoinforme -que tendrá que ser cotejado con la guía de autoevaluación utilizada para su realización- la consulta de material e información adicional que solicite, junto con las visitas y observación de los distintos servicios y aspectos de la titulación y el encuentro y reunión con los distintos estamentos implicados, serán las fuentes que le aportarán material e información para evaluar el autoinforme, propiciar nuevos crite- rios evaluativos y en definitiva, redactar su propio informe de evaluación. Claro está que no pueden obviarse las observaciones personales in situ que debe realizar también el comité evaluador; observaciones que pueden incluir el recabar información adicional tanto oral como escrita o ver en funcionamiento normal cualquier servicio o actividad docente, educativa, investigadora, etc., que en aquellos momentos se lleve a cabo en la titulación objeto de evaluación. En este sentido, cabe destacar la necesidad de observar la organización y la planifi- cación del trabajo, la observación de servicios e instalaciones, así como el clima interno de la institución.

6. UNA PROPUESTA DE EVALUACIÓN DEL PROFESORADO

UNIVERSITARIO 20 .

La primera reflexión que cabe hacer es que la evaluación del profesorado uni- versitario no se podrá acometer al margen de su formación y promoción, si real- mente se pretende que su aplicación resulte útil y coherente.

20. Esta propuesta se basa en el trabajo elaborado por Sarramona y Vázquez en la Universidad

de Santiago en un Seminario específico sobre este tema, organizado por la Dirección General de Universidades e Investigación de la Xunta de Galicia, en el que participaron, también, la profesora Pérez Vera y algunos investigadores universitarios de los campos físico y de la neurobiologia de la Universidad de Santiago.

© Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS Y JAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

7 5

Como es bien sabido, la inmensa mayoría de las universidades españolas dan cumplimiento a la exigencia legal de evaluación del profesorado exclusivamente mediante la aplicación al alumnado de unos cuestionarios que incluyen preguntas sobre opiniones y anónimo, a lo cual cabe añadir la escasa incidencia de los resul- tados, generalmente limitada a la consideración que le merezcan al propio docen- te implicado. No se trata de discutir la importancia que la opinión del alumnado haya de tener en la evaluación docente, ni la utilidad de los cuestionarios como uno de los instrumentos de medida, sino de advertir su clara insuficiencia si ambos elementos no se acompañan de otros 21 . Es evidente que el solo hecho de aplicar un elemento de evaluación, en este caso el cuestionario aplicado al alumno, ya supone introducir un factor dinamiza- dor en la docencia universitaria, de modo que ya cabe esperar algún efecto posi- tivo en la mejora de su calidad, de manera más específica en los aspectos que sean contemplados más específicamente en los cuestionarios. Pero es evidente que habrá que buscar otros factores que permitan el contraste de la opinión del alum- nado y que contemplen el conjunto de la actividad profesional del profesorado desde una perspectiva más amplia. Adviértase, sin embargo, que una universidad difícilmente introducirá criterios de evaluación interna que sean incompatibles con su organización y cultura. Y, por lo que se refiere a nuestras universidades públicas, actualmente nos encon- tramos con una clara falta de jerarquía académica -aunque exista a efectos admi- nistrativos- y con una cultura de funcionamientos que respeta de manera casi absoluta la iniciativa personal de los docentes. Por ello resulta tan difícil introdu- cir propuestas de evaluación del profesorado que se estructuren de manera glo- bal y que incluyan la participación activa del profesorado senior o de los cargos directivos, como ocurre en otros lugares del mundo o en instituciones privadas. Entendemos que, sin vulnerar la necesaria libertad de iniciativa del profesora- do, fuente de innovación y de dinamismo institucional, y sin caer en situaciones de despotismo que en absoluto serían una alternativa válida a la situación actual, es preciso avanzar en la búsqueda de un modelo integrador, que contemple diversos agentes evaluadores y que confluya en propuestas de mejora cuando sean precisas. Es más, la evaluación del profesorado encuentra su pleno sentido si va acompaña- da de la evaluación general del sistema universitario y de la evaluación de las insti- tuciones universitarias: centros, departamentos, institutos, servicios, etc. En cualquier caso, la evaluación del profesorado debe responder a los crite- rios siguientes:

- ha de vincularse a la toma de decisiones para la mejora de la calidad de

la educación en los tres niveles indicados: sistema universitario, institucional y del propio profesorado;

21. En este sentido se pronuncian APODARA, ARBIZU, GRAO, HORNILLA Y OLALDE (1990) en su trabajo

«Experiencias evaluativas en la Universidad del País Vasco: consideraciones en torno a la puesta en marcha de un proceso». Revista Española de Pedagogía, 48 (186), p. 328; también, en el mismo número de esta revis- ta, Tejedor propone que la evaluación del profesorado pueda vincularse a su perfeccionamiento y promo- ción. Más recientemente, R. S. WINTER (1998) manifiesta el carácter diagnóstico, que habrá de vincularse al de tratamiento, en «Formar en calidad en la Universidad». Organización y Gestión Educativa (3), p. 36.

© Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

GONZALO VAZQUEZ GOMEZ, ANTONI J. COLOM CAÑELLAS Y JAUME SARRAMONA LOPEZ

7 0

EVALUACIÓN DE LA UNIVERSIDAD.

CRITERIOS DE CALIDAD

- en la evaluación de la competencia docente deben implicarse todos los

afectados: el propio docente, el alumnado, el profesorado senior, los cargos direc- tivos de los organismos implicados, los miembros de las posibles comisiones de

evaluación

- la información obtenida a partir de las diferentes estrategias de evaluación

aplicadas debe ser objeto de contraste, que permita verificar y matizar los actos

generados a lo largo del proceso;

;

- el sistema de evaluación debe funcionar de manera continuada, lo cual no

excluye que la aplicación de ciertos instrumentos se lleve a cabo en períodos pre-

establecidos (por ejemplo, cada dos años);

- la evaluación del profesorado se debe extender a todos los niveles y títu-

los impartidos. En el gráfico 1 se muestra el conjunto de elementos que integran el modelo propuesto, y que por lo referente a los campos de evaluación del profesorado abarca los siguientes: En primer término se puede mencionar la docencia, tanto en su vertiente teórica como práctica, pero abarcando bajo este capítulo también la planificación, la elaboración de materiales didácticos y las tareas de evaluación. Aunque la función tutorial se puede considerar como parte integrante de la docen- cia, su especificidad merece un tratamiento propio, dado que significa la atención personalizada de los alumnos. La investigación también forma parte de las tareas correspondientes al profe- sorado universitario, aunque se puede discutir si con carácter obligatorio. En cual- quier caso se trata de una actividad que actualmente ya es objeto de evaluación y que cabe pensar que tiene una incidencia positiva sobre el conjunto de la calidad del docente y de la institución universitaria en su conjunto. A nuestros efectos, la investigación se entenderá también aplicada a la misma actividad docente. Por último, y aunque no se trate de docencia, la participación institucional resulta necesaria para la mejora general de la calidad universitaria en lo que sig- nifica de dedicación y de compromiso institucional. Como ya se ha indicado, la evaluación del profesorado ha de abarcar todos los niveles y titulaciones impartidas, aunque con ciertas diferencias según cada caso, tal como se presenta a continuación (ver gráfico 1 en la página siguiente).

A) Evaluación de la docencia en los títulos de diplomatura y de licenciatura

Para la evaluación de la docencia en los dos primeros ciclos universitarios se creará una Comisión de Evaluación de la Universidad que coordinará todas las actuaciones conducentes a la evaluación del profesorado implicado. En cuanto a los agentes de la evaluación, estarían los siguientes:

a) El alumnado, consultado mediante encuesta anónima, previamente conoci-

da por el profesorado. La consulta se efectuará sin convocatoria previa y antes de ser comunicadas las calificaciones finales de las respectivas materias, si bien será preciso que el alumnado tenga conocimiento de algunos resultados parciales de evaluación, para que los alumnos se puedan pronunciar sobre este apartado.

© Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS Y JAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

7 7

ADMINISTRACIÓN

RECURSOS

ESTRUCTURA

INTERNA

SISTEMA

ORGANIZATIVO

EVALUACIÓN DEL PROFESORADO

IDONEIDAD

CURRICULAR

CONTEXTO

SOCIAL

RESULTADOS

GRÁFICO 1.

EFICACIA

SOCIAL

Modelo de evaluación

del prof esorado

INVESTIGACIÓN

TUTORÍA

PRACTICA

DOCENTE

PARTICIPACIÓN

INSTITUCIONAL

universitario.

Las encuestas serán aplicadas por agentes externos a la universidad, quienes procesarán los datos y los remitirán a la Comisión de Evaluación, que a su vez los comunicará al profesorado correspondiente.

Hay diversas posibilidades de confección de los cuestionarios a responder por el alumnado, todas bien conocidas en nuestro medio. Sólo a título indicativo, seña- laremos que sus cuestiones deberían contemplar aspectos como los siguientes:

- cumplimiento de las obligaciones fijadas,

- desarrollo de la docencia en el aula,

- dominio de la asignatura,

- motivación/interacción con el alumnado,

- naturaleza y utilización de los recursos didácticos en el aula,

- evaluación,

- tutoría (fuera del aula),

- valoración global.

b) El propio profesorado implicado. Éste deberá cumplimentar y remitir a la Comisión de Evaluación un informe «protocolizado» de tipo autoevaluativo. Este protocolo, entre otras cuestiones, incluirá referencias a los objetivos propuestos en las respectivas asignaturas así como las correspondientes reflexiones sobre su grado de consecución. De manera más concreta, podrá contener los siguientes elementos de valoración:

- dominio científico de la asignatura,

- preparación de la misma,

©

Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS Y JAUME SARRAMONA LÓPEZ

7 8

EVALUACIÓN DE LA UNIVERSIDAD.

CRITERIOS DE CALIDAD

-

desarrollo de la docencia en el aula,

-

medios disponibles para la docencia,

-

evaluación de los alumnos,

-

comunicación con los alumnos, en el aula y en el despacho,

-

innovaciones didácticas introducidas,

-

comentarios a las respuestas emitidas por los alumnos.

c)

Profesor sem'or/director del Departamento. Se trata de contemplar la eva-

luación de carácter técnico por parte de docentes acreditados o con cargo de res- ponsabilidad sobre la marcha de la docencia en las titulaciones respectivas. La evaluación se realizará mediante informe-protocolo y con carácter confidencial, y será remitido a la Comisión de Evaluación. En este informe se deberán contem- plar, entre otros posibles, los elementos siguientes:

- dominio científico de la asignatura,

- planificación didáctica de la misma,

- desarrollo de la docencia en el aula,

- evaluación de los alumnos,

- recursos didácticos empleados,

- innovaciones didácticas introducidas,

- cumplimiento de las directrices institucionales,

- dedicación,

- valoración global.

En el mismo protocolo será posible emitir valoraciones sobre aspectos de investigación didáctica vinculados con las materias y con la docencia en general. El cumplimiento de este requisito implica que el informante que obtenga conoci- miento pertinente de los aspectos objeto de evaluación deberá realizar las corres- pondientes observaciones, entrevistas y asistencia a las sesiones académicas.

Será responsabilidad de la Comisión de Evaluación el integrar los datos resul- tantes de las diferentes fuentes informativas indicadas y elaborar el correspon- diente informe que permita reconocer los méritos docentes cuando corresponda, del mismo modo que deberá proponer acciones de mejora, si fuera el caso.

B) Evaluación de la docencia en los terceros ciclos

La evaluación de los terceros ciclos guarda un paralelismo con las anteriores, aunque con los siguientes matices: En primer lugar, será el director del programa el responsable de emitir el informe de carácter confidencial que en la situación anterior correspondía a la dirección del Departamento/profesor senior, pero en las mismas condiciones que aquél. En este informe se deberán atender, entre otros, los elementos siguientes:

- dominio científico del contenido del seminario,

- desarrollo del seminario,

- práctica de las técnicas de investigación (si se trata del doctorado),

- práctica de las técnicas profesionales (si se trata de maestría, etc.),

- evaluación de los alumnos,

- valoración global.

© Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS YJAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

7 9

En carácter propio de estos estudios y, en general, el menor número de alum- nos así como su nivel de madurez y responsabilidad, aconseja substituir el cues- tionario anónimo por un debate colectivo, del que se levantaría acta conforme a un protocolo. El director del programa estaría presente en tal debate, que sería dirigido por el director del Departamento responsable del programa. En este deba- te se deberían contemplar aspectos como éstos:

- adecuación de la asignatura y su contenido al conjunto del programa,

- desarrollo didáctico de la misma,

- dimensión investigadora (doctorado) o aplicativa (maestría) de la materia,

- evaluación de los alumnos.

El análisis de los resultados sería realizado en primera instancia por la direc- ción del Departamento y del programa y se remitiría el correspondiente informe a la Comisión de tercer ciclo de la universidad.

C) Evaluación de la docencia en los programas de extensión universitaria

La evaluación del profesorado que interviene en este tipo de programas se podrá llevar a cabo de manera semejante a las anteriores, con la única salvedad de incorporar en el debate colectivo representantes de los organismos que hubie- ran patrocinado el programa objeto de evaluación. También habrá que incorporar en los elementos objeto del debate el nivel de adecuación de la materia o del pro- grama a las necesidades de la comunidad a las que pretende atender. En la siguiente tabla se resumen las características de las propuestas de eva- luación del profesorado que imparte docencia en los diversos niveles universitarios:

NIVELES

(QUÉ)

INSTANCIAS

(QUIÉN)

TÉCNICAS

(CÓMO)

INSTRUMENTOS (CON QUÉ)

DIPLOMATURA Y

-

Alumnos

-

Consulta anónima

-

Cuestionario

LICENCIATURA

- El propio docente

- Informe

- Protocolo

- Director del Departamento/ Profesor senior

- Informe

- Protocolo

TERCEROS

- Alumnos

- Debate colectivo

- Acta

CICLOS

- El propio profesor

- Informe

 

protocolizada

- Director del

- Informe

- Protocolo

programa

- Protocolo

EXTENSIÓN

- Participantes

- Debate

- Acta

UNIVERSITARIA

- El propio profesor

-

Informe

protocolizada

- Patrocinadores

- Debate

- Protocolo

©

Ediciones Universidad de Salamanca

- Acta

protocolizada

Teor. educ. 10, 1998, pp. 55-94

8 0

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS Y JAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

D) Evaluación de la investigación y de la participación institucional

Ya se ha indicado que la investigación forma parte de nuestra tradición uni- versitaria y tiene una incidencia sobre la calidad de la docencia en la medida que permite introducir elementos de actualidad y de carácter científico, sin olvidar las posibilidades de proyección de actitudes positivas hacia la misma investigación que se proyectarán también sobre los alumnos. Y dentro de la investigación des- tacará, a los efectos de la calidad de la docencia, la investigación didáctica de las materias impartidas. La actual separación entre la evaluación docente y la investigadora del pro- fesorado no favorece la conexión de ambos aspectos de la profesión docente uni- versitaria, de modo que cabría buscar una mayor coordinación entre ellas, aunque se siga recurriendo a alguna instancia externa a la universidad. La participación del profesorado en la gestión académica y de gobierno mere- ce ser objeto de valoración específica, como también se ha señalado. La naturale- za de la actividad hace que las instancias evaluadoras se puedan limitar al propio docente y a los órganos universitarios a los que esté vinculada la participación. Los correspondientes informes sobre la participación -también protocoliza- dos- complementarán los estrictamente docentes y siempre deberá ser considera- do un mérito la participación que no vaya en detrimento de las responsabilidades docentes y colabore a la mejora general de los organismos universitarios.

7 .

LA EVALUACIÓN DE LA INVESTIGACIÓN DE LOS PROFESORES

Existe un acuerdo suficiente acerca de la dificultad de valorar la investigación de los profesores en la educación superior. Aunque, como ha señalado De Miguel (1997), la mayoría de los profesores está de acuerdo en que debe existir un siste- ma de evaluación de los profesores en la tarea investigadora, así como de sus resultados, la dificultad se encuentra en los criterios y procedimientos para llevar- la a cabo. Por otra parte, existe una dificultad consistente en la escasa tradición y valoración social e institucional de la dedicación a la investigación sobre los pro- cesos de enseñanza/aprendizaje en la universidad. La investigación de los profesores ha de examinarse en el contexto de la inves- tigación científica en general. Por una parte, la investigación universitaria forma parte del sistema de conocimiento de cada país, y no puede evaluarse al margen de la consideración de la complejidad de las políticas de investigación. Además, las políticas nacionales de investigación adquieren sentido desde la perspectiva de la interdependencia con relación a otros países, por lo que cada vez queda un menor margen para la consideración local de la labor y producción investigadora. El marco en el que se presenta esta cuestión, dentro de un trabajo en el que se hace referencia a los modelos vigentes de evaluación de la calidad de las uni- versidades españolas y de la valoración de la docencia, condiciona su orientación hacia el modelo de valoración con el que se opera dentro de la Comisión Nacional de Evaluación de la Actividad Investigadora (CNEAI). Sin embargo, n o deberíamos olvidar que existen algunos problemas generales que van más allá de la evalua-

© Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp . 55-94

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS YJAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

8 1

ción conforme a este modelo; como tampoco que existen otras vías de financiación

y de evaluación de la investigación, cual es el caso de la evaluación de los pro-

yectos presentados, por los propios profesores universitarios, a la Agencia Nacio- nal de Evaluación y Prospectiva (ANEP) o como el caso específico de la evalua- ción de la investigación educativa conforme a la convocatoria anual del Centro de

Investigación y Documentaicón Educativa (CIDE). De forma casi exclusiva, por su

mayor incidencia sobre la política universitaria, nos referiremos al proceso en rela- ción con el proceso de la CNEAI; posteriormente, haremos algunas precisiones acerca de la evaluación de los proyectos de investigación en las convocatorias de

la

Uno de los primeros problemas que afecta a la evaluación de la investigación,

ANEP y

del CIDE.

en nuestro modelo, es su propia consideración como actividad relacionada con la productividad. En primer lugar, habría que delimitar si la investigación consiste en una función que desarrollan las instituciones (universidades, centros de generación

y aplicación de conocimiento

investigadores. Tomar uno u otro camino lleva, como consecuencia, adoptar un enfoque metodológico u otro. ¿Qué es lo que debe someterse a control, los pro- cesos y resultados investigadores de las instituciones, de los grupos o de las per- sonas en concreto? La consideración de la investigación como función obligaría a considerar los recursos disponibles para la investigación, variable muy sensible a las condiciones del contexto propio de cada grupo y de cada investigador. Resulta evidente la dificultad de armonizar la evaluación de la productividad de cada pro- fesor con la realimentación de los resultados hacia la comunidad investigadora.

En segundo lugar, es menester decidir qué finalidad se persigue con la eva- luación de la actividad investigadora. El R.D. 1086/89, de 28 de agosto, presenta el modelo dentro de un enfoque de «retribuciones del profesorado universitario», enfoque que ha impregnado la percepción social de los efectos de la evaluación. Evidentemente, la situación es sumamente grave en el caso de la evaluación de la actividad docente, ámbito en el que no existe la menor relación entre calidad de la actividad realizada, la evaluación y la toma de decisiones sobre ella. El caso de la actividad investigadora es ciertamente distinto; al ser una inves-

tigación por pares interuniversitarios y, en cierta medida, interdisciplinares, se con- sigue un efecto que trasciende la mera gratificación (en el sentido comportamental del término) a la persona. Se generan otros efectos inducidos que se orientan a los grupos académicos e investigadores, efectos que merecería la pena someter a aná-

. Igualmente, merecería la pena trascender el nivel de opinión en percepción

lisis

de la valoración y el impacto del sistema y someter a evaluación sistemática las creencias, comportamientos y expectativas de los profesores evaluados tras cono-

más bien que una actividad de los profesores o

)

22

22. Por ejemplo, ¿qué efecto tienen las evaluaciones, negativas o positivas, sobre las peticiones

de los mismos profesores y sobre la calidad de su investigación en los futuros períodos de evaluación? Se tienen algunos indicios al respecto, referidos a grupos, pero no a personas. Ciertamente, en aque- llos casos en los que, tras una evaluación negativa, un sujeto no se presenta de nuevo e inmediata- mente a la evaluación, no cabe analizar el efecto sobre la calidad, aunque la falta de participación en el sistema pueda resultar elocuente desde otra perspectiva.

©

Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

8 2

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS Y JAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

cer sus resultados 23 . Nada se opone, sino todo lo contrario, a que se realice un estu- dio riguroso sobre los efectos que las decisiones sobre la evaluación investigadora tienen sobre la conducta académica, y no sólo administrativa, de los profesores. Queda aquí apuntada, poco más que aludida, la cuestión de la relación entre el resultado de cada evaluación y la construcción del autoconcepto académico pro- pio de cada profesor. Pero en los últimos años está emergiendo un nuevo efecto, quizá no deseado y extrínseco al sistema, pero, al parecer, no por ello poco efecti- vo. Nos referimos al hecho de que alguna universidad se ha planteado la cuestión de considerar el número de tramos de investigación positiva como variable de un modelo de toma de decisiones para participar en la ordenación y participación de los profesores (sobre todo, de los Profesores Titulares de Universidad) en los llama- dos planes de promoción interna. Es obvio que, por mandato legal, constitucional y de la Ley de Reforma Universitaria, la participación en los concursos a cátedras no requiere la superación previa de ningún tramo de investigación, pero se trata de un criterio que está comenzando a contar en este escenario. Evidentemente, ésta no es una finalidad del sistema, por no decir una carga más a añadir a las diversas que tienen que asumir los miembros de los comités asesores: algo así como hacer de jueces previos de los candidatos, cuando no de los colegas (o de sí mismos) que previa o posteriormente hayan juzgado o vayan a juzgar la idoneidad como pro- fesores universitarios, a catedráticos o a otros cuerpos académicos 24 . Hasta ahora hemos examinado un problema conceptual y otro funcional. Dando un pequeño paso más, podemos situar el problema en los límites de lo funcional-contextual. El mismo decreto citado establece que la finalidad que se busca con este proceso es la de «fomentar la productividad del trabajo investiga- dor del profesor universitario y su mejor difusión tanto nacional como internacio- nal». Esto significa que el sentido de esta evaluación se orienta en un camino más ambicioso y, al parecer, coherente: impulsar y evaluar la generación de conoci- miento, tratando de evaluar la calidad de acuerdo con parámetros internacionales y nacionales. Tal cosa es usual en el campo de la evaluación científica pero intro- duce algunos problemas. Por de pronto, es posible que haya alguna disonancia entre la manifestación normativa (por ejemplo, de la exposición de motivos de la Orden de 5 de febrero de 1990) cuando se refiere a que «[no] haya límites cuanti- tativos apriorísticos» en la posibilidad de concesión de evaluaciones positivas y la aspiración a conseguir una cierta homologación y difusión del conocimiento a un nivel, no sólo nacional, sino internacional. La pretensión, como se dice, no es nueva, ni únicamente nuestra. Así, por ejem- plo, en el caso del Reino Unido, la evaluación de la investigación se realiza tenien-

23. Se trataría de dar una respuesta armónica a los criterios séptimo («satisfacción del personal»)

y octavo (-impacto en la sociedad») del modelo de evaluación de la calidad de la E.F.Q.M.; ver:

E.F.Q.M. (1996): Autoevaluación. Directrices para empresas, pp. 27 y 29.

24. En algún caso puede darse la disonancia, quizá estridente, de que profesores universitarios

no doctores presenten su candidatura a las evaluaciones internas de su universidad argumentando haber sido evaluados positivamente por la CNEAI. Más aún, la normativa no impide a un profesor uni- versitario sin título de licenciado o de ingeniero o arquitecto superiores presentarse a la evaluación de su actividad investigadora.

© Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑEIXAS YJAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

8 3

do en cuenta la excelencia internacional y la excelencia nacional (Patrick y Stanley, 1996, p. 25). Aquí se han realizado sendas evaluaciones en los años 1986,1989,1992

y 1996 y se tienen presentes ambos niveles de excelencia 25 . Puestos en este estado

de cosas, la situación ya varía substantivamente pues no es lo mismo evaluar la acti- vidad investigadora que la productividad científica y, mucho menos, que el grado de homologación de nuestro sistema de conocimiento con el de otros países. Como tampoco lo es con la pretensión de lograr una homologación interna dentro de los distintos campos de conocimiento 26 . De nuevo nos encontramos con una posible contradicción: ¿cómo ser sensible al mismo tiempo al carácter de la ciencia como

construcción e institución social, y por lo tanto sensible al contexto y a la historia,

y al hecho de que hoy se tiende a una homologación internacional de los niveles

de calidad de los sistemas de conocimiento? Resulta obvio que, cuando hablamos de «progreso real de conocimiento», no podemos entender unívocamente este crite- rio con independencia de los distintos campos del saber y de la producción cientí- fica. La antedicha orden de 1990 cita, como principio y canon de evaluación, entre

otros, el de «asegurar, mediante unos criterios uniformes para todos los campos cien-

Resulta posible que, movi-

tíficos, una igualdad de trato para todos los solicitantes

do posiblemente por la mejor de las intenciones, el legislador haya incurrido en aquella suerte de injusticia de tratar a los desiguales como iguales. Acaso no haya un modelo único de conocimiento científico.

Pero esto no sería un problema si su solución atravesara simplemente por generar reglas distintas según los campos toda vez que el sistema tiende al impul- so de la excelencia a nivel internacional. De Miguel se refiere a la fuerte variación entre los distintos grupos de modo que, mientras en el campo de Biología Celular

y Molecular la tasa de evaluación positiva se acerca al 80%, en otros campos,

como los de las Ingenierías y las Ciencias Sociales, apenas se llega o se supera por poco la tasa crítica del 50% 27 . Los datos publicados por el Ministerio de Educación

».

25. En la experiencia de 1992 se analizaron los resultados de investigación de tres tipos (básica,

estratégica y aplicada) conforme a doce categorías (desde monografías a artículos, conferencias, artícu- los en revistas científicas y de divulgación, revisiones, etc.) y calificados conforme a una escala de cinco puntos (desde los excelente, tanto a nivel internacional como nacional, hasta la calidad de la investiga- ción que no alcanza el nivel de excelencia en ninguna o en casi ninguna de las subáreas de actividad).

26. Nótese que decimos «campos» (y no «áreas») de conocimiento, que hasta ahí no resultaría

extraño que llegaran las percepciones gremiales. La confusión puede llegar hasta el límite de que, por vía administrativa, se puede argüir, por la parte interesada, que los miembros de un Comité asesor no están capacitados para evaluar la productividad investigadora si no pertenecen a la misma área de conocimiento (lo que no obsta que pueda resultar aconsejable que dentro de estos comités haya «gene- ralistas» familiarizados con diversos enfoques conceptuales y metodológicos). La falta de coincidencia en el enfoque evaluador de la actividad investigadora y el adoptado por la comisión que juzga el con- curso a plazas de profesor universitario no tiene por qué considerarse en sí misma negativa; tal como han señalado Pérez Yruela y Fernández Esquinal, lo verdaderamente perverso en el proceso de selec- ción de recursos humanos en la universidad vendría constituido por aquella selección de recursos que no se realizara en función de ninguno de los tres mercados (de investigación pública, de investigación privada y mercado «educacional», de estrategia orientada hacia la competencia docente).

27. De nuevo habría que tener presente el efecto de la mortalidad por selección en la autopre-

sentación, así como el tipo de investigación (básica, aplicada o tecnológica) propio o predominante en cada campo o línea de investigación.

© Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

8 4

GONZALO VAZQUEZ GOMEZ, ANTONI J. COLOM CANELLAS Y JAUME SARRAMONA LOPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

y Ciencia, en 1996, para las seis primeras evaluaciones, permiten precisar esas referencias globales 28 :

Evaluación

I s evaluac.

2- evaluac.

f evaluac.

4 a evaluac.

5 a e\ aluac.

6 a evaluac.

Total

Campo

Solic. Conc.

Solic. Conc.

Solic. Conc.

Solic. Conc.

Solic. Conc.

Solic. Conc.

Solic. Conc.

01 Mat./Fis.

3.482

2.005

258

162

281

231

350

268

336

266

468

395

5.175

3-327

02 Química

3.939

2.515

305

217

294

224

422

342

387

321

509

378

5.856

3.997

03 Biología

1.990

1.553

190

157

169

135

203

156

160

142

293

242

3.005

2.385

04 C. Bioméd.

3.965

2.150

342

205

276

197

480

333

509

330

603

395

6.175

3.610

05 C. Natural

3.039

1.733

306

173

279

194

331

235

334

248

502

339

4.791

2.922

06 Ing./Arquit.

3.558

1.636

195

107

279

178

378

192

317

150

491

272

5.218

2.535

07 C. Soc, Pol, Comp. y Educ.

2.547

1.387

308

143

315

151

400

217

394

277

586

323

4.550

2.498

08 C. Económ.

1.770

957

182

86

130

87

187

107

187

112

359

227

2.815

1.576

09 Derecho

1.837

1.361

98

68

168

131

234

177

245

202

364

285

2.946

2.224

10 Historia y Arte

2.708

1.681

228

144

264

173

351

237

313

231

405

286

4.269

2.752

11 Filos./Filol./

3.093

2.137

259

158

275

142

345

202

311

182

584

453

4.867

3.274

Lingüística

Total

31.928 19.115 2.671 1.620 2.730 1.843 3.681 2.466 3.493 2.461 5.164 3.595 49.667 31.100

Los resultados de la primera evaluación, por su carácter atipico, no constitu- yen una buena base para comparar los diferentes campos. Para esto resulta más

adecuado utilizar los datos correspondientes a las evaluaciones

consolidado el uso de las evaluaciones en la comunidad científica. Pero quizá resulten más útiles los datos de las evaluaciones séptima y octava (un sexenio después de las dos primeras evaluaciones). Según los datos disponibles, los por- centajes de éxito son los siguientes:

5 a y 6 a , una vez

Campos

7 a evaluación % de éxito

8 a evaluación % de éxito

01. Matemáticas y Física

87,6

91,5

02. Química

79,2

91,1

03. Biología Celular y Molecular

89,2

92,5

04. Ciencias Biomédicas

78,8

75,4

05. Ciencias de la Naturaleza

70,9

78,6

06. Ingenierías y Arquitectura

63,2

70,9

07. Ciencias Sociales, Políticas, del Comportamiento y de la Educación

61,2

64,0

08. Ciencias Económicas

62,2

50,2

09. Derecho y Jurisprudencia

63,6

64,4

10. Historia y Arte

63,4

70,8

11. Filosofía, Filología y Lingüística

77,8

69,8

Total

72,8

74,5

28. MINISTERIO DE EDUCACIÓN Y CIENCIA (1996): Seis años de evaluaciones. [Madrid]: editor-Comisión

Nacional Evaluadora de la Actividad Investigadora. A finales de 1998 estos datos han experimentado algu- nas variaciones probablemente debido a los resultados de recursos, fallos de sentencias firmes, etc.

© Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS YJAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

8 5

Como puede observarse, existen tres grupos diferenciados en los campos: uno primero, conformado por la Biología, la Matemática y la Física, y la Química, con porcentajes de éxito entre el noventa y el ochenta por ciento; uno segundo com- puesto por las Ciencias de la Naturaleza, las Ingenierías y Arquitectura y las Humanidades con tasas del orden del setenta y del ochenta por ciento; finalmente, se encuentran las Ciencias Sociales con niveles cercanos al sesenta por ciento 29 . Los datos nos señalan otros datos significativos. Así, por ejemplo, la evolu- ción de los porcentajes de éxito total intercampos:

I a eval.

2 a eval.

3 a eval.

4 a eval.

5 a eval.

6 a eval.

7 a eval.

8 a eval.

9 a eval.

60,0%

60,9%

67,7%

67,3%

70,7%

71,7%

72,8%

74,5%

75,4%

Con ligeras oscilaciones, la evolución del porcentaje de éxito ha sido positi- va a lo largo de las nueve evaluaciones. Sin embargo, para interpretar bien esta evolución debe ponerse en relación con otra variable: la del número de los que se presentan a cada evaluación. Si efectuamos esta operación, se observan tres fenómenos, a saber:

a) el número de sujetos que se presentan a la evaluación disminuye ligera,

pero continuamente, desde la primera hasta la novena evaluación, con tendencia

a estabilizarse en las últimas;

b) para los distintos campos, hay un año crítico en el que el % de los que se

presentan tiende a coincidir con el % de los que tienen éxito respecto de los pre-

sentados;

c) ese año tiende a ser el mismo para las distintas agrupaciones de campos:

• 1995 (7 a evaluación) para los campos 04, 05, 06, 08 y 11;

1993 (5 a

1996 (8 a

evaluación) para los campos 01, 02, 03;

evaluación) para los campos 07, 09 y 10.

a la

comunidad científica actúa de distinta forma según los campos, de tal modo que, por lo general, los campos más próximos a la «ciencia dura» son los que obtienen mejores resultados y también son los que requieren menos tiempo para asimilar el refuerzo de los resultados (de forma que da lugar a un más temprano ejercicio de autocontrol).

A la vista de esta evolución puede decirse que el refuerzo (feedback)

29. Dentro de este campo hay una gran variabilidad intragrupo, con tasas que varían, de mayor

a menor nivel de éxito, desde las obtenidas por los investigadores de la Psicobiología hasta los de las de Didácticas específicas en general, pasando por valores promedios en las áreas teórico-histórica y metodológica en Pedagogía (áreas cuyos valores vienen a coincidir con las psicológicas más próxi- mas a la educación, pero que quedan claramente por debajo de otras psicológicas más «duras» y de las de orientación sociológica). A juicio de los autores de este trabajo, la publicación de datos refe- rentes a las áreas específicas e, incluso, a comunidades de investigadores permitiría dibujar mejor el mapa del sistema español de ciencia y tecnología, tal como hacen publicaciones del tipo de la cita-

da en la nota

32.

© Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

8 6

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS Y JAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

Habida cuenta de la asimetría de los resultados según los campos del saber

habría que preguntarse si debe adoptarse la misma matriz de criterios en todos los casos y si deben predominar los propios de la «ciencia dura» sobre los de otras ciencias. De hecho, los procesos de productividad son diversos en unos casos y

empleados para la

publicación del avance del conocimiento. Casos aparte son los procesos de crea- ción y difusión artística (musical, plástica, etc.). Este enfoque analítico habría que llevarlo, no sólo al de la variabilidad entre los distintos campos, sino a la medida de la variabilidad intracampo; es posible que no sea idéntica la variación interna dentro del citado campo de la Biología Celular y

Molecular que en el de la Historia y Arte o que en el de las Ciencias Sociales, Políticas, del Comportamiento y de la Educación. Por otro lado, las viejas universidades tien- den a tener una cultura de investigación más arraigada y genérica que las universida- des nuevas que tienden a centrarse más en la calidad de la docencia y que pueden destacar en algún campo específico como resultado de la incorporación a su claustro

. También ha de

académico de algún investigador o equipo investigador excelente

tenerse encuenta que la producción científica es mayor en los departamentos de las universidades de algunas comunidades autónomas; así, por ejemplo, y según un estu-

dio del CINDOC, Madrid produjo el 30,69% de la investigación científica durante el trienio 1994-96, seguido de Cataluña con el 23,57% y de Andalucía con el 13,33% 31 . Puede identificarse, en fin, otra fuente de variación contextual si se comparan los ins- titutos de investigación del CSIC y los departamentos universitarios, con las escasas

excepciones de las agencias mixtas Universidad-CSIC

Un problema específico del actual modelo de evaluación (y decimos modelo,

otros, como lo son los grados de colaboraciones jurídicas

)

30

32 .

y

no ya sistema, en cuanto nos referimos a cuestiones de criterio y de método) es

el

relativo a los grados de libertad que deja al evaluador-asesor. Éste es un criterio

que afecta a la evaluación de la investigación en general. No es lo mismo que los paneles de expertos tengan acceso al producto entero de la investigación, que sólo

a los autoinformes; que sus propuestas, y las decisiones administrativas consi-

guientes, sean recurribles, como sean definitivas (Patrick y Stanley, 1996, p. 25). Además, la determinación del medio (revista; en su caso, editorial) en el que se

publica un trabajo como criterio para determinar el rigor del producto de la inves- tigación genera un nuevo mecanismo de endeudamiento en la decisión, desde los

evaluadores-asesores, retroactivamente, hacia los consejos asesores, los jueces (más

o menos ambliopes, pues no siempre llegan a la total ceguera), los editores de los

30. A su modo, la pertenencia de los miembros de los equipos evaluadores-asesores a univer-

sidades más bien viejas que nuevas sirve para verificar esta misma tendencia (o bien que no han muer- to las llamadas «universidades a término»). También debería analizarse el efecto de la presencia de cate- dráticos de universidad y profesores de investigación en los equipos asesores.

31. COMUNIDAD DE MADRID (1998): Investigación y desarrollo en la Comunidad de Madrid. Tres

estudios sobre los recursos, producción y distribución de la actividad científica madrileña. Consejería de Educación y Cultura. Comunidad de Madrid. Madrid, p. 37.

32. La falta de participación, siquiera sea voluntaria y sin efectos económicos a cargo de las

finanzas públicas, de los investigadores de las universidades privadas también introduce un factor que limita la validez general del sistema.

© Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS Y JAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

8 7

medios en los que se publican los trabajos de los investigadores. Es obvio que no todos los campos de conocimiento tienen las mismas posibilidades para situar sus trabajos dentro de los SSCIJournal Citation Reporta y, precisamente, en lugares

destacados dentro de los medios con más alto nivel de impacto

La dificultad no reside únicamente en «los centros de decisión», sino en las líneas de interés para quien decide. A título de autorreferencia, si el conjunto de trabajos que comparecen en el presente número de esta Revista se publicara en la revista más específica sobre educación superior {Res. High. Educ?), no alcanzaría a situarse en el tercio superior de las revistas de mayor impacto en el campo de

«Educación e Investigación educativa» según la citada clasificación

de 1996. De las noventa y cuatro revistas citadas en ese campo, la Res. High. Educ. aparece en el lugar 41° y la siguiente, siempre de carácter específico, a la que podríamos enviar un trabajo sobre educación superior aparece ya en el lugar 55°, esto es, al final del segundo tercio. Quizá, a la reserva de los resultados de posi- bles estudios a realizar por el CINDOC u otras Agencias, sus recomendaciones y la asunción por la Coordinación General de la CNEAI, fuera más importante apli- car los mismos criterios respecto de revistas regionales o más domésticas que esperar a que nuestros trabajos puedan entrar de forma regular en las revistas de impacto según el JCR. Los propios equipos asesores de las revistas más «locales» deberían asumir estos criterios y la dirección de las revistas la responsabilidad de acometer la evaluación más sistemática de los impactos de sus trabajos. Ha de tenerse presente que no siempre resulta fácil delimitar qué entendemos por «revis- tas españolas» (ICYT) y qué por «revistas internacionales» (SCI); además, tal como se comprueba con los datos de una reciente investigación documental sobre pro- ductividad científica en la Comunidad de Madrid, existe una gran variabilidad

del JCR del SSCI

34

.

33- Ver: ISI (1996): Social Sciences Citation Index. Journal Citation Reports. A Bibliometric Analysis of Social Science Journal in the ISI Database. Printed Guide to the Microfiche Edition. ISI [Institute for Scientific Information]. Como se sabe, los criterios fundamentales que se emplean para entender y usar las clasificaciones de las revistas son las revistas de mayor impacto relativo al número de sus trabajos, las más citadas, las de mayor impacto absoluto, la inmediación de las citas respecto de la fecha de aparición del trabajo, la permanencia de las citas, etc. Pueden verse críticas al factor de

investigació n d e la s uni -

versidades». Política Científica, 37, pp. 37-59 y en MALTRÁS, B., QUINTANILLA, M. A. Y VIDAL, J. (1998):

«Indicadores bibliométricos en la evaluación de la investigación». Revista de Educación (315), enero- abril 1998, pp. 141-151. Tales críticas se suelen centrar en que, como reconoce el propio JCR (1996:

p. 10), hay más de una forma de calcular el factor de impacto, ver, con este propósito: GARFIELD, E. (1972): «Citation analysis as a tool in journal evaluation». Science, 178, pp. 471-479, y en que, en últi- ma instancia, el factor de impacto se refiere a una revista y nunca a un artículo concreto publicado en ella. El Science Citation Index no ha estado exento de otras críticas tales como no ser sensible al segun- do y ulteriores nombres de un trabajo conjunto y respecto de «aquellos [autores] con apellidos cuyas ini- ciales pertenecían a la segunda mitad del alfabeto» (López Pinero, 1972, pp. 55-56) en el caso de que se tome como criterio absoluto el de la ordenación de los autores por la inicial de su primer apellido.

34. En su defecto, puede decirse lo mismo respecto de las tenidas como revistas de excelencia

impact o en : VIDAL, J . (1993) : «El Science Citation Index y la evaluació n d e la

a nivel nacional. En buena lógica, debería contarse con los análisis de impacto documental a realizar por una Agencia nacional, como el CINDOC. A partir de la publicación de este organismo en 1998 sobre las revistas científicas españolas, la CNEAI ha acometido un proyecto invitando a los editores de las publicaciones catalogadas a que acrediten sus publicaciones de acuerdo con los estándares docu- mentales al uso.

© Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

8 8

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS Y JAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

entre la proporción en que diversas áreas temáticas distribuyen sus trabajos en revistas SCI e ICYT; así, por ejemplo, mientras que la Física los distribuye, res- pectivamente, en un 90% y en un 10%, en Ciencias de la Tierra (y pese al alto

nivel internacional de esta área) se reparte según una razón 31,5/68,5%

Dentro de nuestro modelo, se presenta una dificultad al contraponer la eva-

35

.

luación personalizada, investigador a investigador, con la ley de Lotka, ley de vali- dez contrastada en el campo de las ciencias de la educación (Lotka, 1926; Price, 1965 y 1973; López Pinero, 1972; Pérez Alonso-Geta, 1985). Además, los comités asesores carecen de información para conocer la efectiva contribución de cada

investigador a un trabajo conjunto

mación aportada por el investigador que se somete a evaluación. Esta ignorancia se puede convertir en un auténtico atolladero para la Administración si este pro- blema se considera según una perspectiva dinámica a lo largo de varios años; cuando un equipo de evaluación, renovado total o parcialmente, podrían asignar- se diferentes calificaciones a un mismo trabajo presentado en años distintos por diversos miembros de un mismo equipo de investigación; éste es una zona obs- cura más para la docimologia de la productividad científica, sobre todo si no se cuenta con una buena base de datos de los trabajos evaluados en años anteriores. El mismo factor histórico condiciona la validez de la evaluación pues, con fre- cuencia, un año constituye un plazo demasiado corto para poder apreciar la acep- tación por la comunidad científica de un determinado producto científico. Hay, en efecto, trabajos que necesitan años para acreditarse antes de pasar a la categoría de trabajos de reserva; en cambio, otros, saludados con interés al publicarse (en el mejor de los casos, en medios acreditados), no resultan fiables transcurridos algún período de tiempo 37 tras haber sido objeto de contrastación (falsación) científica. Para concluir el examen del modelo de evaluación de la actividad investiga- dora valga la referencia a la dificultad que impone la interacción entre los acadé- micos e investigadores, los métodos de trabajo y el nivel de las publicaciones. Evidentemente, cuando un mismo método, pongamos el estadístico, se utiliza en campos específicos, pero próximos (como puede ser el de las Ciencias Sociales, Políticas, del Comportamiento y de la Educación), debe exigirse un mismo rigor. Pero quizá no pueda ocurrir lo mismo si lo que está en juego es la aplicación del método clínico o experimental al estudio y modificación de la conducta; en este

36

, y, si la conocen, no suele ser por la infor-

35. COMUNIDAD DE MADRID (1998): Investigación y desarrollo en la Comunidad de Madrid, p. 53.

36. El problema se presenta, tanto en los libros, cuanto en los artículos, aunque con matices dis-

tintos pues en aquel caso el primer nombre provoca una mayor atención editorial y comercial. Por otra

parte, la coordinación, compilación o edición de trabajos conjuntos también plantea dificultades a la

al avance del conocimien-

to (a veces, su papel es la de prolongador. En fin, la cuestión se parece un tanto a la geometría proto- colaria de dónde está la presidencia, o dónde el anfitrión, en una mesa de invitados (como en este caso, hay tradiciones distintas: en la cabecera o al final; en el centro de la mesa o en los extremos).

hora de evaluar el nivel de aportación del coordinador, compilador, editor

37. El carácter de acto administrativo de las decisiones de evaluación conforme al modelo espa-

ñol plantea algunas dificultades añadidas en cuanto a la motivación del acto y a su irreversibilidad, en caso positivo, salvo circunstancias excepcionales. ¿Qué ocurriría si, pasado un cierto tiempo tras una eva-

luación positiva, un trabajo fuera desacreditado por la comunidad científica? Por otra parte, resulta one- roso cargar al propio interesado con la carga de la prueba a favor de la acreditación de su trabajo.

©

Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS YJAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

8 9

caso, es posible que la variabilidad intragrupo, dentro de las citadas ciencias, sea muy elevada en perjuicio, quizá, de las ciencias donde el rigor del método ha de ser, por fuerza, menos acentuado. A esto habría que añadirse el peso que impo- nen algunas corrientes dominantes de pensamiento que generan cascadas de tra- bajos que apenas hacen avanzar el conocimiento 38 , aunque se publiquen en medios científicamente aceptables. Al margen del examen de este modelo, ha de hacerse alguna referencia a la evaluación de la investigación en otros marcos, como los de la Agencia Nacional de Evaluación y Prospectiva (ANEP) y, para el caso de las Ciencias de la Educación, del CIDE. El modelo de la Agencia evalúa proyectos de investigación

sobre la base de los siguientes criterios: calidad de las contribuciones científico- técnicas del investigador principal y del equipo investigador, interés del proyecto, efectos previstos, objetivos, metodología, plan de trabajo y presupuesto. La espe- riencia de los investigadores y la calidad del proyecto se evalúa en distintos nive- les: regional, nacional, europeo e internacional no europeo. Tales criterios no resultan difíciles de aplicar, aunque, en ocasiones, pueden resultar algo forzados, por su impronta tecnología, respecto de proyectos propios del campo humanísti- co. La dimensión más importante es la de la competencia investigadora y forma-

tiva del investigador responsable

La convocatoria del CIDE está abierta a profesores de distintos niveles del sis- tema educativo, incluido el nivel universitario, y se centra en los proyectos pre- sentados a la convocatoria pública. Los criterios de evaluación consisten, particu- larmente, en su adecuación a los intereses del sistema educativo expresados en la convocatoria, en su carácter innovador y en el rigor de la metodología de traba- jo 40 . El sistema de evaluación utilizado en este caso ganaría, bien por la vía del mejor conocimiento público de los jueces, bien por la mejora de la competencia y coherencia interna de los miembros juzgadores. El análisis de estos programas de evaluación pone de manifiesto la conve- niencia de profundizar la experiencia y de mejorar el modelo y sus criterios téc-

39 .

38. Es posible que ocurra esto en algunos -ismos de estudios locales, a-hipotéticos y cualitati-

vos (en el sentido débil del término). En ciertas áreas de intereses «educacionales» supone un grava- men la fijación de los intereses por los trabajos excesivamente localizados, muchos de ellos inspirados

por las exigencias de la reforma educativa, hasta el punto de que resulta dudosa su contribución al avance del conocimiento científico. Por otra parte, ha de tenerse la existencia de diversas tradiciones en las diversas áreas de conocimiento, unas más académicas, y otras más profesionales; esto se advier- te en ciertos campos como el identificado como 07 por la CNEAI. Pero no siempre las cosas deben ser

así: ¿los estudios etnográficos, los de Antropología social

, ¿dónde ha de publicarse un buen trabajo en estos campos, en una revista «local» o en una de prestigio alejada del contexto en el que se centra el estudio?

pueden dejar de ser sensibles al contexto?;

39- Al cierre de este trabajo, y por parte de la dirección de la ANEP, se está preparando un infor-

me de evaluación sobre los resultados de las convocatorias con el propósito de darlo a conocer a los

órganos de decisión sobre la política de investigación universitaria, informe que los autores de este tra- bajo podrán conocer antes de la publicación del presente estudio (comunicación oral de la dirección de la Agencia).

40. Los criterios pueden verse en la convocatoria; por ej.: O.M. de 23-09-97 (BOE de 10-10-97),

pp. 29.564-29.567.

©

Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

9 0

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS Y JAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

nicos. En todo caso, la principal limitación reside en que la información generada a partir de su aplicación (de modo muy principal en el caso de la evaluación rea- lizada en el marco de la CNEAI) no se emplea, al parecer, para la toma de deci- siones en el terreno de la política de investigación universitaria y del sistema gene- ral de ciencia-tecnología 41 .

8. EVALUACIÓN, INNOVACIÓN Y FORMACIÓN: LA EVALUACIÓN UNIVERSITARIA COMO PROBLEMA Y COMO APORTACIÓN PEDAGÓGICA

Se ha sugerido antes que las universiades no aciertan a dar una respuesta

satisfactoria a sus dos funciones básicas, docente e investigadora. Ordinariamente, el sistema de acreditación y de evaluación de las universidades y de los departa- mentos se basa en dos criterios, el de acreditación pública de sus equipos de investigación (intra o interdepartamentales) y el de la demanda por parte de los alumnos. Específicamente, los profesores tienden a buscar su prestigio público en

la actividad investigadora, aunque existe un cierto grupo de profesores que pro-

yectan su esfuerzo en la búsqueda de la eficacia docente. Dada la escasa relación entre productividad científica y eficacia docente (Noser, Manakyan y Tanner, 1996, p. 319) y la limitada valoración pública de la investigación educativa realizada a título personal o de grupo de trabajo, la solu- ción ha de orientarse a partir y a través de una política universitaria positiva. Esta política ha de partir del reconocimiento de la importancia de la capacidad investi- gadora de la universidad y su influjo sobre la comunidad y de la posibilidad de lograr, y de la demostración de la relación entre enseñanza universitaria y calidad de las actividades de I+D tecnológico en las instituciones de enseñanza superior 42 . Claro está que para que la evaluación adquiera reconocimiento en la univer-

sidad es menester establecer una relación interactiva entre evaluación, innovación

y formación 43 . La innovación es una respuesta a los cambios percibidos en el

medi o d e la s organizaciones , entendiéndos e la innovació n educativ a com o «la introducción de nuevas ideas o prácticas dentro de los programas, estructuras o

41. PATRICK Y STANLEY (1996, p. 35) proponen imprimirle este enfoque a la evaluación de la

investigación; a título de ejemplo, citan, como una de las medidas posibles la de estimular a los miem-

bros más antiguos y menos productivos a que adelanten su retiro de la vida activa. No obstante, es posible (tal como señalan BRENNAN, WILLIAMS, HARRIS Y MCNAMARA, 1997, p. 181) que los enfoques dico- tómicos, del tipo control/mejora, que han dominado la discusión sobre la mejora de la calidad de la educación superior, no sean los más adecuados, y que convenga utilizar, en su lugar, los de enfoques cíclicos de disposiciones típicas, auditoría clínica y mejora del cliente.

42. TOURIÑÁN, J. M. (s.f.) ha afirmado, en su trabajo Desarrollo del sistema universitario y de la

comunidad científica como instrumento de innovación en Galicia, la existencia de «una relación ine- quívoca» entre ambas estimaciones (p. 3), así como la capacidad de contributiva de la enseñanza supe- rior al desarrollo de la innovación tecnológica.

43. Dado que está prevista la convergencia en este medio, con este trabajo, de otro específico

sobre la innovación universitaria, no se profundizará en este punto. Sin embargo, no es posible con- cluir la referencia a la evaluación si no se la relaciona con estas dos funciones (evaluación y formación) propias de la institución universitaria. Este punto se desarrolla en VÁZQUEZ (1998): «Programa de Innovación Educativa. Planteamiento general». 11Jornada de Innovación Educativa. Universidad Com- plutense de Madrid. Madrid, p. 7.

© Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS Y JAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

9 1

sistemas educativos» 44 . La evaluación juega un papel diferente dentro de las orga- nizaciones según que, de acuerdo con la tipología de Lemaire y Nivoix (1995), sean más o menos previsibles sus procesos y sus productos:

- tipo I: organización caracterizada por la innovación;

- tipo II: de producción de masas;

- tipo III: de calidad y mejora continuas;

- tipo IV: organización post-industrial (como sistema de aprendizaje, cen-

trada en la búsqueda de la calidad y de la satisfacción de los «clientes», tanto inter- nos, como externos) 45 . De acuerdo con estos dos criterios, las organizaciones de los tipos I y IV se caracterizan por la evolución imprevisible o una modificación importante de sus pro- ductos y servicios, entre tanto que las de los tipos II y III conocen una evolución pre- visible con escasos cambios en sus servicios. Por otra parte, los tipos II y IV experi- mentan un menor desarrollo en sus procesos, al revés que las de los tipos I y III.

¿A cuál de estos cuatro tipos pertenece la organización universidad? La obser-

vación de la realidad nos hace pensar que en la universidad seguimos actuando (y, lo que es más grave, pensando) «como si», tanto los procesos (sociales, demográfi-

como los productos

o servicios (tipos de personas, científicos y profesionales a formar; generación de

no estuvieran experimentando apenas

cambio alguno, extremo bastante alejado de los estados actuales de las cosas. Es decir, parece que seguimos entendiendo que la universidad es una organización del tipo II, de producción en masa. Y esto lo seguimos manteniendo en un momen- to en el que ya se ha producido la saturación del número y tasa relativa de alum- nos universitarios, lo que prueba que la denominada «educación de masas» no es tanto un fenómeno de la demografía universitaria, cuanto una forma de pensar y de actuar de los gestores y de los universitarios (profesores y alumnos).

conocimiento científico y tecnológico

cos, económicos, de enseñanza y aprendizaje, tecnológicos

),

)

Sin embargo, los cambios a pequeña escala, experimentados en la definición del producto exigen profundas modificaciones en los procesos diagnósticos y for-

dentro de

los que han de introducirse la innovación y la mejora continuas. La institución uni-

versitaria, una de las pocas que se sostienen en pie tras ochocientos años de his- toria, habrá de abrirse a este cuarto tipo de organizaciones que genera y trans- funde innovación. Aunque lo haga a su modo: festina lente.

mativos (de enseñanza-aprendizaje, de asesoramiento, de evaluación

)

BIBLIOGRAFÍA

ACCESO (1974): «

enero-abril. Ministerio de Educación y Ciencia. Madrid. APARICIO, F. Y GONZÁLEZ, R. M. (1994): La calidad de la enseñanza

superior y otros temas

universitarios. ICE de la Universidad Politécnica de Madrid. Madrid. AZOFRA, V., HERNÁNDEZ, A. Y ROJO, J. L. (1988): La universidad y la empresa en el contexto de la reforma universitaria. Fundación Universidad Empresa de Valladolid. Valladolid.

a

la educación superior». Revista de Educación (número monográfico)

44. ERIC (1966): Thesaurus.

45. Ver: LEMAIRE Y NIVOIX (1995): Gagner dans l'incertain, p. 33 y siguientes.

©

Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

9 2

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS YJAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

BACH, C. (1990): Investigación y Universidad. ICE de la Universidad de Córdoba. Córdoba. BALBÁS, M. Y OTROS (1995): La formación universitaria a debate. Universidad de Barcelona. Barcelona. BENSIMON, E. M. (1995): «Total Quality Management in the Academy: a rebellious reading». Harvard Ed. Rev., 65 (4), pp. 593-611. BERNARD, J. A. (1990): Estrategias de enseñanza-aprendizaje en la Universidad. ICE de la Universidad de Zaragoza. Zaragoza. BLAUG, M. Y MORENO, J. L. (1984): Financiación de la educación superior en Europa y España. Siglo XXI. Madrid. BOWEN, H. R. (1984): The cost of higher education. Carnegie Comission/Josey Bass. San Francisco (CA). CELORIO, R. (1983): Evaluación del rendimiento en la enseñanza superior a distancia. Narcea. Madrid. CoLOM, A. J., SARRAMONA, J. Y VÁZQUEZ, G. (1994): Estrategias de Formación en la empresa. Narcea. Madrid.

situación

CONFERENCIA DE RECTORES DE LAS UNIVERSIDADES DEL ESTADO (1981) : Informe

sobre la

presupuestaria

de las Universidades. Editor. Madrid.

CONSEJO DE UNIVERSIDADES (1989): El stock de titulados universitarios cado de trabajo (1976-86). Editor. Madrid.

— (I99O): Primeras jornadas nacionales de didáctica universitaria. Ponencias y Comunica- ciones. Consejo de Universidades. Secretaría General. Madrid.

— (1995): Programa de evaluación institucional de la calidad de las universidades. Consejo de Universidades. Secretaría General. Madrid.

— (1997a?): Plan Nacional de evaluación de la calidad de las universidades. Guía de eva- luación. Consejo de Universidades. Secretaría General. Madrid.

— (1997b): Plan Nacional de evaluación de la calidad de las universidades. Consejo de Universidades. Secretaría General. Madrid. CONTRERAS, E. (1990): El profesor universitario y la evaluación de los alumnos. ICE de la Universidad Politécnica de Madrid. Madrid. COUNCIL OF EUROPE (1973): Access to higher education and numerus clausus. 25 th. meeting. Salzburg, 3-5 May, 1972.

DEMANDA (1991):

académico en educación superior. Gobierno Vasco.

Departamento de Educación, Universidades e Investigación. Bilbao. DEMING, W. E. (1988): Calidad, productividad y competitividad. La salida de la crisis. Díaz

y su relación con el mer-

y rendimiento

de Santos. Madrid.

Autoevaluación.

Directrices para empresas (Versión española). Club Gestión de Calidad. Madrid. ESCOTET, M. A. (1984): Técnicas de evaluación institucional en la educación superior. Ministerio de Educación y Ciencia. Madrid. ESCUDERO, T. (1981): Selectividad y rendimiento académico de los universitarios. Condicio- namientos psicológicos, sociológicos y educacionales. ICE de la Universidad de Zaragoza.

E.F.Q.M.

[EUROPEAN

FOUNDATION

FOR

QUALITY

MANAGEMENT]

(1996):

Zaragoza.

y el gasto público en enseñanza pública superior. Gobierno

Vasco. Departamento de Educación, Universidades e Investigación. Bilbao. GARCÍA DEL DUJO , Á. (1995) : «La polític a universitari a vist a desd e la educació n y la calida d d e la

educación universitaria». V Congreso Interuniversitario de Teoría de la Educación. Sitges (Barcelona). GONZÁLEZ, J. E. (1976): Empleo de los profesionales superiores. Análisis y perspectivas. Ministerio de Trabajo. Madrid.

FINANCIACIÓN (1991): La

©

Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS YJAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

9 3

GONZÁLEZ , R. M. (1985) : «El fracas o escola r e n jóvene s universitarios» . Studia Paedagogica, (enero-diciembre), pp. 238-250.

— (1989): Análisis de las causas del fracaso escolar en la Universidad Politécnica de Madrid. CIDE e ICE Universidad Politécnica de Madrid. Madrid. HERNÁNDEZ, P. (1986): Psicología de la educación y de la enseñanza universitaria. ICE de la Universidad de La Laguna. Tenerife. HERRERO, S. E INFESTA, A. (1980): El rendimiento académico en la Universidad. ICE de la Universidad de Salamanca. Salamanca.

sobre la Universidad. CIDE e ICE Universidad

INVESTIGACIÓN EDUCATIVA (1991): La

Politécnica de Madrid (Jornadas 31 mayo-1 junio 1990). Madrid. JURAN, J. M. Y GRYNA, F. M. (1995): Análisis y planeación de la calidad. Me Graw Hill. México, D.F. LAFOURCADE, P. (1974): Planteamientos, conducción y evaluación en la enseñanza superior. Kapelusz. Buenos Aires. LAMO DE ESPINOSA, E. (1989): «Evaluación de la calidad de la enseñanza». En MEC: Hacia una clasificación de las universidades según criterios de calidad. Consejo de Universidades y Forum Universidad-Empresa. Madrid, pp. 87-94. LEMAIRE, B. Y NIVOIX, Ch. (1995): Gagner dans l'incertain. Les Éditions d'Organisation. Paris. LEÓN , A . DE (1990) : «La evaluació n institucional . Propuest a metodológica» . E n CONSEJ O D E UNIVERSIDADES: Primeras fornadas Nacionales de Didáctica Universitaria. Ponencias y comunicaciones. Consejo de Universidades. Secretaría General. Madrid, pp. 125-129-

LÓPEZ PINERO, J. M. (1972): El análisis estadístico y sociométrico de la literatura científica. Centro de Documentación e Informática Médica de la Facultad de Medicina. Valencia. MARTÍN, J. Y MIGUEL, M. DE (1979): La Universidad, fábrica de parados. Vicens Vives. Barcelona. MAYOR, C. (1996): «Los problemas y necesidades de los profesores principiantes universita- rios». Bordón, 48 (1), pp. 27-52. MICHAVILA, F. Y CALVO, B. (1998): La universidad española hoy. Edit. Síntesis. Madrid. MIGUEL, M. DE (1991): «Utilización de indicadores en la evaluación de la docencia universita- ria». En MIGUEL, M. DE, MORA, J. Y RODRÍGUEZ, S. (1991): Evaluación de las instituciones universitarias. Consejo de Universidades, Secretaría General. Madrid, pp. 341-370.

— (1997) : «La evaluació n d e l a activida d investigador a de l profesorad o universitari o e n e l ámbito de las Ciencias de la Educación». Revista de Investigación Educativa.

Y RODRÍGUEZ, S. (1991): Evaluación de las instituciones universitarias. Consejo de Uni- versidades. Secretaría General. Madrid. MINISTERIO DE EDUCACIÓN Y CIENCIA (1989): Hacia una clasificación de las universidades según criterios de calidad. Consejo de Universidades y Forum Universidad-Empresa. Madrid. MOLTÓ, T. Y OROVAL, E. (1980): Análisis de los criterios para la asignación de recursos a los centros de enseñanza superior. ICE de la Universidad de Barcelona. Barcelona. MORA, J. (1991): «Criterios para una evaluación de las universidades españolas». En UNIVERSIDAD DE CÁDIZ: Actas. L Congreso Internacional sobre calidad de la enseñanza universitaria. ICE de la Universidad de Cádiz. Cádiz, pp . 337-345. NOSER, T. C, MANAKYAN, H. Y TANNER, J. R. (1996): «Research productivity and perceived teaching effectivess: a survey of Economie Faculty». Res in Higher Educ, 37 (3), pp. 319-321. OCDE (1973): Conferencia sobre las estructuras futuras de la enseñanza postsecundaria. Políticas de admisión a la enseñanza postsecundaria. (Documento poligrafiado). Editor. París.

(1989): Evolution des modes de financement de l'enseignement supérieur. ral. Editor. Paris.

Rapport

gene-

©

Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94

9 4

GONZALO VÁZQUEZ GÓMEZ, ANTONI J. COLOM CAÑELLAS Y JAUME SARRAMONA LÓPEZ EVALUACIÓN DE LA UNIVERSIDAD. CRITERIOS DE CALIDAD

PANERA, F. (1991): «Calidad de la educación universitaria. Propuesta para una mejora conti- nua». En UNIVERSIDAD DE CÁDIZ: Actas. L Congreso Internacional sobre calidad de la enseñanza universitaria. ICE de la Universidad de Cádiz. Cádiz, pp . 386-395. PÉREZ ALONSO-GETA, P. M. (1985): Los Congresos Nacionales de Pedagogía. Ñau Llibres. Valencia. PÉREZ YRUELA, M. Y FERNÁNDEZ ESQUINAL, M. (1997): «¿Endogamia universitaria? El problema de la selección de recursos humanos en la ciencia pública española». Documento mul- ticopiado (comunicación personal del primer autor), 23 p. PRICE, D. J. S. (1965): «Networks of scientific papers». Science (49), pp. 510-515-

— (1973): Hacia una ciencia de la ciencia. Ariel. Barcelona. PRIETO, G. (1979): Análisis de los rasgos y características psicopedagógicas de los alumnos con éxito en la Universidad de Salamanca. ICE de la Universidad de Salamanca. Salamanca. PSACHAROPOULOS, G. (ed.) (1987): Economies of education. Research and studies. Pergamon Press. Oxford. QUINTANILLA, M. A. (1996): «Nuevas ideas para la Universidad». En La universidad del siglo XXL y su impacto social. Universidad de Las Palmas. Las Palmas de Gran Canaria, pp. 35-48. Revista Española de Pedagogia, 46 (186). 1990. RODRÍGUEZ, S. (1991): «Dimensiones de la calidad universitaria». En UNIVERSIDAD DE CÁDIZ: Actas. L Congreso Lnternacional sobre calidad de la enseñanza universitaria. ICE de la Universidad de Cádiz. Cádiz, pp. LU a LXXXIII. ROMÁN, J. Y OTROS (1980): Métodos activos para enseñanzas medias y universitarias. Cincel- Kapelusz. Madrid. SALVADOR, L. Y VALCÁRCEL, A. M. (1989): El rendimiento académico en la Universidad de Canta- bria: Abandono y retraso en los estudios. Ministerio de Educación y Ciencia. Madrid. SANZ, R. (1982): Orientación profesional y empleo en la Universidad. ICE de la Universidad de La Laguna. Tenerife. SEBASTIÁN, M. A. (1991): «Propuesta de metodología para la implantación de la calidad en la educación universitaria». En UNIVERSIDAD DE CÁDIZ: Actas. I Congreso Lnternacional sobre calidad de la enseñanza universitaria. ICE de la Universidad de Cádiz. Cádiz, pp. 470-479. SUBIRATS, M. (1981): El empleo de los licenciados. Fontanella. Barcelona. TAPSCOTT, D. Y CASTON, A. (1995): «Cambio de paradigmas empresariales». Me. Graw Hill. México, D.F. TOTAL QUALITY MANAGEMENT (1993): Higher Education, 25 (3)- Special issue on TOURÓN, J. (1984): Factores de rendimiento académico en la Universidad. EUNSA. Pamplona.

UNIVERSIDAD (1996): La

del siglo XXL y su impacto social. Universidad de Las Palmas. Las

Palmas de Gran Canaria. UNIVERSIDAD DE CÁDIZ (1991): Actas. L Congreso Lnternacional sobre calidad de la enseñan- za universitaria. ICE de la Universidad de Cádiz. Cádiz. UNIVERSIDAD DE MURCIA (1979): Libro blanco sobre la Universidad de Murcia. Servicio de Publicaciones de la Universidad de Murcia. Murcia. UNIVERSIDAD DE ZARAGOZA (1984): Sobre pedagogía en la Universidad. Secretaría de Publica- ciones de la Universidad de Zaragoza. Zaragoza. VÁZQUEZ, G. (ed.) (1998): Madrid: espacio universitario abierto. Fundación Universidad- Empresa. Madrid.

VOUGHT , F. VAN (1991): Cómo evaluar la calidad en la enseñanza superior en Europa occi- dental. En UNIVERSIDAD DE CÁDIZ: Actas. L Congreso Lnternacional sobre calidad de la enseñanza universitaria. ICE de la Universidad de Cádiz. Cádiz.

© Ediciones Universidad de Salamanca

Teor. educ. 10, 1998, pp. 55-94