LA EVALUACIN DE COMPETENCIAS: UN MARCO METODOLGICO

Mtra. Mara Elena Rivera Heredia Universidad Simn Bolvar Mtro. Jose Alberto Bazaldua Zamarripa Instituto de Estudios Superiores de Tamaulipas Dr. Ivn Matthew Rovira Gutirrez Instituto Universitario del Estado de Mxico L.A.E. Rafael Gerardo Conde Camacho Universidad Realstica de Mxico Mtro. Jaime Rodrguez Gmez Universidad de Montemorelos

Resumen
A partir de la necesidad de diversas IES de obtener retroalimentacin sobre la formacin que imparten, se propone el modelo de competencias para realizar un seguimiento de egresados. Primeramente se analizan los factores determinantes de la formacin de profesionistas y se revisa el concepto de evaluacin para estructurar una definicin de la evaluacin de competencias, sealando sus ventajas sobre la evaluacin tradicional. Se enfatiza su fundamentacin en dos tipos de evidencias, la directa y la indirecta, describiendo los pasos de una estrategia y diversos mtodos para evaluar las competencias tales como la simulacin, el anlisis de expediente, la evidencia extrada de situaciones de trabajo y la entrevista evaluativa. Se describen las experiencias en Mxico de la evaluacin de competencias laborales por CONOCER y de competencias profesionales por el CENEVAL. Se revisan diversos instrumentos o metodologas para la evaluacin de competencias profesionales o laborales utilizados en diferentes pases, y el empleo de una escala de calificacin en la mayora de los casos. Se concluye con un anlisis comparativo de las ventajas y desventajas del autoreporte, la entrevista y la evaluacin de evidencias como alternativas para dicha evaluacin, y se propone el uso del autoreporte para evaluar competencias genricas en el seguimiento de egresados.

INTRODUCCIN El reto educativo en Mxico es muy grande: proporcionar servicios educativos de calidad, con equidad y pertinencia (Programa Nacional de Desarrollo Educativo 2001-2006). Para lograr dicho reto son necesarios mltiples procesos, uno de ellos, fundamental para la mejora continua es la evaluacin. Heverly y Fitt (1994) sealan que las instituciones educativas que no estn autoevaluando su efectividad sern evaluadas por agentes externos y que esto se har en base a las competencias desarrolladas por sus egresados.

Ante esta demanda se considera necesario que las universidades realicen un seguimiento de sus egresados en base a un esquema de competencias para contar con una retroalimentacin a sus programas actuales y como insumo para los programas a desarrollar. El uso del modelo de competencias para el seguimiento de egresados resulta vlido aun cuando los planes de estudio no lo tomen como base, ya que cualquier perfil de egreso incluye los principales elementos que conforman las competencias: conocimientos, habilidades y actitudes. Por lo tanto, el presente trabajo tiene como objetivo realizar una revisin de las experiencias nacionales e internacionales en evaluacin de competencias para proponer un esquema general de evaluacin que sirva de base para que cada universidad interesada en este objetivo lo ajuste a sus propias necesidades. Antes de considerar algunos fundamentos tericos en la evaluacin de competencias, es necesario tener en mente que el proceso de formacin de los egresados est influido por diversos factores contextuales, los cuales se pueden observar en la figura 1. Figura 1. Contexto para realizar la formacin de los egresados.
D b r se d ee r e laEd ca n u ci Plan de Desarrollo Nacional

N ce a e e sid d s d l se r e cto la o l b ra

M d lo oe Ed ca od u tiv e la IES s

PLAN Y PRO RA A D ESTUD ES G MS E IO ESTU IAN A D TE CTUA L Y EG RESA O D CO PETEN M CIAS ED CATIVA PRO U S, FESIO A N LES Y LAB RALES O

Nota. Desarrollado por Rivera Heredia para el presente documento

Desde una perspectiva sistmica, las competencias educativas, profesionales y laborales de los egresados de las distintas instituciones de educacin superior van transformndose al paso del tiempo, por lo que stas pueden ser diferentes en sus egresados de distintas generaciones. Son los planes y programas de estudio el medio a travs del cual se van desarrollando los perfiles de conocimientos,

habilidades y actitudes que, en su conjunto, constituyen las competencias. Para la construccin de dichos planes y programas de estudio, en su primer contexto se contempla el Deber Ser de la Educacin, su interrelacin con el Plan Nacional de Desarrollo y con las necesidades y requerimientos del Sector Laboral y con la filosofa y misin de cada institucin de Educacin Superior aplicados en su Modelo Educativo. Con respecto a las necesidades del sector laboral es importante considerar las diferentes expectativas que puedan tener las empresas pequeas y micros de las medianas y grandes y el posicionamiento que puedan tener en ellas los egresados de la propia universidad en relacin con los de otras universidades. CONCEPTO DE EVALUACIN DE COMPETENCIAS Conviene aclarar que medicin y evaluacin no se refieren a lo mismo. Brown (2000) comenta que la medicin nicamente responde a la pregunta: cunto?, proporcionando una descripcin de la ejecucin de una persona sin brindar informacin sobre el valor de dicha ejecucin. Sin embargo, cuando la medicin es interpretada, se le atribuye un cierto valor. En este punto se llega ms all de la descripcin. Es as como al evaluar se intenta responder a la pregunta: hasta qu punto es bueno? . La evaluacin no es algo que se hace una vez y se acaba para siempre. En muchos casos, es un proceso progresivo, incluso un proceso cotidiano, para el conocimiento de la situacin actual, la toma de decisiones o para la solucin de un problema (Trull y Phares, 2003). Para los autores del presente trabajo, la evaluacin de competencias es un proceso de recoleccin de evidencias explcitas sobre el desempeo profesional, laboral o educativo, con el propsito de formarse un juicio a partir de un criterio o referente estandarizado para identificar aquellas reas de desempeo que han sido desarrolladas y aquellas que requieren ser fortalecidas.

Algunas diferencias con respecto a la evaluacin tradicional de acuerdo con Vargas (2001) son: Su base en el juicio competente o an no competente. Su sustento en evidencias del desempeo real, no en preguntas sobre lo que se sabe. Su consideracin como un proceso ms que un momento.

El propsito de la evaluacin consiste en realizar juicios acerca del desempeo individual (Whitear, 1997, p. 177). El conocimiento es slo un aspecto del desempeo ya que el desempeo competente requiere la habilidad de aplicar el conocimiento de manera adecuada. Para evaluar una competencia es necesario evaluar lo que se sabe, lo que se hace y cmo se hace. Para desempear tareas confiables, se debe entender el conocimiento que soporta sus acciones, y sus acciones deben ser apropiadas para el establecimiento en el cual se aplican (p.178), de ah que un sistema de evaluacin deber hacer juicios confiables sobre si los individuos cumplen con las normas de desempeo en el rango requerido de contextos o situaciones. La evaluacin de competencias toma en cuenta criterios de desempeo, por lo que no se compara al sujeto con otros, sino en funcin a si es competente o todava no es competente para determinada tarea o funcin. En Australia, al igual que en otros pases de habla inglesa, se han desarrollado estndares de evaluacin basados en competencias, los cuales inicialmente se pensaban que eran tiles nicamente para las ocupaciones de nivel medio, sin embargo, Gonczi (1994) seala que stos se pueden utilizar tanto en ocupaciones como en profesiones, llegando a ser evaluaciones mas vlidas que las de aproximaciones tradicionales. Menciona las siguientes ventajas del enfoque de competencias: Permite incorporar un rango mayor de atributos en la descripcin de las competencias de muchas profesiones

Se describe pblicamente lo que deben hacer los profesionistas competentes y lo que se puede esperar de ellos Proporciona metas mas claras para quienes imparten la educacin profesional Clarifica a los aprendices lo que se espera que logren Da bases para elaborar procedimientos mas slidos de evaluacin de las habilidades profesionales.

Para evaluar competencias se debe tener muy claro para qu se va a evaluar, qu se va a evaluar y cmo se har. TIPOS DE EVIDENCIA La evaluacin exitosa depende de la evidencia presentada, la cual podra provenir de su experiencia anterior, de su desempeo actual, o de un cuestionario. Los criterios para evaluar la calidad de la evidencia son: validez, autenticidad, confiabilidad, suficiencia, actualidad, transferibilidad y claridad de la presentacin (Whitear, 1997). Existen dos formas de evidencia a recolectar: evidencia directa (constituida por bienes y servicios producidos por el candidato) y evidencia indirecta (evidencia e informacin de apoyo respecto del candidato). La evidencia puede ser recopilada en un ambiente real o en una situacin de formacin, capacitacin o simulacin. Los productos de evidencia pueden ser videos, grabaciones, ejercicios, reportes, proyectos terminados, entre otros (Fletcher, 2000). Tabla 1. Tipos de evidencias para evaluar competencias
TIPOS DE EVIDENCIA EVIDENCIA Evidencia de Ejemplos del trabajo real DIRECTA desempeo Observacin del trabajo Simulacin del trabajo EJEMPLOS Productos o artefactos producidos Planes y programas de trabajo Informes o documentos

Evidencia suplementaria

Cuestionarios Pruebas fuera del empleo

Diseos y dibujos Programas de computacin Datos financieros Cartas de clientes, proveedores, etc. Evaluaciones de desempeo Bitcoras

Testimonios EVIDENCIA Testimonio presencial INDIRECTA Material publicado Certificaciones

ESTRATEGIAS PARA LA EVALUACIN DE COMPETENCIAS No existe un mtodo exclusivo para evaluar las competencias, sealan Norman, Watson, Murrells, Calman y Redfern (2002), sino una amplia estrategia de medicin que incluye mltiples mtodos para asegurar que las personas hayan adquirido el complejo repertorio de conocimientos, habilidades y actitudes que se requieren para demostrar competencias. Cuando se pone nfasis en la ejecucin, Gonczi (1994) recomienda tres principios para la evaluacin de competencias: Los mtodos de evaluacin deben ser usados en una forma integrada, es decir, que combinen la evaluacin de conocimiento, comprensin, solucin de problemas, habilidades tcnicas, actitudes y tica, aunque se reconoce que en algunos casos los conocimientos se pueden evaluar independientemente de la ejecucin. Se deben elegir los mtodos que sean mas directos y relevantes para lo que est siendo evaluado. Mientras ms amplia es la evidencia de la que se infiere la competencia, mas se podr generalizar la ejecucin a otras tareas. Como estrategia para evaluar las competencias de una profesin plantea los siguientes pasos: 1. Definir y agrupar los componentes de cada competencia y los criterios de ejecucin, por ejemplo (ver tabla 2), la competencia para recopilar, analizar y evaluar informacin que requiere desarrollar un abogado.

Tabla 2. Ejemplo de definicin, componente y criterio de una competencia para un abogado

COMPETENCIA Recopilar, analizar y evaluar informacin COMPONENTE CRITERIO Ayuda al cliente a desarrollar una historia y a obtener la declaracin inicial Identifica la naturaleza del problema, lo que el cliente desea lograr, el relato del cliente de los hechos relevantes, el punto de vista del opositor y de terceras partes Seala al cliente vacos e inconsistencias

Tomar instrucciones del cliente

2. Analizar los mtodos de evaluacin disponibles para determinar cuales pueden realizar una evaluacin mas integrada y directa 3. Valorar los mtodos de acuerdo a aspectos prcticos como tiempo y costo 4. Establecer una tabla de especificacin con los mtodos seleccionados y las competencias que cada uno de ellos evaluar para asegurar que todos los elementos de todas las competencias estn cubiertos por lo menos por una actividad. 5. Decidir cmo se va a juzgar a los candidatos, ya sea en forma cuantitativa (calificaciones) o por cumplimiento de estndares o criterios cualitativos, lo cual implica un juicio profesional, basado en la experiencia, por parte de los asesores El autor seala que para evaluar utilizando este esquema se requiere entrenar a los evaluadores adems de que se les proporcione manuales y procedimientos de evaluacin. Tambin implica una mayor necesidad de asegurar la confiabilidad entre evaluadores que en una evaluacin centrada solo en la tarea. De los diversos mtodos existentes para evaluar competencias, Gonczi (1994), al estudiar los sistemas de evaluacin de competencias de los egresados en Australia, habla en particular de dos mtodos que permiten la evaluacin directa e integrada. La simulacin, en la cual un actor entrenado se presenta como cliente mientras se est videograbando la interaccin. Implica preparar diversos escenarios o situaciones que plantean problemas distintos pero con la 7

misma estructura: una necesidad inmediata, asuntos a largo plazo, informacin no revelada a menos que se pregunte, agendas ocultas del cliente, problemas que requieren soluciones fuera de la profesin, aspectos culturales que requieren un manejo con mucho tacto, aspectos ticos y arreglo de costo. El archivo o expediente sobre un problema es una tarea que se lleva el egresado a su casa, que implica un anlisis y presentacin del caso basado en conocimiento de reglas y procedimientos y en la preparacin de documentos, adems de una investigacin sobre lo que se sabe y lo que se ha hecho en casos similares. Tambin menciona otros mtodos tiles tales como: relatar la forma en que abord los casos, un examen de conocimientos (opcin mltiple) de tres horas, la interpretacin de datos de medicin, un estudio de casos en computadora, una entrevista de diagnstico y otra de manejo, tres evaluaciones diferentes en un caso, entre otros. Otra estrategia para la evaluacin de competencias es la de Colardyn (2002) quien enlista las siguientes acciones: Preexistencia de estndares laborales y de aprendizaje o especificaciones Especificacin de un contexto en el que se va a recopilar la evidencia del desempeo. Implica definir cmo evaluar, con que herramienta y con qu procedimiento. Recopilacin de la evidencia. Las evidencias a recolectar deben ser definidas antes de la prctica de la evaluacin. Menciona cinco tipos: 1. Examen: el evaluado contesta preguntas, ya sea orales o escritas, cerradas o abiertas, relacionadas con su conocimiento y comprensin del campo de estudio. 2. Declaracin y entrevista evaluativa: el candidato describe lo que hace o ha hecho, en forma oral y escrita, fundamentando que lo que ha hecho implica un dominio del aspecto evaluado. Los evaluadores formulan

preguntas acerca del contexto laboral, de las actividades que desempea, de los resultados obtenidos y de la transferencia de competencias a otros contextos. 3. Observacin: se registra el desempeo del candidato en un escenario real, en una experiencia del pasado o en una situacin simulada. Requiere una estructura metodolgica bien definida y una alta capacitacin a los evaluadores para que recopilen informacin relevante y sus registros sean confiables. En esta tcnica los evaluadores solo observan sin hacer preguntas y califican el desempeo en base a indicadores predefinidos. 4. Simulaciones: el evaluado se desempea en una situacin muy parecida al contexto real de trabajo. Su dificultad radica en realizar un anlisis laboral adecuado para asegurar que la situacin es adecuada para obtener informacin vlida y confiable. 5. Evidencia extrada de situaciones laborales: el evaluador observa lo que hizo el evaluado y ste puede explicar sus acciones y decisiones y describir los resultados que obtuvo. Otra tcnica vlida y confiable en la evaluacin de competencias es la descrita por McClelland (1994), entendida como la entrevista de eventos conductuales. En esta entrevista el evaluado describe en sus propias palabras lo que dijo, hizo, pens y sinti en seis situaciones de su trabajo (tres positivas y tres negativas). Se establecen procedimientos estandarizados para asegurar que las entrevistas sean comparables. Se definen las competencias y se codifican por su frecuencia y nivel de complejidad o amplitud con que se observaron en la entrevista. Por su parte, Bentez (2006) describe dos de las metodologas mas aplicadas para evaluar las competencias. a) Las tablas descriptivas: consisten en prrafos que describen las conductas observables en cada nivel de dominio de la competencia en orden ascendente. Para cada competencia se determina, segn el puesto, en qu

nivel se debe poseer la competencia y se compara con el nivel en que se ubica al empleado que ocupa dicho puesto. b) Los Indicadores de dominio: consisten en frases cortas que describen conductas observables y que, en conjunto, permiten evaluar el dominio de la competencia determinando qu nivel tiene la persona en cada uno de todo el conjunto de indicadores. Los niveles son: A (satisface plenamente o supera las exigencias del puesto), B (satisface las exigencias mnimas) C (requiere entrenamiento formativo para alcanzar el desempeo requerido). A partir del nivel de cada uno de todos los indicadores de la competencia se asigna una puntuacin. Esta se compara con lo esperado y se clasifica la brecha como pequea, moderada, considerable o critica. La brecha aceptable es menor en competencias importantes para el puesto que en las competencias complementarias. La evaluacin de las competencias con base en las Normas Tcnicas de Competencia Laboral (NTCL), de acuerdo con Samperio (2002) siguientes etapas: Determinar las tcnicas e instrumentos para evaluar la competencia laboral de candidatos Determinar los planes de evaluacin de la competencia laboral en una funcin especfica Integrar portafolios de evidencias de los candidatos a certificar sus competencias laborales. Emitir juicios de competencia de candidatos para certificacin Orientar a los candidatos en relacin con el resultado de la evaluacin de su competencia laboral. LA EVALUACIN DE COMPETENCIAS EN MXICO A partir de la globalizacin de los mercados y de la acelerada innovacin tecnolgica, se presentan para Mxico nuevos requerimientos hacia la fuerza laboral en materia de capacitacin y educacin. incluye las

10

Medel y Flores (2002) relatan que, como respuesta a esta demanda,

la Ley

General de Educacin, en su artculo 64 publicado en 1993, establece que se podrn crear procedimientos para otorgar certificados o ttulos a personas que acrediten los conocimientos que correspondan a cierto nivel educativo, adquiridos ya sea por experiencia laboral o por medios autodidactas. Con el fin de validar conocimientos y experiencias de trabajadores adquiridos por medios no formales, surge el Consejo de Normalizacin y Certificacin de Competencia Laboral conocido por sus siglas como CONOCER, el cual fue establecido en agosto de 1995 como organizacin tripartita, no lucrativa, de carcter nacional, integrada por seis representantes del sector empresarial, seis del sector social y los titulares de seis secretaras de estado. Su funcin consiste planear, operar, fomentar y actualizar el Sistema Normalizado y de Certificacin de Competencia laboral mediante el desarrollo y establecimiento de metodologas y procedimientos para la elaboracin de Normas Tcnicas de Competencia Laboral, a travs de los comits de Normalizacin as como la definicin de los criterios para el establecimiento y operacin de organismos certificadores e instancias de evaluacin. Para CONOCER, el concepto de competencia laboral implica el saber, el saber ser y el saber hacer. Existen tres tipos de competencias laborales: las bsicas, las genricas y las especficas. El trabajo de normalizacin se est llevando a cabo mediante la aplicacin de una metodologa llamada anlisis funcional. Para iniciar el proceso de normalizacin se usa como herramienta de trabajo el mapa funcional La estrategia de CONOCER consisten en la definicin de 12 reas de trabajo que abarcan todo el sector laboral. El objetivo final es contar con las Normas Tcnicas de Competencia Laboral para cada sector y despus definir el mecanismo para aplicarlas (CONOCER Y SAGAR, 1999). Debido a que el proceso de establecimiento de una norma a nivel nacional es prolongado, en la experiencia Chilena (SENCE, 2003) sealan que tener un referencial de competencias no implica necesariamente contar con un marco

11

nacional de competencias, se trata de contar con un modo de evaluar las competencias de los programas. Inicialmente es posible desarrollar una norma provisoria que certifique estas competencias. Luego, esa norma provisoria puede convertirse en un referencial de competencia. Esto es especialmente til en materia de capacitacin, en donde se hacen normas provisorias de competencias para responder a las demandas que en el tiempo son ms urgentes, quizs una descripcin de funciones sera lo ms cercano, provisoria es mejor. EXPERIENCIA EN MXICO DE EVALUACIN DE COMPETENCIAS A EGRESADOS: EL CASO DEL EXAMEN GENERAL DE EGRESO DE LA LICENCIATURA EN PSICOLOGA DE CENEVAL Entre las experiencias que existen en Mxico para la evaluacin de competencias profesionales en los egresados de licenciatura se encuentra el EGELPSICOLOGA (Examen General para el Egreso de la licenciatura en Psicologa) el cual es un instrumento de evaluacin especializado, cuyo objetivo es identificar la medida en la que se tienen los conocimientos, las habilidades y los valores que debe mostrar un recin egresado de sus estudios de licenciatura para iniciar su vida profesional. Tiene como finalidad el ser un instrumento til, valido y confiable para valorar las competencias necesarias para iniciar una prctica psicolgica de buena calidad en todas las regiones geogrficas de Mxico. Se construy tomando en cuenta el perfil referencial de validez establecido por los cuerpos interinstitucionales, multirregionales y multisectoriales de acadmicos del pas. Tambin pretende ser un instrumento complementario al currculo que retroalimente y facilite la insercin laboral adecuada. El EGEL puede ser un instrumento indicativo previo a la presentacin del examen profesional, o un instrumento complementario a otros indicadores de las IES a lo largo de la trayectoria acadmica del estudiante. En la tabla 3 se observan los tres niveles de actividad intelectual considerados por el CENEVAL para la evaluacin de competencias. aunque hacer una norma

12

Tabla 3. Niveles de la actividad intelectual para evaluar las competencias logradas en la formacin profesional
COMPETENCIAS COMPLEJIDAD HABILIDADES EVALUADAS COMPRENDER Y ORGANIZAR LO APRENDIDO Bsico Evala la capacidad para identificar, clasificar, ordenar y jerarquizar hechos, conceptos, principios y fundamentos de manera no literal a como aparecen en los documentos originales. Evala la capacidad para integrar la teora con las habilidades tcnico-metodolgicas en la prctica profesional. Se demuestran el dominio y pericia en la comprensin y utilizacin adecuada de conceptos, principios, procedimientos, tcnicas, rutinas e instrumentos. Evala la capacidad para analizar, sintetizar y evaluar conceptos, principios, mtodos, tcnicas, procedimientos, estructuras de tarea y de planes de accin, en funcin de los principios de adecuacin, organizacin y valores profesionales requeridos ante situaciones problemticas diversas, novedosas o rutinarias, as como para identificar y corregir errores importantes y proponer cursos de accin adecuados.

APLICAR LO APRENDIDO

Intermedio

RESOLVER PROBLEMAS

Alto

Adaptado de CENEVAL, p.13

Las estrategias que se siguieron para la construccin del examen fueron: 1) Diseo del objeto a evaluar a partir de la definicin de categoras de anlisis derivadas de la informacin recabada y del debate de expertos. Posteriormente se identificaron los criterios a partir de los cuales se seleccionaran los cuales fueron: escencialidad, generalidad, especificidad, diversidad, relevancia y calidad. 2) Elaboracin del perfil referencial de validez, que fue acordado colectivamente por las instituciones participantes, y establecido por los cuerpos colegiados interinsitucionales, intersectoriales y multirregionales tanto de las IES pblicas como de las privadas. Se identific el deber ser establecido en los planes y programas de estudio vigentes, as como lo recomendado por especialistas. Se consideraron datos de investigaciones y estudios realizados por agencias internas y externas sobre la realidad de la enseanza de la profesin, el quehacer profesional demandado, la opinin de los egresados y la satisfaccin de necesidades que el profesionistas debe cubrir a la luz de las demandas actuales y las emergentes previstas en un lapso de 5 aos.

13

3) Definicin de la naturaleza y estructura del examen. 4) Delimitacin de los contenidos. 5) Estrategias para la elaboracin, piloteo y calibracin de reactivos; diseo de la gua y del examen. De igual manera, a partir del 2000, se delega al CENEVAL la funcin de acreditar conocimientos de niveles educativos y grados acadmicos adquiridos por medios no formales, con base en el Acuerdo 286 de la Secretara de Educacin Pblica,. Quien desea acreditar su experiencia profesional para obtener un ttulo de licenciatura debe pasar por las siguientes etapas de evaluacin: Presentar el EGEL (Examen General de Egreso de Licenciatura) correspondiente a la carrera Responder sobre su experiencia profesional en una entrevista con un sinodal Elaborar una tesina sobre sus conocimientos tericos y prcticos Defender la tesina en rplica oral ante sinodales. Presentar un examen prctico (en algunos casos)

Aclaran Medel y Flores (2002, p. 258) que solamente personas con una probada capacidad para instrumentar conocimientos complejos en decisiones concretas y verificables, se encuentran en condiciones de aprobar las evaluaciones descritas. OTRAS EXPERIENCIAS EN EVALUACIN DE COMPETENCIAS A lo largo del mundo se han tenido otras experiencias en evaluacin de competencias profesionales, principalmente con estudiantes que estn terminando el estudio de su carrera. McClelland (1994) describe la entrevista de eventos conductuales como un mtodo vlido y confiable para evaluar competencias. En esta entrevista el evaluado describe con sus propias palabras lo que dijo, hizo, pens y sinti en seis situaciones de su trabajo (tres positivas y tres negativas). Para el anlisis de las competencias, los evaluadores establecen procedimientos estandarizados para asegurar que las entrevistas sean comparables. Adems,

14

definen las competencias y se codifican por su frecuencia y nivel de complejidad o amplitud con la que stas se observaron en la entrevista. Heverly y Fitt (1994) evalan las competencias de investigacin con una autocalificacin del estudiante en una escala del 1 al 5. Por su parte, Harrington (1995) describe tres formatos para la evaluacin de habilidades en base a un autoreporte: Una lista de habilidades con sus definiciones en las que el evaluado indica en cules se siente mas fuerte Una escala de Likert en la que el evaluado se compara con su grupo de edad para indicar en qu nivel est en cada habilidad: excelente, arriba del promedio, promedio, abajo del promedio o deficiente Se presentan ejemplos de aplicaciones de cada habilidad en las cuales el evaluado se ubica en un nivel de bajo a alto y se obtiene una suma total de cada habilidad. Tambin Warn y Tranter 2001 usaron un cuestionario con diversas preguntas para cada competencia (algunas tomadas de otros instrumentos) para una autoevaluacin, fundamentando la validez de este mtodo en que se ha encontrado correspondencia con la evaluacin de calificadores independientes (aunque en la autoevaluacin se califiquen un poco mejor). Para minimizar la deseabilidad social, en este cuestionario se pidi a los egresados que evaluaran en qu grado haba contribuido su institucin educativa para que desarrollaran las diferentes competencias evaluada. Se us una escala de 5 puntos: pobre desarrollo, menos del adecuado, adecuado, mejor que el adecuado y buen desarrollo. Otros parmetros de evaluacin son los propuestos por Martha Alles (2002) quien proporciona 160 competencias laborales que pueden ser evaluadas en uno de cuatro niveles: 1) Alto

15

2) Bueno, por encima del promedio 3) Mnimo necesario para el puesto (de acuerdo al perfil requerido). No implica una subvalorizacin de la competencia 4) Insatisfactorio Considera que cada empresa debe elaborar su propio diccionario de competencias y definir sus propios niveles de evaluacin, ya que algunas empresas establecen el nivel cuatro como el mnimo satisfactorio. De su diccionario se reproducen en la tabla 4 los niveles para una de sus competencias. Tabla 4. Ejemplo de los niveles de desarrollo de la Competencia Analtica
COMPETENCIA ANALTICA(anlisis de prioridad, criterio lgico, sentido comn) Este tipo de competencia tiene que ver con el tipo y alcance de razonamiento y la forma en que un candidato organiza cognitivamente un trabajo. Es la capacidad general que tiene una persona para realizar un anlisis lgico, la capacidad de identificar los problemas, reconocer la informacin significativa, buscar y coordinar los datos relevantes. Se puede incluir aqu la habilidad para analizar, organizar y presentar datos financieros y estadsticos y para establecer conexiones relevantes entre datos numricos. A Realiza anlisis lgicos, identifica problemas, reconoce informacin significativa, busca y coordina datos relevantes. Tiene mucha capacidad y habilidad para analizar, organizar y presentar datos financieros y estadsticos y para establecer conexiones relevantes entre datos numricos. Analiza informacin e identifica problemas coordinando datos relevantes. Tiene mucha capacidad y habilidad para analizar, organizar y presentar datos y para establecer conexiones relevantes entre datos numricos. Puede analizar e identificar problemas, coordinar datos relevantes, organizar y presentar datos numricos. Tiene escasa capacidad para el anlisis y para identificar problemas y coordinar los datos relevantes.

C D

Alles(2002, p. 142) En otra publicacin, la misma autora describe el uso de la entrevista para ubicar a los candidatos en los niveles de evaluacin de cada competencia. Para mostrar un ejemplo se reproducen en la tabla 5 las preguntas para evaluar la competencia analtica mencionada anteriormente. Tabla 5. Ejemplo de preguntas para evaluar la Competencia Analtica
COMPETENCIA ANALTICA Preguntas asociadas 1 Conseguir la resolucin de una asignacin implica recoger informacin y datos de otros. Cmo

16

lo hace usted?. Deme ejemplos. 2 Recuerda alguna situacin problemtica que haya tenido que solucionar recientemente? Qu pas?Cmo la identific? Cmo la analiz?Cmo la resolvi?Cmo organiz el trabajo suyo y el de sus colaboradores? Cunteme una decisin importante que haya tenido que tomar recientemente en su trabajo. Cul era la situacin?Porqu escogi esa alternativa? Describa un desafo importante que usted haya asumido en los ltimos meses. Qu elementos consider para hacer frente a la situacin?Cules de stos consider prioritarios? Cmo manej la situacin? Alguna vez tuvo un producto o servicio que estuviera en problemas?Cules eran las causas del problema?Qu decisiones tom?Qu consecuencias previ que podran suscitarse al tomar esos cursos de accin?Cul fue el resultado final? Cmo identifica problemas potenciales en su sector? Descrbame una situacin compleja por la que haya atravesado su departamento en los ltimos aos. Cmo analiz la situacin? Qu decisiones tuvo que tomar?Cmo coordin su equipo de trabajo? Utiliza datos financieros en su trabajo?Qu estadsticas presenta en sus informes? Considera usted que las tareas que realiza son relevantes para la organizacin?Cul es su grado de importancia y porqu?

3 4

6 7

8 9

(Alles, 2003, p.149) Dados los grandes avances tecnolgicos, existe un nuevo grupo de cuatro competencias bsicas que permiten clasificar a las personas como alfabetos o analfabetas tecnolgicos.(Graham, 2003, citada en Gaide, 2004), las cuales son: Creacin de documentos electrnicos (procesador de palabras publicaciones electrnicas) Organizacin de datos (administracin de hojas de datos y bases de datos, elaboracin de tablas y grficas) Presentacin para comunicar ideas y pensamientos Comunicacin electrnica (correo electrnico, mensajera instantnea y navegacin en Internet) Ubica cada competencia en dos niveles: 1, que corresponde a habilidades bsicas y 2 que hace referencia a habilidades avanzadas. Agrega que las universidades deben considerar estas competencias como centrales y que deben evaluar no solo lo que ensean sino tambin lo que aprenden los alumnos. Considera que las universidades deben proponerse que por lo menos el 80% de sus alumnos manejen estas habilidades en el nivel 2. y

17

En el estudio de la OCDE

conocido como PISA (Kjaernsli y Lie, 2004), se

evaluaron las competencias en estudiantes de secundaria presentando textos reales, como artculos de peridicos o revistas, y formulando preguntas de opcin mltiple o de respuesta construida.. En un ejemplo que proporcionan, partir del texto se peda a los estudiantes que dieran una explicacin para diversas situaciones del texto (para evaluar el proceso intelectual de valorar crticamente datos cientficos, el conocimiento de hechos y la comprensin conceptual). Por su parte, Kersh y Evans (2005) describen un proceso de autoevaluacin de habilidades y competencias que fue utilizado para evaluar el aprendizaje de adultos y promover el aprendizaje posterior, no para certificar ni acreditar competencias Bentez (2006) diferencia la perspectiva gerencial de la curricular sobre las competencias. Desde el punto de vista curricular o educativo competencia es la aptitud para desempear idneamente un oficio u ocupacin (p.1) y el concepto se utiliza para certificar la competencia. Por lo tanto, la competencia se considera una variable discreta y binaria que solo puede tener dos valores: competente o no competente. Para proporcionar el juicio anterior se puede utilizar una variable continua que ubica el 100 como la competencia requerida pero proporciona cierto margen de error de modo que establece un punto de corte indicando que de 92 puntos en adelante la persona se considera competente. Desde el punto de vista gerencial, el desempeo adecuado de cada puesto requiere la aplicacin de cierto nmero de competencias, entendiendo stas como caractersticas personales subyacentes que soportan el desempeo superior (p. 2). Aunque dos o ms puestos compartan como requisito una misma competencia, no necesariamente en cada puesto se requiere un nivel de dominio del 100 por ciento. Por lo tanto, se establecen, generalmente, de 1 a 4 niveles de dominio que varan desde bsico hasta intermedio, avanzado y maestra. Posteriormente, este nivel se interpreta en base a lo requerido por el puesto en los niveles de por debajo de, a nivel de o por encima de las exigencias del cargo.

18

CONCLUSIONES Aunque la evaluacin de competencias se basa en el principio de la evidencia del desempeo, para el seguimiento de egresados con base en este enfoque se propone el uso de un instrumento de auto-reporte en el cual los egresados evalen, de acuerdo a su percepcin, el grado en el cual su institucin educativa les proporcion las competencias evaluadas. Para ello es posible retomar las definiciones utilizadas por Alles (2002 y 2003) y adaptarlas al esquema de autoreporte en donde stas sean calificadas con una escala tipo Likert, con el nfasis en la instruccin, de evaluar el grado en el cual su institucin educativa promovi el desarrollo de cada competencia, tal como fue indicado por Warn y Tranter (2001) Tabla 6. Propuesta
SEGUIMIENTO DE EGRESADOS (Nombre de la Universidad) Con el fin de determinar en que grado nuestros planes de estudio estn cumpliendo con su objetivo, te pedimos que indiques en qu grado contribuy tu universidad, a lo largo del estudio de tu carrera, al desarrollo de las siguientes competencias profesionales de acuerdo a la siguiente escala: A.- No me proporcionaron ninguna experiencia relacionada con el desarrollo de esta competencia B.- Me proporcionaron algunas experiencias aisladas relacionadas con el desarrollo de esta competencia C.-Me proporcionaron pocos experiencias, bien organizadas y supervisadas, relacionadas con el desarrollo de esta competencia D.- Me proporcionaron muchas experiencias, bien organizadas y supervisadas, relacionadas con el desarrollo de esta competencia COMPETENCIAS HABILIDAD ANALTICA Es la capacidad general que tiene una persona para realizar un anlisis lgico, la capacidad de identificar los problemas, reconocer la informacin significativa, buscar y coordinar los datos relevantes. A B C D

Para que sta evaluacin pueda ser comn a todos los planes y programas de estudio se recomienda considerar solo las competencias profesionales

19

genricas, es decir, las comunes a todas las profesiones como trabajo en equipo, anlisis, integracin, organizacin, etc., (en particular, a las indicadas en la filosofa institucional y en el perfil de egreso de cada universidad) sin entrar a las especficas de cada profesin (ya stas estn siendo evaluadas por otras instancias como el CENEVAL). Para la evaluacin de competencias genricas se puede elaborar un instrumento que contenga un mximo de veinte competencias de modo que se pueda responder en poco tiempo y que se pueda ajustar a un formato electrnico para ser contestada en el portal de la universidad. Los esquemas alternativos de entrevistas y evaluacin de evidencias resultan ms difciles de elaborar, implican entrenamiento a los evaluadores, son ms costosos y los beneficios no compensan todos estos costos. (Ver tabla 7) Entre las ventajas del esquema de autoreporte estn su viabilidad, sencillez, rapidez y menor costo econmico. : Adems, autores como Hollon y Bemis (1981) indican que la precisin de los autoreportes (entendida como el grado en que lo que se reporta concuerda con lo que realmente ha ocurrido) puede ser alta y confiable, sobre todo cuando se est enfocando la atencin en evaluar a la institucin educativa ( y no a s mismo). Tabla 7. Comparacin de ventajas y desventajas de las alternativas de evaluacin de competencias AUTOREPORTE ENTREVISTA EVALUACION DE EVIDENCIAS Ventajas: Evaluacin integral Basada en diversas evidencias Combina informacin de diversas fuentes: examen, entrevista, 20

Ventajas: Ventajas: Elaboracin Basada en un sencilla nmero limitado de evidencias Aplicacin fcil y rpida Evaluacin que considera Rapidez al calificar conocimientos, Bajo costo actitudes y valores Confiabilidad Se basa en pocos aceptable casos reales e

expedientes, portafolios, casos trabajados, casos simulados o hipotticos, etc. Desventajas: Desventajas: Desventajas: No es integral Solo evala Dependencia de la parcialmente disponibilidad del No se apega a la habilidades evaluado recoleccin de evidencias Necesidad de Alto costo definir criterios de Elaboracin calificacin complicada (definicin de estndares y elaboracin de tcnicas) Ocupa mas tiempo de evaluado y evaluadora Necesidad de sistematizar la aplicacin con manuales y entrenamiento) Necesidad de asegurar la confiabilidad en la calificacin Aunque se recomienda la primera alternativa (autoreporte) por ser la mas viable para aplicar con egresados que ya tengan tiempo de haber terminado sus estudios, siguen existiendo las dos opciones restantes con un nivel intermedio y alto de elaboracin (entrevista y evidencias) para cuando la universidad pueda disponer de los recursos y facilidad de contacto con los egresados. Para completar esta propuesta, se plantean una serie de preguntas que debern ser contestadas por cada IES: cul es el nivel de cercana al que se puede tener acceso en torno a sus egresados?, en qu momentos puede evaluar sus competencias?, cundo estn prximos a salir?, un ao despus?, cinco, diez o ms aos?, de qu manera se puede evaluar a los egresados?, cules seran

hipotticos

21

los beneficios de realizar una investigacin sobre los egresados basados en un modelo de competencias?, qu limitaciones tendra este tipo de abordaje? cul sera su unidad de estudio: un egresado, una empresa en particular o ambos?, podrn ser las instituciones certificadoras de los distintos campos o reas profesionales las que proporcionen informacin sobre sus egresados?, de que manera es posible retroalimentar la formacin en cada institucin educativa?. Las respuestas a estos cuestionamientos abren una serie de posibilidades respecto a la postura de cada institucin en torno a la formacin de sus estudiantes y del grado de cercana en el seguimiento de egresados. Incorporar el modelo de educacin por competencias profesionales o evaluar el desarrollo de las mismas durante su formacin profesional o aos despus del egreso, es una decisin particular y respetable de cada Institucin Educativa, sin embargo, en ste momento, es el modelo con el que se construyen los nuevos planes y programas de educacin bsica en Mxico (de preescolar a secundaria) y es el modelo de seleccin de personal de las empresas trasnacionales y de varios pases desarrollados (Inglaterra, Francia, Canad, Australia, Estados Unidos). Incorporar este esquema permitira compartir el lenguaje comn cada vez mas globalizado de formar y evaluar por competencias (demostrando, con acciones, que se tienen las habilidades, actitudes, conocimientos y valores para realizar determinada tarea), que se est formando en competencias profesionales y laborales, pero sobre todo en competencias para la vida: para saber, saber ser, saber hacer y saber convivir. Referencias Alles, M. (2002). Gestin por competencias: El diccionario. Buenos Aires: Granica. Alles, M. (2003). Elija al mejor. Como entrevistar por competencias. Buenos Aires: Granica. Benitez, J.(2006). Medicin, evaluacin y diagnstico de competencias. Accesado el 21 de febrero de 2006 en www.gestiopolis.com/canales5/rrhh/medivay. htmI Brown, F.G. (2000). Principios de la medicin en Psicologa y educacin. Primera edicin 9. Reimpresin. Mxico: Manual Moderno, 1976. 22

Centro Nacional de Evaluacin para la Educacin Superior, A.C. (1999). Gua del Examen General para el egreso de la licenciatura en Psicologa, Mxico: CENEVAL Colardyn, D. (2002). La evaluacin basada en competencias. Documento conceptual. Accesado el 21 de febrero de 2006 en www.ons.org/udse/ secondary/documentos/1-Trad%20ASSESSMENT20%base-1.DOC CONOCER Y SAGAR. (1999). La competencia laboral y la inocuidad alimentaria. Mxico: Nacional Financiera, SNC, Fiduciaria del fideicomiso de los Sistemas Normalizado de Competencia laboral y de Certificacin de competencia laboral. Fletcher, S. (2000). Diseo de Capacitacin basada en Competencias laborales. Mxico; Panorama. Gaide, S. (2004). Are technical skills core competencies? How do we measure them?. Distance education Report, november 15. Gonczi, A. (1994). Competency based assessment in the professions in Australia. Assessment in Education: Principles, Policy and Practice, 1(1), pp. 27-41 Harrington, T.(1995). Assessment of abilities (ERIC Digest). Greensboro, NC: ERIC Clearinghouse on Counseling and Student Services [ED 389960] Herverly, M y Fitt, D. X. (1994) Classroom assessment of student competencies. Assessment and Evaluation on higher education, 19(3). pp.215-224. Hollon, S. D. y Bemis, K. M. (1981 ) Self-report and the assessment of cognitive functions. En: M. Hersen y A.S. Bellack. Behavioral Assessment. A practical handbook.(2nd Edition). New York: Pergamon Press. Kersch, N y Evans, K. (2005). Self evaluation of tacit skills and competences of adult learning. European Education, 37(2), pp. 87-98. Kjaernsli , M y Lie, S. (2004). PISA and Scientific Literacy: similarities and differences between the Nordic countries. Scandinavian Journal of Educational Research, 48(4), pp. 271-286. McClelland, D. (1998). Identifying competencies with behavioral-event interview. Psychological science, 9(5), pp. 331-339 Medel, J. O. y Flores, C. A. (2002). Acuerdo 286: La experiencia del CENEVAL en la acreditacin de competencias profesionales. Memorias del Quinto Foro de Evaluacin Educativa. Norman, I. J., Watson, R. Murrells, T, Calman, L. & Redfern, S. (2002). The validity and reliability of methods to assess the competence to practise of pre-registration nursing and midwifery students. International Journal of Nursing Studies, 39(2), 133-145. Samperio, L. M. (2002). Reflexiones sobre la evaluacin de las competencias laborales. Memorias del Quinto Foro de Evaluacin Educativa

23

SENCE (2003). Enfoque de Capacitacin por competencias, Innovacin y Desarrollo. Subdepartamento de Estudios. Apuntes Tcnicos. Recuperado el 2 de enero de 2006 de http://www.sence.cl/CAPACITxCOMPETENCIA/ ApunteTEcnicoCapacitaciOnbasadAenCompetencias2.pdf SEP (2001). Programa Nacional de Educacin 2001-2006. D. F. Mxico: Secretaria de Educacin Pblica. Trull, T. T. y Phares, E. J. (2003). Psicologa clnica. Conceptos, mtodos y aspectos prcticos de la profesin. 5. Edicin. Mxico: Thompson. Vargas, F. (2001). La evaluacin basada en competencias. Una breve gua ilustrada con un caso de aplicacin prctica. Documento CINTERFOR Warn, J. y Tranter, P. (2001). Measuring Quality in Higher Education: a competency approach. Quality in Higher Education, 7(3). pp. 191Whitear, G. (1997). Para entender la evaluacin. Competencia laboral. Normalizacin, certificacin, educacin y capacitacin. Antologa de lecturas, tomo 1. Mxico: Conocer y Alambra Mexicana.

24