Rbricas de evaluacin de competencias

1
I NTRODUCCIN Y FINALIDAD

Desde hace dos dcadas, aproximadamente, el incremento del nmero de artculos o

estudios sobre el uso de las rbricas de evaluacin en los mbitos de la Educacin y la
Enseanza, en pases de lengua castellana, es muy significativo, presentando esta
metodologa como una buena alternativa al empleo de otros instrumentos ms
convencionales, del tipo cuestionarios, exmenes escritos, etc.

Los primeros datos sobre la validez de las rbricas, bajo esta denominacin o cualquier
otra, como matrices de evaluacin, escalas de anclajes o similares, se remontan a la
dcada de 1960 y, cuando aquello, las rbricas se destinaban, preferentemente, a la
evaluacin del desempeo de tareas laborales.

No obstante, actualmente subsisten variedades tan diferentes de rbricas de evaluacin,

que sera conveniente dar a conocer las caractersticas definitorias de cada una de ellas
para poder juzgar acerca de su validez.

El hecho de agrupar criterios de evaluacin en un formato semejante al de

una rbrica no avala, por s solo, la validez de este instrumento.

La experiencia, durante ms de 20 aos, en el empleo satisfactorio de rbricas de

evaluacin, tanto para la estimacin de los niveles de aptitudes especficas, como del
desempeo pasado mediante entrevistas conductuales estructuradas, ha suscitado de
nuevo el inters por la difusin del mtodo.

Concretamente, la finalidad del presente anlisis es describir con mayor profusin que
en alguna otra ocasin anterior, las caractersticas de la validez de las rbricas para la
evaluacin de competencias, a partir de la teora general del desempeo de tareas.

A continuacin, tras un breve resumen de esta teora del desempeo competente, que
sirva de contexto para fundamentar el uso de las rbricas de evaluacin, se comentarn
los aspectos ms destacados de stas y la metodologa de las escalas de observacin de
conductas y de anclajes conductuales. Por ltimo, se propondrn algunos modelos para
el anlisis de fiabilidad de las rbricas y se dar cuenta de una variedad de sesgos e
inexactitudes en el diseo de rbricas, cuya prevencin es el mejor modo de asegurar su
validez.

Ni que decir tiene que todos los modelos de docencia, cuyo objetivo general sea el
desarrollo de competencias, como el aprendizaje por proyectos, el aprendizaje basado
en problemas (Marina, Pellicer y Manso, 2015), el aprendizaje por tareas, etc. deben
necesariamente de utilizar rbricas de evaluacin para operativizar los distintos criterios
y graduar los logros obtenidos por cada aprendiz. De todos modos, el empleo de
rbricas no necesariamente tiene por qu sustituir ningn mtodo vlido de evaluacin
de rasgos, conocimientos o destrezas, aunque ciertamente ste sea uno de los mtodos
ms adecuados para la evaluacin del desempeo de tareas.

Difundir el procedimiento y las condiciones de este tipo de rbricas de

evaluacin del desempeo competente es, por tanto, el reto principal en
esta ocasin.

2
D ESEMPEO Y COMPETENCIA

El marco conceptual que ofrece uno de los soportes ms firmes para el empleo de
rbricas de evaluacin son las teoras del desempeo y de las competencias. Estas
teoras, que devienen del mundo del trabajo, son, con todo, de total aplicacin a la hora
de explicar los principales fenmenos del aprendizaje.

Seguidamente, se realizar una brevsima sntesis de los elementos claves de estas

teoras, en apoyo, una vez ms, al uso del paradigma de las competencias tambin con
fines didcticos, por entender que es una de las maneras ms sencillas de aportar el
debido fundamento a las rbricas de evaluacin de los aprendizajes:

1
Concepto de desempeo

Viswesvaran (2001) acot la nocin del desempeo de tareas en torno a la ejecucin

de conductas observables y relevantes, a juicio de la entidad que las hubiere
programado, para la realizacin de una labor, en todo aquello que queda bajo el control
del sujeto que la realiza. De esta manera el desempeo es uno de los integrantes
necesarios del rendimiento, aunque ste depende, adems, de otros factores ajenos a la
accin individual.

Todas las conductas relevantes para el desempeo competente pueden clasificarse en

conductas de tarea y conductas contextuales (Motowidlo, Borman y Schmit (1997). Las
conductas de tarea son aquellas que tienen una finalidad explcita, relacionada con las
metas previstas, mientras que las conductas contextuales tienen un carcter
complementario de soporte y mantenimiento de las buenas relaciones sociales dentro
del grupo. A estas dos categoras hay que aadir una tercera, de conductas relevantes,
pero negativas, para la organizacin, como son las conductas contraproductivas (Sackett
y DeVore, 2001).

Entre las variables del desempeo, sintetizadas por Viswesvaran (2001), todas ellas de
aplicacin tambin para evaluar el desempeo de las tareas de aprendizaje, podramos
citar: la productividad y la calidad de los productos terminados, la experiencia, la
cantidad de esfuerzo para obtener un buen producto, la competencia interpersonal, la
competencia comunicativa, la competencia de coordinacin, la aceptacin de reglas o el
liderazgo.

2
Determinantes directos e indirectos del desempeo

De cualquier accin son predicables unos antecedentes y tambin unas consecuencias,

entre ellas, los resultados. Pues bien, en lo que se refiere al desempeo de tareas,
Schmidt y Hunter (1992) confirman la relacin causal entre la aptitud y el conocimiento
del trabajo con la habilidad para el desempeo de una tarea, tesis que Hunter ya haba
formulado algunos aos antes. A su vez, Borman y sus colaboradores (1991) ordenan la
cadena de antecedentes y determinantes del desempeo, empezando por la inteligencia,
el conocimiento, la habilidad para el desempeo y las propias conductas del desempeo.
Algo despus, todos estos antecedentes personales fueron clasificados en 2 categoras,
los determinantes directos del desempeo y los determinantes indirectos, que actan
sobre los anteriores, mientras que aquellos inciden inmediatamente sobre la ejecucin
de las tareas (Campbell, Gasser y Oswald, 1996). Son determinantes directos, los
conocimientos, las habilidades o destrezas y las actitudes, a la par que los rasgos
intelectuales, los de personalidad, los intereses y otros factores motivacionales se
consideran como determinantes indirectos.

3
Criterios del desempeo

Dentro de la teora del desempeo de tareas otro de los elementos ms importantes es

el criterio de bondad de la ejecucin. Un criterio es una norma, un patrn o una regla
que permite la comparacin o medida de cualquier objeto o fenmeno, con el fin de
expresar un juicio de valor, argumentado y vlido, sobre ellos. Gorriti y Lpez Basterra
(2010) distinguen entre leyes, estndares e indicadores. Un criterio de desempeo,
formulado mediante una ley, permite reconocer si una tarea est mal o bien realizada,
mediante un nico enunciado, sin ninguna otra precisin. Por su parte, los estndares
concretan mucho ms el enunciado de la ley, aludiendo a la comparacin entre la
ejecucin de las operaciones de la tarea y las condiciones establecidas para una buena
realizacin de la misma. En tercer lugar, los indicadores son seales del cumplimiento
de la ley y de los estndares correspondientes, as como puntualizaciones detalladas
sobre las consecuencias positivas o negativas del desempeo de cada tarea.
Las rbricas de evaluacin, como se podr observar en una seccin posterior, son un
modo de especificar y organizar los criterios del desempeo de tareas.

4
Las competencias

Como consecuencia del planteamiento anterior, cabe identificar el desempeo

competente con uno de los significados concretos del trmino de competencia. En este
sentido, una competencia es un estilo de trabajo eficaz, conforme a los criterios y
especificaciones incluidas en una norma, donde se determinan las caractersticas
definitorias de la calidad y el valor de los productos o resultados del trabajo (Basoredo,
2013).

Las competencias, que como ya se ha dicho en otras ocasiones, trascienden los objetivos
de conocimiento, destreza o actitud (Basoredo, 2016) y deben entenderse no como el
mejor desempeo alcanzado en las condiciones ms favorables, sino como un
desempeo tpico y habitual, en circunstancias ordinarias (Klehe y Anderson, 2007), y,
por tanto, el empleo de rbricas de evaluacin permite la constatacin del nivel
alcanzado, en ausencia de excepcionalidad.

Rbricas de evaluacin de competencias

3
E LEMENTOS CONCEPTUALES Y DEL CONTENIDO

El inters por una mejora cualitativa de la metodologa de evaluacin de los aprendizajes

en los distintos mbitos de la Enseanza es una variable de presencia constante desde
hace ms de 20 aos, que ha reforzado, entre otras estrategias evaluadoras, el uso y
generalizacin de las rbricas. Por ejemplo, Herman, Aschbacher y Winters (1992)
consideran como trminos sinnimos evaluacin autntica, evaluacin alternativa y
evaluacin basada en el desempeo, contraponindolas a la evaluacin convencional
mediante cuestionarios o exmenes.

Los 2 principales atributos de cualquier mtodo o instrumento de evaluacin son la

fiabilidad y validez de los mismos, en las distintas acepciones que constan desde hace
varias dcadas (Joint Comittee on Standars for Educational Evaluation, 1988, 1994).
Proponer herramientas de evaluacin fiables y vlidas es un desafo complejo para
cualquier tipo de tcnica evaluadora, del que tampoco estn exentas las rbricas.
Seguidamente, con ayuda de diferentes estudios, artculos y guas de uso, se presentarn,
de modo resumido, en qu consiste una rbrica de evaluacin educativa, sus distintas
aplicaciones, su estructura, ventajas e inconvenientes de las rbricas, y el proceso para su
diseo.

Las rbricas de evaluacin educativa son guas precisas para evaluar los aprendizajes y
productos del mismo, que utilizan tablas para desglosar los distintos niveles del
desempeo de las tareas de los/as estudiantes, en un aspecto determinado, con criterios
especficos preestablecidos sobre el rendimiento (Gatica-Lara y Uribarren, 2013; Mertler,
2001).

En otras palabras, se trata de herramientas de calificacin cualitativa del trabajo del/a

aprendiz o de su desempeo autntico, que incluyen criterios y dimensiones importantes,
as como normas para la consecucin de los logros indicados en los referidos criterios
(Jonsson y Svingby, 2007).

Atendiendo al formato, las rbricas de evaluacin son tablas de doble entrada en las cuales
la primera columna contiene las variables objeto de medida, la primera fila los distintos
valores y las siguientes filas los detalles de los criterios e indicadores correspondientes a
cada variable.

Las rbricas de evaluacin son una de las herramientas alternativas a las tcnicas
convencionales de cuestionario o exmenes, tal y como reconocen algunos autores
(Alsina, 2013; Oakleaf, 2009), en el contexto de una evaluacin autntica o basada en el
desempeo, tal y como se ha comentado anteriormente (Herman, Aschbacher y Winters,
1992).

Concretamente, las escalas de Likert, Thurstone o Guttman pueden considerarse, en cierto

sentido, como precursoras de las actuales rbricas de evaluacin (Alsina, 2013). El
elemento comn de todas ellas es ofrecer explicaciones claras y discriminantes de cada
grado o puntuacin de una escala numrica o de atributos.

Esto es, qu significa un 7 sobre 10?, cmo se justifica la diferencia entre

un insuficiente y un suficiente?, o por qu razones se ha otorgado una
calificacin final de 6 puntos en un programa de aprendizaje a un
determinado aprendiz?

Los dos tipos de rbricas de evaluacin, acerca de cuyas caractersticas hay un notable
consenso (Moskal, 2000; Mertler, 2001; Jonsson y Svingby, 2007; Lpez Carrasco, 2007;
Gatica-Lara y Uribarren; 2013), son las holsticas y las analticas.

Las rbricas holsticas nicamente utilizan una variable global para evaluar el
desempeo, aunque se especifiquen convenientemente cada uno de los valores de la
escala, mientras que las analticas diversifican los contenidos de la evaluacin en varias
dimensiones, descritas rigurosamente, as como las especificaciones de los grados de la
escala correspondientes. Si, adems, se acompaan ejemplos de los detalles de los
distintos criterios, las rbricas analticas son preferibles a las holsticas, tal y como
reconocen Jonsson y Svingby (2007).

En relacin con la justificacin de las rbricas, Alsina (2013) las admite en cualquier
nivel de enseanza, con el fin de poder compartir entre las personas interesadas los
criterios de evaluacin; Green y Bowser (2006) extienden su empleo tanto a la evaluacin
formativa como a la sumativa y Malini y Andrade (2010), adems, para cualquier tipo de
disciplinas, particularmente, en la Enseanza Superior. Las razones ms profusamente
aludidas para su empleo (Moskal, 2000; Jonsson y Svingby, 2007; Oakleaf, 2009; Gatica-
Lara y Uribarren, 2013) son su capacidad de:

Clarificar los objetivos de aprendizaje.

Facilitar la autoevaluacin o la evaluacin por pares.
Guiar el feedback o reconocimiento a los aprendices.
Promocionar o inducir, consecuentemente, con mayor facilidad, el aprendizaje.
Respecto a la consistencia y seguridad de las rbricas, se constata que stas poseen una
fiabilidad inferior a otras herramientas psicomtricas (Jonsson y Svingby, 2007). Tierney
y Simon (2004) subrayan, entre los factores de fiabilidad y validez de las rbricas, los
propios criterios de desempeo, la diferenciacin precisa entre los distintos niveles o
grados de la escala de evaluacin, as como la calidad de los descriptores de los mismos.
El mayor problema sobre la fiabilidad y la validez de las rbricas es, a veces, su dificultad
de comprensin (Andrade, 2000), o la ambigedad de su terminologa.

Estas deficiencias suelen achacarse a la falta de estandarizacin de los calificativos y los

atributos utilizados en ellas (Tierney y Simon, 2004), o a una excesiva especificidad
versus demasiada generalidad de sus categoras y descriptores (Popham, 1997). Adems,
el excesivo tiempo de dedicacin para su diseo y validacin es otra desventaja, si bien
esta crtica sera aceptable slo a corto plazo, porque la eficiencia de una rbrica de
probada fiabilidad y validez es muy alta, aunque el perodo de construccin y ratificacin
pueda ser dilatado.

Son pocos los estudios que explican el proceso de diseo de una rbrica de evaluacin;
por tanto, tal vez fuera conveniente sealar el sugerido por Mertler (2001), que apunta
una serie de pasos recomendables para cualquier diseo de los criterios de evaluacin de
la herramienta, a saber:

Reexaminar los objetivos de aprendizaje para convertirlos en tareas.

Identificar atributos especficos observables en el proceso de aprendizaje o en los
productos del desempeo.

Describir mediante brainstorming las caractersticas de cada atributo.

En las rbricas holsticas, describir los grados excelente e insuficiente, incorporando
las descripciones de los atributos, en cada caso.

En las rbricas analticas, completar las descripciones de los conceptos y el resto de

los niveles.

Revisar las descripciones de la rbrica, cuando sea conveniente.

4
E SCALAS BASADAS EN INFORMACIN SOBRE CONDUCTAS

Los resultados de la evaluacin en el mbito de la Enseanza, con carcter general, y

por analoga con las medidas de magnitudes fsicas, se solan expresar mediante una
escala lineal numrica de 0 a 10 puntos, en principio, sin ningn otro tipo de
explicaciones, y, ms tarde, dividiendo esta escala en varios intervalos, denominados por
medio de atributos como: muy deficiente, insuficiente, suspenso, aprobado, suficiente,
bien, notable o sobresaliente.

El correlato de este tipo de escalas son las escalas grficas de evaluacin, que admiten
diversos tipos. A partir de stas se desarrollaron las ya citadas escalas de Likert, Thurstone
o Guttman, con el fin de proponer algunos criterios ms concretos para definir las
categoras. Las escalas grficas de evaluacin permiten a la persona que evala una mayor
libertad para cuantificar sus juicios y realizar una discriminacin muy precisa entre los
distintos valores atribuidos (Landy y Farr, 1980).

Sin embargo, el concepto de competencia, cual estilo de trabajo eficaz, de conformidad

con los criterios establecidos en una norma de calidad del desempeo (Basoredo, 2013),
obliga a especificar hasta donde sea posible estos criterios dentro de las propias
herramientas de evaluacin, independientemente de cul sea su formato, por lo que las
escalas grficas lineales se quedan cortas (Borman, 1986) por su excesiva generalidad
para la evaluacin de competencias.

Adems, despus de haber identificado la competencia con el desempeo eficaz de tareas,

estos criterios han de versar necesariamente sobre los procesos de la ejecucin de las
mismas o sus productos, y as queda claramente delimitado el dominio de las rbricas de
evaluacin de competencias. Criterios basados en expresiones numricas o en
calificativos sin referencias expresas a los estndares de procedimiento o producto,
aunque describan diferencias de grado o nivel, podrn utilizarse de forma
complementaria, pero no son los elementos primordiales de la formulacin de las rbricas
de evaluacin de competencias, porque eluden la especificacin de los comportamientos
o de los resultados de la ejecucin de las tareas.

Por ello, como antecedentes genuinos de las rbricas de evaluacin de competencias, a

continuacin, se explicarn las escalas de informacin referida a conductas. Existen
infinidad de estudios de investigacin sobre los diversos tipos de escalas conductuales y
su fiabilidad y validez para la evaluacin del desempeo. Entre todas stas, por tratarse
de aquellas que tienen una aplicacin ms sencilla para el diseo de rbricas de
evaluacin, se han elegido las Escalas de Anclajes Conductuales (BARS), (Smith y
Kendall, 1963), y las Escalas de Observacin Conductual (BOS), (Latham y Wesley,
1977).

Escalas de anclajes conductuales (BARS)

El formato de una BARS es similar al de una escala grfica de evaluacin en posicin
vertical, pero donde se especifican alguno de los valores de la escala mediante ejemplos
que definen operativamente las caractersticas de la dimensin evaluada (Smith y
Kendall, 1963; Landy y Farr, 1980; Debnath, Lee y Tandon, 2015).

El esmerado procedimiento de diseo de una BARS parte de una primera eleccin de las
dimensiones a evaluar y su definicin, a continuacin se formulan especificaciones para
un desempeo superior, medio e insuficiente de la tarea, se aportan ejemplos de estas tres
cualidades, y diversos jueces, hasta en tres ocasiones independientes, analizan la
asociacin realizada entre cada ejemplo y la calificacin que le corresponde, eliminando
unos u otras en el caso de falta de consistencia (Smith y Kendall, 1963). Estos ejemplos
se van recopilando a lo largo del tiempo con ayuda de la tcnica de incidentes crticos
(Flanagan, 1954).

El resultado de un procedimiento como ste es una excelente discriminacin de los

ejemplos y un elevado nivel de fiabilidad (Smith y Kendall, 1963), porque se basan en
tareas para las que acotan y especifican su desempeo, gradundolo mediante
comportamientos observables para los distintos niveles de efectividad de la ejecucin
(Debnath, Lee y Tandon, 2015).

Entre sus principales limitaciones hay que citar: Un alto coste en tiempos y medios, la
dificultad de acuerdo entre los jueces respecto a los incidentes relacionados con el grado
medio del desempeo (Debnath, Lee y Tandon, 2015) y ciertos tipos de sesgos al poner
la atencin sobre conductas que pudieran no ser tan significativas o condicionar la
evaluacin por el ajuste exclusivo a las descripciones de los anclajes (Murphy y Constans,
1987).

Escalas de observacin conductual (BOS)

El diseo de una BOS parte de la recogida de una multiplicidad de incidentes crticos para
la identificacin de las variables de tarea objeto de evaluacin. Posteriormente estos
incidentes se clasifican, por la analoga de su contenido, obtenindose un listado de
enunciados de desempeo, con una escala de 1 a 6 puntos para comprobar el grado de
frecuencia en la ejecucin de la tarea. Seguidamente, con ayuda de las tcnicas
estadsticas de anlisis factorial, se sintetizan las dimensiones concretas para la
evaluacin y se comprueba la validez de cada enunciado, por su consistencia en la
asignacin a una misma dimensin por parte de diversos/as evaluadores/as y su
importancia para las dimensiones a evaluar (Latham y Wesley, 1977; Tziner, Kopelman
y Livneh, 1993).

La fiabilidad y validez de las BOS es moderadamente alta, similar a la de las BARS, con
las que se ha comparado en diversas ocasiones, porque en ambos tipos de escalas se dan
ejemplos concretos de las mejores y peores conductas del desempeo de las tareas, a
criterio de personas expertas en el dominio que se trate (Latham y Wesley, 1977).
Asimismo, desde la perspectiva de los procesos de aprendizaje, las BOS minimizan las
barreras para entenderse y, consecuentemente, reducen la ambigedad de los procesos de
tarea, lo que mejora la actitud y el compromiso con el trabajo (Tziner y Kopelman, 2002).
Dicho de otro modo, las BOS clarifican los objetivos de aprendizaje, aumentan la
satisfaccin con el proceso de evaluacin, incrementan el grado de aceptacin de las
tareas y mejoran el rendimiento en las evaluaciones posteriores (Tziner, Kopelman y
Livneh, 1993).

Debido a la gran similitud entre los mtodos de ambos tipos de escalas, a las BOS se les
atribuyen idnticas desventajas que a las BARS, altos costes de tiempos y medios,
dificultad de discriminacin del desempeo de grado medio y peligro de ciertos sesgos
por diversas razones, los cuales pudieran llegar a distorsionar la competencia de los/as
evaluadores/as.

En cualquier caso, un sistema de evaluacin que proporciona informacin sobre las

conductas del desempeo es siempre ms creble, sobre todo en casos de litigio, que
cualquier escala grfica lineal (Murphy y Constans, 1987).

Rbricas de evaluacin de competencias

5
D ISTINTOS GRADOS DE EVALUACIN DE UNA RBRICA

El uso de cualquier escala de evaluacin en Enseanza supone la eleccin discrecional

respecto al nmero de categoras o grados en los que se divide. Cuando solamente se
consideran 2 rangos, se habla de suspenso de 0 a 4 puntos y aprobado, entre 5 y 10
puntos, ambos inclusive. Tal vez el nmero de intervalos ms extendido sea de 5 o 6,
dos grados para el caso de rendimiento insuficiente y tres o cuatro para expresar un
rendimiento suficiente, bueno o muy bueno. Adems, si se operativiza el procedimiento
mediante una tabla de especificaciones de los contenidos, suelen expresarse los
resultados en trminos de aproximaciones decimales, lo que da una sensacin de mayor
objetividad y exactitud en la medida, de dudosa validez prctica, tratndose de la
evaluacin de competencias.

Como forma de estandarizar las rbricas de evaluacin de competencias, seguidamente

se ofrecen argumentos a favor de la eleccin de 4 grados a partir de un estadio inicial de
ausencia prcticamente total de competencia o imposibilidad de evaluacin de la misma,
que no necesita ningn tipo de ejemplificacin.

Las dos vas o fuentes argumentales principales, utilizadas en esta ocasin para explicar
los distintos grados progresivos del aprendizaje de una competencia, son el proceso de
adquisicin de cualquier destreza (Anderson, 1982; Kanfer y Ackerman, 1989;
VanLehn, 1996) y las bases generales de la adquisicin del conocimiento experto
(Ericsson y Charness, 1994; Ericsson, 2005; Dreyfus y Dreyfus, 1986; Berliner, 1994).

Una destreza, sencillamente, no es ms que un procedimiento estandarizado, por medio

de sucesivos pasos, para ejecutar una tarea. Para aprender cualquier destreza hay que
tener algunos conocimientos sobre el tema en primer lugar, saber cmo hacer la tarea,
despus, y, por ltimo, saber ejecutarla realmente.

Anderson (1982) se refiri a la fase cognitiva o declarativa, la fase asociativa o de

compilacin del conocimiento y la fase procedimental de ejecucin autnoma de la
tarea. VanLehn (1996) atribuye al segundo momento el planeamiento y la solucin del
problema, mientras que corresponde al tercero el progreso o mejora del grado de
precisin y aumento de la velocidad de la ejecucin de la tarea.

Cuando el/a aprendiz reconoce la dificultad de realizar exitosamente la tarea, retrocede

a cualquier momento de una de las fases anteriores, de modo que un buen indicador de
la consolidacin de la destreza es la disminucin de los incidentes de retorno (Kanfer y
Ackerman, 1989).

Un anlisis perspicaz de los incidentes crticos del desempeo de cualquier tarea, a la

luz de este esquema, permite estimar el grado de competencia que ejemplifican.

Cuando, por otra parte, se reflexiona sobre las caractersticas distintivas del
comportamiento de personas con escasa experiencia sobre un tema respecto al de
personas expertas, igualmente es posible percibir diferencias de grado en el aprendizaje
de competencias.

La experticia es el grado superior de la competencia. Para ser una persona competente

no es necesario llegar a tanto, pero todas las personas expertas lo son. Las personas
expertas prcticamente no cometen errores, emplean mucho menos tiempo para ejecutar
muy bien cualquier tarea del campo que dominan, ponen su nfasis en atender los
aspectos ms importantes de sta y atienden a toda la problemtica relacionada con ella.

Por el contrario, las personas noveles se centran demasiado en los atributos ms

superficiales, elaboran menos sus juicios, tienen muchos ms errores, trabajan con
mayor lentitud y siguen el procedimiento de forma estereotipada. El desarrollo del
conocimiento experto es el resultado de largos perodos de prctica deliberada, esto es,
de un aprendizaje supervisado y del reconocimiento y motivacin de parte de quien
realiza la supervisin (Ericsson, 2005).

El grado de experto en un campo se logra cuando se dominan todos los

aspectos relevantes del conocimiento y todas las destrezas que requiere el
referido campo (Ericsson y Charness, 1994).

Dreyfus y Dreyfus (1986) lograron estandarizar los resultados de las investigaciones

sobre el conocimiento experto en una escala de cinco grados o niveles, a) principiante,
b) principiante avanzado, c) competente, d) perito y e) experto. Berliner (1994) adapta
la escala para evaluar la competencia docente y profundiza en la descripcin de cada
uno de ellos.

Las principales caractersticas de estos 5 niveles son las siguientes:

1
Nivel de principiante

Acta siguiendo reglas estereotipadas, sin atender a las condiciones del contexto. Se
suele mantener a la expectativa, porque no sabe qu hacer. Manifiesta un grado de
autonoma muy reducido, que le induce a realizar constantes demandas. Trabaja por
ensayo y error, con abundantes fallos, de modo que nicamente puede hacerse cargo de
tareas muy fciles.

2
Nivel de principiante avanzado

Muestra ya alguna destreza, de las ms fciles, pero su saber an es fragmentario y

tiene dificultad para encontrar la informacin que necesita. Desempea las tareas con
ms autonoma, pero an necesita bastante supervisin. Todava no es capaz de
realizar la mayora de las tareas.

3
Nivel competente

Ya es capaz de distinguir los aspectos importantes para solucionar un problema. Sus

conocimientos estn bien contextualizados. Domina las destrezas fundamentales para
realizar las tareas. Sabe interpretar las reglas principales, por lo que trabaja con
escasos errores, de manera autnoma, y, en consecuencia, la supervisin constante del
proceso ya no es necesaria.

4
Nivel de perito o competente avanzado

Sus conocimientos son abundantes, estn bien contextualizados y son fcilmente

aplicables. Domina todas las destrezas, mayormente en un alto grado. Trabaja con
bastante rapidez y con mucha soltura, sin apenas errores. Acepta riesgos
personalmente y ya puede supervisar el trabajo de otras personas.

5
Nivel de experto

Trabaja con total automatizacin del conocimiento. Domina un volumen de

informacin muy superior, incluso al que corresponde al nivel de perito. Manifiesta
infinidad de recursos para apropiarse del conocimiento y para realizar las tareas.
Realiza sus tareas con rapidez y absoluta efectividad, aunque tal vez le cueste explicar
sus procedimientos de modo pormenorizado. Por tanto, est muy capacitado/a para
impartir docencia sobre sus reas de conocimiento y entrenamiento de las destrezas
asociadas a tales reas.

6
T AREAS DE APRENDIZAJE, CRITERIOS Y OBJETIVOS

El empleo de rbricas de evaluacin para el aprendizaje de competencias requiere,

obviamente, de una programacin por competencias, al menos en el nivel micro de
enseanza individualizada o del grupo de aula.

Utilizar rbricas para la evaluacin de objetivos de aprendizaje de conocimientos es

posible, pero resulta menos fiable que una tabla de especificacin de contenidos a la que
se asocia una escala de puntuacin proporcional.

Por tanto, cuando se programa y se desarrolla el aprendizaje de competencias, siguiendo

varias de las estrategias propias de este paradigma, como, por ejemplo, por problemas,
por proyectos, desarrollo de destrezas, etc., es cuando es recomendable el uso de
rbricas de evaluacin de competencias.
Ciertamente, la planificacin general vigente, el plan de centro u otros programas en
los que se han de incardinar las programaciones habituales suelen emplear el sistema de
objetivos y los contenidos temticos, que aparecen reflejados, incluso, en los manuales
y libros de texto correspondientes a cada curso, de tal manera que estas estructuras
pudieran suponer una limitacin aparentemente insalvable para una enseanza por
competencias.

No obstante, tales obstculos son fcilmente eludibles, adoptando un planeamiento

circular, en el sentido de las agujas del reloj, esto es, de los objetivos generales y
contenidos temticos establecidos a las tareas concretas de aprendizaje, de las que
derivan, a continuacin, los criterios del desempeo de las mismas y desde stos,
posteriormente, son deducibles los objetivos especficos, relacionados con los objetivos
de los planes y programas preceptivos, cerrando as el crculo de la planificacin.

1
Las tareas de aprendizaje

Los elementos de atencin principal del programa de desarrollo de competencias son

las tareas de aprendizaje, para cuya evaluacin recomendamos el tipo de rbricas sobre
el que versa este artculo.

Por tareas de aprendizaje no han de entenderse los ejercicios o actividades acadmicas

convencionales descontextualizadas y absolutamente carentes de inters para una buena
parte del alumnado, aunque algunos de stos hayan de considerarse como operaciones
ineludibles en determinadas tareas o proyectos. Ms bien se trata de tareas amplias,
globales, asimilables a los quehaceres reales de cualquier situacin vital, anlogas a las
que se consideraban en sistemas didcticos como el de los centros de inters de Decroly,
las unidades didcticas del Plan Morrison, los complejos soviticos o el trabajo en las
escuelas freinetianas (Titone, 1979).

Una secuencia de programacin de las sesiones de enseanza para el desarrollo de

competencias, segn el modelo de los 4 componentes (Van Merrinboer y Kirschner,
2007), es como sigue: (1) descripcin de las tareas de aprendizaje; (2) ordenacin de
todas las tareas por orden de complejidad; (3) formulacin de los objetivos a partir de
los criterios de bondad del desempeo de cada tarea; (4) especificacin de la
informacin de apoyo o marco conceptual de referencia que incluye los conocimientos
declarativos necesarios para realizar exitosamente las tareas; (5) relacin de las
estrategias cognitivas como ejemplos, explicacin de los procesos, etc.; (6)
representacin de los contenidos por medio de modelos mentales que faciliten la
compilacin del conocimiento y la ordenacin del mismo mediante heursticos tiles
para la bsqueda de soluciones en el caso de las tareas no recurrentes; (7) disposicin de
la informacin procedimental, con sus correspondientes (8) reglas cognitivas de
aplicacin, as como (9) los conocimientos o las destrezas previas que se requieren para
el uso eficaz de toda la informacin. Finalmente, las tareas ms difciles pueden exigir
(10) la prctica adicional o el entrenamiento de algunas operaciones parciales, con
anterioridad a la realizacin definitiva de las mismas, al objeto de no poner en riesgo el
proceso de desempeo.

Este es uno de los modelos didcticos ms consistentes para la utilizacin de las

rbricas de evaluacin de competencia, cuyo diseo procede en paralelo con el
desarrollo de la secuencia anteriormente descrita.

2
Tipos de criterios propios de las rbricas

En una seccin anterior se haca referencia a tres tipos de formulacin de los criterios
de evaluacin del desempeo, leyes, estndares o condiciones e indicadores (Gorriti y
Lpez Basterra, 2010). Cuando se trata de la evaluacin del desempeo de tareas
laborales esta clasificacin es suficiente, porque el objeto de la evaluacin suele
centrarse ms en el producto que en el propio proceso.

Sin embargo, la evaluacin de cualquier aprendizaje en contextos de enseanza, puesto

que requiere atender igualmente al proceso, a los tres tipos de criterios referidos cabe
aadir algn que otro criterio expreso sobre los prerrequisitos, tanto de conocimientos
como de destreza o actitud, determinantes de la bondad de ejecucin de las tareas.

En otras palabras, el diseo de una rbrica de evaluacin de competencia consta de una

definicin detallada de la tarea y de sus operaciones o dimensiones correspondientes y
de cada uno de niveles o grados de desarrollo, anteriormente referidos, cuya
configuracin no son ms que conjuntos de enunciados que atienden a cualquier tipo de
criterios de evaluacin, leyes, prerrequisitos, estndares de proceso o producto, e
indicadores. Si bien, en una rbrica, la proporcin de cada uno de estos tipos no se ha
determinado an, lo cierto es que el menor porcentaje es el relativo a los criterios de
prerrequisito, incluidos mayormente en los dos primeros grados de las escalas de
evaluacin.

3
Objetivos especficos de aprendizaje

Una vez ms hay que afirmar que toda accin didctica soportada por el paradigma de
las competencias no puede prescindir jams de los objetivos de aprendizaje. Este
planteamiento lo que realmente hace es considerar los objetivos de aprendizaje desde la
perspectiva de los resultados, en cuyo caso, adems de expresar metas concretas a
conseguir, los objetivos especficos se convierten en puntos de referencia o criterios de
evaluacin.

No se pone el acento en los objetivos como organizadores del programa de enseanza,

ya que son las tareas el centro de atencin de la programacin (Van Merrinboer y
Kirschner, 2007), pero, y tal como se ha explicado anteriormente sobre el recurso de
circularidad programtica, se parte de los objetivos generales prescritos para seleccionar
las tareas de aprendizaje y son los criterios de ejecucin de las mismas las que se
traducen en objetivos especficos coherentes con los objetivos generales de partida.

Desde la perspectiva de los objetivos de aprendizaje las primeras referencias a la

competencia han de situarse en las categoras de aplicacin, anlisis, sntesis y
evaluacin, pertenecientes a una de las taxonomas de objetivos ms completas y
utilizadas durante ya hace ms de medio siglo (Bloom, 1956), restringiendo al mbito
de los determinantes del desempeo competente las otras dos primeras categoras, las de
adquisicin y comprensin del conocimiento. Por tanto, el desarrollo de cualquier
competencia implica el logro de muchos objetivos previos, de naturaleza ms cognitiva,
que hacen posible la expresin posterior mediante conductas del desempeo de tareas y
de otras de carcter metacognitivo.

En definitiva, el anlisis de cualquier rbrica de evaluacin de competencias hace

posible una estimacin bastante acertada de los objetivos especficos de aprendizaje.

Rbricas de evaluacin de competencias

7
D ISEO Y VALIDACIN DE UNA RBRICA

Herman, Aschbacher y Winters (1992) explican, como sigue, el proceso de diseo de

cualquier instrumento de evaluacin del aprendizaje, que, obviamente, es de aplicacin,
tambin, en la construccin y validacin de las rbricas.

Especificar la naturaleza de las destrezas y de los logros que el/a aprendiz ha de

conseguir.

Detallar las tareas del/a aprendiz, requeridas para alcanzar las metas.
Elaborar un instrumento de evaluacin fiable.
Reunir pruebas de evidencia acerca de la validez de las inferencias derivadas del
proceso de evaluacin.
Utilizar los resultados para mejorar la evaluacin y el procedimiento de feedback de
los resultados.

Las tareas de diseo y validacin de una rbrica se centran en los pasos tercero y
cuarto del anterior proceso. En los dos mtodos analizados en una seccin precedente,
sobre las escalas conductuales (Smith y Kendall, 1963; Latham y Wesley, 1977), las
pruebas de evidencia se eligieron previamente para acumular contenidos que
permitieran realizar el propio diseo. Sin embargo, en el mbito de la Enseanza o la
Formacin, por la inmediatez que necesita la evaluacin de los aprendizajes, es ms
recomendable un mtodo de aproximaciones repetidas, al objeto de facilitar la
operatividad del sistema.

I
Aproximaciones sucesivas para la construccin de rbricas

La situacin de partida, que indica la necesidad de una rbrica de evaluacin de

competencias sobre tareas nuevas, en un dominio de conocimiento concreto, se inicia
con una buena definicin de las tareas y de los criterios de evaluacin del desempeo de
las mismas, al menos en trminos de leyes.

En un segundo momento, atendiendo a los diversos componentes de la temtica y,

adoptando los distintos grados del conocimiento experto, se procede a una primera
descripcin de las operaciones o dimensiones a evaluar y de los cuatro niveles de
complejidad, ms el estadio inicial, o sea, un grado de competencia en desarrollo, un
grado aceptable de competencia, un grado avanzado de competencia y un grado de
competencia ejemplar.

En tercer lugar, conviene contrastar este primer protocolo, al menos, con dos expertos
para alcanzar un consenso sobre las dimensiones a evaluar y los trminos descriptivos
de cada uno de los cuatro grados de la rbrica.

La fase siguiente tiene por finalidad acumular pruebas de evidencia, recogiendo todo
tipo de observaciones, ejemplos de operaciones de tarea, ejercicios e incidentes crticos
para cada uno de los cuatro grados de competencia sealados.

Tras el anlisis pormenorizado de todas las evidencias, se incorporarn las enmiendas,

en forma de especificaciones diferentes de las dimensiones y nuevos estndares e
indicadores del desempeo de las tareas en cada uno de los grados.

Los dos ltimos pasos, de acumulacin de evidencias y de revisin de los descriptores

de la rbrica deben repetirse, peridicamente, al menos una vez por curso o en todas las
nuevas ediciones del programa.

II
 Procedimientos de validacin de la rbrica

En una seccin anterior se haba comentado que la diferenciacin precisa entre los
distintos niveles o grados de la escala de evaluacin (Tierney y Simon, 2004), la
dificultad de comprensin de los trminos o su ambigedad (Andrade, 2000), son los
problemas principales de validacin de las rbricas.

Por consiguiente, los procedimientos ms recomendables de validacin de una rbrica

se basan en el acuerdo entre varias personas expertas, el cual suele operativizarse con
ayuda de determinados ndices estadsticos.

Adems, la fiabilidad y la validez de una rbrica se ven afectadas por mltiples sesgos o
inexactitudes, alguno de los cuales podra ocurrir durante el proceso de diseo
(Morgeson y Campion, 1997). Los principales sesgos de naturaleza cognitiva, que
habran de evitarse necesariamente son los derivados de: la categorizacin de la
informacin, los descuidos, la informacin superflua, la informacin inadecuada, el
contraste de efectos, el halo o las actitudes de indulgencia y severidad.

Ante la eventualidad de un valor reducido de cualquiera de los ndices estadsticos

empleados, una buena medida de validacin es analizar atentamente si ha ocurrido
alguno de estos tipos de distorsin, que pueda ser corregido.

Existe una notable variedad de mtodos estadsticos para la validacin de una rbrica.
Entre ellos, se propone iniciar el proceso con el anlisis de fiabilidad, con ayuda del
ndice kappa de Cohem (1960) o el promedio de desviaciones, AD, de Burke y Dunlap
(2002), cuyas especificaciones se acompaan (fig., 1).
 Figura 1: Mtodos de fiabilidad o acuerdo entre evaluadores

Los anlisis de fiabilidad o el grado de acuerdo entre evaluadores/as se hace aplicando

una de las dos frmulas o las dos, una tras otra, para poder hacer comparaciones a
las calificaciones que un mnimo de 3 jueces independientes obtengan de la evaluacin
de ms de 30 casos en los que se haya utilizado la rbrica.

Si no se hubieran obtenido las puntuaciones mnimas, los contenidos de la rbrica deben

ser necesariamente revisados. En caso de haber obtenido una buena puntuacin, podr
de decirse que, al menos, la rbrica es fiable, siendo ste el primer indicador de su
validez.

Por razones de eficiencia, estas pruebas de validacin no es prctico realizarlas antes de

las segunda o tercera revisin/aproximacin.

Cualquier otro estudio posterior de validez de contenido, validez predictiva, etc.,

requiere de operaciones ms complejas, que se aplazan para otra ocasin. En cierto
sentido, una buena puntuacin de fiabilidad, de donde se deduce que varios jueces han
coincidido en considerar que la rbrica es coherente, permite, al menos, suponer la
validez hipottica del contenido de la misma.

8
E JEMPLO

Ejemplo de los primeros pasos del diseo de una rbrica

El objeto de este ejemplo es la rbrica de evaluacin de un curso de formacin continua

a distancia, mediante la plataforma Moodle, sobre Anlisis del Trabajo en la
Administracin Pblica.

La tarea a evaluar consisti en: Analizar puestos de trabajo, elaborando un informe

exhaustivo de aplicacin en los distintos mbitos de la gestin de los recursos humanos.
La figura n 2 ofrece en miniatura los contenidos del protocolo inicial, que sirvi para la
evaluacin de 22 alumnos/as en la primera edicin del referido programa de aprendizaje.

Figura, 2: Ejemplo de rbrica de evaluacin de competencias

Seguidamente, se compararn los enunciados de este primer protocolo (A) con los del
segundo protocolo (B), previsto para la edicin siguiente, tras incorporar los cambios
derivados del anlisis de los informes y los comentarios recogidos en el foro del curso.

Primera operacin
Anteproyecto del plan de anlisis de puestos (A.P):
Realizar un informe de unas 5 pginas para argumentar la necesidad de revisar las
estructuras de organizacin del personal y disear una nueva Relacin de Puestos de
trabajo (RPT).
Estadio inicial (0-1) A B
No es posible evaluar ningn nivel de competencia, por no resultar observable o
manifestar informacin totalmente insuficiente sobre contexto, agentes,
(Sin cambios)
metodologa, etc.

Competencia en desarrollo (2-4) B

Se limita a analizar los elementos jurdico normativos de la
R.P.T, y las soluciones que aporta no son asimilables al marco de
referencia de las metodologas del A. de Puestos. No contempla
ni todos los agentes, ni las necesidades principales que dan origen
al proyecto de A.P
Destaca, ms bien, los elementos jurdico normativos de la
R.P.T, y las soluciones que aporta son poco asimilables al marco
de referencia de las metodologas del A. de Puestos. Explica
escasamente los agentes o las fases del proyecto. Apenas alude a
los recursos y herramientas o los que cita son inadecuados.

Nivel competente (5-6) B

Identifica la problemtica de la R.P.T. vigente. Reconoce los
diversos agentes, los datos del contexto y las necesidades.
Maneja un marco de referencia coherente sobre el A. de Puestos.
Propone alguna solucin metodolgica adecuada, pero no ha
visualizado las posibles ganancias.
Realiza un anlisis de contexto algo general, pero identifica la
problemtica de la Relacin de Puestos vigente. Identifica
agentes, explica fases y recursos. Maneja un marco de referencia
coherente sobre el A. de Puestos. Propone alguna solucin
metodolgica adecuada, pero solamente ha visualizado alguna de
las principales ganancias.

Nivel avanzado (7-8) B

 Identifica el modelo organizativo para las entidades burocrticas,
los datos del contexto y los principales agentes. Tal vez no
distinga adecuadamente las funciones de las tareas de los
puestos. Identifica la problemtica de la R.P.T. vigente. Maneja
un marco de referencia coherente sobre el A. de Puestos. Propone
variadas soluciones, tanto provisionales como definitivas y
visualiza las posibles ganancias.
Competencia ejemplar (9-10)
Identifica el modelo organizativo para las entidades burocrticas,
los datos del contexto y todos los agentes. Distingue las polticas
de las funciones y de las tareas de los puestos. Identifica la
problemtica de la R.P.T. vigente. Maneja un marco de
referencia experto sobre el A. de Puestos. Propone variadas
soluciones, tanto provisionales como definitivas para varios
mbitos de los recursos humanos.
Segunda operacin
Redactar incidentes crticos (I.C.) para las funciones de un puesto
Redactar, por lo menos, 2 incidentes crticos para cada funcin (de 5 a 8) de un puesto
de trabajo conocido. Los I.C. sern 1 positivo y otro negativo.
Estadio inicial (0-1) A
No es posible evaluar ningn nivel de competencia, por no
resultar observable o manifestar desconocimiento de la tcnica
de I.C. o falta de destreza en la redaccin de los incidentes.
Competencia en desarrollo (2-4)
Los I.C. son poco trascendentes, o estn incompletos o es difcil
distinguir los que corresponden a un desempeo positivo o a un
desempeo negativo. Los enunciados de funcin no se
diferencian de los de tarea. En alguna de las funciones falta algn
incidente crtico.
Nivel competente (5-6)
Son, al menos, 10 incidentes, algunos positivos y otros negativos
y todos significativos, aunque la redaccin de varios de ellos es
incompleta. Alguno de los enunciados de funcin no se
diferencian de los de tarea y, por tanto, la relacin entre
incidentes y funciones es poco clara en estos casos.
Nivel avanzado (7-8)
Ha presentado al menos 10 incidentes, la mitad de cada
categora. Todos son significativos de un desempeo competente
o incompetente. La redaccin de cada uno es muy detallada en
todos sus apartados. No obstante, algunos son escasamente
denotativos de la dimensin de competencia que debieran
identificar.
Competencia ejemplar (9-10)
Ha presentado al menos 14 incidentes, la mitad de cada
categora. Todos son significativos de un desempeo competente
o incompetente. La redaccin de cada uno es muy detallada en
todos sus apartados y coherente respecto de la tarea relacionada
Realiza un anlisis de contexto completo. Identifica el modelo
organizativo para las entidades burocrticas, los datos del
contexto y los principales agentes. Maneja un marco de
referencia coherente sobre el A. de Puestos. Explica
detalladamente las fases el tipo de recursos y herramientas, tal
vez, an un poco generales. Propone variadas soluciones, tanto
provisionales como definitivas y visualiza las posibles ganancias.
B
Realiza un anlisis de contexto completo, incluido el modelo
organizativo y los principales agentes. El marco de referencia es
muy riguroso y todo el anteproyecto es coherente. Explica
detalladamente las fases el tipo de recursos y herramientas.
Propone variadas soluciones, tanto provisionales como
definitivas y visualiza las posibles ganancias. Alude, adems, a
diversas consecuencias positivas o negativas y visualiza, incluso,
otros proyectos derivados.
B
(Sin cambios)
B
Los I.C. son poco trascendentes, o estn incompletos o es difcil
distinguir los que corresponden a un desempeo positivo o a un
desempeo negativo. En alguna de las funciones puede faltar
algn incidente crtico. O bien, se trata de incidentes crticos,
cuya resolucin fue imputada a otras personas ajenas.
B
Son, al menos, 6 incidentes, algunos positivos y otros negativos y
todos significativos. La redaccin de ellos ha de ser completa,
aunque haya alguno incompleto. Algn otro puede haberse
redactado aludiendo a la responsabilidad de un tercero, ajeno al
sujeto del incidente.
B
(sin cambios)
B
(sin cambios)
 con su funcin correspondiente. Todos los incidentes denotan
con claridad una dimensin de competencia evaluable.

Tercera operacin
Realizar el anlisis de un puesto de trabajo de la Admn. Pblica
Elegir la metodologa idnea y elaborar un informe que permita extraer inferencias
para varios mbitos de recursos humanos: Organizacin, valoracin de puestos,
seleccin, formacin y carrera administrativa.

Estadio inicial (0-1) A B

No es posible evaluar ningn nivel de competencia, por no
resultar observable o manifestar desconocimiento de los mtodos
(sin cambios)
distintos de A.P., segn las necesidades.

Competencia en desarrollo (2-4) B

Ha elegido un mtodo de anlisis idneo, pero su informe refleja
escasos datos e informacin que permitan extraer conclusiones
operativas suficientes para cualquiera de los mbitos de los
recursos humanos.
Puede haber elegido un mtodo de anlisis idneo, pero su
informe refleja escasos datos e informacin que permitan extraer
conclusiones operativas significativas para cualquiera de los
mbitos de los recursos humanos. Su proyecto es demasiado
general, ms propio de una etapa anterior del mismo curso.

Nivel competente (5-6) B

Ha seleccionado un nico mtodo de anlisis, pero lo ha aplicado Ha identificado las necesidades y propuesto medidas oportunas.
con esmero, de modo que, de su informe, cabe extraer El informe incluye el anlisis de funciones, de tareas o de
inferencias, al menos, para valorar el puesto y para seleccionar criterios del desempeo, aunque apenas ha hecho referencias
personal competente. concretas a las diversas tcnicas de anlisis del trabajo
especficas.

Nivel avanzado (7-8) B

Ha identificado, por lo menos, necesidades de organizacin,
valoracin del puesto, seleccin y formacin del personal. Ha
elegido el mtodo adecuado a cada necesidad, pero no ha cuidado
demasiado los posibles sesgos de cada uno. Ha descrito
someramente las tareas y algunos recursos de competencia.
Ha identificado, por lo menos, necesidades de organizacin,
valoracin del puesto, seleccin y formacin del personal. Ha
elegido un mtodo til, aunque se adece mejor a unas
necesidades que a otras. No parece haber cuidado demasiado los
posibles sesgos de la metodologa. Ha descrito someramente las
tareas y algunos recursos de competencia.

Competencia ejemplar (9-10) B

Ha identificado, por lo menos, necesidades de organizacin,
valoracin del puesto, seleccin, formacin del personal y
(sin cambios)
carrera. Ha elegido el mtodo adecuado a cada necesidad y
cuidado los posibles sesgos de cada uno. Ha descrito
exhaustivamente tareas y recursos de competencia.

La dificultad que, en la prctica, dentro de un sistema reglado de enseanza, supone la

acumulacin previa de evidencias suficientes para disear y probar la idoneidad de una
rbrica, nos obliga a optar por algn otro mtodo sustitutorio, como puede ser ste de
aproximaciones sucesivas.

No obstante, el ejemplo explicado pone de manifiesto la necesidad de recoger

evidencias, dado que, a pesar de haber elaborado una propuesta razonada y muy
centrada en los contenidos de las tareas, los distintos comentarios del alumnado, a travs
del foro, as como los diversos contenidos de los trabajos objeto de evaluacin han dado
origen a los cambios propuestos para la segunda versin.

Con toda probabilidad, un anlisis anlogo, realizado despus de la segunda edicin del
programa, permitira mejorar an ms los criterios de evaluacin contenidos en los
distintos niveles de la rbrica. Los resultados de una tercera edicin ya seran objeto de
un procedimiento de anlisis estadstico para la validacin definitiva del instrumento de
evaluacin de esta competencia.

9
C ONCLUSIONES

Este estudio se ha centrado en analizar y describir las rbricas para la evaluacin de

competencias, as como en proponer una metodologa prctica para su diseo.

Como principales conclusiones se apuntan las siguientes:

1
No es admisible cualquier tipo de rbrica para la evaluacin de competencias, por
muchas coincidencias superficiales que pudieran existir en la comparacin entre varias
propuestas.

2
El elemento esencial de cualquier rbrica de evaluacin de competencias es su
validez probada, mediante evidencias acerca del desempeo de las tareas y sus
indicadores de fiabilidad.

3
Disponer de un marco de referencia terico riguroso, que en el caso de la evaluacin
de competencias no puede se otro que el de las teoras del desempeo de tareas, el
aprendizaje de destrezas o el desarrollo del conocimiento experto, favorece la
elaboracin de propuestas de rbricas idneas, por los recursos que ofrecen y las
reglas que sugieren las referidas teoras.
 4
De todos modos, con el fin de evitar una cierta parlisis de la ejecucin de los
programas de aprendizaje, por las necesidades de la validacin de la rbrica, se ha
propuesto una metodologa de aproximaciones sucesivas para la acumulacin de las
obligadas evidencias para su validacin.

5
Por ltimo, cualquier pretensin de generalizar el empleo de una rbrica de
evaluacin de competencias, exige la descripcin exacta y exhaustiva de los
procedimientos utilizados para su diseo y validacin.

Bibliografa
Anderson, J.R. (1982). Acquisition of cognitive skills. Psychological Review, 89(4),
369-406

Andrade, H.G. (2000). Use rubrics to promote thinking and learning. Educational
Leadership, 57(5), 13-18-

Alsina M, J. (2013). Rbricas de evaluacin de competencias. Cuadernos de docencia

universitaria, n 26. Barcelona: ICE-UB/Octaedro.

Basoredo L., C. (2013). Revisin del concepto de competencia para el desempeo de

tareas, a la luz de algunas teoras sobre los estilos psicolgicos. Quaderns Digitals, 75.

Basoredo L., C. (2016). Construyendo una didctica sobre la estrategia de la

competencia. INED 21 Consultado el 26-04-2016.

Berliner, D.C. (1994). Expertice, The wonder of exemplary performances. En J.N.

Mangieri & C. Colins: Creating powerful thinking in teachers and students. Ft. Worth,
(TX): Holt, Rinehart & Winston.

Bloom, B.S. (1956). Taxonomy of Educational Objectives, Handbook I: The cognitive

domain. New York: David McKay Co Inc.

Borman, W.C. (1986). Borman, W. C., (1986). Behavior-based rating scales. En R. A.

Berk (Ed.), Performance Assessment: Methods and Applications (pp. 100-120).
Baltimore MD: Johns Hopkins University Press.

Borman, W. C., White, L. A., Pulakos, E. D. & Oppler, S. H., (1991). Models of
supervisory job performance ratings. Journal of Applied Psychology, 76(6), 863-872.
Burke, M. & Dunlap, W. (2002). Estimating interrater agreement with the average
deviation index: A users guide. Organizational Research Methods, 5(2), 159-172.

Campbell, J. P., Gasser, M. B. & Oswald F. L., (1996). The substantive nature of job
performance variability. En K. R. Murphy (Ed.), Individual differences and behavior in
organizations (pp. 258-299). San Francisco: Jossey Bass.

Cohen, J. (1960). A coefficient of agreement for nominal sacales. Educational and

Psychological Measurement, 20, 37-46.

Denbat, S.C., Lee, B.B. & Tandon, S. (2015). Fifty years and going strong: What makes
Behaviorally Anchored Rating Scales so perennial as an appraisal method?
International Journal of Bussines and Social Science, 6(2), 16-25.

Dreyfus, H. & Dreyfus, S. (1986). Mint over machine. New York: The Free Press.

Ericsson, K. A. & Charness, N., (1994). Expert Performance. American Psychologist,

49(8), 725-747.

Ericsson, K.A. (2005). Recent advances in expertise research: A commentary on the

contributions to the special issue. Applied Cognitive Psychology, 19, 233-241.

Flanagan, J. C. (1954). The critical incident technique. Psychological Bulletin, 51(4),

327-358.

Gatica-Lara, F. & Uribarren B. T.(2013). Cmo elaborar una rbrica? Investigacin en

Educacin Mdica, 2(1), 61-65.

Gorriti, M. Lpez Basterra, J. (2010). Anlisis de puestos de trabajo en la

Administracin Pblica. Oati (GI): IVAP.

Green, R. & Bowser, M. (2006). Observations from the field: Sharing a literature
review rubric. Journal of Library Administration, 45-1(2), 185-202.

Herman, J., Aschbacher, P. & Winters, L. (1992). A practical guide to alternative

assessment. Alexandria (VA): ASCD.

Jonsson, A. & Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and
educational consecuences. Educational Researchs Review, 2, 130-144.

Kanfer, R & Ackerman, P.L. (1989). Motivation and cognitive abilities: An

integrative/aptitude-treatment interaction aproach to skill acquisition. Journal of
Applied Psychology, 74, 657-690.

Klehe, U.C. & Anderson, N. (2007). El rol del desempeo tpico y mximo en seleccin
de personal. Revista de Psicologa del Trabajo y de las Organizaciones, 23 (1), 151-
178.

Landy, F.J. & Farr, J.L. (1980). Performance rating. Psychological Bulletin, 87(1), 72-
107.
Latham, G.P. & Wexley, K.N. (1977). Behavioral Observation Scales for performance
appraisal purposes. Personnel Psychology, 30, 255-268.

Lpez Carrasco, M.(2007). Gua bsica para la elaboracin de rbricas. Universidad

Iberoamericana Puebla. Mxico.

Malini, R. & Andrade, H.G. (2010). A review of rubric usue in higher education.
Assessment & Evaluation in Higher Education, 35(4), 435-448.

Marina, A., Pellicer, C. & Manso, J. (2015). Libro blanco de la profesin docente y su
entorno escolar. Madrid: Ministerio de Educacin Cultura y Deporte.

Mertler C, A. (2001). Designing scoring rubrics for your classroom. Practical

Assessment Research & Evaluation, 7(25).

Morgeson, F. & Campion, M. (1997). Social and cognitive sources of potential

inaccuracy in job analysis. Journal of Applied Psychology, 82(5), 627-655.

Moskal, B.M. (2000). Scoring rubrics: what, when and how?. Practical Assessment
Research & Evaluations, 7(3).

Motowidlo, S. J., Borman, W. C. & Schmit, M. J., (1997). A theory of individual

differences in task and contextual performance. Human Performance, 10(2), 71-83.

Murphy, K. R. & Constans, J. I., (1987). Behavioral anchors as a source of bias in

rating. Journal of Applied Psychology, 72(4), 573-577.

Oakleaf, M. (2009). Using rubrics to assess information literacy: An examination of

methodology and interrater reliability. Journal of the American Society for Information
Science and Technology, 971-973.

Popham, W.J. (1997). The role of instructional rubrics and self-assessment in learning
to write: A snorgasbord of finding. A paper presentedat the anual meting of the
American Educational Research Association. April, 21. Montreal, Canada.

Sackett, P. R. & DeVore, C. J., (2001). Counterproductive behaviors at work. En N.

Anderson, D. S. Ones, H. K. Sinangil & C. Viswesvaran (Edts.), Handbook of
Industrial Work & Organizational Psychology (pp. 145-163). London: SAGE.

Schmidt, F. L. & Hunter, J. E., (1992). Development of Causal Model of Processes

Determining Job Performance. Current directions in Psychological Sciencie, 1-3, 89-92.

Smith, P. C. & Kendall, L. M., (1963). Retranslation of expectations: An approach to

the construction of unambiguous anchors for rating scales. Journal of Applied
Psychology, 47(2), 149-155.

Titone, R. (1979). Metodologa didctica. Madrid: Rialp.

Tierney, R. & Simon, M. (2004) . Whats still wrong with rubrics focusing on the
consistency of performance criteria across scale levels. Practical Assessment Research
and Evaluation, 9(2).

Tziner, A., Kopelman, R. E. & Livneh, N., (1993). Effects of performance appraisal
format on perceived goal characteristics, appraisal process satisfaction and changes in
rated performance: A field experiment. Journal of Psychology, 127(3), 557-574.

Tziner, A., Kopelman, R. E. (2002). Is there a preferred performance rating format? A

non-psychometric perspective. Applied Psychology, an international review, 51(3), 479-
503.

Van Merrinboer, J.J.G. & Kirschner, P. (2007). Ten step to complex learning: A
systematic approach to Tour-Component Instructional Design. Hillsdale (NJ):
Lawrence Erlbaum Associates, Inc., Publishers.

Viswesvaran, C., (2001). Assessment of individual job performance: A review of the

past century and a look ahead. En N. Anderson, D. S. Ones, H. K. Sinangil & C.
Viwesvaran (Edts.), Handbook of Industrial Work & Organizational Psychology (pp.
110-125). London: SAGE.