Revisin en Formacin
Mdica Continuada
La evaluacin en educacin mdica. Principios bsicos
M. Nolla-Domenj
Objetivo. Proporcionar una visin global de los aspec-
tos ms relevantes a tener en cuenta en un sistema de
evaluacin. Desarrollo. Se proponen dos modelos funda-
mentales como marco de referencia de los procesos de
evaluacin. Se describen las caractersticas principales de
cualquier sistema de evaluacin. Finalmente, se apuntan
los retos a los que se enfrenta en la actualidad el amplio
campo de la evaluacin en educacin mdica.
Palabras clave. Competencia profesional. Educacin mdica. Eva-
luacin.
Evaluation in medical education. Basic principles
Aim. To provide a global vision of the most relevant aspects
to take into account of an evaluation system. Development.
The article also proposes two dierent fundamental models
as frameworks for the evaluation process. The main charac-
teristics applicable to any evaluation system are described.
Finally the paper points the challenges that evaluation in
medical education is facing for the near future.
Key words. Evaluation. Medical education. Professional competence..
Introduccin
La evaluacin en educacin mdica es un cam-
po realmente amplio. Desde la evaluacin de los
aprendizajes a los sistemas de calidad educativa y
evaluacin de polticas educativas, existen mul-
titud de aspectos que se deben tener en cuenta
en los proyectos formativos. Este artculo tratar
Viguera Editores SL 2009. EDUC MED 2009; 12 (4): 223-229
Cuestionario
de acreditacin
www.educmed.net
especialmente la evaluacin de los aprendizajes Fundaci Doctor Robert.
y, en definitiva, versar sobre uno de los temas Universitat Autnoma
de Barcelona.
de ms relevancia en la actualidad: la evaluacin Barcelona, Espaa.
de la competencia profesional.
En el mdulo 2 de este programa de forma- Correspondencia
Dra. Maria Nolla
cin, Pals [1] define el concepto de competencia Domenj. Fundaci
y describe su complejidad. Introduce el concepto Doctor Robert. Sant
de educacin basada en resultados de aprendi- Antoni M. Claret, 171.
E-08041 Barcelona.
zaje. Este enfoque lleva implcita la evaluacin.
Los resultados de aprendizaje son competencias E-mail
comprobadas, es decir, evaluadas. Este aborda- maria.nolla@uab.es
je refuerza la idea de que la evaluacin es una
parte integrante de un programa o proceso de
formacin. Debe pensarse en la evaluacin des-
de el inicio, desde la planificacin del proceso
formativo.
Qu? y para qu?
La planificacin del sistema de evaluacin a
utilizar incluye muchas preguntas a plantearse:
qu?, para qu?, cmo?, cundo?, quin?,
etc. Todas ellas deben clarificarse en algn mo-
mento u otro; sin embargo, las dos ms funda-
mentales que deben iniciar todo el proceso son
las dos primeras: qu? y para qu? Las respues-
tas a estas dos preguntas determina el abanico de
posibilidades de las restantes.
Qu?
Ya se ha comentado la amplitud de los aspectos
susceptibles de ser evaluados. Para no confun-
dirse a la hora de responder a las otras preguntas
223
M. Nolla-Domenj
es fundamental haber escogido y definido los as-
pectos que se quieren evaluar.
La utilizacin de modelos tericos puede
ayudar en la definicin del objeto de evalua-
cin. Existen diversos modelos, pero en aras a la
brevedad y utilidad del presente artculo, se han
escogido dos de los ms utilizados por los edu-
cadores en general y, en concreto, por los educa-
dores en ciencias de la salud. Como se ver ms
adelante, ambos modelos son compatibles en el
planteamiento de los sistemas de evaluacin.
Kirkpatrick [2,3] ha aportado al mundo de la
educacin un esquema breve y claro en el que
basar los procesos de evaluacin. Su modelo se
centra en cuatro niveles a tener en cuenta, espe-
cialmente para los programes de posgrado y de-
sarrollo profesional continuo (Tabla I):
t
Nivel 1: reaccin. Lo que se evala es la reac-
cin de los participantes en el programa de
formacin, en otras palabras, se busca infor-
macin sobre el grado de satisfaccin de los
estudiantes.
t
Nivel 2: aprendizaje. Este nivel se centra de
pleno en la evaluacin de las competencias
adquiridas.
t
Nivel 3: conducta. Se evala la transferencia
de los aprendizajes al lugar de trabajo. La di-
ficultad de este nivel estriba en los mltiples
factores que influyen en la calidad del desem-
peo laboral, adems de la competencia pro-
fesional, y que hacen ms complejo relacionar
unvocamente, de forma causal, los cambios o
no de comportamiento con el grado de efica-
cia del programa de formacin.
t
Nivel 4: resultados. Lo que se pretende evaluar
en este nivel es el impacto en la poblacin o
sociedad. Si el nivel anterior tena sus dificul-
tades en poder atribuir cambios en la conduc-
ta profesional a los programas de formacin,
averiguar su impacto en la sociedad es an un
reto mayor.
En el mbito de la educacin mdica, y en con-
creto en la evaluacin de la competencia profe-
sional, el esquema ms difundido y utilizado es
el ideado por Miller [4] en 1990. Al final de su
carrera, Miller invirti sus ltimos aos en el
reto an vigente de la evaluacin de la compe-
tencia profesional. Conceptualiz cuatro niveles
de competencia profesional que plasm en forma
de pirmide, y que ha pasado a conocerse ms
224
Tabla I. Niveles del modelo de Kirkpatrick.
t
Nivel 1: evaluacin de la reaccin (satisfaccin)
t
Nivel 2: evaluacin del aprendizaje (competencia)
t
Nivel 3: evaluacin de la conducta (transferencia)
t
Nivel 4: evaluacin de los resultados (impacto)
comnmente como pirmide de Miller. Relacio-
nando este modelo con el expuesto con anterio-
ridad, se puede decir que el modelo de Miller se
centra en los niveles 2 y 3 de Kirkpatrick.
Los niveles de la pirmide de Miller, de la base
al vrtice, son los siguientes (Fig. 1):
t
Miller adjudica la base de la pirmide a los
conocimientos en abstracto y la denomina
saber (knows-knowledge).
t
El segundo nivel, saber cmo (knows how-
competence), tambin hace referencia a la parte
cognitiva de la competencia, pero este saber es
ahora contextualizado e incluye habilidades del
tipo toma de decisiones y razonamiento clnico.
t
El tercer nivel, demostrar cmo (shows how-
performance) da un salto cualitativo muy im-
portante en la evaluacin de la competencia
clnica, ya que incluye el comportamiento
(habilidades). No obstante, el contexto de
aplicacin de las competencias no es real. Es
un nivel de competencia que se muestra en
entornos simulados aunque contextualizados.
t
Miller reserva el vrtice de la pirmide para
el hacer (does-action). Se trata de la compe-
tencia demostrada en situaciones o contextos
profesionales reales. Una vez ms, subrayar
que este nivel constituye el reto actual al que
se enfrentan los educadores y, en especial, los
especialistas en evaluacin de la competencia
profesional.
Para qu?
Una vez se ha definido el objeto de evaluacin se
debe clarificar el propsito. Existen diferentes ob-
jetivos de la evaluacin para los distintos objetos
seleccionados [5,6]. Dado que el artculo se cen-
tra en la evaluacin del aprendizaje profesional se
citan algunas posibilidades en la tabla II.
Viguera Editores SL 2009. EDUC MED 2009; 12 (4): 223-229
 La evaluacin en educacin mdica

Programa de Formacin Mdica Acreditada en Educacin Mdica

Artculo: La evaluacin en educacin mdica. Principios bsicos

Autores: M. Nolla-Domenj
Revista: Educ Med 2009; 12: 223-9

1. Las dos preguntas fundamentales sobre el sistema de o c) la evaluacin de las habilidades quirrgicas bsicas
evaluacin que se deben plantear desde el inicio son: o d) la evaluacin de la satisfaccin de los estudiantes
o a) qu? y cmo? o e) la evaluacin de la calidad docente
o b) cmo? y cundo?
o c) qu? y para qu? 7. Cul de los niveles de la pirmide de Miller
o d) para qu? y para quin? se evala mediante las evaluaciones clnicas
o e) qu? y cundo? objetivas estructuradas (ECOE)?:
o a) primero
2. Cul de los siguientes aspectos a evaluar no forma o b) segundo
parte de los niveles del modelo de Donald Kirkpatrick?: o c) tercero
o a) impacto o d) cuarto
o b) reaccin o e) todos los niveles
o c) aprendizaje
o d) calidad 8. Cul de los siguientes instrumentos evala ms
o e) resultados adecuadamente el cuarto nivel de la pirmide de Miller?:
o a) ECOE
3. Los niveles de la pirmide de Miller son todos o b) pruebas escritas basadas en contextos clnicos
los siguientes excepto uno. Indique cul es el falso: o c) pacientes simulados
o a) querer o d) observacin directa
o b) saber o e) pruebas escritas descontextualizadas
o c) hacer
o d) demostrar cmo 9. Cul de las siguientes definiciones se refiere al concepto
o e) saber cmo de validez de un instrumento de evaluacin?:
o a) grado en que un instrumento mide de
4. Cul de las siguientes caractersticas no forma consistente lo que se pretende medir
es fundamental en un sistema de evaluacin?: o b) conocimiento, por todas las partes
o a) validez implicadas, de las reglas del juego
o b) fiabilidad o c) posibilidad de utilizarlo
o c) confianza o d) grado en que un instrumento
o d) transparencia mide lo que se quiere medir
o e) factibilidad o e) grado en que los candidatos aceptan
la evaluacin porque la consideran adecuada
5. En la actualidad, cul es la principal dificultad
de la evaluacin de la competencia clnica?: 10. Sealar la proposicin incorrecta:
o a) la aceptacin por parte de los profesionales o a) una evaluacin formativa tiene como objetivo
o b) el coste del sistema de evaluacin fundamental proporcionar a los estudiantes
o c) la carencia de medidas correctoras para feedback sobre su aprendizaje
los que no cumplen los mnimos requeridos o b) una evaluacin sumativa es la base de la toma
o d) la imposibilidad de medirla de forma directa de decisiones sobre el nivel de competencia
o e) la contextualizacin necesaria de los instrumentos profesional del candidato
o c) una evaluacin sumativa no puede ser en
ningn caso formativa, de manera simultnea
6. Cul de las siguientes evaluaciones supone el o d) la decisin de emplear una forma de evaluacin
mayor reto en la actualidad en educacin mdica?: sumativa guiar la utilizacin de los resultados
o a) la evaluacin de los conocimientos de la evaluacin
o b) la evaluacin de la prctica profesional o e) la evaluacin gua el aprendizaje

Nombre y apellidos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . DNI . . . . . . . . . . . . . . . . . . . . . . . . . . .

Direccin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Cdigo postal . . . . . . . . . . . . . . . . .
Localidad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Provincia/pas . . . . . . . . . . . . . . . . . . . . . . . . . .
Telfono . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . E-mail . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Encontrar este cuestionario en la web de la revista: www.educmed.net

Viguera Editores SL 2009. EDUC MED 2009; 12 (4): 223-229 225

M. Nolla-Domenj
Figura 1. Pirmide de Miller (adaptado de [4]).
Sin embargo, a un nivel ms general, adems
de clarificar el objetivo de la evaluacin debe
decidirse qu tipo de enfoque se va a dar y qu
consecuencias van a tener los resultados de la
evaluacin.
La evaluacin puede ser formativa o sumati-
va [7]. Se dice que una evaluacin tiene finalida-
des formativas cuando su objetivo fundamental
consiste en proporcionar a los estudiantes feed-
back sobre su aprendizaje y facilitar la reflexin
sobre su progreso. Una evaluacin tiene finali-
dades sumativas cuando los resultados son la
base para la toma de decisiones sobre el nivel
de competencia profesional (aprobado/suspen-
so, obtencin de un ttulo, obtencin de una
acreditacin, etc.). No obstante, un sistema de
evaluacin sumativo puede contener un compo-
nente formativo cuando tambin se proporciona
feedback a los estudiantes sobre sus fortalezas y
sus debilidades.
La decisin de emplear una forma de evalua-
cin sumativa, formativa o una combinacin de
ambas, guiar la seleccin de instrumentos, la
manera en que se realizar la evaluacin, la can-
tidad de recursos humanos necesarios, la inter-
pretacin de los resultados y la utilizacin de los
resultados de la evaluacin [8].
Instrumentos de evaluacin
Una vez se han respondido las preguntas qu? y
para qu?, se puede pasar al cmo?, a la selec-
cin de los instrumentos.
226
Tabla II. Propsitos de la evaluacin
del aprendizaje.
t
Asegurar que se cubren las necesidades de aprendizaje
t
Identificar puntos dbiles en la docencia
t
Aprobar programas docentes
t
Proporcionar feedback a los docentes y a la organizacin
t
Seleccionar los mejores candidatos
t
Etc.
La cantidad de instrumentos desarrollados y
la finalidad de visin global del presente mdulo
hacen del todo imposible su descripcin detalla-
da, as como poder citar todas las herramientas
disponibles. Un esquema global basado en la pir-
mide de Miller fue presentado por van der Vleu-
ten [9] en el marco de la 9th International Ottawa
Conference on Medical Education (Fig. 2):
t
La base de la pirmide (saber) se relaciona
bsicamente con pruebas escritas sobre cono-
cimientos abstractos, es decir, descontextua-
lizados.
t
En el segundo nivel (saber cmo) se realizan
tambin pruebas escritas basadas en contex-
tos clnicos, en casos concretos, y se pueden
valorar competencias de razonamiento clni-
co y toma de decisiones.
t
El tercer nivel de la pirmide (demostrar) se
relaciona con las pruebas basadas en simula-
ciones, de ah que van der Vleuten las englobe
Viguera Editores SL 2009. EDUC MED 2009; 12 (4): 223-229

Figura 2. Relacin entre nivel de competencia segn la pirmide de Miller y los instrumentos susceptibles de ser utilizados
(adaptado de [9]).
en la expresin evaluacin de la prctica in vi-
tro. A este nivel se encuentran los maniques,
los pacientes simulados y las evaluaciones
objetivas clnicas estructuradas (ECOE). Las
ECOE suponen la combinacin de diversos
instrumentos para la evaluacin de la compe-
tencia clnica.
t
El vrtice de la pirmide (hacer) incluye los
instrumentos que permiten evaluar la prcti-
ca real, la evaluacin de la prctica in vivo.
La observacin (directa o videograbada), el
portafolio, la evaluacin de registros clnicos
y la utilizacin de pacientes simulados ocultos
son algunos de los ms utilizados.
A pesar de la aparicin constante de nuevos ins-
trumentos no hay que olvidar que no existe nin-
guno que, por s slo, pueda dar informacin
sobre todos los componentes de la competen-
cia profesional. La evaluacin de la competencia
global de un profesional siempre debe combinar
distintos instrumentos.
Caractersticas fundamentales
de un sistema de evaluacin
Cuando se consideran los instrumentos de eva-
luacin aparecen nuevas preguntas a formular-
Viguera Editores SL 2009. EDUC MED 2009; 12 (4): 223-229
La evaluacin en educacin mdica
se. Las caractersticas fundamentales a estudiar
y definir son: validez, fiabilidad, transparencia,
aceptacin, factibilidad e impacto educativo [6].
Validez
La validez es el grado en que un instrumento
mide lo que se quiere medir. Una cinta mtrica
es vlida para medir una longitud, pero no para
medir el peso. Aunque parezca una obviedad
resulta extremadamente importante asegurar
la coherencia entre lo que se quiere evaluar y el
procedimiento seleccionado para ello [10].
Hay diferentes tipos de validez, pero las tres
categoras principales son: validez de contenido,
validez de criterio y validez de constructo [11].
La validez de contenido da informacin sobre en
qu medida el instrumento mide el rea de cono-
cimiento que se pretende evaluar. La validez de
criterio se refiere a la comparacin de la medida
con un valor conocido (criterio de referencia). La
validez de constructo informa de en qu medida
el instrumento mide un constructo hipottico
(p. ej., la inteligencia, la empata, la competencia
profesional) que no es fcilmente observable.
Fiabilidad
La fiabilidad o precisin es el grado en que un
instrumento mide de forma consistente lo que se
227
M. Nolla-Domenj
pretende medir. Tiene que ver con la repeticin
de la medida En el ejemplo anterior de la cinta
mtrica, es fiable en la medida en que cada vez
que se mide un mismo objeto, el resultado es el
mismo o muy similar.
La fiabilidad generalmente se mide como un
coeficiente de correlacin, siendo 1,0 una corre-
lacin perfecta, y 0,0, una no correlacin total.
Los valores superiores a 0,7 se consideran indi-
cativos de que el instrumento es fiable.
La fiabilidad entre evaluadores se refiere al
grado de acuerdo entre evaluadores diferentes e
independientes del mismo candidato.
Transparencia
La transparencia en un sistema de evaluacin
tiene relacin con el conocimiento por parte de
todas las partes implicadas de las reglas del juego
(tipo de prueba, criterios de evaluacin, etc.).
Aceptacin
La aceptacin es el grado en que los candidatos
aceptan la evaluacin porque la consideran ade-
cuada. A mayor validez y fiabilidad contrastadas
y documentadas, mayor aceptacin por parte de
los candidatos. La transparencia del proceso de
evaluacin tambin contribuye a la aceptacin
de la prueba.
Factibilidad
En la seleccin de un instrumento es de capital
importancia comprobar que ser posible (facti-
ble) utilizarlo. Esto implica calcular el coste de la
evaluacin en trminos de recursos (humanos y
materiales) y de tiempo.
El coste debe incluir la puesta en marcha y
los cursos necesarios para el desarrollo e imple-
mentacin. El coste de un sistema de evaluacin
tambin debera considerarse en relacin al be-
neficio para la docencia y el aprendizaje.
Impacto educativo
En el diseo de los sistemas de evaluacin a me-
nudo no se considera el impacto que puede tener
sobre el estudiante. Sin embargo, hace tiempo que
se ha observado que los procesos de evaluacin
dirigen el aprendizaje [12,13]. El tipo de evalua-
cin determina cmo estudian los candidatos.
228
En 1977, Miller, en su participacin en el II
Simposio Mdico Internacional en Roma, ya
asever que cambiar el sistema de evaluacin sin
modificar el programa de enseanza ha tenido
una mayor repercusin sobre la naturaleza y la
calidad del aprendizaje, que si se hubiera modifi-
cado el programa sin tocar los exmenes.
Van der Vleuten [14] describi al menos cua-
tro vas por las que el sistema de evaluacin di-
rige el aprendizaje: su contenido, su estructura
o formato, lo que se pregunta (p. ej., la informa-
cin que se proporciona), y la frecuencia, hora-
rio y nmero de evaluaciones repetidas.
Retos actuales de la evaluacin
en educacin mdica
Tomando como marco de referencia la pirmide
de Miller, el mayor reto actual se sita en su parte
superior. La evaluacin de la competencia profe-
sional en entornos simulados y, ms an, la eva-
luacin de la prctica profesional real suponen
un gran desafo porque son conceptos complejos
que no se pueden medir de manera directa.
Shumway y Harden [11] consideran que hay
que tender a evaluar lo que los aprendices hacen
en la prctica y cmo aplican sus conocimientos
en ciencias bsicas y clnicas para el cuidado de
los pacientes. Mientras que muchas facultades de
medicina se han decantado por la evaluacin de la
competencia en situaciones simuladas, slo unas
pocas han puesto un nfasis mayor en la evalua-
cin de la actuacin en la prctica clnica a travs
de abordajes de observacin directa o mediante el
uso de medidas indirectas como los portafolios.
Segn Brailovsky [15], la capacidad reflexiva
y el razonamiento en la resolucin de problemas
clnicos representan el ncleo fundamental de
la competencia clnica, y el desarrollo de instru-
mentos de evaluacin que hagan posible la va-
loracin de estos dos elementos cruciales, poco
accesibles por los instrumentos de medicin em-
pleados tradicionalmente, se ha convertido en
un complejo desafo.
Epstein [7] plantea otros retos adems de los
ya citados. Recientemente han aparecido nuevos
dominios de evaluacin, en especial debido a la
necesidad de evaluar la competencia y la prctica
profesional: trabajo en equipo, profesionalismo,
comunicacin, entre otros... Otro reto actual es
Viguera Editores SL 2009. EDUC MED 2009; 12 (4): 223-229

el desarrollo de sistemas de evaluacin adecua-
dos a las caractersticas especiales de los profe-
sionales con aos de experiencia.
Norcross et al [16] concluyen que el futuro de
un sistema comprehensivo de evaluacin de los
mdicos asistenciales depende del desarrollo y
estandarizacin de instrumentos, tcnicas y pro-
cedimientos para la evaluacin de la competencia
y la actuacin profesional, incluyendo medidas
de la prctica, de programas de evaluacin de co-
laboracin en red, del control de costes, y del de-
sarrollo continuo de medidas correctoras que se
correspondan con los hallazgos en la evaluacin.
Bibliografa
1. Pals J. Planificar un curriculum o un programa forma-
tivo. Educ Med 2006; 9: 59-65.
2. Kirkpatrick DL. Evaluacin de acciones formativas. Bar-
celona: Gestin; 2000.
3. Kirkpatrick DL. Avaluaci daccions formatives: els qua-
tre nivells. Barcelona: Epise Gestin; 2000.
4. Miller G. The assessment of clinical skills/competence/
performance. Acad Med 1990; 65: S63-7.
5. Wall D. Evaluation: improving practice, influencing
policy. Edinburgh: Association for the Study of Medical
Education; 2007.
6. Morrison J. Evaluation. Br Med J 2003; 326: 385-7.
Viguera Editores SL 2009. EDUC MED 2009; 12 (4): 223-229
La evaluacin en educacin mdica
7. Epstein RM. Assessment in medical education. N Engl J
Med 2007; 356: 387-96.
8. Dent JA, Harden RM. A practical guide for medical
teachers. Edinburgh: Elsevier; 2005.
9. Van der Vleuten CPM. A paradigm shift in education:
how to proceed with assessment? 9th International Ot-
tawa Conference on Medical Education. Cape Town, 28
February-3 March 2000. URL: http://www.educ.unimaas.
nl/ottawa.
10. Villa A, Poblete M. Aprendizaje basado en competen-
cias. Bilbao: Universidad de Deusto; 2008.
11. Shumway JM, Harden RM. AMEE Guide no. 25: The
assessment of learning outcomes for the competent and
reflective physician. Med Teach 2003; 25: 569-84.
12. Newble DI, Jaeger K. The effect of assessments and ex-
aminations on the learning of medical students. Med
Educ 1983; 17: 165-71.
13. Wood D. Formative assessment. Edinburgh: Association
for the Study of Medical Education; 2007.
14. Van der Vleuten CPM. The assessment of professional
competence: developments, research and practical im-
plications, Adv Health Sci Educ 1996; 1: 41-67.
15. Brailovsky CA. Educacin mdica, evaluacin de las
competencias. In OPS/OMS, eds. Aportes para un cam-
bio curricular en Argentina. Buenos Aires: University
Press; 2001. p. 103-20.
16. Norcross WA, Henzel TR, Freeman K, Milner-Mares J,
Hawkins RE. Toward meeting the challenge of physician
competence assessment: the University of California,
San Diego Physician Assessment and Clinical Education
(PACE) Program. Acad Med 2009; 84: 1008-14.
229