Actividad 4.

INFORME EVALUACIÓN DE
UN SISTEMADE GESTIÓN DEL
APRENDIZAJE

NINI JOHANA MANCERA PINZON

UNIVERSIDAD DE SANTANDER UDES

MAESTRÍA EN GESTIÓN DE LA TECNOLOGÍA EDUCATIVA
BOGOTA
2018
 Actividad 4.1

INFORME EVALUACIÓN DE
UN SISTEMA
DE GESTIÓN DEL APRENDIZAJE

NINI JOHANA MANCERA PINZON

Trabajo presentado a
HILDA CLEMENCIA ESQUIVEL

UNIVERSIDAD DE SANTANDER UDES

MAESTRIA EN GESTIÓN DE LA TECNOLOGÍA EDUCATIVA
BOGOTA
2018
 INTRODUCCIÓN

Día a día el avance de las Tics, se convierte en un reto a nivel mundial en el

Sistema Educativo, y en Organizaciones que sirven de soporte a los procesos de
negocios productivos y administrativos en todos los campos a nivel comercial e
industrial, generando expectativas con la inclusión de nuevas herramientas
tecnológicas.

Estas nuevas herramientas como son el Inter espacio, el cómo, el qué se puede
enseñar, en Pro al beneficio de los usuarios, educandos, respeto a la Calidad en la
gestión de la comunicación, evaluación, diagnóstico y del seguimiento oportuno y
constante de su proceso de aprender, permiten establecer unos criterios claros, para
controlar los diferentes elementos, que intervienen en el desarrollo de las necesidades
propias de cada persona.

En este informe se hace un análisis detallado sobre la evaluación de un Sistema de

Gestión del Aprendizaje LMS (Learning Management System), el cual es un sistema
de gestión de aprendizaje online, que permite administrar, distribuir, monitorear, evaluar
y apoyar las diversas actividades previamente diseñadas y programadas dentro de un
proceso de formación completamente virtual (eLearning) o de formación semi –
presencial (Blended Learning). (Cañellas (2010). Los Sistemas LMS tienen amplios
propósitos, tanto para empresarios, docentes y educandos, ya que el elegir una
plataforma, se vuelve complejo en el mercado actual, hay diferentes opciones
comerciales y de libre distribución, aparecen nuevos sistemas de gestión del
aprendizaje y las actualizaciones permanentes de las versiones, tiene mejoras
importantes, generando problemas para la toma de decisiones en cuanto a la
evaluación de la calidad se refiere como tal, llevando a que se establezcan las
características de calidad que deben ser tenidos en cuenta en el modelo de calidad al
adelantar la evaluación de un sistema LMS.
 INFORME
EVALUACIÓN DE UN SISTEMA
DE GESTIÓN DEL APRENDIZAJE (LMS)

Haciendo referencia a lo leído en el en el libro multimedial Capítulo 4: Evaluación

de la Calidad de la Tecnología Educativa, se da un informe detallado con respecto a los
diferentes elementos y características de calidad que deben tenerse en cuenta, para la
evaluación de un Sistema de Gestión del Aprendizaje (LMS), para ello se hará uso de
las siguientes tablas, con lo cual será más entendible y comprensible la información.

A continuación se describen diferentes propuestas y modelos relacionadas con la

Evaluación de LMS.

PROPUESTAS Y MODELOS CON LA EVALUACIÓN LMS

Según (Menéndez& Castellanos 2011), Kapp

CARACTERIZACIÓN DE LA CALIDAD
plantea que la calidad de una plataforma e –
Learninng está dada por cinco características:
Mantenimiento, Compatibilidad, Usabilidad,
Modularidad y Accesibilidad, las cuales al ser
evaluadas de forma individual, aseguran el
entendimiento de las diferentes necesidades
tecnológicas. Cada una de estas características es
vital para el éxito. Kapp no establece criterios de
medición, dejando por lo tanto a los usuarios su
definición.

(Lanzilotti, Ardito, Costabile, & De Ange, 2006),

MARCOS TICS Y MEDOLOGÍA ELSE
proponen un nuevo marco llamado TICS (Tecnology,
Interaction, Content, Services), orientados en los
aspectos más interesantes, que deben ser
considerados cuando se diseña o evalúa un Sistema
de Gestión del Aprendizaje. Por consiguiente, la
propuesta enfatiza la interacción usuario- plataforma,

MARCO PARA EL ANALISIS
DE LA POTENCIALIDAD Y VALIDEZ
MARCOS PARA LA EVALUACIÓN
CALIDAD BASADA EN LAS HERRAMIENTAS
definida por: Tecnología, Interacción, Contenidos y
Servicios, de los cuales se obtiene una guía y una
metodología de evaluación llamada elSE, la cual
combina técnicas de inspección, realizada por
expertos, que permite identificar, luego se hace un
análisis con respecto a las TICS y después se aplica
una técnica llamada Tareas abstractas ( TA), que
describe las actividades las cuales deben ser
realizadas y por ende se puedan ver como patrones de
evaluación y formuladas según una plantilla, que
posteriormente se clasifican en dos categorías:
Aprendizaje del Contenido y Calidad de Uso.
Georgiakakis constituye la utilidad y calidad de uso de
un LMS a través de un proceso el cual se da en dos
pasos: Explorar y determinar su naturaleza con base a
sus características, examinar la usabilidad y la utilidad.
No obstante el modelo propone una serie de criterios
pedagógicos- técnicos, dividiéndolo a su vez en
práctico y educativo. Emplea listas de cotejo y una
matriz de decisión para identificar las características y
luego clasificarlos. Después de definidas se procede
entonces a establecer una serie de criterios como: Fácil
de aprender y comprender, Eficiente en la ejecución de
tareas, eficiente en la navegación, Retorno a lugares
seguros y muy agradables. Finalmente, los valores con
los que se evalúa son del 1 al 5.
Según Beshears, la evaluación se puede hacer con los
siguientes criterios: Requerimientos conocidos,,
Requerimientos futuros desconocidos,,
implementación, Soporte y Costo entre otros. Se
distribuyen 100 puntos entre ellos, también se puede
realizar una lista de características para cada uno de
ellos del 0 al 5. Si bien es cierto, la suma de estos
valores determina la calidad de la herramienta.
Está basada en la presencia o ausencia de
herramientas, los cuales están clasificados en ocho
categorías y en un conjunto de herramientas, que la
encontramos en un sitio web llamado Edu Tools, en

SISTEMAS DE GESTIÓN DE CONTENIDOS DE
CÓDIGO ABIERTO
Tabla 1. Desarrollo propio. Fuente, Propuestas y modelos relacionadas con la Evaluación de LMS.
Es de vital importancia contemplar dentro de estos aspectos, a los estándares de
educación a distancia los cuales están enmarcados en diferentes organizaciones que
donde a través de un formulario, el desarrollador indica
las herramientas que suministra el sistema, donde será
evaluado por un grupo de verdaderos expertos. Dentro
de las categorías y herramientas se pueden destacar
las siguientes: Herramientas de Comunicación ( Chat,
Foro),Herramientas de Productividad ( marcadores,
búsqueda interna) ,Herramientas para el desarrollo del
estudiante ( Autoevaluaciones, Portafolio),
Herramientas Administrativas ( Autenticación,
Registro), Herramientas de Publicación de Curso
(Herramientas de Control de Calificaciones, Monitoreo
de Estudiantes), Diseño Curricular (Plantillas de
Cursos, Administración del Currículo), Hardware /
Software (Requiere un navegador Web,
Requerimientos BD), Precio / Licenciamiento (Costo,
Código abierto).
Estos Sistemas definen trece criterios generales entre
los que tenemos: Costo de Uso, Mantenibilidad,
Usabilidad y Soporte, Perfil del Vendedor y de la
Herramienta, Modularidad, acorde a Estándares,
Capacidad de Integración, Integración de Objetos de
Aprendizaje, Efectividad y Eficacia, Escalabilidad,
Seguridad, Consideraciones de Hardware / Software y
Soporte Multilenguaje.
Además se tiene una lista de características y
herramientas: Administración, Seguridad, Acceso,
Integración con otros Sistemas, Diseño de Cursos,
Desarrollo e Integración, Monitoreo de Cursos, Diseño
de Actividades, Colaboración en Línea y
Comunicaciones y las Herramientas de Productividad.
Es por ello, que cada característica emplea, una escala
de 0 a 5, donde 0 es no existe pobre, 3 es promedio
básico estándar y 5 excede las expectativas del
estándar.
crean normas y especificaciones, para la interoperabilidad y calidad del servicio entre
LMS:
ESTANDARES DE EDUCACIÓN A DISTANCIA
NORMAS Y ESPECIFICACIONES
ADL ( Advanced Distributed Learning Iniciative)
AICC ( Aviation Industry CBT Committee
Es una iniciativa del Departamento de Defensa
(DoD) de los Estados Unidos, para implementar y
desarrollar herramientas y tecnologías de
aprendizaje. Fue creada en el auspicio de la Oficina
del Subcretario de Defensa para el Personal Y
Preparación (Office of the Under Secretary of
Defence for Personnel and Readiness. OUSD P & R)
para potenciar el uso de las tecnologías de la
información para modernizar el aprendizaje
estructurado. (Wikipedia, 2014). La ADL, fue la
impulsadora del estándar de e- learning
internacional SCORM y en la actualidad
promociona el desarrollo de Tin Cap API, y amplia
principios y guías de trabajo necesarias para el
incremento y la implementación eficiente, efectiva y
en gran escala de formación educativa sobre
nuevas tecnologías web.
Fue creado en el año 1988, es un grupo internacional
de profesionales del entrenamiento y capacitación
basada en tecnología. (Gobierno Venezolano). Es una
organización sin fines de lucro, reúne a los formadores
de la aviación, los desarrolladores de cursos, los
proveedores de software, diseñadores y fabricantes,
para posteriormente desarrollar normas,
recomendaciones de tecnología y análisis de las
mejores prácticas, compartiendo los estándares y
realizando un proceso de certificación, así mismo los
miembros contribuyen a desplegar las normas de las
tecnologías de la información de vanguardia. Entre sus
objetivos se tiene, conseguir una formación más
rentable, eficiente y sostenible:

1. Asistir en la elaboración de guías de

referencia aeronáutica, que promuevan las
ventajas económicas y la eficacia de los
medios de entrenamiento computarizado.
2. Permitir la interoperabilidad entre los diversos
productos y plataformas de uso de la tcc.
3. Proporcionar un foro abierto para la discusión
del entrenamiento de tcc (terapia- cognitivo-
conductual) y los sistemas de tecnología de la
formación en general.
Se puede afirmar, que fue el primer organismo creado
entre diferentes sistemas, para instaurar un conjunto de
normas que permitiese el intercambio de cursos CBT
(Computer Based- Training).
Las especificaciones AICC cubre nuevas áreas, que
van desde los objetos de aprendizaje (LO) hasta los
LMS. Las compañías deben cumplir con al menos con
unas de estas directivas y recomendaciones ( AGRs):
AGR 01: Publications
AGR 02: Courseware Delivery
Stations
AGR 03: Digital Audio
AGR 04: Operating/ Windowing
System
AGR 05: CBT Peripheral Devices
AGR 06: Computer- Managed
Instruction
AGR 07: Courseware Interchange
AGR 08: Digital Video
AGR 09: Icon Standards: User
Interface
AGR 10: Web- Based Computer-
Managed Instruction

AICC, se basa en la comunicación mediante mensajes

HTTP, para conseguir que se produzca la correcta
interpretación de los cursos por parte del LMS,

IMS ( Global Learning Consorcio)
IEEE LTSC ( Learning Technology Standards
Committee)
llamándose a este protocolo mediante las siglas HACP,
que significan HTTP AICC CMI Protocol.
Es un grupo independiente sin ánimo de lucro, que
inició su labor en 1997, impulsado por el NLII ( National
Learning Infrasctuture Initiative), que es una
organización apoyada por Educase. IMS trabaja en Pos
al avance de la tecnología, que pueda aplicarse en
gran escala y mejorar de forma asequible la
participación y los logros educativos. Por tanto, los
miembros son proveedores líderes, instituciones y
organizaciones gubernamentales que hacen posible el
futuro de la educación, colaborando con iniciativas de
interoperabilidad y adopción. Es así, como IMS
patrocina Learning Impact, el cual es un programa de
premios y conferencia globales, para reconocer el
impacto de la tecnología innovadora en el acceso a la
asequibilidad y calidad de la educación. (PRNewswire-
HISPANIC PR WIRE, 2014).
La misión de IMS, es desarrollar y promover
especificaciones abiertas, para facilitar las actividades
del aprendizaje en línea.
Actualmente IMS tiene 16 especificaciones, ya que
cada una de ellas está enfocada en una necesidad
distinta del proceso de enseñanza. Hay
especificaciones que se refieren a metadatos de los
objetos educativos, al formato de empaquetamiento y
distribución de los cursos, a la información del usuario,
a la secuenciación de contenidos educativos o incluso
al diseño de la actividad educativa en su conjunto.
Este comité perteneciente al Institute of Electricial and
Electronic Engineers (IEEE), cubre prácticamente todos
los aspectos de aprendizaje basados en ordenador. Su
misión principal es desarrollar estándares técnicos,
 prácticas recomendadas y guías para componentes de
software, herramientas, tecnologías y métodos de
diseño, que posibiliten el desarrollo, implantación,
mantenimiento e interoperabilidad de implementación
de sistemas educativos. El LTSC, está organizado en
subcomités que se encargan de áreas de trabajo
determinadas como la definición de la arquitectura de
sistemas de e- learning o la definición de metadatos,
para objetos educativos. Se puede decir, que en estos
momentos el área de mayor impacto, es la relacionada
con los metadatos de los recursos educativos, ya que
el Standard Learning Object Metadata (Stándard IEEE
1484. 12.1- 2002), es el estándar oficial que más se
está utilizando actualmente en e- learning. El LTSC, se
encarga de preparar normas técnicas, prácticas y guías
recomendadas, para el uso informático de
componentes y sistemas de educación como de su
interoperación. El estándar IEEE 1484.11.1- 4 evalúa
los LMS.

Cubre lo esencial de Learninig Management System

ISO/IEC ISO/ IEC TR 29163- 4: 2009 (LMS) agrupa los diferentes estándares como IMS,
AICC Y ADL.

Por sus siglas en inglés ( Open Knowledge Iniciative,

Iniciativa de Conocimiento Abierto), busca encontrar las
ventajas y beneficios que ofrece, para el desarrollo de
LMS.
OKI, de MIT es un proyecto de colaboración con la
Universidad de Harvard, la Universidad Estatal de
Carolina del Norte, la Universidad de Michigan, la
Universidad de Pennsylvania, y la Universidad de
PROJECT OKI Wisconsin.
El OKI se describe así mismo en su sitio de internet
como una arquitectura que desarrolla y promueve las
especificaciones que describen como los componentes
de un entorno de software, los cuales se comunican
entre sí y con otros sistemas empresariales, no es más
que una arquitectura abierta y extensible para
tecnología utilizada en el aprendizaje especialmente,
para la educación superior.
 Las especificaciones de OKI, permiten la
interoperabilidad sostenible y la integración mediante
la definición de normas, para la arquitectura orientada a
servicios (SOA) y la llamada definición de interfaces de
servicio abierto (OSIDs).
A través de este trabajo OKI, buscar abrir nuevas
oportunidades de mercado con una amplia gama de
dominio de aplicación de software.

Crea especificaciones y normas que describe el tipo de

información, que puede ser almacenada en el portafolio
y como debe llevarse a cabo el registro a nivel de
datos. El portafolio del estudiante es un medio de
PORTAFOLIO “tareas”, dinámicas y progresivas sobre las principales
fortalezas y logros del aprendizaje, Por otro lado,
describe los documentos y materiales, los cuales
colectivamente sugieren el alcance y la calidad de las
actividades del estudiante.

El Consorcio World Wide Web ( W3C), es una

comunidad internacional, donde las organizaciones que
W3C tiene personal con tiempo completo y el público en
general, trabajan conjuntamente, para desarrollar
estándares Web y accesibilidad en la Web y que
abarcan el los LMS, el cual es liderado por el inventor
de la Web ( Tim Berners - Lee).
Tabla 2. Desarrollo propio. Fuente, estándares de Educación a distancia, Normas y Especificaciones

Vale resaltar en los LMS normas y estándares. Los Sistemas de Gestión de

Aprendizaje, que emplea las TIC, para su funcionamiento, deben entenderse como un
software, que media los procesos inmersos en estos sistemas.
 Los Sistemas de Gestión de Aprendizaje, deben
revisarse desde el punto de vista evaluativo,
obedeciendo a los aspectos técnicos según la
norma ISO/ IEC 9126 sin ser tan riguroso. Esta
norma busca poder medir la calidad de un
programa informático.
Entendiendo por calidad “la propiedad o conjunto
de propiedad, es inherente al software, que permite
LMS NORMAS Y ESTÁNDARES
determinar su valor”. Para ello, propone la
descomposición del atributo de calidad en otros
más sencillos y fáciles de medir. De esta forma se
establecen los requisitos de la calidad de un
programa y se consigne un mayor conocimiento
del programa estudiado.

Es la integración de las normas ISO/ IEC 9126 e ISO

14598, que pretende el desarrollo de productos de
software conforme a su especificación y evaluación de
calidad. Este define tres vistas, para evaluar dicha
calidad.
La vista interna está relacionada con las propiedades
del software asociadas a las primeras fases del

MODELO DE CALIDAD ISO/ IEC 2500 desarrollo (tamaño, complejidad, etc.).

La vista externa se enfoca a la validación del producto
en términos de efectividad y rapidez, uso de memoria,
etc.
La vista de uso, se refiere a la percepción del usuario
con respecto a la efectividad del producto para la
ejecución de las tareas. Por consiguiente, cada vista
define una serie de métricas. Esto permite detectar
fortalezas y debilidades de un sistema y se enfoca en
la toma de decisiones para la compra y la comparación.

Este es el primer estándar de calidad, para el

ESTÁNDAR ISO/ IEC 19796-1 aprendizaje, la educación y la capacitación. Entonces,
en el Marco de Referencia, se basa en la descripción
de calidad ( RFDQ) y consta de dos partes:
 Un modelo de procesos como clasificación de
referencia y un esquema de descripción, para el control
de la calidad.
El modelo de procesos, considera todo el ciclo de vida
del e- Learning y tiene las siguientes características:
Integración, completitud, apertura, adaptabilidad y
unicidad. Vale mencionar que también se divide en
siete categorías (análisis de necesidades, análisis de
marco de trabajo, concepción/ diseño, desarrollo/
producción, implementación, proceso de aprendizaje y
evaluación/ optimización) y treinta y ocho subprocesos,
donde se debe especificar los métodos y métricas a
tener en cuenta.

Tabla 3. Desarrollo propio. Fuente, LMS normas y estándares

Ahora bien, es de vital importancia conocer los Pro y Contra de diferentes

propuestas y modelos de procesos, con el fin de diferenciar las fortalezas/ debilidades
que consigo traen:

PROS Y CONTRA DE LAS PROPUESTAS Y MODELOS

La propuesta presentada por Kapp, tiene como

KAPP inconveniente su generalidad al no constituir de
forma clara, una metodología, ni un rango de
valores, para la evaluación.

Su propuesta está enfocada, al proceso de

BESHEARS implementación, lo que quiere decir, que se vuelve
complejo, para aquellos que no tienen conocimiento al
respecto.

Plantea un aspecto importante que es la usabilidad,

GEORGIAKAKIS traza un esquema de clasificación y unos niveles que lo
hacen sencillo de utilizar, solo que su evaluación la
 hacen verdaderos expertos y en ambientes
controlados.

En cuanto a este marco, se puede ver su enfoque a la

EN EL MARCO DE LAS TIC
parte tecnológica, donde cobra la importancia a la
interacción usuario- sistema. Su principal ventaja son
las inspecciones basadas en patrones, haciéndola
objetiva, solo el número de AT´ S, si son generados,
puede no cubrir todas las características.

Ofrece un marco genérico y un listado de

funcionalidades deseables para las herramientas,
haciendo de esta forma, que su medición sea sencilla,
EDU TOOLS mediante una lista de cotejo. Sin embargo, su
desventaja, radica en la presencia o ausencia de
elementos, que hacen que se realicen una larga
revisión de la calidad del sistema.

La herramienta de código abierto, establece una

CÓDIGO ABIERTO metodología cuantitativa, para aplicar a la evaluación
de calidad de un sistema LMS, solo que esta medición
es subjetiva y su valor por lo tanto, está dado en la
percepción global.

Es así, como esto lo hace limitado aunque su ventaja

es que se puede definir, una colección de
características y la forma en que serán medidas,
NORMAS ISO 9126 e ISO 14598 estableciendo unos criterios y objetivos que evitarán las
valoraciones subjetivas.

Se enfoca mucho en el proceso de implementación de

ISO/ IEC 19796-1 un esquema de aprendizaje, haciendo que el LMS, no
sea parte del estándar sino de un subproceso. Su
ventaja radica en que proporciona un documento
enfocado a la generación de métricas y mediciones de
calidad.
Tabla 4. Desarrollo propio. Fuente, Pro y Contra de diferentes propuestas y modelos
 CONCLUSIONES

Las Tics se convierten en un reto a nivel mundial en todo el Sistema Educativo, y

en Organizaciones en todos los campos a nivel comercial, industrial y educativo,
posibilitando a los empresarios (calidad en los procesos de negocios productivos y
administrativos), a los docentes fortalecer sus prácticas pedagógicas.

Las nuevas herramientas como el Inter espacio, el cómo, el qué se puede enseñar,
en Pro al beneficio de los usuarios, educandos, respeto a la Calidad en la gestión de la
comunicación, evaluación, diagnóstico y del seguimiento oportuno y constante de su
proceso de aprender, posibilitan a los usuarios, docentes y educandos establecer unos
criterios claros, para controlar los elementos, que intervienen en el desarrollo de los
procesos.

El Sistema de Gestión del Aprendizaje LMS (Learning Management System),es un

sistema de gestión de aprendizaje online, que permite administrar, distribuir,
monitorear, evaluar y apoyar las diversas actividades previamente diseñadas y
programadas dentro de un proceso de formación completamente virtual (eLearning) o
de formación semi –presencial (Blended Learning).

Los Sistemas LMS tienen amplios propósitos, tanto para empresarios, docentes y
educandos, hay diferentes opciones comerciales y de libre distribución, con nuevos
sistemas de gestión del aprendizaje y actualizaciones permanentes de las versiones,
para lograr mejoras en el ámbito educativo y empresarial.

Los estándares de educación a distancia están enmarcados en diferentes

organizaciones que crean normas y especificaciones, para la interoperabilidad y calidad
del servicio entre LMS:
 REFERENCIAS

Libro electrónico multimedial: Evaluación de la Calidad de la Tecnología Educativa.

Cap. 4 Evaluación de la Calidad del Software Educativo. Recuperado de
http://aulavirtual.eaie.cvudes.edu.co/publico/lems/L.000.008.MG/cap4.html

Cova, A., Arrieta, X., & Duran, J (2007). Revisión de Modelos para Evaluación de
Software Educativo. http://aulavirtual.eaie.cvudes.edu.co/publico/lems/L
.000.008. MG/Documentos/ Anexos/cap4/2.pdf

Dominique, S.- L., & witold, S. (2000). Enhancing ISO/IEC 25021 Quality Measure.

Elementos for wider application within ISO 25000 series. Recuperado de

http://aulavirtual.eaie.cvudes.edu.co/publico/lems/L.000.008. MG/Documentos

/Anexos/cap4/1.pdf

Menéndez, V., Domínguez, C. M. (2011). La Calidad en los Sistemas de Gestión del

Aprendizaje. Recuperado dehttp://aulavirtual.eaie.cvudes.edu.co/publico/lems/

L.000.008.MG/Documentos/Anexos/cap4/3.pdf