Abstraction & Application 4 (2011) 9-25 UADY

La Calidad en los Sistemas de Gestin del o Aprendizaje

Victor Hugo Menndez Dom e nguez, Mar Enriqueta Castellanos Bolaos a n Facultad de Matemticas, UADY a Perifrico Norte Tablaje 13615, C.P. 97110, Mrida, Mxico e e e
mdoming@uady.mx, enriqueta.c@uady.mx
Abstract A decisive factor in the advancement of e-Learning has been the development of Learning Management Systems (LMS). With such systems, the e-Learning teachers work is greatly facilitated. A LMS is an integrated environment that provides tools for communication, collaboration, management, assessment, diagnosis and learning monitoring of registered student, which also allows control courses, students, resources, etc. For many educational institutions, the selection of a LMS that provides a quality solution to their needs for e-Learning is a common problem, given the large number of LMS available today. This paper presents a review of several proposals that may be useful for evaluating the quality of an LMS. It give us an overview of the main elements involved in the development of quality in these systems that can be used to compare and choose an LMS according with the educational institutions needs. Resumen Un factor decisivo en el avance del e-Learning ha sido el desarrollo de los Sistemas de Gestin del o Aprendizaje (SGA). Gracias a este tipo de sistemas, la labor del profesor de e-Learning se ha facilitado enormemente. Un SGA es un entorno integrado que ofrece herramientas para la comunicacin, colaboo racin, gestin, evaluacin, diagnstico y seguimiento del aprendizaje de los estudiantes registrados, lo o o o o que permite tambin controlar cursos, alumnos, recursos, etc. Para muchas instituciones educativas, see leccionar el SGA que brinde una solucin de calidad a sus necesidades de e-Learning es una problemtica o a comn, dado el gran nmero de SGA disponibles hoy en d En este trabajo se presenta una revisin u u a. o de varias propuestas que pueden resultar utiles para evaluar la calidad de un Sistema de Gestin del o Aprendizaje. Nos brinda una visin de los principales elementos que intervienen en el desarrollo de la o calidad en estos sistemas que pueden ser empleados para comparar y elegir un SGA en funcin de las o necesidades educativas de las instituciones.

1.

Introduccin o

Cuando Tim Bernes-Lee cre la World Wide Web ten en mente establecer un espacio comn y global o a u en donde todos los participantes se comunicaran e intercambiaran informacin [2]. En la actualidad, la gran o
2010 M athematics Subject Classif ication. 97U50, 68N99. Keywords and phrases : Quality, Learning Management Systems, LMS, Models, Calidad, Sistemas de Gestin del Apreno dizaje, SGA, Modelos.

10

La Calidad en los Sistemas de Gestin del Aprendizaje o

mayor de las instituciones educativas son conscientes de que la Web tiene un gran impacto en la educacin, a o pues ofrece un sin n de benecios adicionales a la comunicacin y obtencin de informacin [5]. Hoy en d o o o a, la Web es unos de los medios ms importantes para la enseanza-aprendizaje a distancia. Los avances en las a n tecnolog de la informacin, junto con los cambios en la sociedad, estn creando nuevos paradigmas para as o a la Educacin como el e-Learning, en donde la Web juega un papel importante [21]. o El trmino e-Learning puede denirse en forma simple como el empleo de Internet para facilitar el e aprendizaje. A detalle, implica utilizar las herramientas disponibles en Internet y ms espec a camente de la World Wide Web para adaptar el ritmo de aprendizaje al alumno sin importar los l mites de espacio y de tiempo [5]. Desde el aspecto tecnolgico, el e-Learning ha evolucionado, partiendo desde las pginas HTML hasta o a complejos sistemas donde se controla el aprendizaje de los participantes. Se pueden identicar cinco tipos de tecnolog e-Learning que pueden ser utilizadas solas o combinadas para lograr un n educativo [20]: as 1. Lenguajes de programacin. Permiten tener un completo control y exibilidad en el desarrollo de los o mecanismos de interaccin del aprendizaje en l o nea. Su principal desventaja es que el mantenimiento de los sistemas generados es una tarea laboriosa e implica contar con personal especializado. PHP, ASP.NET e incluso Java son ejemplos de este tipo de lenguajes. 2. Sistemas de autor Emplean elementos, muchas veces visuales, que facilitan la construccin de aplia. o caciones e-Learning sin necesidad de contar con conocimientos de programacin. Su principal desventaja o es que ofrecen una funcionalidad limitada. Generalmente no incluyen los elementos de interaccin proo pios de un sistema e-Learning, adems que suelen estar diseados para un lenguaje de programacin a n o en particular. Algunos ejemplos de estos sistemas son Toolbook, Authorware, eXe o Xerte. 3. Sistemas de Gestin del Aprendizaje (LMS, Learning Management System). Estn dio a seados para asistir al proceso de enseanza-aprendizaje en un entorno virtual mediante un conjunto n n de herramientas. Pueden tener una orientacin hacia el alumno, el profesor o el proceso enseanzao n aprendizaje. Existen numerosos ejemplos de LMS, siendo los ms comunes Moodle, Dokeos y ATutor. a 4. Sistemas de Gestin de Contenidos (CMS, Content Managemente System). Permiten tener o un control y orden de los recursos que pueden ser utilizados en un entorno no necesariamente educativo pero que facilita la publicacin de contenidos. Todos los elementos de informacin almacenados estn o o a catalogados, lo que permite una bsqueda y exploracin del contenido en forma sencilla. Ejemplos de u o estos sistemas son Joomla, WordPress o Drupal. 5. Sistemas de Gestin de Contenidos de Aprendizaje (LCMS, Learning Content Manageo ment System). Es un sistema especializado, independiente o integrado con el Sistema de Gestin del o Aprendizaje, que administra los contenidos de aprendizaje. Una vez que los recursos estn almacenados a en este sistema, pueden ser combinados, asignados a distintos cursos, descargados desde el repositorio, etc. Emplea estndares y tecnolog de interoperabilidad que facilitan el intercambio y la reutilizacin a as o de los materiales educativos. Merlot, Ariadne, Agrega o AGORA son ejemplos de LCMS. De todas las tecnolog presentadas, el Sistema de Gestin del Aprendizaje es el ms empleado. Nuas o a merosas instituciones usan este tipo de aplicaciones para organizar y distribuir sus cursos en la Web [8]. Generalmente un Sistema de Gestin del Aprendizaje es fcil de usar, exible en trminos pedaggicos y eo a e o ciente en trminos de costos, adems que organiza el contenido educativo y ofrece una serie de funcionalidades e a para la comunicacin y colaboracin [9]. o o Este trabajo ha de considerarse como un documento que sirva para el anlisis y la reexin sobre la a o calidad en los Sistemas de Gestin del Aprendizaje y otras herramientas asociadas. Pretende ser utilizado en o el seno de actividades de formacin educativa-tecnolgica que versen sobre este tema. Pero sobre todo ha de o o ser tomado en cuenta para tener una visin de los principales elementos que intervienen en el desarrollo de la o calidad en estos sistemas y que pueden ser empleados en la comparacin y eleccin de un Sistema de Gestin o o o del Aprendizaje. El estudio est enfocado ms al aspecto tecnolgico que al pedaggico de un Sistema de a a o o Gestin del Aprendizaje. o

V.H. Menndez-Dom e nguez, M.E. Castellanos-Bolaos n

11

El trabajo se estructura en cinco secciones, incluida sta. En la seccin 1 ha sido presentada una ine o troduccin a la temtica abordada. La seccin 2 describe las caracter o a o sticas de los Sistemas de Gestin del o Aprendizaje y la necesidad de contar con criterios de calidad. La seccin 3 presenta los distintos marcos de o calidad para Sistemas de Gestin del Aprendizaje estudiados. Una valoracin de las propuestas presentadas o o es realizada en la seccin 4. Finalmente, en la seccin 5 se presentan las conclusiones y tendencias. o o

2.

Sistemas de Gestin del Aprendizaje y la calidad o

Un Sistema de Gestin del Aprendizaje (SGA, plataforma e-Learning) ofrece una interfaz uniforme para o estudiantes y profesores, adems de promover la portabilidad de los recursos de aprendizaje y su interopea rabilidad [14]. Se han utilizado ampliamente con propsitos educativos e instruccionales porque: o Permiten el mantenimiento y la reusabilidad de los recursos. Soportan una interaccin avanzada entre tutores, profesores y estudiantes. o Proporcionan un excelente grado de exibilidad en trminos de aprendizaje. e Liberan de las limitaciones de tiempo y espacio del aprendizaje. Para cualquier institucin, la eleccin de un SGA es compleja por varias razones [4]: o o Existen muchas opciones comerciales o de libre distribucin disponibles. o Aparecen constantemente nuevos Sistemas de Gestin del Aprendizaje. o Las actualizaciones de las versiones de los sistemas existentes pueden tener mejoras importantes. Y esto origina numerosos problemas [4]: Se emplean plataformas e-Learning que no cubren las necesidades bsicas. a Los usuarios no utilizan el SGA. El mantenimiento de la plataforma se vuelve una tarea complicada. La integracin con sistemas existentes no es posible o resulta compleja. o Se emplean otras plataformas alternativas (para un profesor o curso particular) al institucional. Existen sitios que ofrecen anlisis comparativos de SGA, muchos de ellos van ms all de comparar funa a a cionalidades o herramientas (tiene foro de discusin?) e incluyen funcionalidades en su evaluacin (cmo o o o funciona?, qu funciones realiza?). Tambin existen estudios enfocados al aspecto pedaggico, las herrae e o mientas que ofrecen, usabilidad, etc. [7, 15, 26]. Pero elegir un Sistema de Gestin del Aprendizaje no es o tarea fcil, es necesario identicar las caracter a sticas de las distintas alternativas y determinar qu tan impore tantes son estas caracter sticas para los estudiantes, los profesores y la administracin. Ante tantas opciones o existentes, se hace necesario realizar estudios sobre su calidad. A pesar del gran nmero de plataformas disponibles, una de las barreras para una exitosa implantacin u o es la carencia de sistemas de alta calidad acordes a las necesidades de los usuarios. La calidad es un trmino e abstracto que asume un signicado espec co adecuado al contexto en el cual es utilizado. Cuando se habla de la calidad es importante considerar las regulaciones para una certicacin de calidad o (estndares ISO), las cuales establecen estndares para asegurar la calidad de un producto de software. Un a a estndar enfatiza que la calidad es un atributo que depende de varios factores: el usuario, el contexto, el a objetivo y el costo del producto [1].

12

La Calidad en los Sistemas de Gestin del Aprendizaje o

La evaluacin de las plataformas e-Learning implica una atencin especial, y los evaluadores necesitan o o gu apropiadas, as como metodolog de evaluacin efectivas [7]. Desafortunadamente, los estudios realias as o zados son simples e inadecuados a la importancia del trmino calidad o bien no contemplan todos los mbitos e a [22, 23, 24]. En muchos casos, los estudios estn orientados a determinar las caracter a sticas de un Sistema de Gestin del Aprendizaje en funcin del anlisis de una serie de categor y presentan tablas con las o o a as caracter sticas soportadas por los SGA seleccionados y un comparativo entre ellos [16]. La calidad en las plataformas e-Learning es un tema de investigacin que se ha venido desarrollando en o los ultimos aos [22]. Esto debido principalmente al gran nmero de sistemas que podemos encontrar hoy n u en d Ante esta gran diversidad de opciones surgen grandes carencias en cuanto a la calidad de los mismos a. para satisfacer las necesidades de los usuarios.

3.

Marcos de calidad para los Sistemas de Gestin del Aprendizaje o

Para que la calidad exista es necesario que pueda entenderse en relacin a un contexto, de manera o que las diferentes perspectivas y opiniones puedan ser consensuadas [25]. Un marco de referencia permite la especicacin de aspectos relevantes y criterios para denir la calidad, as como la aplicacin de esos criterios o o en un contexto dado [24]. En la literatura existen varias propuestas de estos marcos de calidad que son la base para estudios de evaluacin de un Sistema de Gestin del Aprendizaje. o o

3.1.

Caracterizacin de la calidad o

Segun Kapp [20], la calidad de una plataforma e-Learning est dada por cinco caracter a sticas: 1. Mantenimiento. La habilidad de mantener, an por largo tiempo, la tecnolog seleccionada. Se debe u a revisar que la aplicacin separe la presentacin del contenido. Las actividades diarias como crear cursos, o o reciclarlos, eliminar usuarios, crear ejercicios, deben ser sencillas. Si extender o actualizar el SGA es una tarea complicada, no debe considerarse. 2. Compatibilidad. Buscar soluciones que sean compatibles con otras existentes que permitan intercambiar contenidos. Debe soportar estndares de intercambio como SCORM o IMS-CP. La interopea rabilidad es la habilidad de tomar un curso y usarlo en otro SGA. 3. Usabilidad. La plataforma debe ser fcil de usar. Si la tecnolog uilizada por la plataforma es vista a a como mala o complicada ser abandonada. Se espera que el SGA sea intuitivo: debe ser fcil encontrar a a elementos, ser simple y directo. La interfaz de la plataforma debe estar diseada de manera que no sea n necesaria una larga fase de capacitacin. o 4. Modularidad. El SGA puede ser desarrollado como una coleccin intercambiable de objetos de coo nocimiento o de funcionalidad. Cada uno de estos mdulos es una pequea pieza de contenido. Los o n componentes u objetos de aprendizaje podrn ser reutilizados si cumplen con los requerimientos de los a usuarios. 5. Accesibilidad. La accesibilidad se presenta desde dos aspectos: el SGA es accesible para todos los individuos a pesar de sus deciencias f sicas, es decir, si est conforme con estndares de accesibilidad. a a Las tecnolog empleadas por la plataforma estn disponibles a todos los usuarios (componentes, as a extensiones, caracter sticas del contenido). Cada una de estas caracter sticas es cr tica para el xito. Muchas de ellas se traslapan pero si son evaluadas e de forma individual aseguran un completo entendimiento de las necesidades tecnolgicas de una plataforma o e-Learning. Sin embargo Kapp no establece criterios de medicin, dejando a los usuarios su denicin. o o

V.H. Menndez-Dom e nguez, M.E. Castellanos-Bolaos n Implementacin o Respuesta del vendedor Antecedentes del vendedor Madurez del software Madurez de la tecnolog a Modicaciones Consideraciones para desarrollos terceros Asistencia de implementacin por el vendedor o Calidad Documentacin o Capacitacin o Soporte Respuesta del vendedor Estabilidad nanciera Grupos de usuarios Metodolog de desarrollo a Modicaciones Garant a Funciones de soporte Calidad Costo Iniciales Recurrentes

13

Cuadro 1: tres criterios con sus caracter sticas de evaluacin [3]. o

3.2.

Marco para la evaluacin de un Sistema de Gestin del Aprendizaje o o

Para Beshears [3], un SGA puede ser evaluado sobre la base de cinco criterios: 1. Requerimientos conocidos. Habilidad de la plataforma para satisfacer los requerimientos acadmicos e y administrativos actuales de la organizacin, as como los requerimientos futuros que hoy en d se o a conocen. 2. Requerimientos futuros desconocidos. Habilidad de modicar el SGA para cubrir los nuevos requerimientos cuando se conozcan. 3. Implementacin. Habilidad de implementar la plataforma fcilmente. o a 4. Soporte. Habilidad del vendedor para ofrecer soporte tanto a la plataforma como a la organizacin o en un futuro. 5. Costo. Costo total de la compra e implementacin del SGA, junto con los costos de mantenimiento y o soporte. Los evaluadores deben distribuir cien puntos entre los cinco criterios, donde el ms importante recibe el a valor mximo. Cada uno de esos valores ser el l a a mite que alcanzar el SGA en ese criterio. Para cada uno de a los criterios puede haber una lista de caracter sticas que sern utilizadas para evaluar a la plataforma. Las a caracter sticas de una misma categor toman valores numricos tales que su suma es igual al valor otorgado a e a esa categor a. Cada caracter stica es evaluada de forma independiente usando una escala del 0 al 5, donde 5 corresponde al 100 % del valor otorgado a la caracter stica que se considera necesaria. La suma de todos estos valores determina la calidad de la herramienta. El cuadro 1 presenta las caracter sticas para tres criterios (implementacin, soporte y costo). Para cada o caracter stica existe una denicin que ser utilizada para evaluar al SGA. Cuando no se denan, como en o a el caso de los requerimientos, es la organizacin quien debe establecerla con base en sus objetivos o planes. o

3.3.

Marco para el anlisis de la potencialidad y validez a

El objetivo del marco planteado por Georgiakakis et al. [14] es establecer la utilidad y la calidad de uso de un Sistema de Gestin del Aprendizaje. Para ello establece un proceso de dos pasos: o 1. Explorar el SGA y determinar su naturaleza con base a sus caracter sticas. 2. Examinar la usabilidad y la utilidad, que son factores cr ticos de aceptacin. o

14

La Calidad en los Sistemas de Gestin del Aprendizaje o

Figura 1: criterios del modelo de evaluacin de potencialidad y validez [14]. o El modelo propuesto consta de una serie de criterios, tanto pedaggicos como tcnicos (gura 1), siendo o e su caracter stica principal el concepto de aceptacin, el cual se divide en prctico y educativo. o a En su primera parte emplea listas de cotejo para indicar el soporte a cierta caracter stica y adems emplea a una matriz de decisin para identicar las caracter o sticas que soporta el SGA con el propsito de clasicarlo. o Esto permite homologar las diferentes plataformas y hacer comparaciones ms efectivas. a La segunda parte establece qu tan bien son soportadas las caracter e sticas denidas previamente. Lo hace por medio de una serie de criterios: Fcil de aprender y comprender. a Eciente en la realizacin de tareas. o Eciente en la navegacin. o Retorno a lugares seguros. Agradable. Cada tipo de usuario potencial de la plataforma realiza algunas actividades que luego evala con base a u los criterios, estableciendo valores del 1 al 5, donde el valor ms bajo representa un pobre desempeo. a n

3.4.

Marco TICS y metodolog eLSE a

Lanzilotti et al. [22] proponen un nuevo marco llamado TICS (Tecnology, Interaction, Content, Services) enfocado en los aspectos ms importantes que deben ser considerados cuando se disea o evala un Sistema a n u de Gestin del Aprendizaje. La propuesta enfatiza la interaccin usuario-plataforma. Plantean que la calidad o o de un SGA est denida por: a

V.H. Menndez-Dom e nguez, M.E. Castellanos-Bolaos n Elemento Cdigo de clasicacin y t o o tulo Foco de accin o Intento Descripcin de la actividad o Salida Descripcin o Identican de forma unica a la TA Describe el contexto, listando los componentes a ser evaluados Describe el problema que evala la TA indicando el objetivo u Describe en detalle las actividades a realizar durante la TA Describe la salida esperada

15

Cuadro 2: plantilla para denir una tarea abstracta (TA) [7]. 1. Tecnolog Se especializa en la dimensin hipermedia, es decir, en aquellos problemas que pueden a. o hacer complejo el uso del sistema como la sobrecarga de informacin, la desorientacin dentro del o o espacio hipermedia, etc., as como sus caracter sticas tecnolgicas. o 2. Interaccin. Implica aspectos relacionados con la presentacin del material educativo y de las herrao o mientas proporcionadas, as como la actividad realizada por el usuario cuando trabaja con el SGA. En particular la prevencin de errores. o 3. Contenido. Est enfocado al aspecto educativo, se reere al proceso que ocurre cuando se realiza la a interaccin. Considera los aspectos didcticos y pedaggicos. o a o 4. Servicios. Se enfoca en las herramientas que facilitan y ayudan al usuario durante su trabajo dentro del SGA: herramientas de comunicacin, autoevaluacin, ayuda, bsqueda, etc. o o u De estos aspectos se ha generado una coleccin de gu y una metodolog de evaluacin denominada o as a o eLSE que combina tcnicas de inspeccin espec e o cas con la evaluacin de usuarios. El proceso inicia con una o inspeccin de la plataforma por expertos para identicar posibles problemas. Luego se analiza la aplicacin o o con respecto a las dimensiones TICS y posteriormente se aplica una tcnica de inspeccin basada en el uso de e o tareas abstractas (TA). Estas inspecciones, llamadas inspecciones TA, describen las actividades que deben ser realizadas [7]. Las TAs pueden ser vistas como patrones de evaluacin y estn formuladas segn una plantilla (cuadro o a u 2). Las TAs estn denidas por la experiencia de los evaluadores y las observaciones de expertos y cubren a todas las dimensiones del modelo TICS. Se clasican en dos categor principales que se relacionan con las as dimensiones de TICS: 1. Aprendizaje del contenido: Actividad del usuario, proceso educativo. 2. Calidad de uso: Tecnolog hipermedia, presentacin, servicios. a o El resultado es un reporte que describe los problemas detectados y revisados conforme a las evaluaciones utilizando la terminolog denida en las TAs, lo que evita errores en la interpretacin. a o

3.5.

Calidad basada en las herramientas

EduTools es un sitio Web que proporciona revisiones, comparativos y servicios de consultor para la a toma de decisiones relacionadas con el e-Learning [11]. Para EduTools, la calidad de un Sistema de Gestin o del Aprendizaje est basada en la presencia o ausencia de una serie de herramientas o procesos agrupados en a ocho categor (cuadro 3) [10]. Para cada uno de estos elementos se ha denido un conjunto de caracter as sticas bsicas que deben tener para apoyar al proceso de e-Learning. a Para clasicar un SGA en EduTools, el desarrollador completa un formulario donde indica las herramientas que proporciona la plataforma y para cada una de ellas, las caracter sticas o funcionalidades que ofrecen. La relacin de herramientas y caracter o sticas son lo sucientemente genricas para ser utilizadas en e el proceso de categorizar cualquier SGA existente.

16

La Calidad en los Sistemas de Gestin del Aprendizaje o

Categor a

Herramientas de comunicacin o

Herramientas de productividad

Herramientas para el desarrollo del alumno

Herramientas administrativas

Herramientas de publicacin de cursos o

Diseo curricular n

Hardware/Software

Precio/Licenciamiento

Herramientas Foros de discusin o Intercambio de archivos Correo interno Apuntes/Bitcoras a Chat en tiempo real Servicio de videoconferencia Pantalla electrnica o Marcadores/Enlaces Orientacin/Ayuda o Bsqueda interna u Calendario/Planicador Trabajo en l nea/Fuera de l nea Trabajo en grupo Autoevaluaciones Comunidades estudiantiles Portafolio Autenticacin o Autorizacin en cursos o Registro/Integracin o Servicio de alojamiento externo Administracin de cursos o Ayuda en l nea para instructores Herramientas de control de calicaciones Monitoreo de estudiantes Evaluacin y calicacin automtica o o a Accesibilidad Plantillas de cursos Administracin del curr o culo Personalizacin del curso o Estndares de intercambio a Herramientas de diseo instruccional n Reutilizacin/Comparticin de recursos o o Requiere un navegador web Requerimientos BD Software del servidor Requerimientos de hardware Compa na Costo Cdigo abierto o Elementos adicionales Versin o

Cuadro 3: relacin de categor y herramientas denidas por EduTools [10]. o as

V.H. Menndez-Dom e nguez, M.E. Castellanos-Bolaos n

17

Posteriormente, un grupo de expertos de EduTools evala la veracidad de la informacin enviada [11]. u o Al clasicar a los Sistemas de Gestin del Aprendizaje es posible construir cuadros comparativos mediante o un ltrado basado en las necesidades de los usuarios.

3.6.

Sistemas de Gestin de Contenidos de cdigo abierto o o

Uno de los objetivos de este estudio es identicar criterios utiles para la evaluacin de una plataforma o e-Learning [12]. Se estableci un criterio de evaluacin utilizando la experiencia directa y consultando otros o o estudios para denir una lista detallada de caracter sticas. Para evaluar cada caracter stica se emple una o escala del 0 al 5 donde 0 equivale a no existe o pobre, 3 es un promedio bsico estndar y 5 signica a a excede las expectativas del estndar. a Los criterios generales son trece y se listan a continuacin. Para cada uno de ellos se dene un grupo de o preguntas para evaluarlos. 1. Costo de uso. 2. Mantenibilidad. 3. Usabilidad y soporte. 4. Perl del vendedor y de la herramienta. 5. Modularidad. 6. Acorde a estndares. a 7. Capacidad de integracin. o 8. Integracin de Objetos de Aprendizaje. o 9. Efectividad y ecacia. 10. Escalabilidad. 11. Seguridad. 12. Consideraciones de hardware y software. 13. Soporte multilenguaje. Adicional a estos criterios, se gener una lista de caracter o sticas y herramientas que un Sistema de Gestin o del Aprendizaje debe tener. Estos elementos se agrupan en nueve categor as: 1. Administracin. o 2. Seguridad. 3. Acceso. 4. Integracin con otros sistemas. o 5. Diseo de cursos, desarrollo e integracin. n o 6. Monitoreo de cursos. 7. Diseo de actividades. n 8. Colaboracin en l o nea y comunicaciones. 9. Herramientas de productividad.

18

La Calidad en los Sistemas de Gestin del Aprendizaje o

Figura 2: herramienta de evaluacin de SGA, LMS Open Source [6]. o

Para facilitar an ms el proceso de evaluacin de una plataforma, 3Waynwet desarroll una herramienta u a o o que est implementada como una hoja de clculo (gura 2). La herramienta automatiza el proceso mediante a a una serie de formularios que el evaluador debe llenar con algn valor de la escala (0-5) para generar una lista u de resultados [6].

3.7.

Modelo de calidad ISO/IEC 2500

Este modelo es el resultado de la integracin de las normas ISO/IEC 9126 e ISO 14598 [18]. Pretende o desarrollar productos de software conforme a su especicacin y evaluacin de la calidad. Ofrece una gu o o a para la utilizacin de una coleccin de estndares internaciones denominados Requisitos y Evaluacin de o o a o Calidad de Productos de Software (SQuaRE por sus siglas en ingls). e Dene tres vistas para evaluar la calidad de un producto de software: la vista interna, relacionada con las propiedades del software asociadas a las primeras fases del desarrollo (tamao, complejidad, etc.); la vista n externa se enfoca a la validacin del producto en trminos de su efectividad y rapidez, uso de memoria, o e etc., la vista de uso se reere a la percepcin del usuario con respecto a la efectividad del producto para la o ejecucin de tareas [19]. o Para cada vista se dene una coleccin de mtricas que pueden ser utilizadas como base, sobre la cual o e establecer un modelo propio de calidad que debe ser cubierto por un SGA espec co. Es de esperarse que las dos primeras vistas se correspondan a mtricas asociadas al proceso de desarrollo de un producto de e software y pueden no ser relevantes para la eleccin de un SGA. Sin embargo, la vista de uso resulta util o para establecer la calidad de un SGA desde el punto de vista del usuario. Este modelo de calidad puede ser utilizado como un indicador de la calidad de un SGA para los educadores y administradores. Esta informacin puede resulta util de considerar al momento de la adquisicin del o o SGA ya que proporciona una base para la comparacin [27]. El modelo dene caracter o sticas del producto (funcionalidad, disponibilidad, eciencia, mantenimiento y portabilidad), las cuales son a su vez divididas en subcaracter sticas. El modelo proporciona una vista detallada que permite detectar las fortalezas y debilidades de un sistema. Est enfocado a la toma de decisiones de compra proporcionando mtricas para la a e

V.H. Menndez-Dom e nguez, M.E. Castellanos-Bolaos n

19

comparacin. o

3.8.

Estndar ISO/IEC 19796-1 a

El estndar ISO/IEC 19796-1 es el primer estndar de calidad para el aprendizaje, la educacin y la a a o capacitacin. Es un marco de referencia que describe, compara, analiza e implementa la administracin y o o aseguramiento de la calidad en los proceso asociados al aprendizaje y que por ende pueden ser aplicados al e-Learning. Permite comparar las distintas tendencias actuales y unicarlas en un modelo comn de calidad. u Se basa en el Marco de Referencia para la Descripcin de Calidad (RFDQ, Reference Framework for the o Description of Quality Approaches) [17]. Consta de dos partes: 1. Un modelo de procesos como clasicacin de referencia. o 2. Un esquema de descripcin para el control de la calidad. o El modelo de procesos considera todo el ciclo de vida del e-Learning y puede ser utilizado para describir cualquier escenario educativo. Lo anterior es, debido a que tiene las siguientes caracter sticas [25]: 1. Integracin. Cualquier persona del rea puede utilizar el modelo, permitiendo ser un marco comn o a u de referencia entre las partes involucradas en los procesos educativos. 2. Completitud. Todos los procesos educativos son cubiertos por el modelo de referencia. El modelo puede ser adaptado a cualquier escenario educativo seleccionando un subconjunto de sus procesos. 3. Apertura. No hay requerimientos en trminos de los procesos o mtodos utilizados dentro de los e e procesos del modelo, solo se requiere una especicacin de las relaciones y dependencias, los actores, o las mtricas y medidas empleadas para satisfacer los requerimientos en un contexto determinado. e 4. Adaptabilidad. Los subprocesos, objetivos y resultados de todos los procesos del modelo son adaptables y extensibles de forma individual, permitiendo adaptar el modelo a un contexto educativo y organizacional. 5. Unicidad. Este modelo est enfocado en la calidad del e-Learning. a El modelo est dividido en siete categor de procesos que contienen treinta y ocho subprocesos, todos a as enfocados al proceso educativo, tal como se describen en el cuadro 4. El modelo de procesos describe el ciclo de vida del proceso educativo, pero no contiene ninguna descripcin o de las estructuras o procedimientos sobre cmo realizar dichos procesos. Esta informacin es proporcionada o o por un modelo de descripcin de procesos, el cual forma parte del estndar. Este modelo de descripcin o a o dene un formato para describir todos los procesos involucrados en el e-Learning (cuadro 5). Para cada proceso del ciclo de vida se debe especicar un grupo de mtodos y mtricas que sern e e a utilizados para establecer la calidad en los procesos, los productos, los componentes y los servicios. El estndar proporciona mtodos y mtricas de referencia que son descritos de forma genrica y pueden ser a e e e utilizados en contextos genricos para los procesos del ciclo de vida [13]. e

4.

Cr tica/valoracin o

Esta seccin analiza las distintas opciones que han surgido para tratar de determinar el nivel de calidad o de un SGA, para todas ellas se realiza una valoracin. Todas ellas contemplan aspectos similares o dis o miles para evaluar una plataforma. Las caracter sticas presentadas por Kapp [20] a pesar de ser lo sucientemente genricas para ser aplicadas e a cualquier SGA tienen como principal inconveniente esa misma generalidad. No establece de forma clara

20

La Calidad en los Sistemas de Gestin del Aprendizaje o

ID NA

Categor a Anlisis de necesidades a

FA

Anlisis de marco de trabajo a

CD

Concepcin/Diseo o n

DP

Desarrollo/Produccin o

IM

Implementacin o

LP

Proceso de aprendizaje

EO

Evaluacin/Optimizacin o o

Subprocesos NA.1 Inicializacin o NA.2 Identicacin de prioridades o NA.3 Denicin de objetivos o NA.4 Anlisis de demanda a FA.1 Anlisis del contexto externo a FA.2 Anlisis de los recursos del grupo a FA.3 Anlisis de los grupos destino a FA.4 Anlisis del contexto institucional y organizacional a FA.5 Planeacin de tiempo y presupuesto o FA.6 Anlisis del entorno a CD.1 Objetivos del aprendizaje CD.2 Contenidos CD.3 Conceptos/Mtodos didcticos e a CD.4 Roles y actividades CD.5 Organizacin o CD.6 Elementos tcnicos e CD.7 Diseo de interaccin y medios n o CD.8 Medios CD.9 Comunicacin o CD.10 Evaluacin y pruebas o CD.11 Mantenimiento DP.1 Realizacin del contenido o DP.2 Realizacin del diseo o n DP.3 Realizacin de los medios o DP.4 Realizacin tcnica o e DP.5 Mantenimiento IM.1 Evaluacin de los recursos de aprendizaje o IM.2 Adaptacin de los recursos de aprendizaje o IM.3 Activacin de los recursos de aprendizaje o IM.4 Organizacin de uso o IM.5 Infraestructura tcnica e LP.1 Administracin o LP.2 Actividades LP.3 Revisin de niveles de competencia o EO.1 Planeacin o EO.2 Realizacin o EO.3 Anlisis a EO.4 Optimizacin/Mejora o

Cuadro 4: procesos y subprocesos del estndar ISO/IEC 19796-1 [13]. a

V.H. Menndez-Dom e nguez, M.E. Castellanos-Bolaos n

21

Atributo ID Category Process Name Description

Descripcin o Identicador unico Proceso principal Nombre del proceso Descripcin del proceso o

Relations

Relacin con otros procesos o

Sub-processes/Sub-aspects

Subprocesos/Subaspectos

Objective

Objetivo del proceso

Method

Metolodog para este proceso a

Result Actors Metrics/Criteria Standards Annotation/Example

Resultados esperados para un proceso Responsable/Actores participantes Evaluacin y mtricas para este o e proceso Estndar usado a Ms informacin, ejemplos de a o utilizacin o

Ejemplo ID1234 Course Development Method selection Within this process the didactic concept and methods are evaluated and selected Before the method selection a target group analysis must be performed; [Process 1.6] Method identication, Method alternatives, Method priorization Adequate selection of one or more didactic concepts according to learner preferences and learning styles Method selection shall be based on the target group taking into account their competencies and learning styles. Methods are selected based on the teachers experience. Method specication, Documents Team Didactical Design, Project leader Criteria catalogue 3.2.2-3.2.6 DIN EN ISO 9241, LOM, See Method Guidelines Handbook

Cuadro 5: plantilla para describir un proceso de ISO/IEC 19796-1 [13].

22

La Calidad en los Sistemas de Gestin del Aprendizaje o

una metodolog de medicin, ni mucho menos un rango de valores que puedan ser utilizados para evaluarlas. a o Por lo que el establecimiento de la calidad de una plataforma y la posible comparacin con otra es dif de o cil realizar por diferentes evaluadores si no existe una coordinacin previa. o El marco presentado por Beshears [3] est enfocado al proceso de implementacin de un SGA, ms a o a que a sus caracter sticas. Por lo que su uso requiere que la institucin tenga conocimiento, adems de sus o a requerimientos en trminos de e-Learning, de todo este proceso de implementacin. Para los usuarios novatos e o el marco resulta complejo. Adems, al no establecer criterios de evaluacin espec a o cos para las categor las as, mediciones pueden ser muy subjetivas. Por ejemplo, la caracter stica Metodolog de desarrollo es denida a como el grado de importancia de la metodolog utilizada para desarrollo de la plataforma y puede tomar a los valores de 0 (no importa), 5 (medianamente importante), 10 (debe permitir modicaciones fcilmente). a El modelo planteado por Georgiakakis [14] conjuga un aspecto importante desde el punto de vista del usuario: la usabilidad. Plantea adems un esquema de clasicacin objetivo que permite agrupar distintos a o SGAs y poder as establecer niveles que pueden ser empleados para la evaluacin. Adems que es sencillo de o a utilizar. Sin embargo, las pruebas realizadas fueron hechas por expertos y en ambientes controlados. Falta realizar ms estudios, principalmente de campo, que conrmen la calidad del propio modelo. a La metodolog eLSE [22] es interesante por cubrir varios aspectos, enfocndose principalmente en la a a parte tecnolgica. Combina elementos de usabilidad, espec o camente la interaccin usuario-sistema y dene o una serie de gu claras y espec as cas que facilitan su uso. Su principal ventaja es que utiliza inspecciones basadas en patrones para la realizacin de las evaluaciones, lo que garantiza una evaluacin ms objetiva. o o a Al utilizar un lenguaje estndar para describir los resultados hace ms fcil la difusin. Una desventaja es a a a o que el nmero de ATs generados pueden no cubrir todas las caracter u sticas de un SGA. Por otra parte, EduTools [10] tiene como punto a favor ofrecer un marco lo sucientemente genrico para e poder abarcar todas las plataformas e-Learning existentes, y tener un listado de funcionalidades deseables para las distintas herramientas, lo que hace que el proceso de establecimiento o medicin de la calidad o sea sencillo (seguir una lista de cotejo). Adems, para cada una de las caracter a sticas o herramientas tiene deniciones simples y tcnicas que hacen sencillo el proceso de medicin. Por ejemplo, el proceso Gestin de e o o autoevaluacin es denido como Incluye el control de cundo y dnde las evaluaciones pueden ser realizas o a o y bajo qu condiciones y algunas de las caracter e sticas que establece son: Los profesores pueden crear autoevaluaciones, Los profesores pueden restringir el acceso, Los profesores pueden ver los resultados de los alumnos, El alumno puede ver las respuestas correctas, etc. El marco puede ser extendido para evaluar nuevas herramientas o caracter sticas. El listado fue obtenido de la experiencia de los investigadores que conforman el grupo. Su principal desventaja es que el nivel de calidad est basado en la ausencia o a presencia de elementos, lo que implica hacer una larga revisin para determinar la calidad de un sistema. o El estudio de Commonwealth [12] est enfocado a las herramientas de cdigo abierto, pero puede adaptarse a o para su utilizacin en la medicin de plataformas comerciales. Como punto a favor, el estudio establece una o o metodolog de medicin para un SGA, permitiendo as obtener una medida de calidad. Esta medida es a o cuantitativa. Su desventaja es que la medicin es subjetiva y su valor est basado en una percepcin global o a o del evaluador de las respuestas a preguntas genricas que a veces no son lo sucientemente expl e citas. Por ejemplo, la escalabilidad es valorada segn dos preguntas: El SGA es adecuado tanto para instituciones u pequeas y grandes?, Qu tanto permite el SGA incrementar el contenido, la funcionalidad y el nmero n e u de usuarios?, el evaluador debe contestar las preguntas (S o No) y sobre la base de todas sus respuestas dar un valor general de 0 a 5. El Modelo de Calidad ISO/IEC 25000 y el 9126 son genricos y no denen elementos orientados a e actividades de enseanza ni de aprendizaje. Es limitado en especicar algunas caracter n sticas del software, como por ejemplo, la usabilidad. Se sugiere que esta caracter stica sea extendida para incluir elementos tales como la consistencia, la simplicidad y la legibilidad. Sin embargo, al denir una coleccin de caracter o sticas y la forma de medirlas (mtricas) permiten establecer una coleccin de criterios objetivos que pueden resultar e o utiles para la comparacin de distintos SGA, limitando el impacto de las valoraciones subjetivas. o El estndar ISO/IEC 1976-1 [12, 13] tiene como principal desventaja estar enfocado en el proceso de a implementacin de un esquema de aprendizaje (que puede ser realizado mediante e-Learning), ms que en la o a implementacin de un SGA. El Sistema de Gestin del Aprendizaje no aparece como parte del estndar, sino o o a

V.H. Menndez-Dom e nguez, M.E. Castellanos-Bolaos n

23

como parte del proceso llamado Implantacin, espec o camente en el subproceso Infraestructura tcnica. Por e lo que no establece criterios de calidad para un SGA. Sin embargo, el estndar proporciona un documento a enfocado a la denicin genrica de mtricas y mediciones de calidad, las cuales pueden ser utilizadas como o e e base para el desarrollo de medidas de calidad de una plataforma. Este documento an est en proceso de u a revisin. Es importante indicar que el modelo de referencia de procesos no incluye reglas en trminos de o e las secuencias de procesos o interdependencias entre ellos, ni tampoco alguna especicacin en su impleo mentacin. Solo sirve como un marco que siempre necesita ser adaptado a la organizacin y el contexto o o educativo.

5.

Conclusiones

Los Sistemas de Gestin del Aprendizaje proporcionan la funcionalidad al e-Learning, ya que es el espacio o en donde los estudiantes pueden acceder, planear y gestionar el aprendizaje por s mismos as como interactuar con otros alumnos, profesores, etc. El objetivo fundamental de una plataforma e-Learning es servir de un repositorio de cursos, pero tambin e incorporan otro conjunto de herramientas que pueden agruparse de la siguiente forma: Herramientas de distribucin de contenidos. o Herramientas de comunicacin y colaboracin. o o Herramientas de seguimiento y evaluacin. o Herramientas de administracin y asignacin de permisos. o o Con esto el SGA permite que: Los profesores coloquen a disposicin de los alumnos los objetivos del curso, su contenido y su reglao mentacin. o Los tutores y coordinadores supervisen el desarrollo del curso y el avance de cada alumno. Los alumnos accedan a los contenidos, realicen la ejercitacin prevista, se comuniquen entre s y con o el tutor para resolver dudas y realizar trabajos en grupo. Los administradores obtengan informacin inmediata del progreso del curso y de las acciones adminiso trativas relacionadas, tales como la inscripcin de alumnos, el historial de cursos, etc. o An cuando la evaluacin de los SGAs es fundamental para el establecimiento de niveles de calidad, las u o gu y metodolog actuales resultan inapropiadas y poco efectivas. Las medidas actuales de la calidad de as as una plataforma estn enfocadas principalmente en una interpretacin subjetiva y los criterios de evaluacin a o o estn descritos de forma muy vaga. Muchos investigadores han propuesto considerar los aspectos tecnolgicos a o junto a los pedaggicos en las evaluaciones de los SGAs. o El simple listado de todas las funcionalidades de una plataforma es una buena mtrica para denir su e potencial, pero no puede ser el unico elemento empleado para el anlisis y evaluacin de los Sistemas de a o Gestin del Aprendizaje. Lo importante de cualquier estudio es clasicar al SGA en categor conforme a o as objetivos espec cos y claros. Esto permite identicar qu puede realizar, qu necesidades puede cubrir, etc. e e El xito de un sistema e-Learning depende en gran medida de la parte tecnolgica. La eleccin de una e o o plataforma e-Learning solo puede ser hecha luego de un proceso de evaluacin de la calidad. o Diferentes perspectivas y soluciones intentan dar respuesta al tema de la evaluacin de la calidad de o las plataformas. Sin embargo, hasta el momento ninguna propuesta por s sola ha logrado cubrir todas las necesidades que abarcan numerosas variables y factores. Desde diferentes organismos, instituciones y grupos

24

La Calidad en los Sistemas de Gestin del Aprendizaje o

de investigacin implicados, se reclama la necesidad de crear estndares de calidad, certicar la calidad o o a evaluar la calidad de los SGA en sus diferentes contextos y niveles. El desarrollo de la calidad depende de un contexto de uso. El involucrar a los evaluadores, usuarios y organizaciones puede ser visto como un primer intento del desarrollo de la calidad. Es de esperarse que en un futuro se desarrollen gu y metodolog efectivas orientadas al desarrollo de la calidad, lo que as as permitir obtener un Sistema de Gestin del Aprendizaje con un mayor impacto en el e-Learning. a o Los estndares de calidad ofrecen un soporte valioso para la adopcin y la implementacin de la calidad, a o o especialmente el ISO/IEC 19796-1. Este ultimo ofrece una serie de gu relacionadas con el aprendizaje, la as educacin y la capacitacin. Sin embargo, su implementacin est aun en proceso y se requieren estudios e o o o a investigaciones para evaluar a largo plazo los benecios de este estndar en la prctica, especialmente en el a a a rea de implantacin tecnolgica, donde el papel del SGA es fundamental. o o Existen intentos por denir patrones de diseo para la evaluacin del SGA, lo que permitir disminuir n o a el tiempo para la preparacin de las evaluaciones, adems de ofrecer directivas expl o a citas para evaluar la funcionalidad de operaciones espec cas. Se est considerando el desarrollo de un repositorio de estos patrones a con el n de que sean utilizados, extendidos y a largo plazo, aceptados. Es importante resaltar que un componente muy importante en la evaluacin de la calidad es la madurez o de la organizacin que utilizar el Sistema de Gestin del Aprendizaje. Si una institucin tiene bien denidos o a o o sus objetivos y planes a largo plazo en materia de e-Learning, podr establecer las caracter a sticas bsicas a de un SGA, haciendo ms sencilla su eleccin. No necesariamente el producto mejor valorado tcnicamente a o e resulta el ms adecuado para todas las organizaciones. a

Agradecimientos
Este trabajo ha sido desarrollado gracias al apoyo del Consejo Nacional de Ciencia y Tecnolog (COa NACYT), el Consejo de Ciencia y Tecnolog del Estado de Yucatn (CONCYTEY) y el Programa de a a Mejoramiento del Profesorado (PROMEP).

Referencias
[1] B.B. Chua, L.E. Dyson, Applying the ISO9126 model to the evaluation of an e-Learning system, Beyond the comfort zone: Proceedings of the 21st ASCILITE Conference, R. Atkinson, C. McBeath, D. Jonas-Dwyer & R. Phillips (Eds), Perth, 5-8 Diciembre (2004), pp. 184-190. [2] T. Berners-Lee. Weaving the web: the original design and ultimate destiny of the world wide web, Harper Collins. New York, NY. (2000). [3] F. Beshears, Learning management system evaluation framework, University of California, Berkeley, (2001). Disponible en http://www.immagic.com/eLibrary/ARCHIVES/GENERAL/UCB US/B010327B.pdf [4] F. Beshears, Web-based learning management systems, University of California, Berkeley, (2000). Disponible en http://socrates.berkeley.edu/ fmb/articles/web based lms.html [5] P. Brogan, Using the web for interactive teaching and learning, Macromedia Inc., (1999). Disponible en http://download.macromedia.com/pub/authorware/whitepapers/whitepaper interactive.zip [6] Commonwealth of Learning, LMS evaluation tool user guide, Commonwealth of Learning, (2004). Disponible en http://www.col.org/resources/publications/consultancies/Pages/2004-08-evalTool.aspx [7] G. Covella, L. Olsina, Assessing quality in use in a consistent way, Proceedings of the 6th International Conference on Web Engineering (Palo Alto, California, USA, Julio 11-14, 2006). ICWE 06, ACM, New York, NY 263 (2006), pp. 1-8. [8] F. D az, M. Osorio, P. Amadeo, Evolucin de los sistemas de software libre para soportar e-Learning, o III International Conference on Multimedia and ICT in Education Recent Research Developments in Learning Technologies (Caceres, Espaa, Junio 7-10 2005), FORMATEX, 1 (2005). Disponible en n http://www.formatex.org/micte2005/37.pdf.

V.H. Menndez-Dom e nguez, M.E. Castellanos-Bolaos n

25

[9] S. Downes, Feature: e-Learning 2.0, eLearn Magazine, ACM http://elearnmag.org/subpage.cfm?section=articles&article=29-1 [10] EduTools, ArchiveCMS: feature denitions, (2006). Disponible en http://www.edutools.info/static.jsp?pj=4&page=HOME [11] EduTools, CMS: eduTools editorial FAQ, (2006). Disponible en http://www.edutools.info/static.jsp?pj=4&page=edFAQ

Press,

10

(2005).

Disponible

en

[12] G. Farrel G, COL LMS open source, COL (The Commonwealth of Learning), (2003). Disponible en http://www.col.org/resources/publications/consultancies/Pages/2003-06-OpenSrc.aspx [13] S. Forth, E. Childs, White paper on e-Learning specications and standards, Recombo Inc., ITS Inc. (2003). [14] P. Georgiakakis, A. Papasalouros, S. Retalis, K. Siassiakos, N. Papaspyrou, Evaluating the Usability of WebBased Learning Management Systems, THEMES in Education, 6, 1 (2005), pp. 45-59. [15] L. Huey-Ing, Y. Min-Num, QoL guaranteed adaptation and personalization in e-Learning systems, IEEE Transactions on Education, IEEE, 48, 4 (2005), pp. 676-687. [16] J. Itmazi, M. Gea, Survey: comparison and evaluation studies of learning management systems, MICROLEARNING2005: Learning & Working in New Media Environments, International Conference, Innsbruck, Austria, Junio 23-24 (2005). [17] ISO/IEC JTC1 SC36 Information Technology for Learning, Education, and Training, Guide ISO/IEC 19796-1: How to use the new quality standard for learning, education, and training, (2006). Disponible en http://isotc.iso.org/livelink/livelink/6031339/36N1440 Guide ISO IEC 19796-1. How to Use the New Quality Standard for Learning Education and Training?func=doc.Fetch&nodeid=6031339 [18] ISO/IEC 25000:2005. Software Engineering Software product Quality Requirements and Evaluation (SQuaRE) Guide to SQuaRE, (2005). Disponible en http://www.iso.org/iso/iso catalogue/catalogue tc/catalogue detail.htm?csnumber=35683 [19] www.iso25000.com. La Norma http://iso25000.com/index.php/25000.html ISO/IEC 25000:2005, (2011). Disponible en

[20] K. Kapp, Five technological considerations when choosing an e-Learning solution, eLearn Magazine, ACM, 7 (2003). Disponible en http://www.elearnmag.org/subpage.cfm?section=best practices&article=16-1 [21] B. Khan. Web-based Instruction (WBI): What is it and why is it?. Web-based Instruction, Educational Technology Publications. (1997). [22] R. Lanzilotti, C. Ardito, M. Costabile, A. De Angeli, eLSE methodology: a systematic approach to the e-Learning systems evaluation, Educational Technology & Society, 9, 4 (2006), pp. 42-53. [23] L. Mendoza, Modelo de evaluacin para la adquisicin de sistemas o o truccin, Congreso Internacional EDUCTEC2003, Caracas, Venezuela, o http://www.ucv.ve/edutec/Ponencias/10.doc administradores de ins(2003). Disponible en

[24] M. Rubio, Enfoques y Modelos de Evaluacin del e-Learning, RELIEVE, 9, 2 (2003), pp. 101-120. o [25] C. Stracke, B. Hildebrandt, Quality development and quality standards in e-Learning: adoption, implementation, and adaptation, Proceedings of World Conference on Educational Multimedia, Hypermedia and Telecommunication 2007 (EdMedia 2007), Chesapeake, VA: AACE, (2007), pp. 4158-4165. [26] H. Uzunboylu, F. Ozdamli, Z. Ozcin, An evaluation of open source learning management systems according to learners tools, Current Developments in Technology-Assisted Education, FORMATEX, 1 (2006). [27] Visiolink Ltd. Qualitative evaluation systems of http://www.wbtworld.net/les/resources/articles/visiolink.pdf e-Learning, (2005). Disponible en