Evaluations dun cours en ligne : produit, usage et impact

Georges, Franois & Van De Pol, Jean-Franois Laboratoire de Soutien lEnseignement Tlmatique, Universit de Lige, Belgique Fr.georges@ulg.ac.be

Depuis 1999, le Laboratoire de Soutien lenseignement tlmatique accompagne des enseignants du suprieur et des formateurs dadultes dans la mise en ligne de leur cours. Cet accompagnement a t et est ralis dans le cadre de projets subventionns par la Rgion wallonne, la Communaut franaise et la Commission europenne. Une centaine de cours a t ainsi, en partie ou totalement, mise distance. Les valuations ont port les premires annes sur des critres davantage techniques et ergonomiques. Au fur et mesure de notre exprience, nous nous sommes recentrs sur des critres purement dordre pdagogique ou tout au moins au service de lapprentissage. Si au dpart lvaluation portait exclusivement sur un produit fini, elle tend au cours des annes sinstaurer ds la conception de loutil et a porter donc galement sur le processus (Dupont et Poumay, 2004).

1. Les fondements La grille dvaluation a t tablie sur base de la littrature consacre lvaluation de multimdias ainsi que sur base dune mthodologie de gestion de projet adapte par notre service la production dun scnario pdagogique (Leclercq, 2003). Les items qui la constituent ont galement t confronts aux questions reprises dans la grille qualit conue par lassociation australienne de dveloppement et de recherche en enseignement suprieur nomme HERDSA 1 (HERDSA, 1992). Cest larticle de Michel Meloche qui a servi de base notre enqute bibliographique (Meloche, 2000). Outre la mise en exergue dune srie de critres dvaluation, cet article a lavantage de prsenter les diffrentes coles en matire dvaluation dun multimdia pdagogique et de mettre ainsi en vidence les multiples dimensions de lvaluation : quantitative, qualitative, centre sur le produit, centre sur le processus, teste sur le public cible, teste sur des experts Parmi ces multiples types dapproches, nous retiendrons celle de Reeves qui a lavantage de refuser toute dualisation et de

Higher Education Research and Development Society of Australasia.

2
prendre en compte un nombre apprciable de variables pour valuer un multimdia pdagogique (Reeves, 1991 cit dans Meloche, 2000, p. 21). Concrtement, nous refusons de nous cantonner dans un type dapproche. Sil est vrai que notre grille offre une valuation pondre, nous estimons que celle-ci est prendre avec rserve comme un indicateur parmi dautres. Les justifications ont un poids tout aussi important. Par ailleurs, il importe de croiser les rsultats obtenus via cette grille avec dautres sources dinformation dont la satisfaction de ses concepteurs et de ses utilisateurs. La dtermination de nos critres a galement t effectue sur base dun modle de construction dun cours en ligne nomm BEC-OME-RER (Leclercq, 2003). Lexpression a t forge partir des acronymes suivants : B pour analyse des Besoins ; E pour analyse de lExistant, C pour Conception, O pour dfinition des Objectifs, M pour choix des Mthodes, E pour choix des modalits dvaluation, R pour Ralisation, E pour Exprimentation et R pour Rgulation. Ces champs ont contribu llaboration de la structure de notre grille. Nous y retrouvons lanticipation des besoins des tudiants, les objectifs, les mthodes et les valuations. Nous y avons ajout deux champs : lun consacr la triple concordance et lautre aux outils. Les 25 critres de notre grille ont t croiss avec les 47 questions constitutives de la grille qualit HERDSA. Cette dernire a pour objectif dinterroger lenseignant propos de ses pratiques et dapprofondir sa rflexion en matire pdagogique pour rsoudre les ventuelles lacunes quaurait mises en vidence la grille. Seuls trois de nos 25 critres ne trouvent pas leur pendant dans la grille HESDRA. Ce sont prcisment trois des 6 critres constitutifs du champ outils que nous ne retrouvions pas dans le modle BEC-OM-RER. A linstar du modle BE-COM-RER et de la grille HERDSA, notre outil dvaluation ne prtend pas garantir le succs dun cours en ligne, mais inciter ses concepteurs veiller et rflchir la prsence dlments essentiels son utilisation.

2. La grille 2.1 Les critres Les objectifs de loutil ainsi dtermins et les fondements rappels, il convient dnoncer les critres qui prsident lvaluation de nos cours. Si dans un premier temps nous nous sommes contents de reprer dans le cours en ligne la prsence ou non des 25 lments que nous considrons essentiels comme support lapprentissage, trs vite nous avons constat quil tait ncessaire de prendre en considration dautres critres sans quoi loutil risquait dtre utilis comme une simple check-list. Nous avons donc, dans un second temps, introduit un critre supplmentaire : la pertinence. En plus de la prsence ou non dun llment dans le cours en ligne, il convient de sassurer que, dans le contexte du cours valu, les mises en uvre techniques

Actes du 22me congrs de lAIPU, UniMail Genve, 12-14 septembre 2005

3
et pdagogiques se justifient. Dans ce sens, les concepteurs sont invits expliciter leurs choix techniques et pdagogiques. Ces deux critres ne suffisent pas. Soucieux de correspondre aux attentes de leurs accompagnateurs, de nombreux concepteurs dveloppent quantit dlments sans lintention formelle de les utiliser. Il convient donc de prter galement attention lusage effectif que les apprenants font des ressources mises leur disposition. Il ne suffit pas dengranger les donnes, encore faut-il les interprter afin de remdier dventuels manquements. Pour chacun de nos 25 items, nous nous posons systmatiquement les 4 questions suivantes : llment est-il prsent ? Sa mise en uvre est-elle techniquement et pdagogiquement justifie ? Les apprenants lutilisent-ils effectivement ? Son usage a-t-il eu un impact sur lapprentissage (Dufresne, 2002) ? Utilis lorigine par des experts externes pour valuer un produit fini, loutil est aujourdhui utilis par les professeurs en cours de conception. De la sorte, la grille contribue la professionnalisation de ces enseignants qui, pour justifier leur choix, sont invits non seulement valuer leur enseignement via lusage que leurs apprenants font des ressources mises leur disposition, mais aussi sinformer, lire et ainsi se tenir au courant de dveloppements des recherches en enseignement suprieur. Nous retrouvons ces thmatiques dans la grille HERDSA qui y consacre 17 questions.

2.2 Les champs Notre grille dvaluation comprend 25 items rpartis dans 6 champs dvaluation et analyss la lumire des 4 critres noncs ci-dessus. Dans les paragraphes qui suivent, nous commentons ces 25 lments la lumire de la grille HERDSA et de la littrature consacre lanalyse de multimdias pdagogiques.

2.2.1

Anticipation des difficults auxquelles ltudiant pourrait tre confront

Ce premier champ dvaluation comporte 5 objets : 1) Aide pdagogique ; 2) Aide technique ; 3) Rfrences de la personne de contact ; 4) Conseil pour entrer dans le cours et 5) Droits et devoirs des encadrants. Tous ces mcanismes de support contribuent une bonne information des tudiants. Ils participent ce que Rhaume appelle lutilisabilit (Rhaume, 1999 cit dans Meloche, 2000, p. 11). Daucun nous reprochent de mettre sur le mme pied des lments qui ne ncessitent pas un mme investissement du concepteur. Certes, il est plus facile de renseigner sur une page ladresse de la personne de contact que de raliser un guide pdagogique, mais il importe de mesurer la porte de la publication dune telle information. Renseigner ses coordonnes sur son cours en ligne cest encourager les tudiants poser des questions, cest laisser entendre que lon est prt rpondre leur question et donc leur fournir une aide personnelle. Afin dviter tout dbordement et de noyer lenseignant sous un flot de questions, il convient dtablir une charte dans laquelle le professeur

Actes du 22me congrs de lAIPU, UniMail Genve, 12-14 septembre 2005

4
rappelle non seulement les droits et devoirs des apprenants, mais galement les siens. De la sorte, le professeur tente dtablir un climat de confiance propice au dveloppement de ses tudiants. Comme le rappelle le consortium Herdsa, ltude nest pas seulement une activit intellectuelle, mais elle comporte galement le dveloppement personnel et thique de ltudiant (HERDSA, 1992, p.2).

2.2.2

Les objectifs

Nous retrouvons trois items dans ce champ : 1) Objectifs gnraux ; 2) Objectifs spcifiques et 3) Incontournables. Tant du point de vue du concepteur que du point de vue des apprenants, les objectifs sont essentiels. Cest partir deux que le concepteur dtermine ses mthodes et arrte le design de son cours (Meloche, 2001, p. 7). Cest galement partir deux que ltudiant entame sa formation. La rdaction des objectifs savre complexe pour de nombreux professeurs. Il est vrai que le dveloppement des thories relatives aux comptences ne leur facilite pas la tche. Quoi quil en soit, il importe que ltudiant sache quels sont les objectifs poursuivre imprativement dans le cours et quil en saisit le sens. Une mauvaise comprhension des objectifs un impact ngatif sur lapprentissage (HERDSA, 1992, 1-2).

2.2.3

Les mthodes

Le champ mthode se subdivise en trois : 1) Activits ; 2) Communication ; 3) Mtacognition. Nous entendons par activit, une proposition de dmarches accomplir pour atteindre un objectif spcifique dans un contexte donn. Nul besoin de rappeler la grande varit de mthodologies possibles (Marton, 1999 cit dans Meloche, 2000, p.16; Leclercq et Poumay, 2005). Si nous ne nous positionnons pas sur la ncessit de diversifier les activits, nous rejoignons le consortium HERDSA (1992, p.2) propos de son plaidoyer en faveur dun engagement actif des tudiants dans leur formation. Les deux sous-champs communication et mtacognition contribuent cet engagement. Nous avons distingu deux types de communication : formelle et informelle. Nous associons au concept de communication formelle, tout change cadr dans le contexte dune activit. Il ne suffit pas de multiplier les lieux de communication encore faut-il en tablir leurs conditions dutilisation. Lenvie dchanger est lie lintrt que les protagonistes y voient. La mise en place dactivit de collaboration est une des faons de leur faire prendre conscience du bien fond de lchange (HERDSA, 1992, p.2). Nous pouvons ainsi esprer que les apprenants prennent lhabitude de communiquer avec leurs pairs et leurs professeurs. La cration dun forum informel ouvert tous et/ou

Actes du 22me congrs de lAIPU, UniMail Genve, 12-14 septembre 2005

5
rserv aux tudiants est une autre faon dy contribuer. Ces lments sont pris en considration dans la rubrique communication informelle . La mise en place dactivits qui incitent lapprenant sinterroger sur ce quil croit savoir (jugement), analyser ses rsultats et ses processus dapprentissage (analyse) et y reprer ses forces et ses faiblesses pour y remdier (rgulation) participe lengagement de lapprenant dans ses tudes (Leclercq et Poumay, 2004). Lusage des degrs de certitude entrane ltudiant au jugement. La consultation des traces de son parcours contribue lanalyse. Lchange avec des tiers et la possibilit de rpter lactivit permettent de se rguler et den apprcier les effets.

2.2.4

Les valuations

Ce champ comprend trois items : 1) Dimensions (Leclercq, 1999) ; 2) Critres ; 3) Pondration. Au cours des annes, nous observons que de nombreux professeurs ont tendance limiter lvaluation une de ses dimensions : les uns sen tiennent une de ses finalits, les autres nabordent que son objet, dautres encore mettent laccent sur loutil utiliser En attirant lattention des concepteurs sur les multiples dimensions de lvaluation nous les incitons varier leur pratique. Pour certains, cest loccasion de (re)dcouvir lobjet de lvaluation, savoir, informer les apprenants et les enseignants du degr de matrise atteint (de Landsheere, 1979 cit dans Leclercq, 1999). Il importe que ltudiant puisse se situer pour samliorer. La formulation des critres et le choix de la pondration contribuent leur information.

2.2.5

La Triple concordance (Leclercq)

Ce cinquime champ repose sur les trois prcdents. Sa vocation est de garantir lharmonisation des objectifs, des mthodes et des valuations. Sa formalisation via un tableau synoptique permet de sassurer dun coup dil que les mthodes mises en place sont effectivement lies aux objectifs valus (Leclercq, 2003). Elle favorise de la sorte lengagement des tudiants (HERDSA, 1992).

2.2.6

Les outils

Le dernier champ rassemble de faon synthtique les lments qui autrefois occupaient une place prpondrante dans notre lvaluation des cours en ligne. Nous y retrouvons les questions de la plusvalue du multimdia pdagogique, de la facilit de navigation (Meloche, 2001, p.14), de la qualit du graphisme et du discours. Nous y avons galement mentionn le calendrier. Tous ces lments contribuent lutilisabilit du cours en ligne. Ils permettent daccomplir efficacement une tche avec le minimum deffort, avec la pente dapprentissage la plus douce. (Rhaume, 1999 cit dans Meloche, 2000, p. 11)

Actes du 22me congrs de lAIPU, UniMail Genve, 12-14 septembre 2005

6
2.3 La pondration La pondration reste une pierre dachoppement. Meloche y consacre les 4 premires pages de son article. Pour les uns, rien en ducation nest quantifiable, pour les autres il est possible de tout mesurer. Nous avons pris le parti de greffer une pondration aux commentaires fournis aux concepteurs des cours en ligne. Notre but est purement indicatif. Cette pondration renseigne lapprenant sur latteinte ou non de lobjectif vis. Elle nous permet galement de situer entre eux les diffrents cours valus. Nous lavons voqu plus haut, lide daccorder un mme poids chaque lment de notre grille ne fait pas lunanimit. Nous avons donc distingu les critres en fonction de la charge de travail quimplique leur implmentation. Il est probable que nous reviendrons sur cette distinction. Sil est vrai que certains lments exigent peu de travail la conception, force est de constater que ces mmes lments peuvent lusage entraner un surcrot considrable de travail et/ou contribuer de faon significative lapprentissage. A titre dexemple, la possibilit daccder ses traces de consultation est prvue par la majorit des plateformes denseignement en ligne. Linsrer dans un cours exige tout au plus trois clics. Lutiliser et linterprter dans le but dinformer ltudiant sur ses processus dapprentissage exige une force de travail incomparable au geste technique qui a permis de linsrer dans son environnement de travail.

Conclusion La grille dveloppe au cours de ces 5 dernires annes ne prtend pas garantir le succs dun cours en ligne. Elle propose, la rflexion des enseignants dsireux de porter distance leurs cours, 25 items qui, ce jour, nous semblent indispensables pour informer les tudiants propos des tenants et aboutissants de la formation dans laquelle ils sengagent, pour quils y trouvent du sens, pour quils y agissent, quils y apprennent et sy panouissent. Lusage de cette grille par les enseignants est loccasion pour eux de mettre en exergue leurs forces, de remdier aux ventuels manquements, dapprofondir un aspect de la pdagogie et dchanger avec dautres acteurs de la formation.

Actes du 22me congrs de lAIPU, UniMail Genve, 12-14 septembre 2005

7
Rfrences Dupont, C. & Poumay, M. (2004). Le support aux enseignants dans le portage de cours en ligne comme facilitateur dun dploiement de mthodes actives dans lenseignement suprieur. Communication prsente au 12me congrs international des Associations en Pdagogie Comparative. Cuba : La Havane. Dufresne, A., Raynauld, J., Turcotte, S., Villiot-Lerclercq, E. (2002). Evatic: une base de connaissances sur l'valuation des environnements d'apprentissage reposant sur les TIC. Consult le 22 aot 2005 dans http://hal.ccsd.cnrs.fr/docs/00/03/19/10/PDF/ac23.pdf HERDSA (1992). Challenging conceptions of teaching : Some prompts for good practice. Consult le 21/04/2005 dans http://www.herdsa.org.au/CCT.php Leclercq, D. (2003). BEC-OME-RER : Le fil rouge dun projet de formation. Consult le 4 octobre 2004 dans http://www.webct.ulg.ac.be/SCRIPT/formation_labset/scripts/serve_home Leclercq, D. (1999). Edumtrie et docimologie. Lige : les ditions de lUniversit. (Bel). Leclercq, D. & Poumay, M. (2005) The 8 Learning Events Model and its principles. Consult le 22 aot 2005 dans http://www.labset.net/media/prod/8LEM.pdf (11p). Leclercq, D. & Poumay, M.. (2004). Une dfinition oprationnelle de la Mtacognition et ses mises en uvre. Communication prsente 21me confrence internationale de lAIPU. Marocco : Marrakech. Meloche, M. (2000). Evaluation des multimdias pdagogiques. Consult le 15 juin 2004 dans http://cqfd.teluq.uquebec.ca/D4_1_b.pdf Poumay, M., Georges, F., Uyttebrouck, E., & Leclercq, D. (2003). Lvaluation de dispositifs dapprentissage distance et de leur impact: clairages convergents. Communication prsente la confrence de lADMEE - Lvaluation : entre efficacit et quit. Belgique : Universit de Lige.

Actes du 22me congrs de lAIPU, UniMail Genve, 12-14 septembre 2005

8
Annexe 1 : Grille dvaluation dun cours en ligne (Fr.Georges, J.F. Van De Pol, LabSET, Universit de Lige, 2005)

Anticipation difficults l'tudiant tre confront Aide pdagogique

des Vous trouverez dans cette colonne quelques questions types pour amorcer la

Commentaire prsen pertinen utilis s t t

efficac e

auxquelles rflexion. pourrait

L'tudiant dispose-t-il d'un guide auquel il peut se rfrer afin de savoir prcisment 2 ce qui est attendu de lui ? Quelles sont les ressources mises sa disposition ? Pourquoi ? Comment ? Quand et avec qui les utiliser ? En deux mots, sait-il ce qu'il doit faire ?

Aide technique lie Au-del de l'aide contextuelle prvue par les plateformes, le concepteur a-t-il prvu 1 l'usage de la plateforme une aide en ligne imprimable reprenant l'essentiel des dmarches techniques accomplir pour utiliser les ressources mises en ligne ? Personne contacter Les coordonnes du responsable du cours ou du tuteur d'un sminaire virtuel sont- 1 elles immdiatement accessibles ? Conseils pour entrer Est-ce que la page d'accueil du cours propose des news ou autres conseils pour 1 mieux entrer dans le cours ? Le concepteur a-t-il communiqu, via un mail ou un autre mdia ncessairement consultable par les tudiants, les instructions suivre pour entrer dans le cours "sans souffrance" ?

dans le cours

Actes du 22me congrs de lAIPU, UniMail Genve, 12-14 septembre 2005

9
Droits et devoirs des L'tudiant sait-il ce qu'il est en droit d'attendre du titulaire du cours, des tuteurs, des 2 encadrants accompagnateurs ? Connat-il galement les modalits dontologiques en vigueur dans le cours en matire de communication ? Objectifs 1 1

9 1 1

Commentaire prsen pertinen utilis efficac s t 2 t 2 2 e 2

Objectif gnral

L'tudiant sait-il ce qu'il peut attendre de ce cours ? Quel est l'objectif gnral qu'il 2 est sens atteindre au terme de ce cursus ?

Les incontournables

Le concepteur a-t-il dtermin parmi les activits celles qu'il faut ncessairement 1 raliser pour atteindre l'objectif gnral du cours ?

Les spcifiques

objectifs Les objectifs spcifiques du cours sont-ils suffisamment oprationnels ? Permettent- 2 ils ltudiant de savoir quelles sont les capacits mettre en uvre, sur quels contenus, dans quels contextes ?

Mthodes

Commentaire prsen pertinen utilis efficac s t 2 t 2 2 e 2

Activit(s)

Les activits proposes sont-elles varies ? Cette varit sert-elle les objectifs de la 2 formation ? L'absence de varit se justifie-t-elle en fonction des objectifs que s'est assigns le concepteur ?

Actes du 22me congrs de lAIPU, UniMail Genve, 12-14 septembre 2005

10
Echanges

10 Commentaire prsen pertinen utilis efficac s t 1 t 1 1 e 1

Interactions informelles Le concepteur a-t-il prvu un forum rserv aux tudiants ? Les apprenants ont-ils 1 les informations utiles pour contacter leurs pairs (trombinoscope) ? Les espaces de communication synchrone sont-ils mis disposition des tudiants en dehors des activits ? Interactions prof/tudiant formelles Le concepteur a-t-il prvu un outil de communication ddi aux changes publics 2 entre le tuteur et les apprenants ? Outre les questions d'organisation, ces interactions portent-elles sur le produit ou sur le processus d'apprentissage ? Font-elles partie intgrante d'une activit ? Servent-elles les objectifs poursuivis dans cette activit ? Interactions formelles Le concepteur a-t-il prvu un outil de communication ddi aux interactions entre 2 apprenants ? Ces dernires sont-elles clairement insres dans les scnarios pdagogiques ? Servent-elles rellement l'apprentissage ? Mtacognition

tudiant/tudiant

Commentaire prsen pertinen utilis efficac s t 2 t 2 2 e 2

Jugements

L'tudiant est-il invit s'interroger sur l'tat de ses connaissances avant de se 2 lancer dans une activit ? L'tudiant a-t-il la possibilit de choisir un type d'activit en fonction de la perception de ses propres comptences ? L'tudiant est -il amen valuer la certitude avec laquelle il a rpondu une question ?

Actes du 22me congrs de lAIPU, UniMail Genve, 12-14 septembre 2005

11
Analyses Le concepteur a-t-il mis disposition de l'tudiant toute une srie d'outils (carnet de 2 notes, carnet de bord, carnet virtuel) susceptibles de l'informer propos de ses processus d'apprentissage ? 2 2

11 2 2

Rgulations

Le concepteur a-t-il prvu, dans ses scnarios, la possibilit pour l'tudiant de tirer 2 profit de l'analyse de ses productions et ses processus d'apprentissage afin de s'amliorer via, par exemple, la rvisibilit de ses travaux ?

Evaluation

Commentaire prsen pertinen utilis efficac s t 2 t 2 2 e 2

Dimensions

L'tudiant sait-il sur quoi porte l'valuation ? Quand a-t-elle lieu ? Comment est-elle 2 mise oeuvre? Quelle est sa fonction ? Qui value? Etc.

Critres

Les critres d'valuation sont-ils clairement prsents ?

Pondration

Est-ce que la pondration de chaque lment valu est prsente ?

Actes du 22me congrs de lAIPU, UniMail Genve, 12-14 septembre 2005

12

12

Triple concordance

Commentaire prsen pertinen utilis efficac s t 2 t 2 2 e 2

Harmonisation

Les objectifs spcifiques dvelopps dans les activits permettent-ils d'atteindre la 2 comptence qui y est vise ? L'valuation permet-elle de rendre compte de la matrise de cette comptence ?

Outil

Commentaire prsen pertinen utilis efficac s t 2 t 2 2 e 2

mutlimedia pdagogique

L'environnement Web est une ressource parmi d'autres. Le concepteur tire-t-il profit 2 de ses spcificits parmi lesquelles (sans ordre de priorit) l'indexation automatique des termes utiliss dans le cours, test avec FB automatique, hyperliens, simulations, illustrations animes et en couleur, partage de documents, son, vido ?

webographie, bibliographie

Est-ce que le cours propose une bibliographie et une webographie ? Est-ce que ces 2 deux lments sont rdigs selon les normes en vigueur (APA) ?

Actes du 22me congrs de lAIPU, UniMail Genve, 12-14 septembre 2005

13
Navigation spcifique Le concepteur utilise-t-il les ressources proposes par la plateforme pour mettre en 1 place une navigation claire et intuitive ? Charte graphique Les 4 rgles de mise en page (l'alignement, le rapprochement la rptition et le 1 contraste) sont-elles respectes ? Qualit du discours Est-ce que les contenus langagiers du cours sont rdigs dans un niveau de langage 1 adapt au public ? Est-ce qu'ils sont rdigs dans le respect des rgles grammaticales et orthographiques ? 1 1 1 1 1 1

13 1 1

Le calendrier

Est-ce que le cours propose un calendrier li la formation propose ?(chronologie 1 des activits, deadlines de remise des travaux, de passation des tests).

Actes du 22me congrs de lAIPU, UniMail Genve, 12-14 septembre 2005