Vous êtes sur la page 1sur 28

Evaluer un dispositif de formation distance Principes et retour dexprience

Evaluating a distance learning system: principles and feedback


Stphane CARO DAMBREVILLE Laboratoire LIMSIC, EA4177 CIMEOS, Universit de Bourgogne stephane.caro@u-bourgogne.fr

Rsum. La multiplication des dispositifs de formation distance et la complexit de certaines plateformes utilises au sein du systme universitaire soulvent des questions. En tout premier lieu, celle de la stabilisation des pratiques dcriture des documents numriques. En second lieu celle de lvaluation de ces dispositifs. Cest ce dernier point que nous souhaitons traiter dans le cadre de cet article. Quest-il possible dvaluer en la matire ? Les dimensions dvaluation sont multiples selon langle choisi. Nous nous limiterons une approche centre sur lvaluation de linterface personne-systme. Le terrain dexprimentation choisi est un site Internet dapprentissage du droit du travail ralis par le service universitaire de formation continue de lUniversit de Bourgogne. Mots-cls. Enseignement distance, technologies dinformation communication pour lenseignement, ergonomie, valuation ergonomique, utilit, utilisabilit, mthodes dinspection, test utilisateur, questionnaires et entretiens. Abstract. The multiplication of distance learning platforms and the complexity of some of those used within the university system raise questions. First of all, the stabilization of writing practices of digital documents. Secondly, the evaluation of these devices. We want to address this last point in this article. What is it possible to assess in this field? There are many dimensions of evaluation, depending on the angle chosen. We limit ourselves to an approach focused on evaluating the humancomputer interface. The chosen testing ground is a website for law studies, developed by the University of Burgundys further education section. Keywords. Distance education, information communication technologies for education, ergonomics, usability testing, utility, usability, inspection methods, user testing, questionnaires and interviews.

Prliminaires

Tout dabord, lors dune dmarche dvaluation, il est ncessaire de dfinir ce que lon souhaite valuer. Pour cela il convient de considrer que lapprenant se situe dans un contexte dapprentissage par lintermdiaire dun dispositif technique . Lapprenant se trouve donc expos une double contrainte, celle de

25

Revue des Interactions Humaines Mdiatises

Vol 9 N2, 2008

devoir intgrer des connaissances nouvelles sur un domaine donn (le droit du travail dans notre cas) et en mme temps, utiliser un dispositif technique pour ce faire (un site internet dvelopp cet effet). On comprend que cette double contrainte et cette structure de buts va rendre ce type de tche particulirement complexe dans le cas o le dispositif technique serait dfaillant (cest--dire, difficile utiliser). Dans ce cas particulier, lallocation de ressources cognitives supplmentaires lutilisation du dispositif technique plutt qu la tche dapprentissage va provoquer de pitres performances en termes dapprentissage. Dans cet article, nous nous concentrerons sur lvaluation dun de ces dispositifs technique laide de mthodes classiques de lergonomie des interfaces personnes-systme. Il sagira donc de lvaluation du dispositif technique plutt que de lvaluation du gain en termes dapprentissage chez lapprenant. Les trois mthodes choisies seront : lvaluation par inspection (ou audit), les tests utilisateurs, les entretiens et questionnaires. Pour chacune de ces mthodes, nous donnerons des exemples de livrables. Il est peut-tre utile de prciser avant tout quune bonne interface pour lapprentissage est une interface qui ne consomme que trs peu de ressources cognitives pour son utilisation. Une interface transparente , discrte, va permettre lapprenant de concentrer ses ressources cognitives sur lapprentissage des connaissances et non sur lapprentissage ou la matrise du dispositif technique. Lobjectif est donc clairement de minimiser la charge cognitive spcifiquement ddie lexploitation du systme (pour une prsentation du concept de charge cognitive, cf. (Chanquoy et al., 2007)). Les dimensions de lvaluation On peut considrer que lvaluation consiste gnralement comparer lobjet valu un modle de rfrence afin den dduire des conclusions (Huart et al., 2008). Bien entendu le modle de rfrence peut tre virtuel et envisag comme une combinaison de recommandations adapte au domaine de lobjet valuer. Quest-il possible dvaluer dans un contexte de formation distance ? Lvaluation doit reposer sur des critres formels et explicites. Quelles sont les dimensions dvaluation privilgier ? De nombreux critres dvaluation sont mobilisables pour lvaluation des documents numriques et dans le contexte de lapprentissage, on peut encore en ajouter qui sont plus spcifiques. On distingue habituellement trois dimensions dvaluation principales des systmes interactifs (Senach, 1993) : lutilit, lutilisabilit, lesthtique. Tricot (Tricot et al., 2003) ajoute ces trois dimensions lacceptabilit (sentiment positif ou ngatif lgard du produit, intention dutilisation en fonction de nombreux paramtres : motivation, affects, culture, valeurs). La figure 1 ci-dessous prsente les critres dvaluation des trois premires dimensions. Les notions dutilit et dutilisabilit sont souvent discutes dans la littrature ainsi que le primtre quelles embrassent (Huart et al., 2008). Dans le cas dvaluation ergonomiques dinterfaces personnes-systme, on sintresse lutilisabilit et ventuellement certaines dimensions de lutilit. Il nest pas trs difficile dapprhender ce que recouvrent la plupart des critres dutilit comme la vitesse de chargement dune page, la prsence de liens morts, la qualit du contenu (texte, image), la prsence des fonctionnalits pertinentes pour lutilisateur. Lutilisabilit ou la dimension ergonomique est la plus dlicate valuer car les critres respecter sont peu connus et font rarement lobjet de formation. Sur la figure 1, trois attributs principaux sont mentionns pour lutilisabilit : facilit 1.1

26

Evaluer un dispositif de formation distance. Principes et retour dexprience

dapprentissage, dutilisation, qualit de la documentation. On peut aussi mentionner, selon les auteurs, lefficacit dutilisation, la facilit de mmorisation, lutilisation sans erreurs, et la satisfaction de la part de lutilisateur (Huart et al., 2008). La dimension esthtique relve de comptences spcifiques mais laisse aussi place une grande part de subjectivit. Elle est parfois considre comme une composante de la satisfaction de la part de lutilisateur au mme titre que les prfrences de lutilisateur (Bastien et Scapin, 2001).

valuation dun systme interactif

Utilit - capacit fonctionnelle - performances du systme - fiabilit - contenu - qualit de lassistance - scnario, mtaphores

Utilisabilit - facilit dapprentissage - facilit dutilisation - qualit de la doc.

Esthtique - typographie - graphisme - choix des couleurs - etc.

Qualit ergonomique - adquation la tche - adquation lutilisateur - adquation au contexte h i t

Figure 1. Dimensions dvaluation, adapt daprs Senach (1993) De ces trois dimensions, la plus importante semble tre lutilit. Une interface esthtique et facile prendre en main, si elle noffre pas les fonctions dont lutilisateur a besoin (ou envie de se servir), si elle est instable techniquement, si elle prsente des informations qui ne sont plus jour, risque fort dtre dlaisse. Au contraire, une interface qui offre un service dont lutilisateur a besoin et dune manire efficace sera utilise mme si elle est peu esthtique et quelque peu difficile apprhender. Linterface du minitel, qui a eu son heure de gloire, en est un exemple. Ni modle dergonomie ni de graphisme, les crans du minitel ont t utiliss par lintermdiaire dun clavier, peu agrable de surcrot, parce que le minitel offrait des services rels (et mme payants) aux usagers. Dans un contexte nonconcurrentiel, une interface peut tre essentiellement axe sur lutilit. Dans un contexte concurrentiel, dans un contexte o les impratifs de scurit ou de simplicit dutilisation sont dterminants, la donne est tout autre et linterface devra soigner son utilisabilit et/ou son esthtique. On emploie pour les domaines de lutilisabilit et de lutilit de nombreuses mthodes dvaluation dinterfaces homme-machine. Un ouvrage francophone rcent en recense pas moins dune quinzaine assorties de fiches pratiques (Baccino et al., 2005). Nous nous limiterons des mthodes couramment utilises pour valuer lutilit et lutilisabilit du site de

27

Revue des Interactions Humaines Mdiatises

Vol 9 N2, 2008

formation au droit du travail. Ces mthodes sont lies lvaluation dun systme rel : linspection, les tests utilisateurs, les questionnaires et entretiens (cf. tableau 1). 1.2 Les diverses mthodes dvaluation : classification rapide Il existe de nombreuses possibilits de classement des mthodes dvaluation selon que lon sintresse au type dapproche (exprimentale vs prdictive) limplication dutilisateurs, dexperts, aux aspects thoriques, situationnistes (en laboratoire, en situation relle), au produit fini ou des prototypes, etc. Nous prsentons dans le tableau 1 une classification rapide de ces mthodes, propose par Huart et al., (2008). Systme rel Utilisateur rel Utilisateur reprsent Mthodes dobservation (approches empiriques) Rapports de spcialistes (approches expertes) Systme reprsent Rapports dutilisateurs (approches empiriques) Mthodes analytiques

Tableau 1. Classification des mthodes dvaluation dinterfaces personnes-systmes daprs Huart et al., (2008) Prsentation du dispositif valu Le cheminement que nous allons dcrire sinspirera dvaluations pratiques sur le site Droit du travail : formation en ligne de linstitut dAES de luniversit de Bourgogne sur une priode de trois ans. Le produit test comportait un module sur le syndicalisme. Certaines fonctions ntaient pas implmentes ou termines au moment de lvaluation. Toutefois il sagit bien du systme rel et non reprsent (maquette, prototype papier...) au sens de Huart et al., (2008). A noter au passage quil nest pas utile dattendre quun produit de formation soit compltement finalis pour lvaluer. Lvaluation peut se concentrer sur les parties du dispositif qui sont dj fonctionnelles. Une fois que ces parties sont values et modifies, le cas chant, on tendra tous les dveloppements futurs les rsultats de lvaluation . 1.3

Figure 2. Ecran de choix des activits

28

Evaluer un dispositif de formation distance. Principes et retour dexprience

Le site Droit du travail : formation en ligne de linstitut dAES propose diffrents types dactivits (voir figure 2, cran de choix des activits) : - lecture dun cours (mmento) - exercices (tudes de cas concrets) - tests (positionnement rapide par questions fermes pour se situer par rapport des connaissance sur un thme) - changes avec dautres apprenants, un groupe, un tuteur - consultation de documentation lie au domaine. A chaque type de tche correspond une logique dutilisation de linterface et des outils appropris qui peuvent donner limpression dune certaine complexit. Les utilisateurs de ce dispositif sont des tudiants de licence dAES. Toutefois une utilisation du dispositif pour la formation professionnelle est envisageable. On utilisera le terme dutilisateur dans la suite de cet article plutt quapprenant. En effet, lvaluation dcrite ci-aprs porte sur le dispositif en termes dinteraction et non directement sur lacquisition des connaissances.

Utilisateurs

Contexte

Les utilisateurs travaillent avec le dispositif individuellement, domicile ou en salle informatique en libre service. Le dispositif est pens comme un complment un cours classique dispens lUniversit. Le site prsente donc des liens avec le cours intituls annonces . Le site dans sa version value comporte de nombreux crans et prsente des possibilits de navigation multiples dune partie lautre. Les organisateurs de structure et de mise en forme (para-linguistiques : couleur, enrichissement typographique, multifentrage, icnes etc.) ont t utiliss abondamment afin de faciliter lutilisation de ce dispositif de formation. 1.4 Panorama des mthodes Les mthodes dvaluation de lutilisabilit sont classes gnralement selon plusieurs facteurs. On peut diffrencier les mthodes qui ncessitent le recours des utilisateurs et les autres. On utilisera alors le qualificatif dobservations participantes ou tests utilisateurs. Le second facteur consiste classer les mthodes selon les outils qui les assistent. Ainsi des outils logiciels dvaluation automatique permettent dvaluer certaines dimensions dutilisabilit comme la densit informationnelle par simple comptage des mots, des liens Dautres outils informatiques assistent partiellement lvaluateur ou permettent par exemple de suivre le parcours dans les crans et de le reconstituer laide de mouchards informatiques. Chaque mthode prsente des forces et des limites et on consultera valablement louvrage cit prcdemment pour en avoir le dtail (Baccino et al., 2005). prsent, nous allons nous recentrer sur les principales mthodes qui seront mobilises dans le cadre de cette valuation.

2
2.1

Les mthodes dinspection

Les mthodes dinspection : prsentation Dans un premier temps et avant de recourir des mthodes coteuses comme celles qui ncessitent dobserver ou dinterviewer des utilisateurs, il convient de vrifier que linterface respecte les normes et standards existants. Pour ce faire, on demande un valuateur (dont lexpertise peut varier) dvaluer le dispositif sur la base de standards existants. Les standards utiliss peuvent tre multiples comme 29

Revue des Interactions Humaines Mdiatises

Vol 9 N2, 2008

une norme de qualit ISO 9241-10, mais aussi des listes de critres de qualit ergonomiques comme ceux de Nielsen (1994) ou de Bastien et Scapin (1993) repris dans la norme AFNOR Z67-133-1. Lvaluateur analyse linterface laune des standards ou des critres choisis et il se familiarise avec linterface afin de comprendre son utilisation et de prvenir les problmes qui pourraient surgir dans ce contexte. Concrtement lvaluateur procde en quatre tapes distinctes qui peuvent se recouvrir temporellement. La familiarisation avec le dispositif, La matrise de recommandations, (guidelines, grille de critres) Lapplication des recommandations retenues au dispositif La rdaction du rapport dvaluation. La familiarisation avec le dispositif ncessite une bonne connaissance de la cible (public vis par le systme), du contexte dutilisation et des tches effectuer avec le systme (rsolution de problmes, acquisition de connaissance, recherche dinformation, etc.). Une exploration du systme pendant une heure environ avec des commentaires de lquipe de conception peut permettre une premire prise en main dans de bonnes conditions. La formalisation de la structure de navigation (arborescence) sur un grand document est aussi utile cette tape. Lquipe de conception na pas forcment de document de ce type qui soit suffisamment complet. Lvaluateur aura intrt sen fabriquer un en collant des post-it sur un tableau par exemple. La numrotation des crans sur ce documents sera utile aux tapes suivantes. La matrise de recommandations, guidelines, grille de critres de qualit ergonomique sera plus ou moins importante selon lexpertise de lvaluateur. Une bonne base de dpart avec peu de critre peut consister utiliser les critres de Nielsen qui sont peu nombreux (10) ou ceux de Bastien et Scapin (1994) qui sont galement peu nombreux (18) et fournis avec des dfinitions prcises et de nombreux exemples appliqus aux interfaces personnes-systme ou aux documents numriques (Bastien et al., 1998). Lapplication des recommandations au dispositif est la phase danalyse proprement dite au cur de cette activit dinspection. Pour un valuateur novice, on pourra procder une inspection critre par critre lors du parcours dans le dispositif. Lvaluateur expert qui matrise et mmorise les critres dvaluation parcourra les parties reprsentatives de lapplication et identifiera les critres non respects en fonction des situations dinteraction. Les problmes dtects seront relevs aussi prcisment que possible (titre, numro de lcran, description du problme, critre concern et copie dcran si ncessaire selon la complexit du problme). Pour les crans comportant de nombreux problmes, une copie dcran commente avec la liste des problmes relevs peut tre envisage. On pourra galement, pour faciliter lapplication des recommandations au dispositif (3me tape) se construire sous forme dcran (page Web) ou sur papier des fiches par critre (dfinition du critre et exemples de dfauts). Ces fiches sont destines passer en revue tous les dfauts de linterface et les rpertorier directement sur le critre concern . La figure 3 prsente un dispositif logiciel de ce type conu par les tudiants de la Licence Pro Activits et Techniques de Communication du dpartement Services et Rseaux de Communication de lIUT de Dijon (Julien Saurin et Rmi Chouvenc, promotion 2008). Ce dispositif peut tre ouvert dans une fentre sur lcran de lvaluateur et le systme valuer dans une autre fentre proximit sur le mme cran.

30

Evaluer un dispositif de formation distance. Principes et retour dexprience

Figure 3. Prsentation du critre densit informationnelle (Bastien et Scapin 1998), le champ de texte permet de relever les problmes lis la densit informationnelle ainsi que leur localisation dans lapplication. Lchelle bi-polaire permet dattribuer une note chaque critre Chaque bouton du bandeau gauche (qui reprsente un des 18 critres de qualit ergonomique de Bastien et Scapin) est cliquable pour permettre lutilisateur de revenir nimporte quel critre lors de lvaluation. Les boutons en bleu signifient que pour ces critres, des observations ont dj t mentionnes et les boutons en gris sont des critres pour lesquels aucun problme na t signal. Lorsque la souris passe sur lun des boutons, un escamot apparat aprs 0,5 secondes pour prciser quel critre correspond chaque numro ; au bout de 3 secondes, le texte devient dfilant afin de complter la description. Si lutilisateur clique, il est automatiquement conduit vers le critre slectionn (cf. figure 4). Une bordure noire entoure le carr du critre courant (8 sur la copie dcran, figure 4). A lissue de lvaluation, le dernier cran prsente la notation de chaque critre (chelle bi-polaire) et la liste des problmes relevs par lvaluateur classe par critre (Figure 5). Il convient de signaler que quand les problmes relevs sont nombreux, une classification des problmes par cran est plus adapte pour lquipe de conception.

31

Revue des Interactions Humaines Mdiatises

Vol 9 N2, 2008

Figure 4. Survol dun critre avec la souris, critre prise en compte de lexprience de lutilisateur (Bastien et Scapin, 1998)

Figure 5. Synthse de lvaluation, le champ de texte liste les critres non respects, leur description ainsi que leur localisation dans lapplication

32

Evaluer un dispositif de formation distance. Principes et retour dexprience

La rdaction du rapport comprend la prsentation dune courte introduction sur le dispositif valu et du contexte de lvaluation, la liste des critres dvaluation choisis (les concepteurs ne connaissent pas toujours les critres mobiliss pour lvaluation). La prsentation des problmes constats pourra suivre lordre des critres mobiliss (si les dfauts sont peu nombreux) ou tre organise par cran sil y en a beaucoup sur chaque cran. Dans ce dernier cas, une copie dcran de la partie problmatique et une maquette dcran qui solutionne les problmes sera propose idalement. Le groupement de certains dfauts et leur prsentation globale peut tre envisage quand ces dfauts reviennent sur de nombreux crans (certains concepteurs ont des habitudes qui provoquent des problmes rptitifs). Enfin une rubrique de remarques gnrales et/ou diverses peut tre envisage pour faire remonter lquipe de conception des informations sur des bugs ventuels, impressions diverses, coquilles orthographiques, problmes esthtique... mme si ces remarques ne sont pas directement lies lutilisabilit ou lutilit du produit. Une conclusion sur la perception du produit valu et la pondration des dfauts constats (dfauts majeurs, mineurs...) pourra tre dune grande utilit pour lquipe de conception. La conclusion peut orienter lquipe de conception vers une autre technique dvaluation (tests utilisateurs, entretiens, questionnaires etc.) selon les rsultats obtenus lors de linspection. La technique suivante (test utilisateur par exemple) pourra se placer aprs les ventuelles modifications du produit prconises dans le rapport dinspection. Inspection du dispositif de formation Dans le cadre de lvaluation du dispositif de formation, nous avons choisi dutiliser les critres de qualit ergonomiques de Bastien et Scapin (1993). partir du recueil dune synthse de nombreuses tudes exprimentales sur les interfaces personne-systme, Bastien et Scapin ont labor une grille danalyse fonde sur une liste de critres qui permettent dvaluer lergonomie des interfaces homme-machine et, par inclusion, des documents numriques. La liste de critres (voir ci-dessous) permet de classer les dfauts, de faon prvenir les problmes dutilisation et faciliter la conception. Lnumration ci-dessous prsente la liste des critres dutilisabilit ou de qualit ergonomique de Bastien et Scapin. Les 18 critres lmentaires (qui ne peuvent se subdiviser) apparaissent en caractres gras. 1. Guidage 1.1 Prompting ou incitation 1.2 Groupement/Distinction entre items 1.2.1 Groupement/Distinction par la localisation 1.2.2 Groupement/Distinction par le format 1.3 Feed-back immdiat 1.4 Lisibilit 2. Charge de travail 2.1 Brivet 2.1.1 Concision 2.1.2 Actions minimales 2.2 Densit informationnelle 3. Contrle explicite 3.1 Actions explicites 3.2 Contrle utilisateur 4. Adaptabilit 4.1 Flexibilit 33 2.2

Revue des Interactions Humaines Mdiatises

Vol 9 N2, 2008

4.2 Prise en compte de lexprience de lutilisateur 5. Gestion des erreurs 5.1 Protection contre les erreurs 5.2 Qualit des messages 5.3 Correction des erreurs 6. Homognit / Cohrence 7. Signifiance des codes et dnominations 8. Compatibilit On trouvera une dfinition de chacun de ces critres et des exemples dapplication donns par les auteurs dans le contexte dinterfaces homme-machine dans Bastien et Scapin (1993), et des adaptations au contexte des documents numriques dans Bastien et al. (1998). Les listes de critres, quelles soient plus ou moins tendues, prsentent souvent des lments similaires comme le contrle utilisateur. Une force de la liste de Bastien et Scapin est quelle a t valide exprimentalement auprs dvaluateurs ergonomes et non-ergonomes lors dexpriences dvaluation dinterfaces fictives comportant des dfauts introduits volontairement. Le dispositif a t valu par une personne exprimente dans lvaluation dinterfaces personnes-systme. Le dispositif de formation en ligne a t prsent lvaluateur par son concepteur de manire informelle (pendant environ 1 heure) puis un accs personnalis (Identifiant et mot de passe) a t fourni lvaluateur afin de se familiariser seul avec le dispositif. A la suite de la phase de familiarisation, lvaluation a pu commencer directement, car lvaluateur avait lhabitude dutiliser la grille de critres choisie. Les temps approximatifs consacrs cette tude peuvent se rpartir selon les phases en : Familiarisation avec le dispositif (2 heures), Matrise de recommandations, (guidelines, grille de critres) (nant, valuateur expert) Application des recommandations retenues au dispositif (20 heures) Rdaction du rapport dvaluation de 22 pages avec copies dcran (10 heures). Le temps consacr la phase 1 est relativement stable (environ 1 3h selon les projets et la complexit de la structure de navigation). Le temps consacr la phase 2 dpend des comptences de lvaluateur et/ou de sa connaissance de la grille de critres/Norme quon lui demande dutiliser. Le temps consacr la phase 3 dpend de laspect systmatique de lanalyse (tous les crans, une partie reprsentative dans les projets ambitieux) et du niveau de conseil (relev simple de dfauts et ventuellement : propositions de solutions, maquettes dcrans de remplacement , re-structuration de larchitecture du produit). Plus le niveau de conseil sera lev et plus lvaluation demandera du temps. Enfin la rdaction du rapport dpendra aussi de la complexit du projet et du niveau de conseil (solutions prototypes, maquettes etc.) Rsultat de linspection Le tableau 2 prsente quelques problmes de conception relevs lors de linspection du site de formation au droit du travail. Les dfauts sont classs selon la liste des critres de Bastien et Scapin. Ce tableau tmoigne de la premire partie de la phase 3 lapplication des recommandations retenues au dispositif . Il ne sagit dans un premier temps que de linventaire des problmes qui seront repris dans le rapport avec des propositions de solutions. 2.3

34

Evaluer un dispositif de formation distance. Principes et retour dexprience

Problme Un moteur de recherche est disponible. Toutefois lutilisateur ignore la porte de la recherche. Est-ce quil sagit de la partie courante module syndicalisme , de toute la partie sur le droit du travail, dune recherche dans la bibliothque ?

Critre non respect Guidage : Prompting ou incitation

Groupement / Distinction entre items

Lutilisateur ignore la porte des boutons tourne page << >>. Lutilisateur ne sait pas sils tournent les pages lintrieur de la partie tests (passage du premier test au second) ou sils permettent de passer dune question lautre au sein dun mme test. Ceci est d la proximit de ces boutons avec le label tests . Les zones cliquables ne sont pas toujours distingues des zones non-cliquables . Par exemple, si les zones qui prsentent un dispositif rollover (activation par survol de la souris) sont parfois cliquables, parfois elles ne le sont pas. Les titres des aplats colors de lcran accueil module , choix des activits par exemple ont un dispositif rollover et ne sont pas des liens. Quand lutilisateur clique sur certains livres de la bibliothque et quil ne se passe rien, il na pas toujours dindication de chargement (ou de la prsence ou dabsence de contenu.) Homognit, cohrence

Feed-back immdiat

Homognit, cohrence

Des lments graphiques ayant des aspects similaires sont parfois cliquables, parfois non-cliquables. Les chiffres qui reprsentent des pages sont cliquables, tandis que les boutons proches de mmento et de tests ne le sont pas. Chaque fentre doit avoir un titre spcifique. Le titre Droit du travail ne peut donc pas convenir pour toutes les fentres. Cest ce qui est spcifique une fentre qui doit tre le titre le plus visible sur celle-ci. Par exemple Exercice Test Activits Guidage : Prompting ou incitation

35

Revue des Interactions Humaines Mdiatises


Prsentation du site Dmonstration . Dans les exercices , comment lutilisateur peut retrouver les notes du calepin dune fois sur lautre ? Est-il possible de les enregistrer ? Sont-elles perdues dune connexion lautre ? Ceci napparat pas clairement dans linterface. Dans les tests, quand lutilisateur revient en arrire pour refaire une question, par exemple de la question 4 la question 1, les questions 3 et 2 dfilent avant que la question 1 apparaisse. Mieux vaudrait un accs direct (non squentiel).

Vol 9 N2, 2008

Guidage : Prompting ou incitation

Brivet : actions minimales

Tableau 2. Exemples de dfauts relevs lors de lvaluation par inspection. Les dfauts sont dcrits colonne de gauche et les critres de qualit ergonomiques non respects sont mentionns dans la colonne de droite Bien entendu, pour chaque problme constat, il convient lvaluateur, si cela fait partie de la commande, de proposer une solution qui rsolve le problme dcrit pralablement. Pour les crans qui comportent de nombreux dfauts dutilisabilit, il est possible de prsenter lcran valu accompagn de la liste de problmes et de proposer ensuite une maquette dcran qui rsolve les problmes rpertoris (ce cas ne sest pas prsent lors de cette valuation par inspection). A ce type de dfauts dutilisabilit vont sajouter des dfauts dutilit qui pourront galement tre signals (fonctionnalits manquantes par exemple, bugs, problmes daffichages, liens morts, etc.) Le tableau 3 prsente un exemple de dfaut relevant de lutilit du dispositif.
Problme Critre non respect Capacit fonctionnelle

Dans le module Syndicat > Docs > Reprsentativit, lutilisateur ne peut faire dfiler le texte faute de barre de dfilement

Tableau 3. Exemples de dfauts relevs lors de lvaluation par inspection. Le dfaut est dcrit colonne de gauche et le critres dutilit non respect est mentionn dans la colonne de droite 36

Evaluer un dispositif de formation distance. Principes et retour dexprience

2.4

Inspection : conclusion Quand linspection ne relve pas de critres explicitement noncs, on parle alors dinspection heuristique. Selon les comptences de lvaluateur, on pourra qualifier lvaluation dexperte (Nogier, 2005). Les limites de linspection sont celles dune situation dvaluation quelque peu artificielle car lvaluateur ne prsente pas ncessairement un profil analogue aux utilisateurs rels du dispositif. Dautre part, linspection consiste valuer tout ou partie des crans du dispositif sans ncessairement simmerger dans un scnario excuter conformment lobjet du dispositif de formation. Pour renforcer la validit cologique de lvaluation par inspection, on peut demander lvaluateur de suivre un scnario dtermin qui va lamener adopter un parcours relativement similaire aux parcours des futurs utilisateurs du dispositif de formation (technique du parcours cognitif). La principale faiblesse de la mthode est quil est difficile pour lvaluateur de prvoir les failles du systme quand il sagira dutilisateurs rels qui interagiront avec le dispositif dans leur contexte dutilisation habituel. Toutefois cette mthode permet dviter les dfauts frquents des interfaces moyennant un investissement modr. Cette mthode est galement tributaire de la qualit / de lexprience des valuateurs. A noter que ces derniers doivent simprgner du domaine de linterface value et / ou tre assists par un spcialiste de ce domaine (le droit du travail dans notre cas) (Baccino et al., 2005). La liste des critres utilise pour lvaluation par inspection peut tre complte ou modifie selon le contexte afin de ladapter lobjectif de linterface teste (contexte dapprentissage distance).

3
3.1

Les tests utilisateur

Les tests utilisateurs : prsentation Il sagit cette fois de tester le produit en phase finale, ou en phase de prototypage auprs dun petit nombre dutilisateurs reprsentatifs du public auquel le dispositif est destin. On peut conduire un test avec diffrents groupes dutilisateurs qui vont excuter des tches sur des versions du dispositif qui peuvent tre diffrentes (plan de test inter-sujets). Par exemple, un groupe de cinq utilisateurs excute les tches avec la maquette dun site de formation A et un groupe de cinq utilisateurs excute les tches avec la maquette dun site de formation B. Bien entendu, les deux documents ne varient que sur le facteur que lon veut tudier (deux systmes de navigation diffrents par exemple). Avec un plan de test intra-sujets, le mme groupe de participants teste les deux versions du document avec les mmes tches ou des tches diffrentes pour chaque document mais qui sont analogues et comparables en difficult. Dans ce cas, lordre de passation des sujets pour le test est contrebalanc, la moiti des participants commencent par tester le document A et lautre moiti le document B . Gnralement les tests ont lieu individuellement. La participation de cinq dix utilisateurs reprsentant la population cible par le produit permet didentifier la grande majorit des problmes. Gnralement les tests ont lieu en individuel. La participation de 5 utilisateurs reprsentant la population cible par le produit permettrait didentifier 85 % des problmes (Nielsen, 2000). Toutefois des travaux plus rcents ont dmontr qu moins de 10 voire 20 utilisateurs, le risque tait grand de ngliger de graves problmes dutilisabilit (Baccino et al., 2005). Il semble que 10 20 utilisateurs permettent de dtecter respectivement 80 % et 95 % des problmes dutilisabilit (Faulkner, 2003). Par ailleurs, 15 20 utilisateurs sont 37

Revue des Interactions Humaines Mdiatises

Vol 9 N2, 2008

nettement prfrables du point de vue de la fiabilit statistique (Baccino et al., 2005). Si le produit est particulirement dfaillant, on pourra poursuivre les tests en ajoutant un utilisateur supplmentaire dans chaque groupe dutilisateurs tests jusqu avoir circonscrit les problmes poss par le produit (quand un nouvel utilisateur ne dtecte pas de nouveaux problmes). Nielsen a montr quil valait mieux faire 3 tests avec 5 utilisateurs diffrentes tapes de la conception plutt quun seul test avec 15 utilisateurs (Nielsen, 2000). Interface/Tche Participant 1 Participant 2 Participant 3 Participant 4 Etc. Tableau 4. Exemples de protocole avec documents/interfaces et tches contrebalances Gnralement, la procdure la plus simple consiste demander aux utilisateurs de faire ce pourquoi le dispositif est fabriqu, acqurir des connaissances sur un domaine, une organisation ou excuter une procdure. Aprs un temps dexploration libre du dispositif par lutilisateur pendant quelques minutes, on lui demandera soit de rechercher des informations qui peuvent ncessiter de consulter plusieurs crans, soit dexcuter une procdure pour laquelle le document numrique est conu (ou dautres tches reprsentatives de son usage). Lexprimentateur peut tre prsent proximit du participant pour administrer la consigne gnrale : Vous allez tester le site Ce site est encore en phase de prototypage Ce nest pas vous qui tes tests mais le produit , puis les consignes (ou scnarios) spcifiques pour que le participant excute les oprations demandes. Il est conseill dcrire les diffrentes consignes (consigne gnrale et consignes des tches excuter) pour que les participants puissent participer au test dans les mmes conditions. Test utilisateur du dispositif de formation Lvaluation du site de formation au droit du travail a t mene auprs de dix participants (Taux didentification de dfauts denviron 80% selon certains travaux, cf. paragraphe ci-dessus). Cette exprience a fait suite lvaluation par inspection. Cette inspection a entran un certain nombre de modifications dans le prototype dalors. Cest donc ce site, dj en partie amnag, qui a fait lobjet du test dcrit cidessous. Nous donnerons une brve description de la mthode utilise ainsi que quelques rsultats. 3.2 Interface 1 Tche 1,2,3,4 Interface 2 Tche 5,6,7,8 Interface 1 Tche 4,3,2,1 Interface 2 Tche 8,7,6,5 Interface/Tche Interface 2 Tche 5,6,7,8 Interface 1 Tche 1,2,3,4 Interface 2 Tche 8,7,6,5 Interface 1 Tche 4,3,2,1

Objectifs du test

Il sagit dvaluer le produit de formation dans un contexte qui soit le plus proche possible de la ralit. Il est difficile de prdire linteraction des nombreuses variables qui entrent en jeu lors dune tche aussi complexe que lanalyse dun problme juridique par le biais dune interface homme-machine. Lobjectif est didentifier les ventuels dfauts de linterface et les manques qui auraient pu chapper lanalyse de la premire valuation par inspection. Il sagit aussi de slectionner des alternatives de conception (voir lexemple concernant la navigation

38

Evaluer un dispositif de formation distance. Principes et retour dexprience

par des liens en bandeau ou par des boutons tourne page ). Des changements dorganisation peuvent aussi tre envisags le cas chant. Lvaluation consiste observer des participants en situation dutilisation du dispositif de formation. Les quatre tches reprsentatives effectuer sont proposes par lexprimentateur laide de consignes crites (voir ci-aprs). Les participants doivent verbaliser (dire tout haut ce quils font, ou pensent). Les participants sont films pour la mesure des temps, lanalyse des parcours, et lenregistrement de leurs commentaires. Les participants passent lexprience individuellement, en prsence de lexprimentateur. Le fait que les utilisateurs soient observs par un tiers peut provoquer un biais, leffet Hawthorne (les rsultats positifs ou ngatifs peuvent ne pas tre dus quaux facteurs exprimentaux). Diffrentes techniques exprimentales existent pour sen prmunir (salles dexprimentation avec vitre sans tain, procdures dobservation indirectes : magicien dOz, valuation cooprative... (Baccino et al., 2005)). Lors dune utilisation des tests utilisateur en milieu industriel, un ventuel biais d lobservation est tout fait acceptable. Si lobservation de participants a pour objectif lobtention de rsultats dans un contexte de recherche fondamentale, on aura avantage se prmunir de ces phnomnes. La figure 6a prsente la configuration du systme dobservation en situation. Lexprimentateur est proximit de la personne observe 1 . Dans le dispositif de recueil prsent ci-dessous, un convertisseur transforme limage de lcran en signal vido. Cette image est intgre un plan densemble de lespace de travail du participant enregistr par une camra. Cette vue permet de distinguer les temps de lecture des consignes (donnes sur papier) des temps de consultation des crans. Elle permet galement denregistrer les ractions des participants et les commentaires sonores qui sont formuls pendant lexprience (verbalisations simultanes). Lors du mixage des deux images, une incrustation de limage du plan densemble est faite en haut droite de limage de linterface. Cette zone de lcran prsente en effet peu dinteraction gnralement (cf. figure 6b). Lexprimentateur donne les consignes aux participants, recueille les observations de ces derniers et note les problmes que les participants rencontrent. Le dispositif denregistrement vido du parcours de lutilisateur peut permettre une analyse fine et a posteriori des parcours des participants au sein du dispositif de formation. La dure de lenregistrement vido a oscill entre 45 minutes et 1 heure 30 environ pour chaque sujet selon leur rapidit. Les vidos ont t dpouilles manuellement lors dun visionnement systmatique. Les variables slectionnes avec lquipe de conception (cf. ci-aprs le Tableau 5) sont enregistres lors du visionnement dans le logiciel de statistique associ au laboratoire dobservation (Logiciel The Observer de la socit Noldus). Lenregistrement des variables dintrt se fait par appui de touches ddies au clavier dun ordinateur (par exemple la touche a du clavier est enfonce chaque fois que le sujet est sur la page daccueil, la touche c lorsque le sujet lit la consigne crite, la touche r quand il rpond une question, etc.). Cet enregistrement permet dobtenir des statistiques qui sont prsentes au paragraphe
1 Lexprimentateur et les ventuels observateurs peuvent galement suivre le droulement de lexprience depuis un autre local sur cran ou travers une glace sans tain. Cela permet de faire varier le nombre dobservateurs sans que le participant en ait conscience. Lquipe de conception peut ainsi venir observer quelques utilisateurs.

Protocole exprimental

Dispositif dobservation

39

Revue des Interactions Humaines Mdiatises

Vol 9 N2, 2008

3.3. Le cot du visionnement est important eu gard au retour sur investissement quil procure (lments formels dapprciation de dures et de nombre doccurrence dvnements). Il ne se justifie que pour des projets ambitieux o la mesure du temps ou lutilisation de fonctionnalits par exemple doivent tre quantifis formellement (comparaison entre deux systmes de navigation par comptage du nombre de clics sur ces dispositifs de navigation par exemple). Il est rare de sapercevoir, lors du visionnement, dlments que lexprimentateur naurait pas pu dceler pendant les observations. Par contre, les enregistrements vido sont dterminants pour la prsentation des rsultats lquipe de conception qui a parfois du mal a admettre quil se produise des phnomnes problmatiques en dehors dlments chiffrs et de squences vido. Au-del de laspect statistique, lenregistrement vido a donc parfois valeur de preuve.

E m a u x r ett r pi n e

Se ut j

Cvtser o eisu nr

Mge i ae t x ergte et n i rm es n

C a r m a

Figure 6a. Plan du dispositif

Figure 6b. Image enregistre

Mthodologie
Participants Deux variables indpendantes peuvent faire lobjet danalyses : le genre (masculin, fminin) et la comptence en droit du travail (expert, novice). Nous ne retiendrons que la comptence dans le cadre de cette tude. Les participants se rpartissent en deux groupes de cinq. Sur les dix participants, cinq sont considrs comme experts dans le domaine juridique et cinq sont considrs comme novices mais disposent de comptences qui leur 40

Evaluer un dispositif de formation distance. Principes et retour dexprience

permettent dutiliser le dispositif (tudiants familiers des interfaces Web et des TIC). La rpartition expert novice sest faite sur la base du nombre dheures de formation en droit du travail et de la pratique professionnelle. Aucun sujet na t cart dans le cadre de cette exprience. Les sujets ont t recruts sur la base du volontariat. Les participants considrs comme experts ont bnfici rcemment dune solide formation en droit du travail ou occupent un poste dans le domaine des ressources humaines. Les participants novices sont des tudiants adultes en formation continue, sans formation juridique pour trois dentre eux (niveau bac+2 minimum) et deux tudiants de formation initiale en DUT Information-Communication ayant suivi peu de cours de droit du travail pendant leur cursus. Matriel Un certain nombre de pr-requis ont t vrifis concernant lutilisation du site. Les messages daide sont disponibles, mme si leur contenu est provisoire. Lapplication fonctionne normalement en gnral, mme si toutes les commandes relles ne sont pas implmentes (fonction rechercher par exemple). Dans le cas o les commandes ne fonctionneraient pas compltement, lexprimentateur indique au participant le comportement futur de lapplication. La consigne crite de dpart est la suivante. Consignes Les consignes donnes lire sur un support papier ont t les suivantes : Lobjectif de la sance est de valider un nouvel outil de formation en ligne de lUniversit de Bourgogne. Ce site internet est destin lapprentissage de diffrents modules de droit du travail. Je vais vous demander deffectuer certaines tches. Au fur et mesure que vous utiliserez le logiciel pour excuter les tches indiques, je pourrais vous poser des questions sur ce que vous voyez ou sur ce que vous attendez des fonctions que vous utilisez. Sentez-vous libre de donner des observations pendant la session. Nous vous demandons de penser tout haut en indiquant les actions que vous voulez faire et les informations que vous recherchez. Il ny a pas de question stupide ou de mauvaise rponse. Ce produit est un prototype, ne soyez pas tonn quil puisse ragir dune faon inattendue. Cest le produit de formation que nous testons et non vos capacits rpondre aux diffrentes questions. Ltude comporte trois questions ponctuelles et un cas pratique. A lissue de cette tude, nous rpondrons vos diffrentes questions et prendrons note de vos remarques ventuelles. Vous allez essayer le site : Droit du travail en ligne. la suite de la lecture de la consigne quatre tches sont raliser. En voici deux exemples : Rpondre la question suivante en la justifiant : Un salari ayant un an danciennet conteste le fondement de son licenciement. Il sest vu notifier son licenciement le jour mme de lentretien pralable. Cette prcipitation de lemployeur peut-elle faire lobjet dune sanction par les juges ? Illustrer avec une dcision jurisprudentielle. Saisissez votre rponse dans la fentre Word ouverte lcran.

Tche 1

Tche 4

Rpondre par crit au maximum possible des 5 questions figurant dans le cas pratique du module licenciement . Saisissez votre rponse dans la fentre Word ouverte lcran. Trois tches sont assez modestes en temps de travail ncessaire (quinze minutes environ) et en nombre dcrans parcourir (tches 1, 2, 3). La dernire tche (4) est la rsolution du cas pratique du module Licenciement et ncessite une interaction prolonge avec le dispositif ainsi que le parcours de nombreux 41

Revue des Interactions Humaines Mdiatises

Vol 9 N2, 2008

crans au sein de lapplication (environ une heure). Lordre dexcution des tches 1, 2, et 3 est contrebalanc pour viter les effets dordre. La tche quatre est donne tous les participants aprs lexcution des 3 premires tches.

Variables quantitatives recueillies

Les temps consacrs seize types dvnements sont mesurs. Le choix des vnements mesurs se fait en concertation avec lquipe de conception. Un vnement correspond la consultation dun type dcran, le choix dune fonction ou lexcution de tches annexes lies lactivit (lecture de la consigne, rdaction de la rponse). Le temps est mesur en secondes. Le dtail des vnements pris en compte est prsent dans le tableau 5 (le nom des variables dans la deuxime colonne correspond au nom affect chaque variable dans le logiciel de dpouillement).
Elment 1 2 3 4 5 6 7 8 9 10 11 12 13 Nom Variable Accueil Carte Choix Plan NavDiv Rponse Recherch[e] Texte Surligna[ge] Consigne Aide Calepin Document Dfinition Temps pass sur la page daccueil Temps pass sur un cran carte conceptuelle Temps pass sur lcran choix dactivits Temps pass sur lcran plan du site Temps pass sur dautres crans intermdiaires de navigation Temps pass la saisie de la rponse dans un document Word Temps pass rechercher un mot Temps pass la lecture dun texte lcran Clic sur le bouton de la fonction surlignage dun paragraphe Temps pass la lecture de la consigne de lexercice (sur papier) Temps pass lire laide en ligne Temps pass sur le calepin pour y consigner des annotations Accs un document par la bibliothque documentation juridique (seulement pour la tche 1) Clic sur le bouton Etape 1 (seulement pour la tche 4) Clic sur le plan hirarchique (seulement pour la tche 1) Clic sur un bouton tournepage (seulement pour la tche 1) Type de variable tat tat tat tat tat tat tat tat vnement ponctuel (sans dure) tat tat tat tat

14 15 16

Etape1 PlanHier Tournpag

vnement ponctuel (sans dure) vnement ponctuel (sans dure) vnement ponctuel (sans dure)

Tableau 5. vnements enregistrs Il est possible de mesurer les temps ncessits pour lexcution des diffrentes tches, mais aussi le nombre dcrans parcourus. Les vnements correspondent des tats (affichage dun cran, lecture de la consigne, lecture dun texte lcran

42

Evaluer un dispositif de formation distance. Principes et retour dexprience

etc.), ou des actions ponctuelles (surlignage dun paragraphe, clic sur un bouton ou une zone de lcran). Le tableau 5 ci-dessus indique la liste des variables choisies pour analyser les enregistrements vido. Un certain nombre de remarques sont notes par lexprimentateur pendant le test. Les questions et remarques souleves pendant le test seront retranscrites lors de lanalyse des tches. Rsultats du test utilisateur Les participants sont placs en situation dutilisation du site sans formation spcifique lutilisation du dispositif et sans documentation papier (seules les aides en ligne sont disponibles). On peut postuler que dans des conditions moins difficiles (aprs une courte prsentation du logiciel), lors de la deuxime ou troisime utilisation, ou aprs une formation, les rsultats seraient diffrents. Il est possible de restituer pour chaque participant les traces des vnements enregistrs pour chaque tche demande. Cest ce que prsente la figure 7 cidessous obtenue laide du logiciel The Observer. Chaque barre de lhistogramme prsente le parcours dun participant diffrent (dix participants dans notre exprience). La figure 7 donne les temps consacrs aux vnements observs et leur moment dobservation. La lgende indique les vnements observs pour chaque participant. Les zones blanches accompagnes de traits pointills sont des moments dinterruption de lobservation et du chronomtrage pour diffrentes raisons (accs rseau interrompu, plantage du systme, discussion avec lexprimentateur). Les cinq premires barres de la figure en partant du bas reprsentent les temps des participants experts . Chaque couleur reprsente un vnement. Les vnements ponctuels (sans dure) sont reprsents par des traits plus fins et plus hauts, variables PlanHier , Tournpag , Surligna . 3.3

Figure 7. Analyse des parcours pour la tche 1 Le tableau 6 prsente les principaux indicateurs statistiques concernant cette tche. Le nombre doccurrences de chaque vnement, la dure des tats enregistrs peuvent donner lieu des analyses statistiques. Il est intressant par exemple pour une quipe de conception de savoir quels sont les outils de navigation utiliss, quelles sont les fonctions inutilises ou apprcies, etc. Il arrive quune fonction soit apprcie des utilisateurs mais quils aient du mal la retrouver quand ils en ont 43

Revue des Interactions Humaines Mdiatises

Vol 9 N2, 2008

besoin. La fonction surlignage par exemple na t utilise quune seule fois par lun des dix participants.

lment

Freq

Dure Totale en sec. 174.80 656.28 711.20 55.28 1842.24 5024.80 399.68 9.68 8873.96

Dure Totale en % 1.970 7.396 8.014 0.623 20.760 56.624 4.504 0.109 100.00

Moyenne

StdDev

StdErr

Dure Mini

Dure Maxi

Accueil Carte Choix NavDiv Reponse Texte Surligna Consigne Document PlanHier Tournpag Total

15 21 29 3 38 91 1 20 3 40 18 279

11.653 31.251 24.524 18.427 48.480 55.218 19.984 3.227 40.336

10.885 19.400 15.648 10.075 53.663 68.168 18.686 1.217 52.582

2.810 4.233 2.906 5.817 8.705 7.146 4.178 0.703 3.545

0.64 3.72 1.04 7.72 4.28 0.28 1.88 1.84 0.28

37.36 61.20 58.64 27.72 257.00 318.08 80.64 4.12 318.08

Tableau 6. Principaux indicateurs statistiques pour les dix participants, tche 1 Le tableau 6 a t obtenu automatiquement depuis le logiciel The Observer a lissue du dpouillement des vidos. Les participants mettent en moyenne 15 minutes accomplir la tche 1. Deux participants mettent nettement plus de temps que les autres (traces 5 et 7 sur la figure 7). On peut expliquer cela par le fait que ces deux participants ont commenc lexprience par la tche 1. Ces deux participants dcouvrent donc le fonctionnement du site lors de la tche 1. 56,62% du temps total est consacr ltude des textes juridiques proprement dite et un peu plus de 7% du temps aux cartes conceptuelles. 20,76% du temps est allou la rdaction de la rponse. Prs de 11% du temps est dvolu la navigation, ce qui peut probablement tre diminu en amnageant linterface. Il ne semble pas y avoir de diffrence significative entre participants experts et novices dans les temps consacrs la tche. Le concepteur du dispositif voulait connatre la frquence dutilisation de la zone de navigation situe en bandeau gauche dans les crans. Chaque clic sur un lien dans cette zone a t enregistr (variable PlanHier du tableau 6). Une comparaison avec les possibilits de navigation squentielle, analogues la navigation dans un ouvrage papier a t propose (boutons tourne page , variable Tournpag du tableau 6). La figure 8 prsente pour chaque participant le nombre doccurrence de clic dans le bandeau de navigation.

44

Evaluer un dispositif de formation distance. Principes et retour dexprience

Figure 8. Clics dans le plan hirarchique, tche 1 La navigation via le plan hirarchique semble privilgie par rapport aux boutons tourne page (40 occurrences contre 18). La figure 9 prsente les occurrences de clics sur les boutons tourne page . Le type de navigation ( tourne page versus plan hirarchique ) ne semble pas dpendre de lexpertise puisque lon retrouve les deux modes de navigation chez les participants experts et chez les novices. Seul un participant (trace 5) utilise les deux modes de navigation.

Figure 9. Clics sur les boutons tourne page, tche 1 Remarques et observations recueillies pendant la tche 1 Diffrents aspects ont t observs lors de la tche 1 (collects lors de lexprience ou pendant la visualisation des vidos). En voici quelques-uns, qui relvent tantt de lutilit (possibilit dimprimer les textes juridiques pour les tudier sur papier) tantt de lutilisabilit (longueur des crans faire dfiler). Ces phrases sont des commentaires de lanalyste (elles ont t r-organises et verses au rapport dvaluation). La longueur des crans de la partie analyse de jurisprudence dsoriente parfois les utilisateurs. Une segmentation en plusieurs crans serait peut-tre prfrable.

45

Revue des Interactions Humaines Mdiatises

Vol 9 N2, 2008

Licne de globe dans les cartes de concept de la partie mmento fait penser un accs rseau (type dicne que lon peut trouver dans certains navigateurs pour le web par exemple) et ne convient pas au concept reprsent. Licne I<< (retour lcran choix dactivit) est souvent utilise pour revenir en arrire et les utilisateurs sont surpris de voir leur position dans larborescence remonter dun niveau. Ils pensent retourner au premier cran du niveau courant. De plus il arrive parfois qutant dans le module licenciement, en cliquant sur cette icne, lutilisateur arrive sur lcran choix dactivit du module CDD Intrim. Licne jurisprudence semble ambigu (remplacer ou doubler dune infobulle plus proche de licne). Les participants cliquent sur les icnes qui servent de lgende dans les cartes conceptuelles (globe et texte) celles-ci ayant galement laspect de boutons. Dans les cartes conceptuelles, les pop-up (fentres ponctuelles ou escamots) ne se dsactivent pas toujours aprs consultation du lien, de ce fait ils masquent une partie de la carte et les utilisateurs narrivent pas toujours les faire disparatre. En fait il faut ouvrir un autre pop-up pour faire disparatre le prcdent. Sur un grand cran, un des participant (P7) dplore de nutiliser quune petite partie de lespace disponible. Un participant aimerait pouvoir imprimer les crans du mmento. Lors dune premire utilisation, sur lcran choix dactivit, les participants cliquent dans les aplats colors en vain pour faire apparatre les menus avant de se rendre compte quil faut cliquer (survoler du moins) seulement les titres de colonnes . Peut-tre que les diffrents choix des sousparties pourraient tre affichs en permanence. Le participant 6 prouve des difficults pour revenir lcran daccueil et de ce fait utilise la fonction prcdent du navigateur pour revenir en arrire. Il conviendrait de distinguer davantage ce bouton des autres boutons de navigation. De plus la zone dinformation sur la signification des boutons ne se rafrachit pas toujours correctement (conserve parfois le label du dernier bouton survol). Il arrive ainsi que le commentaire soit Accs au mmento au lieu de Retour laccueil ou Retour lcran de choix des modules . Conclusion tche 1 Le temps allou la navigation pourrait vraisemblablement tre diminu en amliorant la navigation ou certaines icnes afin de consacrer la plus grande part du temps la rsolution du problme juridique (lecture des textes et des cartes conceptuelles par exemple). Il semble pertinent de maintenir les deux modes de navigation ( plan hirarchique et tourne page ), ceux-ci tant utiliss par les participants, de plus laccs des modalits de navigation diffrentes respecte le critre de qualit ergonomique flexibilit . Le temps consacr la lecture de textes juridiques lcran est trop important (56,62 % du temps total) et cette activit est juge dsagrable. Il conviendrait de pouvoir imprimer ces textes pour les analyser sur support papier. Tests utilisateur : conclusion Le biais potentiel de l observation par un tiers est en fait peu prjudiciable en gnral dans le cadre de ce type dexprience. La prcision des mesures effectues et le type de donnes collectes en priorit (dtection de problmes pour lessentiel) supporte un ventuel biais de ce type. La mthode des tests utilisateurs, quoique coteuse (environ 60 heures pour cette tude), permet de relever les problmes poss dans le cadre de linteraction du systme et de lactivit du participant dans une situation proche de la ralit. Les prdictions de ces problmes sont difficiles mme par le biais dune valuation experte ou dun parcours cognitif (cognitive walkthrough, expert qui tente de reproduire le cheminement queffectuera 46 3.4

Evaluer un dispositif de formation distance. Principes et retour dexprience

lutilisateur). On gagnera y recourir au maximum, mme si pour cela on doit se passer de moyens denregistrement vido si la mesure du temps, du nombre doccurrence dvnements et la valeur de preuve des enregistrements ne sont pas indispensables. Lanalyste, avec un peu dhabitude, enregistrera la plupart des problmes rencontrs par les utilisateurs au fur et mesure, laide dune simple prise de note. Les rsultats qualitatifs (observations en direct, commentaires et impressions de participants recueillies pendant lobservation) sont tout aussi significatifs en termes defficacit opratoire et de dcisions de modification du dispositif que les mesures quantitatives (nombres dcrans parcourus, de clics dans une zone etc.) En effet, cest souvent sur la base de ces rsultats qualitatifs que les propositions de modifications du dispositif sont fondes et prcises (changements dicnes inappropries, modalits daccs plus directes aux documents, possibilits dimprimer certaines parties du site, etc.) Cest trs certainement une des mthodes dvaluation des plus efficace avec une grande validit cologique et une vocation opratoire des plus directe. Parmi les autres mthodes prsentes ici (inspection et questionnaires / entretiens), les tests utilisateurs permettent souvent lobservateur davoir des intuitions fondes sur lobservation concernant les solutions qui permettront de fixer les dfauts de linterface. Il est judicieux dadministrer la fin dune exprience de test utilisateur un questionnaire dvaluation ou de satisfaction. A cette occasion, on pourra aussi sentretenir de manire informelle avec le participant propos des ventuels problmes rencontrs lors de son parcours dans le dispositif (dbriefing).

4
4.1

Les questionnaires et entretiens

Les questionnaires et entretiens : prsentation Les questionnaires et les entretiens compltent valablement les tests avec des utilisateurs. Il conviendra dadapter les questions chaque cas dtude et en particulier ltat davancement du produit. On peut trouver en ligne des questionnaires dvaluation (questionnaire WAMMI par exemple). Toutefois, certains de ces questionnaires mlent les dimensions dvaluation (utilit, utilisabilit, esthtique) et sont rarement adapts aux enjeux de lvaluation dune interface spcifique (comme la formation distance). Les questionnaires eux seuls ne permettent souvent pas dobtenir des recommandations prcises en termes de changements apporter linterface. Par contre ils donnent la mesure la plus comprhensive de la satisfaction gnrale de lutilisateur (Huart et al., 2008). De plus, ils peuvent permettre de dgager des tendances sur des notions subjectives, mais importantes dagrment dusage. Ainsi des expriences ont montr que lire des textes avec une longueur de ligne de 100 cpl (caractres par ligne) sur cran tait plus rapide quavec des lignes de 50 cpl. Ceci est d au moindre recours aux ascenseurs qui font dfiler le texte lcran. Si lon sen tient l, on pourrait gnraliser cette observation et la transformer en recommandation. Des questionnaires administrs en fin dexprience ont dmontr que les participants prfraient les lignes de 50 cpl pour lesquelles ils trouvaient la lecture plus fluide, bien que, dans labsolu, les lignes de 100 cpl entranent des temps de lecture plus courts. Questionnaire sur le dispositif de formation Aprs lutilisation du dispositif de formation, (dans le cadre du test utilisateur, la fin du test), un questionnaire papier est administr et rempli par les participants. 4.2

47

Revue des Interactions Humaines Mdiatises

Vol 9 N2, 2008

Nous prsentons quelques rponses deux questions ouvertes poses aux participants propos du dispositif quils ont utilis pendant une deux heures environ : Comment trouvez vous ce site ? Avez-vous des suggestions damlioration du site ? Les remarques des participants sont donnes quelle que soit leur pertinence par rapport linterface et sont rapportes pratiquement dans leur formulation initiale.

Rponses la question Comment trouvez vous ce site ?

P1 (Participant 1) : Ce site est un bon outil pour approcher la matire quest le droit du travail. Il est complet et surtout, il est ordonn, clair et comprhensible. Cependant, loutil internet ne remplacera pas tout de suite la matire papier. En clair, pour moi, travailler sur un

dune manire plus prcise. P9 : La premire utilisation nest pas vidente, il faut quelques minutes pour se familiariser et se reprer. Par contre une fois que lon sest imprgn de larchitecture la navigation est assez facile. Les modules sont bien guids. P10 : Le site est prsent dune faon tout fait attrayante pour un domaine aussi rbarbatif que le droit du travail dans ses pires moments. La navigation est assez aise. Le seul problme est que lon a du mal reprer tous les lments et les liens qui peuvent nous

certains textes rendue difficile par le dfilement rpt. P7 : Au dbut de la consultation je nai pas immdiatement russi me reprer dans le site. Le vocabulaire employ semble accessible. P8 : Convivial, toff. Si la navigation dans le site peut paratre un peu difficile dans un premier temps, elle devient ensuite beaucoup plus aise. Les possibilits dobtenir une rponse semblent tellement nombreuses que cela peut laisser croire que lon a jamais vraiment explor lensemble dun domaine, peut-tre cibler les domaines

le site me semble tre un excellent outil danalyse et de comprhension. On arrive bien trouver rapidement des documents. P2: Je trouve le site trs intressant et surtout trs utile. P3 : Site intressant et pratique notamment pour les rvisons, car il englobe les thmes tudis en cours. Les cas pratiques permettent de sentraner pour rsoudre des problmes (pour examens). P4 : Ce site est trs fonctionnel et permet une approche plus simple et pratique du cours notamment en priode dexamen. P5 : Rserv des tudiants en droit. Difficile dapprhension pour un novice. Le graphisme est agrable. P6 : Intressant pour en savoir plus sur droits et devoirs salaris/employeurs. Prcis dans le vocabulaire juridique utilis (pas assez dcompos ou simplifi pour des non initis). Lecture de

support papier reste encore essentiel. De fait, il mest difficile de me concentrer pendant une longue priode sur lordinateur (comme par exemple la rsolution dun cas pratique). Sur la recherche dun document ou dune partie de cours,

aider progresser dans la navigation. Certains composants comme les questions du cas pratique gagneraient tres plus visibles.

Les rponses ces questions font apparatre des lments constats lors de lobservation, mais galement des considrations nouvelles. Parmi les lments dj constats lors du test utilisateur, la lisibilit des textes juridiques (longs et peu structurs pour le support numrique) lcran est juge dsagrable (P1 et P6). La possibilit dimprimer tous les textes ncessaires la rsolution dun cas pratique semble indispensable dans ce contexte. La prise en main du produit nest pas aise

48

Evaluer un dispositif de formation distance. Principes et retour dexprience

(premire utilisation) P7, P8 et P9. Par ailleurs, des problmes de reprage, de visibilit de certains lments sont galement voqus (P9 et P10) qui conduisent au sentiment de ne jamais tre trs assur davoir explor lensemble dun domaine (P10). Llment nouveau est que certains participants considrent que cet outil est un dispositif intressant de prparation aux examen (P3 et P4). De fait, cela confirme le positionnement du produit comme complment un cours classique .

peu signifiantes. P6 : Icnes plus claires (distinctes, par exemple maison pour retour page daccueil

le site (surtout pour les cas pratique). P5 : Manque de visibilit dans le cas pratique. Liens non actifs dans le bandeau. Icnes

Rponses la question Avez vous des suggestions damlioration du site ? P1 : Pourrait-on peut-tre avoir la possibilit dimprimer les documents qui sont sur

contraste entre la couleur du fond de cartouche et la couleur des caractres nest pas appropri. Possibilit davoir un lexique pour expliquer les termes techniques. P9 : Certains fonds bleus taient trop foncs par rapport au texte. P10 : Pour les questions du cas pratique il est peut tre ncessaire de changer la taille des caractres et la casse, ainsi que leur couleur.

pas trs lisible), plus prcises, situation dans lespace page. Attention la juxtaposition dune image anime avec une phrase ou une question, cest peu lisible du coup (par exemple, dans lexercice cas pratique licenciement). Prvoir ascenseurs pour lectures des dcisions des diffrentes cours de justice. P7 : Dans le cas pratique, les consignes des diffrentes tapes ne sont pas attractives. Le

La plupart des lments signals dans les rponses ont t constats pendant le test utilisateur. Sans revenir sur ce qui a t signal lors de la question prcdente (possibilit dimprimer P1), on peut signaler que les propositions damlioration concernent la signification des codes utiliss et en particulier des icnes qui sont parfois ambigus (P5, P6). Par ailleurs, des problmes de lisibilit lis un contraste insuffisant entre couleur de fond et couleur de texte apparaissent trs nettement (P7, P9, P10). Questionnaires et entretiens : conclusion Les questionnaires et entretiens sont des mthodes conomiques qui permettent de prendre la temprature concernant la perception dutilisateurs sur un dispositif donn. Il nest pas souhaitable quil y ait un grand nombre de questions dans le questionnaire, surtout si celui-ci est administr aprs un test utilisateur qui a dj dur prs dune heure par exemple. Des questions fermes peuvent tre envisages pour mesurer des dimensions prcises relatives au dispositif. Des questions ouvertes sur lagrment gnral, des suggestions damlioration et/ou les principaux problmes rencontrs peuvent permettre douvrir un espace dexpression pour lutilisateur. Le point de vue de lutilisateur est pondrer laune des rsultats scientifiques car les prfrences de certains utilisateurs ne sont pas toujours en adquation avec les bonnes pratiques qui ont fait lobjet de validations exprimentales. Les questionnaires et entretiens utiliss seuls napportent que des lments dapprciation sur les problmes les plus saillants. De plus, ces lments sont abords de manire gnrale, ce qui ne permet pas, bien souvent, dinterprter ces remarques de manire modifier prcisment linterface. Par exemple, une remarque comme on a du mal reprer tous les lments et les liens qui peuvent nous aider progresser dans la navigation est difficilement interprtable dun 49 4.3

Revue des Interactions Humaines Mdiatises

Vol 9 N2, 2008

point de vue opratoire pour lquipe de conception faute de prcision suffisante. Aussi des entretiens complmentaires peuvent consister demander aux participants de prciser tous ces points : Icnes peu signifiantes , pouvez-vous mindiquer lesquelles ? Pouvez-vous en dessiner une qui soit plus signifiante pour vous ? Lobjectif pour les concepteurs est de convertir les remarques en propositions de modifications si les remarques sont pertinentes et rcurrentes. Le rapport cot efficacit en termes oprationnels est faible par rapport aux autres techniques, mais les entretiens sont une mthodes intressante pour recueillir les impressions dutilisateurs sur un dispositif et dcider de poursuivre lvaluation si ncessaire avec une technique plus lourde. Pour certains aspects prcis et dj identifis (problmes de comprhension dicnes par exemple), les questionnaires permettent davoir un retour rapide des utilisateurs.

Conclusion gnrale sur lvaluation du dispositif de formation

Aprs avoir valu le dispositif de formation avec les trois mthodes prsentes ci-dessus, la conclusion de lvaluation pour ce dispositif tait de cet ordre : Le dispositif valu rpond son objectif de complment un cours classique . Ce type de produit de formation convient bien pour des tches courtes avec peu de lecture lcran. Lorsque le problme traiter est complexe et demande de naviguer plus frquemment ainsi que de lire de nombreux textes sur cran, plusieurs problmes se posent. Le maintien en mmoire des consignes et des questions est difficile lorsque lon doit se concentrer sur la navigation et la recherche dinformation. La lecture de longs textes sur cran est juge fatigante. Les utilisateurs demandent donc de minimiser les dplacements dans les crans en rendant la consultation des documents plus directe (au plus prs de la question pose) et pour les longs textes, ils souhaitent pouvoir imprimer . Lusage de certaines fonctions est dvelopper ou amliorer (recherche, surlignage, cartes conceptuelles) et dautres fonctions nont pas t utilises (calepin) ou t peu utiles en ltat actuel (plan du site et aide en ligne). La partie cas pratique, juge intressante ncessite le plus damnagement cause de la multiplicit des difficults rencontres. Difficults identifier la question gnrale, activer les sous-questions, faire le lien entre sous-questions et documents suggrs la lecture, accder certains documents suggrs. Toutefois les modifications qui permettraient une prise en main plus rapide du site ne remettent pas en cause son organisation actuelle. Ces modifications visent essentiellement amliorer - la navigation (longueur des pages, boutons de navigations), - le reprage (en vitant lutilisateur de quitter un espace courant pour consulter des informations en rapport cet espace), - la signifiance des codes utiliss (icnes et termes choisis pour dsigner certains concepts), - la lisibilit (combinaisons de couleur texte/fond).

Conclusion sur lvaluation

Cet article est essentiellement destin donner un aperu rapide de ce quil est possible dobtenir en valuant linterface dun dispositif de formation distance dun point de vue ergonomique. Au cours de la phase de dveloppement, le concepteur peut utiliser la grille de Bastien et Scapin (1993) afin dauto-valuer sa production, mais un vrai travail dvaluation relve souvent dun spcialiste. Lorsque lenjeu est important notamment, le mieux est davoir recours un ergonome et ceci, ds le dbut de la conception (une correction cote entre dix et cent fois plus cher lorsquelle intervient en phase de dveloppement plutt quen phase de conception (Baccino et al., 2005)). On peut signaler aussi que des tests de 50

Evaluer un dispositif de formation distance. Principes et retour dexprience

perception peuvent tre mis en uvre ds le dbut du projet sur les maquettes, prototypes papier. De nombreuses autres mthodes dvaluation existent dont certaines ncessitent des outils logiciels (valuation assiste, analyse des log-files, etc.) Certaines mthodes dvaluation peuvent tre trs sophistiques (comme le suivi des mouvements oculaires). Un des objectifs de cet article aura t de montrer que lassociation de plusieurs mthodes dvaluation est souvent ncessaire et sinscrit dans la perspective de pratiques intgres comme la mthodologie SUE Systematic Usability Evaluation (Garzotto et al., 1997) qui associe mthode dinspection et tests empiriques (Huart et al., 2008). A lvaluation de linterface, il convient aussi dajouter la question de la performance du dispositif en termes dapprentissage. Des mthodes spcifiques destines valuer cet aspect pourront tre couples aux mthodes dvaluation des interactions avec le dispositif que nous venons de dcrire. Cette fois, ce ne sera pas la mdiation technique qui sera value, mais davantage la qualit des contenus, leur bonne adaptation au niveau de comprhension des utilisateurs viss et leur progression pdagogique. On pourra pour ce faire sappuyer sur des principes noncs pour lvaluation de dispositifs hypermdia de formation comme les sept qualits de lapprentissage de Jonassen, 1995 (constructif, actif, coopratif, conscient, contextuel, (qui permet le) transfert, rflexif). Toutefois ces dimensions rendent compte de processus de haut niveau qui ncessitent pour certains dentre eux (comme le transfert) un arsenal mthodologique consquent eu gard au cadre de lvaluation de dispositifs de formation distance.

Bibliographie
Baccino, T., Bellino, C. & Colombi, T. (2005). Mesure de lutilisabilit des interfaces. Paris, Herms Lavoisier ditions. Bastien, J.M.C. & Scapin, D.L. (1993). Ergonomic criteria for the evaluation of humancomputer interfaces. Rapport technique, n 156, INRIA, Rocquencourt. Bastien, J.M.C., Leulier, C. & Scapin, D.L. (1998). Lergonomie des sites web. In Cours INRIA Crer et maintenir un service web, ADBS, INRIA (Eds.), ADBS ditions, Paris, 111-173. Bastien, J.M.C. & Scapin, D.L. (2001). Evaluation des systmes dinformation et critres ergonomiques. In Kolski C. (dir.), Environnements volus et valuation de lIHM, Interaction homme-machine pour les SI 2, Herms Sciences Publications, Paris, 53-80. Chanquoy, L., Sweller, J. & Tricot, A. (2007). La charge cognitive. Paris, Armand Colin. Faulkner, L. (2003). Beyond the five-user assumption : Benefits of Increased sample sizes in usability testing. Behavior Research Methods, Instruments & Computers, 35(3), 2003, 379-383. Garzotto, F. & Matera, M. (1997). A Systematic Method for Hypermedia Usability Inspection. The new review of hypermedia and multimedia, Vol. 3, p. 39-65. Huart, J., Kolski, C. & Bastien, C. (2008). Lvaluation de documents multimdias. Etat de lart. In Leleu-Merviel (dir.), Objectiver lhumain ? Volume 1, Qualification, quantification, Paris, Herms Sciences Publications.

51

Revue des Interactions Humaines Mdiatises

Vol 9 N2, 2008

Jonassen, D. (1995). Supporting Communities of Learners with Technology: A vision for Integrating Technology with Learning in Schools, Educational Technology, 35(4), 60-63, Jul.-Aug. 1995. Nielsen, J. (1994). Heuristic evaluation. In Usability Inspection Methods. In Nielsen, J., Mack, R.L. (Eds.), John Wiley & Sons ditions, New York, 25-62. Nielsen, J., (2000). Why you only need to test with 5 users, Alertbox, 19 mars 2000, en ligne : http://www.useit.com/alertbox/20000319.html. Nogier, J.F. (2005). Ergonomie du logiciel et design web : le manuel des interfaces utilisateur. Paris, Dunod ditions. Senach, B. (1993). Lvaluation ergonomique des interfaces homme-machine : une revue de la littrature. In Sperandio, J.C. (Ed.), Lergonomie dans la conception des projets informatiques, Toulouse, Octares ditions, 69-122. Tricot, A., Plgat-Soutjis, F., Camps, J.F., Amiel, A., Lutz, G. & Morcillo, A. (2003). Utilit, utilisabilit, acceptabilit : interprter les relations entre trois dimensions de lvaluation des EIAH. In Desmoulins, C., Marquet, P., Bouhineau, D. (Eds.), Environnements informatiques pour lapprentissage humain, ATIEF / INRP ditions, Paris, 391-402.

52