Académique Documents
Professionnel Documents
Culture Documents
Stratégies et avertissements
Richard E. Clark
La reproduction ou représentation de cet article, notamment par photocopie, n'est autorisée que dans les
limites des conditions générales d'utilisation du site ou, le cas échéant, des conditions générales de la
licence souscrite par votre établissement. Toute autre reproduction ou représentation, en tout ou partie,
sous quelque forme et de quelque manière que ce soit, est interdite sauf accord préalable et écrit de
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)
RÉSUMÉ. Les quatre objectifs de cette discussion sont de 1°) décourager les questions et
tactiques d’évaluation de l’enseignement à distance qui n’ont pas prouvé leur efficacité par
le passé ; 2°) convaincre les concepteurs d’évaluations d’enseignements à distance de bien
faire la distinction entre les effets propres à deux technologies distinctes, à savoir le mode de
diffusion de l’information (noté MDI par la suite) et la méthode d’enseignement (notée ME) ;
3°) proposer de brèves descriptions de plans d’évaluation, de questions et d’exemples
associés avec le MDI et la ME ; 4°) discuter les questions relatives à l’évaluation des
enseignements à distance en termes de coût-efficacité. Le point central de l’article est de
discuter des stratégies d’évaluation pouvant donner une image précise des apports les plus
significatifs offerts par les programmes d’enseignement à distance, et d’aider le lecteur à
éviter les erreurs du passé sur ces questions.
ABSTRACT. The four goals of this discussion are to: (a) Discourage distance education evaluation
questions and tactics which have not proved useful in the past; (b) Persuade distance education
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)
DOI:10.3166/DS.7.93-112 © Cned/Lavoisier
1. Cet article a été initialement publié en anglais sous le titre : Evaluating distance education: Strategies
and cautions, Quarterly Journal of Distance Education, vol. 1, n° 1, 2000, p. 3-16. Tous les droits de
propriété intellectuelle liés à cet article restent détenus par Information Age Publishing Inc., Charlotte,
NC (www.infoagepub.com). Nous remercions Georges F. Johnson, président d’IAP, d’avoir autorisé la
publication de cet article. La traduction en français a été réalisée par Tony Jolley et revue par Philippe
Dessus.
L’évaluation est un procédé par lequel nous jugeons l’utilité d’une chose dans le
but de prendre des décisions (Baker, 1991). L’évaluation d’une technologie fait
intervenir de nombreux modes d’analyse et des stratégies de mesure qui nous aident
à établir un jugement sur « l’utilité » des programmes d’enseignement à distance. Les
jugements réalisés durant le développement d’un programme sont nommés
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)
Une des plus importantes recommandations liées à cette discussion est que
chaque évaluation devrait explicitement appréhender l’apport relatif de deux
caractéristiques des technologies d’enseignement à distance, différentes mais
compatibles, embarquées dans tout moyen de télé-enseignement. Une caractéristique
technologique – matérielle – influence la diffusion de l’information et une autre –
intellectuelle – influence l’apprentissage par le biais de l’enseignement.
Quelle technologie et dans quel but ? © Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)
déjà existants. Un autre avantage de cet intérêt précoce est de pouvoir mettre en
place un protocole d’évaluation tout au long de la mise en œuvre du programme.
Trop souvent, des programmes sont développés et mis en place puis, quelques temps
plus tard, leurs concepteurs se souviennent que « nous devons faire quelques
évaluations ». Au final, on apprend très peu d’informations sur le programme,
informations qui pourraient pourtant être utiles à la fois pour son développement ou
pour celui d’autres. […] Levin (1983) a montré combien la recherche d’une
évaluation adéquate d’un programme en termes de coût-efficacité était difficile.
Après avoir étudié six rapports évaluant des programmes d’enseignement à distance
selon leur coût-efficacité, il a noté qu’un seul d’entre eux était correctement réalisé
de ce point de vue. Puisque la plupart des rapports ne sont pas publiés, on peut
supposer que ce type d’évaluation dès le début de la mise en place d’un programme
n’est pas encore une préoccupation largement partagée. Le second conseil utile pour
tout programme d’enseignement à distance est d’adopter une évaluation multiniveau.
Les deux niveaux d’évaluation qui semblent, le plus souvent, apporter des
informations sur le développement d’un programme d’enseignement à distance sont
des mesures de : (a) la réaction des utilisateurs et (b) la réalisation des objectifs du
programme. La réaction des utilisateurs par rapport à l’efficacité du programme
d’enseignement à distance est le niveau d’évaluation le plus couramment pris en
compte par les enseignants à distance (et malheureusement souvent le seul).
Typiquement, on évalue ce niveau par des formulaires imprimés comprenant des
questions ayant pour objectif de sonder les « ressentis » et « impressions » des
différents participants au programme. Une question classique est « Comment
noteriez-vous la qualité de l’enseignement par ce programme ? » (généralement
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)
L’évaluation des réactions peut être utilisée initialement pour faire apparaître
simplement les impressions des participants et d’éventuels bénéfices ou problèmes
inattendus. Ensuite, elle peut aussi donner une indication sur la motivation des
participants testés, ce qui peut être l’un des résultats d’évaluation du programme. Les
questions relatives à la motivation doivent être séparées : d’une part celles en rapport
avec le mode de diffusion (par exemple, la facilité d’accès, la fiabilité ou qualité
technique du transfert de connaissances ou des appareillages, l’espace alloué) et,
d’autre part, celles qui sont associées à l’enseignement (par exemple, la qualité de
l’enseignement, comment les choses apprises seront utilisées à l’extérieur du cours).
Le fait de recueillir les impressions des participants permet aux responsables
d’un programme d’obtenir des informations informelles, et souvent inattendues, sur
ce dernier. Par exemple, le projet de télé-enseignement du Nord-Est de l’Utah qui
utilise des informations gérées informatiquement et transmises par l’intermédiaire
des lignes téléphoniques entre des écoles éloignées les unes des autres a rencontré un
problème inattendu car il avait utilisé des formulaires à questions ouvertes (Congrès
des Etats-Unis, 1989). Les étudiants se sont plaints que, dans les premières phases
du programme, il était très difficile de contacter un enseignant pour obtenir de l’aide
lorsque cela était nécessaire. D’autre part, le Réseau de Télévision Educative
Interactive (InterAct Instructional Television Network) de Houston, Texas (Congrès
des Etats-Unis, 1989) a utilisé un instrument similaire et a découvert un résultat
positif inattendu. Il a été observé que les étudiants placés dans de petites salles TV
avaient tendance à beaucoup s’entraider durant les cours. Ils pouvaient s’entraider
sans déranger l’enseignant ou les autres étudiants. Ce « tutorat » entre étudiants
semble avoir eu un impact positif sur l’apprentissage des étudiants et leur
motivation. Après une étude plus poussée, ce tutorat semblait seulement dû au fait
que le microphone par lequel les étudiants communiquaient avec l’enseignant se
trouvait dans un autre lieu et devait être allumé pour fonctionner. Quand le
microphone était hors fonction, les étudiants pouvaient se consulter entre eux avant
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)
participation, des évaluateurs ont trouvé utile d’envoyer à chaque participant choisi au
hasard une carte leur annonçant qu’il a été sélectionné, que sa réponse est capitale et
qu’il pouvait s’attendre à recevoir un questionnaire sous peu. S’ensuivait une note à
tous ces participants sélectionnés encourageant les retardataires à envoyer leur
formulaire sans violation de leur anonymat. Selon le nombre de personnes impliquées
dans le programme, un petit échantillon aléatoire de participants (5-10 %) peut donner
une vision très précise des réactions du groupe entier (voir Fowler, 1984, pour une
discussion sur la taille des échantillons dans les études évaluatives).
Les questionnaires pourraient être utilisés à différents niveaux de développement
du programme, y compris dès le début. Les problèmes inattendus et les bénéfices mis
en évidence par les questionnaires requièrent généralement une étude plus
approfondie. Par exemple, lorsqu’on interroge des étudiants à distance, une majorité
fera clairement état du fait qu’ils ne choisiraient pas une méthode d’enseignement à
distance s’ils avaient la possibilité de suivre un mode « traditionnel » d’enseignement
– comme cela s’est passé dans le Nord-Est de l’Utah, dans le cadre d’un projet de
télé-enseignement (Congrès des Etats-Unis, 1989). Le fait que, si cela leur était
proposé, les étudiants pouvaient choisir un programme traditionnel n’indique pas
que le projet Utah a échoué. Après une étude plus approfondie, on a souvent montré,
comme cela a été suspecté dans le cas du projet Utah, que les étudiants se sentent
parfois isolés dans ce cadre d’enseignement à distance et choisissent par conséquent
des options plus traditionnelles pour des raisons sociales et « non académiques ».
Cela est particulièrement vrai pour les élèves de collèges et lycées. Typiquement, ils
ont de forts besoins sociaux qui ne sont pas toujours pris en compte dans les
programmes à distance.
D’autres problèmes peuvent être mis en évidence en utilisant le « système
précoce d’alerte » via des questionnaires de ressenti des utilisateurs. Ce sont les
problèmes liés à la communication entre participants, à l’ampleur et l’impact des
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)
5°) Est-ce que le média utilisé pour l’enseignement à distance maximise l’accès
de l’étudiant à un enseignement nouveau et/ou de haute qualité, comparativement à
d’autres modes de diffusion ?
L’accès à des nouveaux cours et à des enseignants ou des techniques
d’enseignement de haute qualité est l’un des objectifs principaux de la plupart des
programmes d’enseignement à distance. Collecter des informations sur cet accès
amène souvent des comparaisons entre les différents moyens de diffuser des cours ou
entre le nombre d’étudiants au début/pendant le déroulement du programme. Par
exemple, le programme Share-Ed dans le comté de Beaver, Oklahoma (Congrès des
Etats-Unis, 1989) a utilisé un nouveau réseau de fibres optiques pour permettre à des
écoles rurales l’accès à de nouveaux cursus. Les opinions des lycéens ont été
recueillies sur l’augmentation de la diversité des choix des cursus offerts, qui leur
permettent de plus de valider par anticipation des unités de valeur ensuite reconnues
à l’université. Ces opinions, combinées avec une mesure du niveau initial du
programme et du nombre d’étudiants réellement inscrits, montrent dans quelle
mesure l’innovation favorise son accès. Les évaluateurs devraient considérer avec
prudence l’accroissement de la facilité de connexion et la qualité de celle-ci pour les
minorités, les groupes d’étudiants plus âgés ou très dispersés.
Alors que « l’accès » suggère habituellement la disponibilité de nouvelles options
de cursus, cela peut aussi évoquer un accès des étudiants à un niveau plus personnel.
Les enseignants appartenant au programme InterAct Instructional Television à
Houston, Texas (Congrès des Etats-Unis, 1989) ont mentionné des difficultés à
accéder personnellement et rapidement à leurs étudiants afin de tester leur réactions
ou leur état d’esprit pour adapter leur enseignement. D’autre part, les enseignants
utilisant des supports informatisés témoignent souvent d’une augmentation de
l’ « individualisation » de leur enseignement et de l’opportunité d’« observer les
étudiants en train d’apprendre ».
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)
Évaluation du coût-bénéfice
Les évaluations précédant l’introduction d’un nouveau média devraient explorer les
coûts de ses alternatives. Dans de nombreux cas, les anciennes technologies (par
exemple, tuteurs, livres, cassettes vidéo, système postal) sont plus économiques
financièrement. Les évaluations de coûts devraient toujours envisager les MDI moins
coûteux et plus traditionnels. Des évaluations indiquent, par exemple, que des tuteurs
entraînés et payés au salaire minimum sont moins coûteux que les ordinateurs pour de
nombreuses tâches d’enseignement (Levin, 1983). Une excellente discussion sur
l’analyse du rapport coût-efficacité a été apportée par Fletcher (1990) dans une revue
de la question sur l’utilisation de DVD interactifs d’entraînement militaire. Il a noté que
certains programmes répertorient leurs coûts en catégories telles que : (a)
l’investissement initial, (b) l’assistance technique (maintenance et remplacement), et (c)
le coût d’utilisation ; alors que d’autres les amalgament. Fletcher soutient que la
séparation des coûts donne une meilleure image de leur source et aide à leur maîtrise. Il
note que le rapport coût-efficacité est très variable selon les programmes. Quelques
études trouvent d’énormes bénéfices par rapport au coût des technologies utilisées.
D’autres font référence à de gros problèmes financiers. Clairement, cette question
implique de nombreux facteurs, dont beaucoup n’ont pas encore été identifiés. Fletcher
laisse entendre que les analyses coût-efficacité peuvent être (et sont) manipulées quand
il suggère qu’« en fait, ces ratios peuvent être aussi bas que nous le désirons, et
dépendent de l’équipement à mettre en œuvre » (Fletcher, 1990, p. 19). Il est conseillé
aux évaluations de programmes d’enseignement à distance d’adopter une approche
évaluant les coûts en termes d’« ingrédients », décrite ci-dessous.
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)
Le coût de la méthode d’enseignement (ME) © Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)
Dans les écoles et communautés éducatives, il y a une grande variété de buts qui
influencent les critères d’évaluation de la catégorie « coûts liés à l’efficacité de
l’enseignement ». Les dépenses nécessaires pour augmenter la motivation des
étudiants, leur apprentissage et transfert sont de plus en plus fréquemment étudiées
(Jamison, Suppes et Wells, 1974 ; Congrès des Etats-Unis, 1998). Si les différentes
administrations scolaires veulent développer leur politique d’enseignement à
distance, elles seraient bien avisées de recueillir des informations sur de tels coûts.
Développer une ME amène à faire des choix sur l’enseignement, la motivation et le
transfert ayant des coûts financiers très différents (Congrès des Etats-Unis, 1988 ;
Levin et Meister, 1985).
Au-delà de ces coûts, les écoles s’intéressent de plus en plus au coût en terme de
temps associé à la maîtrise des objectifs d’apprentissage et de performance. Certains
Évaluer l’enseignement à distance 107
temps-enseignant est évalué en fixant une valeur à ce qui est perdu lorsque les
enseignants sont impliqués dans un programme d’enseignement à distance.
L’application de la « méthode des ingrédients » se décompose en deux étapes.
Dans la première, tous les ingrédients nécessaires à un programme d’enseignement à
distance sont listés. L’identification des ingrédients requiert le listage des besoins de
ce programme selon cinq catégories : (a) personnel, (b) locaux, (c) équipement,
(d) consommables et (e) tous les autres. Dans la deuxième étape, la valeur de chacun
des ingrédients listés est estimée.
Faute de place nous ne détaillerons pas la méthode des ingrédients, mais un résumé
de Levin (1988 ; Levin et Meister, 1985) pourra apporter la plupart des informations
nécessaires pour déterminer le coût des ingrédients. Levin donne des exemples
compatibles avec les programmes qui se développent actuellement dans nombre
d’écoles et il conseille vivement d’établir des listes complètes des ingrédients. Par
exemple, il recommande que le temps « donné » par les bénévoles et organisations
extérieures soit introduit comme ingrédient « personnel » s’il est indispensable à la
conduite du programme. Dans le cas contraire, cela conduira à une vision inexacte des
dépenses allouées au programme et pourra empêcher sa reproduction. Cet auteur
prétend aussi (Levin et Meister, 1985) que, dans les rares cas où l’on parvient à obtenir
une liste complète des coûts relatifs aux programmes utilisant des technologies, on
montre souvent que le climat organisationnel influence grandement le rapport coût-
bénéfice. Il met en évidence que lorsqu’un même programme d’enseignement à
distance est présenté sur différents sites, le coût de son implantation peut varier de
400 % (Levin et Meister, 1985). Certaines organisations semblent donc beaucoup plus
efficaces que d’autres du point de vue de leur utilisation de la technologie.
Conclusion
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)
Bibliographie
Allen W. H., “Instructional media research: Past, present and future”, Audio Visual
Communication Review, n° 19, 1971, p. 5-18.
Baker E. L., “Technology assessment: Policy and methodological issues”, Air Force Systems
Command, Proceedings of the 2nd intelligent tutoring systems research forum, 1989,
p. 151-158.
Baker E. L., “Technology assessment: Policy and methodological issues for training”,
H. Burns, J. W. Parlett and C. L. Redfield (Eds.), Intelligent Tutoring Systems, Hillsdale,
N. J., Lawrence Erlbaum Associates, 1991, p. 243-263.
Benjamin L. T., “A history of teaching machines”, American Psychologist, vol. 43, n° 9,
1988, p. 703-712.
Clark R. E., “Antagonism between achievement and enjoyment in ATI Studies”, Educational
Psychologist, vol. 17, n° 2, 1982, p. 92-101.
Clark R. E., “Reconsidering research on learning from media”, Review of Educational
Research, vol. 53, n° 4, 1983, p. 445-459.
Clark R. E., “Evidence for confounding in computer-based instruction studies: Analyzing the
meta-analyses”, Educational Communication and Technology Journal, vol. 33, n° 4,
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)
Clark R. E., “Assessment of Distance Learning Technology”, Baker E.L., O’Neil, H.F. Jr.
(Eds.), Technology Assessment, Hillsdale, N.J., Lawrence Erlbaum, 1994c.
Clark R. E., “Media and Learning”, T. Husén, T. N. Postlethwaite (Eds.) The International
Encyclopedia of Education (2nd Ed.), Oxford, Pergammon, 1995.
Clark R. E., “Motivating Performance: Part 1 – Diagnosing and Solving Motivation
Problems”, Performance Improvement, vol. 37, n° 8, 1998, p. 39-46.
Clark R. E., Learning from Media: Arguments, Analysis and Evidence, Greenwich, Conn,
Information Age Publishers, 2001.
Clark R. E., Craig T. G., “Research and theory on multimedia learning effects”, M. Giardina
(Ed.) Interactive Multimedia Learning Environments, New York, Springer Verlag, 1992.
Clark R. E., F. Estes, “Technology or craft: What are we doing?”, Educational Technology,
vol. 38, n° 5, 1998, p. 5-11.
Clark R. E., Estes, F., “The Development of authentic educational technologies”, Educational
Technology, vol. 39, n° 2, 1999, p. 5-16.
Clark R. E., Estes F., Turning research into results: A guide to selecting the right
performance Solutions, Atlanta, CEP Press, 2002.
Clark R. E., Salomon G., “Media in Teaching”, Wittrock, M. C. (Ed.), Handbook of research
on teaching (3rd Edition), New York, Macmillan, 1986, p. 464-478.
Clark R. E., Voogel A., “Transfer of training for instructional design”, Educational
Communications and Technology Journal, vol. 33, n° 2, 1985, p. 113-123.
Congrès des Etats-Unis, Power on: New tools for teaching and learning, Office of Technology
Assessment, Washington, D.C., U.S. Government Printing Office, September 1988.
Congrès des Etats-Unis, Linking for learning: A new course for education, Office of
Technology Assessment, OTA-SET-430, Washington, D.C., U.S. Government Printing
Office, November 1989.
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)
Jamison D., Suppes P., Wells S., “The effectiveness of alternative instructional media: A
survey”, Review of Educational Research, vol. 44, 1974, p. 1-68.
Kearsley G., Hunter B., Sidel R. J., “Two decades of computer based instruction: What have
we learned?”, T.H.E. Journal, vol. 10, 1983, p. 88-96.
Kirschner P., Sweller J., Clark R. E., “Why minimally guided learning does not work: An
analysis of the failure of discovery learning, problem-based learning, experiential learning
and inquiry-based learning”, Educational Psychologist, vol. 41, n° 2, 2006, p. 75-86.
Kozma R. B., “Learning With Media”, Review of Educational Research, vol. 61, n° 2, 1991,
p. 179-211.
Levie W. H., Dickie K., “The analysis and application of media”, R. M. W. Travers (Ed.)
Second handbook of research on teaching, Chicago, Rand McNally, 1973.
Levin H. H., Cost Effectiveness: A primer, Beverly Hills, CA, Sage Publications, 1983.
Levin H. H., Meister G. R., Educational technology and computers: Promises, promises,
always promises. Report No. 85-A13. Stanford, CA, Center for Educational Research at
Stanford, School of Education, Stanford University, 1985.
Levin H. H., “The economics of computer-assisted instruction”, Peabody Journal of
Education, Tate Center, Western Michigan University, May 1988.
Lumsdaine A., “Instruments and media of instruction”, N. L. Gage (Ed.) Handbook of
research on teaching, Chicago, Rand McNally, 1963.
Merrill D. M., Jones M. K., Jones L. Z., “Instructional Theory: Classes of Transactions”,
Educational Technology, June 1992.
Mielke K., “Questioning the questions of ETV research”, Educational Broadcasting Review,
n° 2, 1968, p. 6-15.
O’Neil Jr., H., Anderson C. L., Freeman, J., “Research and teaching in the armed forces”, M.
C. Wittrock (Ed.) Handbook of research on teaching (3rd Ed.), New York Macmillian,
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)
Weiner B., Human motivation: Metaphors, theories and research, Newbury Park, Sage,
1992.
Winn W., “Visualization in learning and instruction”, Educational Communication and
Technology Journal, vol. 30, n° 1, 1982, p. 3-25.
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)