Vous êtes sur la page 1sur 21

ÉVALUER L'ENSEIGNEMENT À DISTANCE

Stratégies et avertissements

Richard E. Clark

Lavoisier | « Distances et savoirs »

2009/1 Vol. 7 | pages 93 à 112


ISSN 1765-0887
ISBN 2746224728
Article disponible en ligne à l'adresse :
--------------------------------------------------------------------------------------------------------------------
https://www.cairn.info/revue-distances-et-savoirs-2009-1-page-93.htm
--------------------------------------------------------------------------------------------------------------------

Distribution électronique Cairn.info pour Lavoisier.


© Lavoisier. Tous droits réservés pour tous pays.

La reproduction ou représentation de cet article, notamment par photocopie, n'est autorisée que dans les
limites des conditions générales d'utilisation du site ou, le cas échéant, des conditions générales de la
licence souscrite par votre établissement. Toute autre reproduction ou représentation, en tout ou partie,
sous quelque forme et de quelque manière que ce soit, est interdite sauf accord préalable et écrit de
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)

© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)


l'éditeur, en dehors des cas prévus par la législation en vigueur en France. Il est précisé que son stockage
dans une base de données est également interdit.

Powered by TCPDF (www.tcpdf.org)


Évaluer l’enseignement à distance
Stratégies et avertissements1
Richard E. Clark

Center for Cognitive Technology


Rossier School of Education, University of Southern California
250 N. Harbor Dr., Suite 309
Redondo Beach, California 90277 (USA)
clark@usc.edu

RÉSUMÉ. Les quatre objectifs de cette discussion sont de 1°) décourager les questions et
tactiques d’évaluation de l’enseignement à distance qui n’ont pas prouvé leur efficacité par
le passé ; 2°) convaincre les concepteurs d’évaluations d’enseignements à distance de bien
faire la distinction entre les effets propres à deux technologies distinctes, à savoir le mode de
diffusion de l’information (noté MDI par la suite) et la méthode d’enseignement (notée ME) ;
3°) proposer de brèves descriptions de plans d’évaluation, de questions et d’exemples
associés avec le MDI et la ME ; 4°) discuter les questions relatives à l’évaluation des
enseignements à distance en termes de coût-efficacité. Le point central de l’article est de
discuter des stratégies d’évaluation pouvant donner une image précise des apports les plus
significatifs offerts par les programmes d’enseignement à distance, et d’aider le lecteur à
éviter les erreurs du passé sur ces questions.
ABSTRACT. The four goals of this discussion are to: (a) Discourage distance education evaluation
questions and tactics which have not proved useful in the past; (b) Persuade distance education
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)

© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)


evaluation designers to distinguish between the effects of two distinctly different technologies;
delivery technology and instructional technology; (c) Offer brief descriptions of evaluation
plans, questions and examples associated with delivery technologies on the one hand, and
instructional technology on the other, and (d) discuss issues related to the cost effectiveness
evaluation of distance education. The emphasis in the article is to discuss evaluation strategies
that give an accurate picture of the substantive contributions made by distance education
programs – and to help the reader avoid historical pitfalls in technology evaluation.
MOTS-CLÉS : enseignement à distance, média, évaluation, méthodes d’enseignement.
KEYWORDS: distance learning, media, assessment, instructional method.

DOI:10.3166/DS.7.93-112 © Cned/Lavoisier

1. Cet article a été initialement publié en anglais sous le titre : Evaluating distance education: Strategies
and cautions, Quarterly Journal of Distance Education, vol. 1, n° 1, 2000, p. 3-16. Tous les droits de
propriété intellectuelle liés à cet article restent détenus par Information Age Publishing Inc., Charlotte,
NC (www.infoagepub.com). Nous remercions Georges F. Johnson, président d’IAP, d’avoir autorisé la
publication de cet article. La traduction en français a été réalisée par Tony Jolley et revue par Philippe
Dessus.

D&S – 7/2009. Les effets des dispositifs d’EAD, pages 93 à 112


94 D&S – 7/2009. Les effets des dispositifs d’EAD

Concevoir et poser des questions sur l’évaluation

Les cinquante dernières années ont vu différents types de programmes


d’enseignement à distance attirer des groupes de partisans enthousiastes. Les
principales technologies de communication de masse comme le cinéma, la radio, la
télévision et (actuellement) Internet ont été utilisées pour transmettre de
l’information et servir de support à l’enseignement à distance. Pour chacun de ces
« nouveaux » médias, les chercheurs ont rencontré les mêmes difficultés à trouver la
preuve crédible qu’ils amenaient un taux de réussite élevé en matière d’enseignement
(Clark, 1995). Depuis que l’intervalle de temps séparant l’arrivée de deux
technologies tend à être semblable à celui entre deux générations, les défenseurs des
technologies sont tentés d’ignorer le passé et d’admettre que leur « nouvelle
technologie » est unique (Clark et Salomon, 1986). Ne pas parvenir à apprendre à
partir des erreurs passées a une conséquence néfaste : leur répétition. Par exemple,
une récente analyse approfondie des études de recherche et d’évaluation de
l’hypermédia dans l’enseignement à distance (Dillon et Gabbard, 1998) montre qu’il
est difficile d’obtenir des preuves valables de son impact. L’objectif de cet article est
de suggérer des stratégies d’évaluation afin d’éviter les erreurs du passé et obtenir
des preuves défendables sur l’efficacité de l’enseignement à distance.

Qu’est ce qu’une évaluation ?

L’évaluation est un procédé par lequel nous jugeons l’utilité d’une chose dans le
but de prendre des décisions (Baker, 1991). L’évaluation d’une technologie fait
intervenir de nombreux modes d’analyse et des stratégies de mesure qui nous aident
à établir un jugement sur « l’utilité » des programmes d’enseignement à distance. Les
jugements réalisés durant le développement d’un programme sont nommés
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)

© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)


« formatifs ». L’évaluation qui tente de décrire l’impact d’un programme
d’enseignement en cours de réalisation est souvent nommée « sommative ». D’ici à
ce que nos valeurs orientent à la fois nos activités d’évaluation sommatives et
formatives, nous devons être clairs sur les types de questions permettant l’évaluation
de l’enseignement à distance en fonction des besoins des usagers de l’enseignement
à distance – les étudiants et leur communauté. Les questions qu’on se pose à propos
de l’enseignement à distance et de ses instruments d’évaluation vont nécessairement
mettre l’accent sur certains paramètres et en laisser d’autres dans l’ombre. Les
questions d’évaluation de l’enseignement à distance véhiculent implicitement des
suppositions et des croyances sur le poids de différents paramètres et leur impact sur
les résultats recherchés. Par exemple, en nous demandant si un nouveau média
d’enseignement entraîne davantage de réussite chez les étudiants qu’un média
traditionnel, nous admettons que le média est capable d’influencer leur
apprentissage. Cette supposition a pourtant été sérieusement discutée (Clark, 1992a ;
1994a ; 1994b ; Clark et Estes, 1998 ; 1999 ; Clark et Salomon, 1986 ; Gardner et
Salomon, 1986).
Évaluer l’enseignement à distance 95

Une des plus importantes recommandations liées à cette discussion est que
chaque évaluation devrait explicitement appréhender l’apport relatif de deux
caractéristiques des technologies d’enseignement à distance, différentes mais
compatibles, embarquées dans tout moyen de télé-enseignement. Une caractéristique
technologique – matérielle – influence la diffusion de l’information et une autre –
intellectuelle – influence l’apprentissage par le biais de l’enseignement.

Mode de diffusion de l’information (MDI) et méthode d’enseignement (ME)

Le mode de diffusion de l’information est caractérisé par l’équipement, les


machines et médias qui permettent l’accès à l’information. Les livres, les ordinateurs
ou les enseignants sont des exemples familiers de MDI. Les méthodes
d’enseignement (ME) visent à influencer l’apprentissage de l’étudiant. Des exemples
de ME seraient des moyens d’organiser et structurer les leçons, l’utilisation
d’exemples, des moyens de favoriser la pratique et les tests. La ME peut être
apportée à l’étudiant par le biais de divers MDI. Par exemple, l’information, les
exemples, la pratique et les tests peuvent tous être mis à disposition de l’étudiant par
l’intermédiaire de livres, d’ordinateurs et/ou d’enseignants.
ME et MDI sont généralement confondus lorsqu’on évalue l’enseignement à
distance. Les augmentations ou baisses du taux de réussite des étudiants influencées
par la ME sont plus souvent attribuées aux MDI. Les réductions en coût ou en temps
passé pour atteindre des populations d’étudiants particulières (par exemple, en
milieu rural ou défavorisé) sont incorrectement attribuées à la ME. Cette confusion à
propos des bénéfices que peut apporter une technologie peut mener à des erreurs
politiques coûteuses et inappropriées. Le grand nombre de définitions du terme
« technologie » est sans doute imputable à cette confusion (Clark, 1992d).
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)

Quelle technologie et dans quel but ? © Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)

Dans un cadre général, le terme de « technologie » suggère l’application d’une


science et d’une expérience propre à résoudre des problèmes (Clark et Estes, 1998,
1999 ; Heinrich, 1984). L’obstacle majeur qui nous empêche jusqu’à présent de
comprendre en détail comment les nouvelles technologies contribuent à
l’enseignement à distance est la confusion faite sur les apports de ces deux
technologies distinctes (ME et MDI). L’une de ces technologies, la MDI, provient de
l’application de divers principes scientifiques et d’ingénierie au développement et à
l’utilisation des équipements, matériels pédagogiques et procédures qui enregistrent
et transmettent l’information. Ces technologies médias d’enseignement ont été
développées grâce à la science physique qui a permis la création des nouveaux
multimédias basés sur l’électronique (par exemple, les fibres optiques, les disques
vidéo interactifs et les ordinateurs). Le MDI augmente les possibilités d’accès de
96 D&S – 7/2009. Les effets des dispositifs d’EAD

l’étudiant à l’apprentissage de connaissances, qui est l’objectif le plus important dans


le cadre de l’enseignement à distance.

La méthode d’enseignement (ME)

Une seconde catégorie de technologies implique divers principes issus des


sciences sociales, et est liée au développement des méthodes d’ingénierie
pédagogique (Reigeluth, 1983 ; 1987). La ME prend racine dans la recherche faite
sur l’enseignement, l’apprentissage et les méthodes pour améliorer la réussite de
l’étudiant. Les « produits » d’une ME sont de nouvelles théories en ingénierie
éducative (Reigeluth, 1983 ; 1987 ; Gagné, Briggs et Wager, 1992 ; Merrill, Jones et
Li, 1992), de nouvelles méthodes d’enseignement et de nouvelles stratégies pour
améliorer la réussite des étudiants (Clark, 1998 ; Clark et Salomon, 1986 ; Weiner,
1992). Ces produits pouvent être intégrés au matériel de cours (courseware) diffusé
dans un cadre d’enseignement à distance.
L’objectif principal de cette discussion est de montrer que toutes les évaluations
des programmes d’enseignement à distance doivent avoir pour but de mettre en
évidence, de manière fiable et valide, les effets séparés de la ME et de la MDI.

Séparer les questions d’évaluation du MDI et de la ME

Le soutien en faveur de la distinction des apports de la ME et du MDI lors des


évaluations est clairement établi dans la littérature, mais est pourtant rarement pris en
compte lors de l’appréciation ou l’organisation des programmes. Schramm (1997), le
critique le plus renommé sur la question de l’utilisation des médias dans l’éducation,
conclut que « … l’apprentissage semble être affecté davantage par le message à
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)

© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)


délivrer que par la façon de le délivrer » (p. 273). Plus récemment, les recherches sur
les médias et technologies comparant leur effet sur l’apprentissage (Clark et
Salomon, 1986 ; Clark et Sugrue, 1989 ; Gardner et Salomon, 1986 ; Schramm,
1977 ; Clark, 1983 ; 1985 ; Allen, 1971 ; Jamison, Suppes et Wells, 1974 ; Kearsley,
Hunter et Sidel, 1983 ; Levie et Dickie, 1973 ; Lumsdaine, 1963 ; Mielke, 1968 ;
Salomon, 1981 ; Winn, 1982) peuvent être résumées par l’analogie suivante : le
média « … n’influence pas plus l’apprentissage que le camion qui livre les
provisions n’influence le mode de nutrition d’une communauté » (Clark, 1983 ; p. 3).
Le média utilisé par l’enseignement à distance est le vecteur qui transmet
l’information jusqu’aux étudiants. Le choix du vecteur influence fortement l’accès
des étudiants à l’information, tout comme la vitesse et le prix du transfert. Ce choix,
en revanche, n’influence pas l’impact de l’information délivrée au « client » sur son
apprentissage. Les vecteurs de livraison peuvent indistinctement délivrer un
enseignement utile, dangereux ou bien neutre.
Évaluer l’enseignement à distance 97

Choix des indicateurs pertinents pour l’évaluation

Les futures évaluations des technologies de l’enseignement à distance impliquent


de répondre aux questions suivantes : Quels aspects du protocole d’évaluation
améliorent l’utilité de l’information pour les décideurs ? Comment pourrions-nous
collecter des informations sur le programme qui pourraient nous aider à déterminer
si les MDI ou ME ont un effet ? (Clark, 1995 ; Baker, 1989 ; Congrès des Etats-
Unis, 1998). Bien que de nombreuses questions à propos d’évaluation ne peuvent
concerner tous les programmes, trois généralisations paraissent être utiles à tous, (a)
se préoccuper de l’évaluation le plus tôt possible, (b) utiliser un protocole
d’évaluation multiniveau, (c) conduire des analyses coût-efficacité systématiques.

Se préoccuper de l’évaluation le plus tôt possible

Les spécialistes de l’évaluation et les décideurs ont besoin d’être impliqués


activement et le plus tôt possible dans l’élaboration de programmes d’enseignement à
distance. Les expériences précédentes suggèrent qu’attendre la fin de la conception
d’un système avant de penser à son évaluation est une procédure habituelle mais très
dispendieuse et contre-productive (Baker, 1989). Il est fondamental d’avoir très tôt à
disposition des informations initiales relatives au programme, par exemple, connaître
avec précision dans quelles conditions un nouveau programme d’enseignement à
distance est créé. Un des moyens d’obtenir cela est de passer beaucoup de temps, lors
de l’élaboration du programme, à décrire précisément les problèmes que ce programme
a pour but de résoudre. Nous pourrions décrire comment les conditions actuelles seront
mesurées (par exemple, une mesure des conditions initiales de la situation existante,
incluant les points de vue et impressions des personnes concernées) et discuter
soigneusement des possibles solutions alternatives au(x) problème(s).
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)

© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)


Il est avantageux de développer une procédure d’évaluation parallèlement à la
conception et à la mise en place du programme. Dans le domaine de l’apprentissage
assisté par ordinateur, Henri Levin (1983 ; 1988 ; Levin et Meister, 1985) décrit huit
protocoles exemplaires d’évaluation en terme de coût-efficacité. Chacun de ces
exemples permet de mesurer les conditions initiales des problèmes que nous
cherchons à résoudre. Il pose la question de l’évaluation dès le début de la mise en
place du programme, ce qui rend possible la détermination de ses aspects positifs ou
négatifs. Les aspects négatifs peuvent ainsi être corrigés et les points positifs
améliorés pour atteindre un bénéfice maximum. Par exemple, la plupart des
programmes d’enseignement à distance du secondaire tentent d’intégrer un
maximum de cursus différents et un enseignement de qualité. Les concepteurs de tels
programmes pourraient débuter par une analyse des options possibles (les différents
médias pouvant diffuser un nouveau cursus) et de leur public-cible (par exemple,
évaluer le nombre d’étudiants qui pourraient s’inscrire à ces nouveaux cours). Un
intérêt précoce pour l’évaluation conduit à la collecte d’informations à la fois sur les
besoins et sur le public potentiel du programme, et sur les moyens d’enseignement
98 D&S – 7/2009. Les effets des dispositifs d’EAD

déjà existants. Un autre avantage de cet intérêt précoce est de pouvoir mettre en
place un protocole d’évaluation tout au long de la mise en œuvre du programme.
Trop souvent, des programmes sont développés et mis en place puis, quelques temps
plus tard, leurs concepteurs se souviennent que « nous devons faire quelques
évaluations ». Au final, on apprend très peu d’informations sur le programme,
informations qui pourraient pourtant être utiles à la fois pour son développement ou
pour celui d’autres. […] Levin (1983) a montré combien la recherche d’une
évaluation adéquate d’un programme en termes de coût-efficacité était difficile.
Après avoir étudié six rapports évaluant des programmes d’enseignement à distance
selon leur coût-efficacité, il a noté qu’un seul d’entre eux était correctement réalisé
de ce point de vue. Puisque la plupart des rapports ne sont pas publiés, on peut
supposer que ce type d’évaluation dès le début de la mise en place d’un programme
n’est pas encore une préoccupation largement partagée. Le second conseil utile pour
tout programme d’enseignement à distance est d’adopter une évaluation multiniveau.

Utiliser un protocole d’évaluation multiniveau

Les deux niveaux d’évaluation qui semblent, le plus souvent, apporter des
informations sur le développement d’un programme d’enseignement à distance sont
des mesures de : (a) la réaction des utilisateurs et (b) la réalisation des objectifs du
programme. La réaction des utilisateurs par rapport à l’efficacité du programme
d’enseignement à distance est le niveau d’évaluation le plus couramment pris en
compte par les enseignants à distance (et malheureusement souvent le seul).
Typiquement, on évalue ce niveau par des formulaires imprimés comprenant des
questions ayant pour objectif de sonder les « ressentis » et « impressions » des
différents participants au programme. Une question classique est « Comment
noteriez-vous la qualité de l’enseignement par ce programme ? » (généralement
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)

© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)


notée sur 5 qui va d’exceptionnel à mauvais en passant par moyen). Des questions du
style « Etablissez une liste de ce que vous pensez être les points forts (et faibles) de
ce programme » permettent à l’intéressé d’écrire ses points de vue et commentaires
personnels. Les formulaires de type questionnaire sont le plus souvent utilisés pour
obtenir des impressions en raison de la protection de l’anonymat de la personne
interrogée et, de plus, nous supposons qu’ils permettent une plus grande sincérité des
réponses. Les formulaires sont souvent envoyés à tous les participants du programme
mais ne sont remplis et renvoyés que par une infime partie.
Le retour des participants n’est utile qu’à condition qu’il ne serve pas que pour
l’évaluation. Il est évident que lorsque les données sur les réactions des participants
ne sont utilisées que pour estimer l’apprentissage ou la réalisation d’autres objectifs,
l’information peut souvent indiquer l’exact opposé de ce qui s’est réellement passé.
Clark (1982) a apporté la preuve qu’il existait une forte relation d’opposition entre
les réactions et l’apprentissage lorsque les étudiants indiquent avoir appris beaucoup.
En effet, lorsqu’ils sont interrogés plus précisément, il apparaît qu’ils ont appris très
peu ou même que leur apprentissage a été perturbé par l’enseignement.
Évaluer l’enseignement à distance 99

L’évaluation des réactions peut être utilisée initialement pour faire apparaître
simplement les impressions des participants et d’éventuels bénéfices ou problèmes
inattendus. Ensuite, elle peut aussi donner une indication sur la motivation des
participants testés, ce qui peut être l’un des résultats d’évaluation du programme. Les
questions relatives à la motivation doivent être séparées : d’une part celles en rapport
avec le mode de diffusion (par exemple, la facilité d’accès, la fiabilité ou qualité
technique du transfert de connaissances ou des appareillages, l’espace alloué) et,
d’autre part, celles qui sont associées à l’enseignement (par exemple, la qualité de
l’enseignement, comment les choses apprises seront utilisées à l’extérieur du cours).
Le fait de recueillir les impressions des participants permet aux responsables
d’un programme d’obtenir des informations informelles, et souvent inattendues, sur
ce dernier. Par exemple, le projet de télé-enseignement du Nord-Est de l’Utah qui
utilise des informations gérées informatiquement et transmises par l’intermédiaire
des lignes téléphoniques entre des écoles éloignées les unes des autres a rencontré un
problème inattendu car il avait utilisé des formulaires à questions ouvertes (Congrès
des Etats-Unis, 1989). Les étudiants se sont plaints que, dans les premières phases
du programme, il était très difficile de contacter un enseignant pour obtenir de l’aide
lorsque cela était nécessaire. D’autre part, le Réseau de Télévision Educative
Interactive (InterAct Instructional Television Network) de Houston, Texas (Congrès
des Etats-Unis, 1989) a utilisé un instrument similaire et a découvert un résultat
positif inattendu. Il a été observé que les étudiants placés dans de petites salles TV
avaient tendance à beaucoup s’entraider durant les cours. Ils pouvaient s’entraider
sans déranger l’enseignant ou les autres étudiants. Ce « tutorat » entre étudiants
semble avoir eu un impact positif sur l’apprentissage des étudiants et leur
motivation. Après une étude plus poussée, ce tutorat semblait seulement dû au fait
que le microphone par lequel les étudiants communiquaient avec l’enseignant se
trouvait dans un autre lieu et devait être allumé pour fonctionner. Quand le
microphone était hors fonction, les étudiants pouvaient se consulter entre eux avant
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)

© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)


de le remettre en marche pour répondre ou discuter d’un point avec l’enseignant.
Lorsque cette forme de tutorat a été découverte et observée, le projet Houston
montra que certains des enseignants embauchés pour superviser les salles TV
demandaient aux étudiants de « rester tranquilles », ce qui décourageait ces derniers
de s’entraider. Ces enseignants avaient estimé que les discussions étaient un
« problème de discipline » qu’il convenait de régler. Une fois découvert, le tutorat
entre étudiants a été encouragé (et la formation des enseignants locaux a été calquée
sur le modèle de Houston).
Le problème avec les données sur les réactions des participants est que, le plus
souvent, elles sont recueillies d’une façon telle qu’elles ne sont pas fiables ou même
valides en tant qu’indicateurs des effets d’un programme. Pourtant, des informations
non fiables pourraient parfois apporter des indications, comme avec le projet Houston.
Les données issues d’un questionnaire peuvent être représentatives si les évaluateurs
sélectionnent un échantillon aléatoire de participants suffisamment important pour être
représentatif de chaque groupe impliqué dans le projet. Pour augmenter cette
100 D&S – 7/2009. Les effets des dispositifs d’EAD

participation, des évaluateurs ont trouvé utile d’envoyer à chaque participant choisi au
hasard une carte leur annonçant qu’il a été sélectionné, que sa réponse est capitale et
qu’il pouvait s’attendre à recevoir un questionnaire sous peu. S’ensuivait une note à
tous ces participants sélectionnés encourageant les retardataires à envoyer leur
formulaire sans violation de leur anonymat. Selon le nombre de personnes impliquées
dans le programme, un petit échantillon aléatoire de participants (5-10 %) peut donner
une vision très précise des réactions du groupe entier (voir Fowler, 1984, pour une
discussion sur la taille des échantillons dans les études évaluatives).
Les questionnaires pourraient être utilisés à différents niveaux de développement
du programme, y compris dès le début. Les problèmes inattendus et les bénéfices mis
en évidence par les questionnaires requièrent généralement une étude plus
approfondie. Par exemple, lorsqu’on interroge des étudiants à distance, une majorité
fera clairement état du fait qu’ils ne choisiraient pas une méthode d’enseignement à
distance s’ils avaient la possibilité de suivre un mode « traditionnel » d’enseignement
– comme cela s’est passé dans le Nord-Est de l’Utah, dans le cadre d’un projet de
télé-enseignement (Congrès des Etats-Unis, 1989). Le fait que, si cela leur était
proposé, les étudiants pouvaient choisir un programme traditionnel n’indique pas
que le projet Utah a échoué. Après une étude plus approfondie, on a souvent montré,
comme cela a été suspecté dans le cas du projet Utah, que les étudiants se sentent
parfois isolés dans ce cadre d’enseignement à distance et choisissent par conséquent
des options plus traditionnelles pour des raisons sociales et « non académiques ».
Cela est particulièrement vrai pour les élèves de collèges et lycées. Typiquement, ils
ont de forts besoins sociaux qui ne sont pas toujours pris en compte dans les
programmes à distance.
D’autres problèmes peuvent être mis en évidence en utilisant le « système
précoce d’alerte » via des questionnaires de ressenti des utilisateurs. Ce sont les
problèmes liés à la communication entre participants, à l’ampleur et l’impact des
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)

© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)


difficultés techniques, à la mise en œuvre inadéquate de moyens et aux opportunités
d’étendre le programme à de nouveaux domaines. Pourtant, dans les meilleurs cas,
les formulaires sur les réactions ne donnent pas d’informations solides sur
l’aboutissement de la plupart des objectifs de transfert et de formation. Pour cette
raison, les programmes doivent comprendre un second niveau d’évaluation.

Atteindre les objectifs du programme

Le deuxième et le plus important objectif de l’évaluation est de se centrer sur les


objectifs du programme. L’atteinte des objectifs est habituellement considérée par les
spécialistes de l’évaluation comme étant l’information la plus cruciale à obtenir. Les
objectifs doivent être séparés en au moins deux catégories, ceux associés au mode de
diffusion de l’information et ceux à l’enseignement. Les types de résultats communs
aux deux types d’approches sont les évaluations coût-bénéfice et coût-efficacité. Dans
le cadre de ces évaluations, nous recherchons une valeur du coût de l’effet de diverses
Évaluer l’enseignement à distance 101

caractéristiques du programme la plus faible possible. Dans la suite de cette section


nous décrivons les résultats liés à la méthode d’enseignement puis ceux liés au média et
enfin ceux liés aux analyses coût-bénéfice et coût-efficacité.
Les objectifs des ME sont les suivants : une évolution chez les étudiants du point
de vue de leur apprentissage, de leurs valeurs, leur motivation et leur capacité à
transférer leurs connaissances à l’extérieur de la classe. Ces objectifs importants sont
influencés par le matériel de cours ou les programmes d’éducation développés et/ou
choisis et transmis aux étudiants à distance. Dans quelques cas, l’enseignement est
conçu par les enseignants. Dans d’autres cas, des matériels de cours tout prêts sont
achetés et diffusés par l’intermédiaire de sites. Les décisions d’enseignement
intégrées dans chaque leçon influencent l’apprentissage de l’étudiant et sa
motivation. Les différentes méthodes d’enseignement et options de cursus ont des
effets très différents sur l’apprentissage de l’étudiant, ce qui pourrait être pris en
compte dans une évaluation. Ainsi, l’évaluation d’enseignements à distance pourrait
porter au moins sur les sept types de questions relatives à la MDI et la ME.
1°) Entre le curriculum ou la méthode d’enseignement, qu’est-ce qui, dans un
programme d’enseignement à distance donné, influencera la réussite de l’étudiant
et, par conséquent, son aptitude à utiliser (transférer) la connaissance acquise à
l’extérieur du contexte de son apprentissage ?
La réussite peut être évaluée par l’intermédiaire d’un test conçu par un enseignant ou
par des tests standardisés de contrôle de connaissances. De plus en plus d’écoles évaluent
dans quelle mesure les étudiants peuvent transférer dans d’autres contextes ce qu’ils ont
appris. Le transfert pourrait être estimé par l’intermédiaire de questions ouvertes. Si des
écoles d’un même district ont des curricula similaires tout en diffusant leur enseignement
de façon différente, il y a manifestement une possibilité de vérifier si des différences en
termes de réussite et de motivation existent entre les écoles. Lorsque c’est possible, les
méthodes alternatives d’enseignement et les choix de curriculum pourront être explorées
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)

© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)


dans le but de maximiser l’apprentissage des différentes catégories d’étudiants. Par
exemple, un enseignement hautement structuré et soutenu peut être proposé en parallèle
avec une approche par la découverte et plus centrée sur l’étudiant (Clark, 1983 ; 1985).
De nombreux programmes ont montré que les étudiants anxieux ou ayant des problèmes
pour apprendre ont besoin d’une structure plus cadrée et comportant un meilleur soutien
alors que les étudiants plus indépendants et de meilleur niveau ont davantage besoin d’une
approche fondée sur la découverte (Clark, 1983).
2°) Qu’est-ce qui influence la motivation des étudiants et des enseignants pour
apprendre et s’investir dans la réussite d’un programme ?
Des théories courantes sur la motivation (Clark, 1998 ; Weiner, 1992) ont
introduit un élément très contre-intuitif concernant la mise en œuvre et l’évaluation
de programmes d’enseignement à distance. Formellement, on pense que le choix du
média influence grandement les motivations à la fois de l’étudiant et de l’enseignant.
Une récente approche cognitive de la motivation suggère qu’elle est influencée par
les croyances et attentes et de plus, qu’elle a pour origine les différences de
102 D&S – 7/2009. Les effets des dispositifs d’EAD

croyances à propos du média et non le média lui-même (Clark, 1994 ; 1983 ;


Salomon, 1984). Pourtant, nombre de récentes études sur les préférences à propos
des médias (Dillon et Gabbard, 1998) sont en accord avec la classique étude de
référence réalisée par O’Neil, Anderson et Freeman (1986, p. 977) affirmant qu’« en
général, l’attitude des étudiants est positive lorsque l’attitude des enseignants est
négative ». Il y a une preuve récente mais solide montrant que lorsque les étudiants
s’attendent à ce qu’un nouveau média leur rende l’apprentissage plus facile et plus
« amusant », ils l’aiment. Cependant, il y a aussi une preuve certaine que leur
appréciation ne les pousse pas à travailler davantage (Saettler, 1968 ; Clark, 1994a).
Pratiquement à l’opposé, plus grande est leur croyance qu’un média rend
l’apprentissage « facile », moins grands seront les efforts qu’ils consentiront à
fournir pour apprendre (Mielke, 1968 ; Salomon, 1984 ; Kozma, 1991). Cet effet a
été expliqué comme étant une évaluation erronée de l’étudiant à propos de l’effort
qu’il doit engager pour apprendre, évaluation fondée sur ses précédentes expériences
et attentes. Par exemple, l’étudiant américain moyen suppose que la télévision est un
média plus « facile » que les livres ou les enseignants, probablement parce qu’il
regarde la TV pour se distraire. Cette réaction de la part de nos étudiants est très
différente de celle des étudiants israéliens qui, en moyenne, investissent davantage
d’efforts dans la télévision parce que leurs récentes expériences avec la télévision
ont été moins distrayantes et plus exigeantes intellectuellement (Salomon, 1984).
Il y a une preuve supplémentaire montrant que les étudiants n’investiront pas
d’efforts s’ils croient qu’un média va être très difficile. Avec les enfants américains,
c’est parfois la raison de leur manque de volonté à lire (Salomon, 1984 ; Kozma,
1991). Par conséquent, la plus grande part de leur motivation est centrée sur le média
et la méthode d’enseignement, qui seraient perçus comme étant modérément
difficiles. Cette preuve pourrait suggérer qu’un moyen d’influencer la motivation de
l’étudiant serait de choisir un média « modérément difficile ». Cependant, cette
preuve suggère également que les croyances de l’étudiant et de l’enseignant à propos
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)

© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)


de la difficulté du média changent parfois radicalement en fonction du temps (Clark,
1994). L’indicateur de motivation le plus stable semble être les croyances de
l’étudiant à propos de ses propres aptitudes et des attentes que l’on a de lui dans les
différentes tâches d’apprentissage (Salomon, 1984). Nous pourrions donc évaluer les
perceptions et croyances des étudiants à propos des tâches d’apprentissage
incorporées au média employé par le programme d’enseignement à distance et leur
propre efficacité en tant qu’étudiants. Cette forme d’évaluation peut être intégrée
aux questionnaires d’évaluation des impressions des utilisateurs.
3°) Entre le curriculum ou la méthode d’enseignement, qu’est-ce qui, dans un
programme d’enseignement à distance donné, influencera (a) les valeurs des
étudiants et des enseignants concernant le contenu appris et (b) la motivation
ultérieure à enseigner et apprendre ainsi qu’à transférer les connaissances acquises
en dehors du programme d’enseignement ?
Des questionnaires soigneusement construits et interprétés donneront une bonne
indication des impressions des étudiants et des enseignants sur l’enseignement et le
Évaluer l’enseignement à distance 103

curriculum proposés. Un résultat d’évaluation négatif ne donne pas forcément une


image négative du programme (pour mémoire, les étudiants du projet Utah
préféraient les classes traditionnelles à l’enseignement à distance en raison des
opportunités sociales qu’elles leur procuraient). Généralement, on espère que
l’enseignement à distance favorise les opinions positives sur l’apprentissage et les
choix de cursus qu’il permet. Des revirements d’opinion résultant de changements
dans le programme peuvent être surveillés par l’intermédiaire de questionnaires
périodiques (mensuels) tout au long des étapes du programme.
4°) Entre le curriculum ou la méthode d’enseignement, qu’est-ce qui, dans un
programme d’enseignement à distance donné, influencera le développement de
diverses formes de connaissances à la fois au niveau des habiletés procédurales et
des formes de pensée critique, comme apprendre à apprendre ou les habiletés
métacognitives ?
Alors que l’évaluation d’un apprentissage impliquant la pensée critique (higher
order thinking) est plus difficile que celle d’un apprentissage « ordinaire », quelques
programmes sont parvenus avec succès à l’évaluer. Un bon exemple de programme
d’entraînement de l’apprentissage assisté par la technologie est le programme Higher
Order Thinking Skills (HOTS) qui se focalise sur les étudiants en difficulté […]. Le
programme est né à l’université d’Arizona et a été dispensé dans les écoles affiliées
de nombreux états. Les enseignants de ce programme utilisent des cours
informatisés, des travaux dirigés et des ateliers de discussion pour améliorer les
procédures de pensée et d’étude. L’évaluation de HOTS implique une utilisation
régulière de tests standardisés permettant de rendre compte de l’évolution de la
qualité des questions des étudiants et de leurs contrôles continus. Alors qu’il existe
peu de moyens d’évaluer les habiletés de pensée (il y en a toutefois en cours de
développement), les gestionnaires de programmes d’enseignement pourraient
consulter des spécialistes de l’évaluation pour sélectionner et développer des tests
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)

© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)


mesurant la capacité à résoudre des problèmes et à étudier (Congrès des Etats-Unis,
1998 ; Levin et Meister, 1995). Alors que l’apprentissage, les valeurs et les habiletés
à étudier sont des facteurs importants pour l’enseignement à distance, le MDI en
influencera d’autres.

Le mode de diffusion de l’information (MDI)

Le MDI peut transmettre diverses formes d’enseignement aux étudiants.


L’augmentation considérable de l’accès aux ordinateurs et à l’Internet dans les
écoles et à la maison a conduit à une attention plus importante portée aux bénéfices
du MDI (Dillon et Gabbard, 1998). Les questions d’évaluation associées au MDI
tentent de mesurer l’influence du média sur (a) la possibilité pour un étudiant
d’accéder à une plus grande variété de curricula, (b) l’utilisation de ressources par
le programme ou l’école et (c) la fiabilité des modes choisis. Les questions que l’on
retrouve habituellement dans les évaluations des médias sont les suivantes.
104 D&S – 7/2009. Les effets des dispositifs d’EAD

5°) Est-ce que le média utilisé pour l’enseignement à distance maximise l’accès
de l’étudiant à un enseignement nouveau et/ou de haute qualité, comparativement à
d’autres modes de diffusion ?
L’accès à des nouveaux cours et à des enseignants ou des techniques
d’enseignement de haute qualité est l’un des objectifs principaux de la plupart des
programmes d’enseignement à distance. Collecter des informations sur cet accès
amène souvent des comparaisons entre les différents moyens de diffuser des cours ou
entre le nombre d’étudiants au début/pendant le déroulement du programme. Par
exemple, le programme Share-Ed dans le comté de Beaver, Oklahoma (Congrès des
Etats-Unis, 1989) a utilisé un nouveau réseau de fibres optiques pour permettre à des
écoles rurales l’accès à de nouveaux cursus. Les opinions des lycéens ont été
recueillies sur l’augmentation de la diversité des choix des cursus offerts, qui leur
permettent de plus de valider par anticipation des unités de valeur ensuite reconnues
à l’université. Ces opinions, combinées avec une mesure du niveau initial du
programme et du nombre d’étudiants réellement inscrits, montrent dans quelle
mesure l’innovation favorise son accès. Les évaluateurs devraient considérer avec
prudence l’accroissement de la facilité de connexion et la qualité de celle-ci pour les
minorités, les groupes d’étudiants plus âgés ou très dispersés.
Alors que « l’accès » suggère habituellement la disponibilité de nouvelles options
de cursus, cela peut aussi évoquer un accès des étudiants à un niveau plus personnel.
Les enseignants appartenant au programme InterAct Instructional Television à
Houston, Texas (Congrès des Etats-Unis, 1989) ont mentionné des difficultés à
accéder personnellement et rapidement à leurs étudiants afin de tester leur réactions
ou leur état d’esprit pour adapter leur enseignement. D’autre part, les enseignants
utilisant des supports informatisés témoignent souvent d’une augmentation de
l’ « individualisation » de leur enseignement et de l’opportunité d’« observer les
étudiants en train d’apprendre ».
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)

© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)


6°) Est-ce que le média influence l’utilisation des ressources de l’école et de la
communauté éducative (par exemple, l’espace alloué, l’équipement à disposition,
les enseignants qualifiés, de nouveaux matériels de cours développés sur un site
mais non disponibles sur les autres) ?
C’est souvent le cas, car les programmes d’enseignement à distance sont
enregistrés et distribués sur de nombreux sites, ce qui rend les meilleurs enseignants
disponibles pour beaucoup plus d’étudiants. Les évaluateurs pourraient établir des
statistiques sur les connaissances et/ou l’expérience des enseignants intervenant dans
les programmes à distance, et les comparer à celles de l’enseignement traditionnel.
Voici un exemple d’un type différent d’utilisation : dans le comté de Beaver,
Oklahoma dans le cadre du programme Share-Ed (Congrès des Etats-Unis, 1989), la
compagnie locale de téléphone a installé des fibres optiques pour améliorer le
service local. Le système était capable de supporter des volumes de communication
très au-delà de ce que les communes attendaient. Le réseau des écoles utilisait la
bande passante libre des lignes optiques pour la télévision et la transmission de la
Évaluer l’enseignement à distance 105

voix pour l’enseignement à distance. De plus, comme peu d’étudiants recourent à


l’enseignement à distance, il est souvent dispensé à un plus petit nombre d’étudiants
par école que pour un cours classique, et il mobilise les salles et équipements en
sous-utilisation (par exemple, les espaces de stockage).
7°) Est-ce que les médias d’enseignement à distance sont plus fiables que les
autres alternatives ?
Une des principales critiques des médias à distance porte sur leur fiabilité
technique. Par exemple, les questionnaires d’opinion utilisés pour l’évaluation du
système de télévision éducative du comté de Beaver, dans l’Oklahoma, ne faisaient
référence qu’à des problèmes techniques pour évoquer les points faibles du système.
Aucun des administrateurs n’a noté de problème technique, 11 % des enseignants ont
mentionné des problèmes de fiabilité, mais 36 % des étudiants ont évoqué plus en
détail des problèmes de larsen des micros, des équipements au fonctionnement
perturbant, des images floues, du matériel bruyant et des problèmes d’affichage de
couleurs. Cette différence dans l’évocation de problèmes techniques est
probablement liée aux différences d’expérience que chaque groupe d’utilisateurs a
pu avoir avec la diffusion par télévision. Cependant, les évaluations pourraient
vérifier régulièrement si de tels problèmes techniques surviennent et ainsi
rééquilibrer la sévérité éventuelle des utilisateurs, et si nécessaire corriger ces
problèmes. Lorsque de tels problèmes de diffusion restent non réglés, ils peuvent
réduire les taux de réussite et de participation des différents protagonistes.
Dans les programmes d’enseignement à distance efficaces, le MDI (média) et la
ME doivent interagir. Les caractéristiques des médias liées à la diffusion doivent
pouvoir permettre au bout du compte de sauvegarder de précieuses ressources
d’enseignement. L’ingénierie éducative, quant à elle, doit pouvoir favoriser un
apprentissage efficace et le transfert de concepts. L’enseignement doit pouvoir être
développé en tenant compte des caractéristiques spécifiques de chaque média.
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)

© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)


Toutefois, les établissements et les agences de financement sont de plus en plus
concernés, non seulement par l’efficacité des programmes d’enseignement à
distance, mais aussi par leur coût. Le coût est un « but » ou une « conséquence » à la
fois du MDI et de la ME.

Évaluation du coût-bénéfice

Il est nécessaire d’évaluer séparément le coût du MDI et de la ME des


programmes d’enseignement à distance. Cela permet de combiner la question de
l’« efficacité » (des médias et de l’enseignement) à celle du « coût » afin de fournir
aux décideurs une information en terme de coût-efficacité. Ce type d’évaluation
nécessite qu’au moins deux options technologiques différentes soient comparées
selon les mêmes critères (Levin, 1983). Sur de nombreux aspects, le rapport coût-
efficacité est l’information la plus intéressante que nous pouvons fournir aux
responsables d’écoles, aux contribuables et à leurs représentants élus. Les ressources
106 D&S – 7/2009. Les effets des dispositifs d’EAD

à allouer à l’éducation étant limitées, il est important de se centrer sur le coût


financier et en temps des nouveaux programmes.

Coût du mode de diffusion de l’information (MDI)

Les évaluations précédant l’introduction d’un nouveau média devraient explorer les
coûts de ses alternatives. Dans de nombreux cas, les anciennes technologies (par
exemple, tuteurs, livres, cassettes vidéo, système postal) sont plus économiques
financièrement. Les évaluations de coûts devraient toujours envisager les MDI moins
coûteux et plus traditionnels. Des évaluations indiquent, par exemple, que des tuteurs
entraînés et payés au salaire minimum sont moins coûteux que les ordinateurs pour de
nombreuses tâches d’enseignement (Levin, 1983). Une excellente discussion sur
l’analyse du rapport coût-efficacité a été apportée par Fletcher (1990) dans une revue
de la question sur l’utilisation de DVD interactifs d’entraînement militaire. Il a noté que
certains programmes répertorient leurs coûts en catégories telles que : (a)
l’investissement initial, (b) l’assistance technique (maintenance et remplacement), et (c)
le coût d’utilisation ; alors que d’autres les amalgament. Fletcher soutient que la
séparation des coûts donne une meilleure image de leur source et aide à leur maîtrise. Il
note que le rapport coût-efficacité est très variable selon les programmes. Quelques
études trouvent d’énormes bénéfices par rapport au coût des technologies utilisées.
D’autres font référence à de gros problèmes financiers. Clairement, cette question
implique de nombreux facteurs, dont beaucoup n’ont pas encore été identifiés. Fletcher
laisse entendre que les analyses coût-efficacité peuvent être (et sont) manipulées quand
il suggère qu’« en fait, ces ratios peuvent être aussi bas que nous le désirons, et
dépendent de l’équipement à mettre en œuvre » (Fletcher, 1990, p. 19). Il est conseillé
aux évaluations de programmes d’enseignement à distance d’adopter une approche
évaluant les coûts en termes d’« ingrédients », décrite ci-dessous.
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)

Le coût de la méthode d’enseignement (ME) © Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)

Dans les écoles et communautés éducatives, il y a une grande variété de buts qui
influencent les critères d’évaluation de la catégorie « coûts liés à l’efficacité de
l’enseignement ». Les dépenses nécessaires pour augmenter la motivation des
étudiants, leur apprentissage et transfert sont de plus en plus fréquemment étudiées
(Jamison, Suppes et Wells, 1974 ; Congrès des Etats-Unis, 1998). Si les différentes
administrations scolaires veulent développer leur politique d’enseignement à
distance, elles seraient bien avisées de recueillir des informations sur de tels coûts.
Développer une ME amène à faire des choix sur l’enseignement, la motivation et le
transfert ayant des coûts financiers très différents (Congrès des Etats-Unis, 1988 ;
Levin et Meister, 1985).
Au-delà de ces coûts, les écoles s’intéressent de plus en plus au coût en terme de
temps associé à la maîtrise des objectifs d’apprentissage et de performance. Certains
Évaluer l’enseignement à distance 107

types de tâches sont davantage consommateurs de « temps d’enseignement » et/ou de


« temps d’apprentissage » (Clark et Sugrue, 1989). Par exemple, il est plus long
d’enseigner à un étudiant une méthode d’apprentissage que de lui demander
d’apprendre par cœur. Cela prend également plus de temps à un étudiant d’assimiler
vraiment une connaissance procédurale, jusqu’à ce qu’elle devienne automatique,
soit environ 100 heures de pratique pour les procédures les plus simples, ce qui est
une estimation courante (Clark, 1989 ; Gagné, Briggs et Wager, 1992). Fletcher
(1990), en recensant de nombreux programmes militaires d’entraînement par
ordinateur, montra que le temps économisé était de l’ordre de 30 % sur les différents
sites. Il est presque certain que le choix parmi différentes options méthodologiques
va de plus en plus porter sur leur coût en temps.
Parfois, la moins chère et/ou la plus rapide des options n’est pas nécessairement
la meilleure. Les étudiants qui apprennent le plus vite ou au moindre coût ne sont pas
nécessairement ceux qui apprennent le mieux. Les nouvelles théories « cognitives »
de l’apprentissage montrent qu’il pourrait être plus important de savoir comment les
étudiants atteignent tel ou tel objectif d’apprentissage plutôt que de savoir s’ils
donnent de bonnes réponses aux examens. Cela prend souvent plus de temps aux
étudiants d’apprendre d’une façon telle que leurs réponses aux examens reflètent des
processus cognitifs de haut niveau et une pensée critique que de se focaliser sur leurs
connaissances superficielles (Clark et Voogel, 1985 ; Merrill, Jones et Li, 1992). Les
enseignants doivent être prudents lorsqu’ils focalisent leur évaluation sur l’économie
de temps plutôt que sur la qualité de l’apprentissage.
Généralement, quand une équipe responsable d’un programme d’enseignement à
distance a fixé la liste des objectifs liés aux coûts monétaire et temporel, une trame
d’évaluation peut être choisie. Une des premières difficultés à laquelle on est
confronté est le choix de la manière de recueillir ces données de coût. Alors qu’il y a
de nombreuses méthodes pour le faire, l’une d’entre elles semble particulièrement
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)

© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)


adaptée à la fois à la ME et au MDI : c’est la méthode des ingrédients de Levin
(Levin, 1983 ; 1988 ; Levin et Meister, 1985).

La méthode des ingrédients pour la détermination des coûts

Alors qu’il y a quantité de moyens possibles pour déterminer localement les


coûts locaux et leur résultats sur l’efficacité des programmes, l’une des plus
pertinentes et complètes est la « méthode des ingrédients » développée par Henry
Levin à l’Université Stanford (Levin, 1983 ; 1988). Cela « requiert une identification
de tous les ingrédients requis pour une intervention [d’enseignement à distance], un
chiffrage du coût de ces ingrédients pour déterminer par sommation le coût total du
programme » (Levin, 1988, p. 3). Dans le contexte de l’enseignement secondaire, le
coût est défini comme la valeur de ce qui est perdu en investissant dans des
ressources autres que les meilleures possibles. Par exemple, si du temps-enseignant
est dépensé, alors il ne pourra l’être pour d’autres utilisations. Ainsi, le coût du
108 D&S – 7/2009. Les effets des dispositifs d’EAD

temps-enseignant est évalué en fixant une valeur à ce qui est perdu lorsque les
enseignants sont impliqués dans un programme d’enseignement à distance.
L’application de la « méthode des ingrédients » se décompose en deux étapes.
Dans la première, tous les ingrédients nécessaires à un programme d’enseignement à
distance sont listés. L’identification des ingrédients requiert le listage des besoins de
ce programme selon cinq catégories : (a) personnel, (b) locaux, (c) équipement,
(d) consommables et (e) tous les autres. Dans la deuxième étape, la valeur de chacun
des ingrédients listés est estimée.
Faute de place nous ne détaillerons pas la méthode des ingrédients, mais un résumé
de Levin (1988 ; Levin et Meister, 1985) pourra apporter la plupart des informations
nécessaires pour déterminer le coût des ingrédients. Levin donne des exemples
compatibles avec les programmes qui se développent actuellement dans nombre
d’écoles et il conseille vivement d’établir des listes complètes des ingrédients. Par
exemple, il recommande que le temps « donné » par les bénévoles et organisations
extérieures soit introduit comme ingrédient « personnel » s’il est indispensable à la
conduite du programme. Dans le cas contraire, cela conduira à une vision inexacte des
dépenses allouées au programme et pourra empêcher sa reproduction. Cet auteur
prétend aussi (Levin et Meister, 1985) que, dans les rares cas où l’on parvient à obtenir
une liste complète des coûts relatifs aux programmes utilisant des technologies, on
montre souvent que le climat organisationnel influence grandement le rapport coût-
bénéfice. Il met en évidence que lorsqu’un même programme d’enseignement à
distance est présenté sur différents sites, le coût de son implantation peut varier de
400 % (Levin et Meister, 1985). Certaines organisations semblent donc beaucoup plus
efficaces que d’autres du point de vue de leur utilisation de la technologie.

Conclusion
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)

© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)


Par le passé, les évaluations des programmes d’enseignement à distance ont
généralement conduit à des « réflexions après-coup » et se sont appuyées sur des
questionnaires d’opinion souvent peu fiables et peu représentatifs des participants
impliqués. Même quand les évaluations se sont centrées sur la réussite des étudiants,
les questions mélangeaient les contributions du MDI et de la ME.
Des plans d’évaluation des programmes d’enseignement à distance plus solides
doivent être adoptés dans le futur, si l’on souhaite identifier leurs points forts et
éliminer leurs points faibles. Ces plans devraient principalement se fonder sur
l’expérience de ceux qui ont eu à évaluer les technologies par le passé (Levin, 1988).
Trois grandes lignes devraient être suivies : premièrement, l’évaluation devrait
commencer dès le début de la planification du programme d’enseignement à
distance. Lancer une évaluation dès le début du projet pourra apporter des
informations beaucoup plus utiles sur ses points forts et faibles. Ainsi d’éventuels
changements pourront être apportés à temps. La seconde recommandation est que
tous les programmes devraient adopter un système d’évaluation multiniveau. Les
Évaluer l’enseignement à distance 109

différents rôles des données qualitatives (par exemple, questionnaires, rapports


journaliers et réactions des participants) et quantitatives (par exemple, les notes des
étudiants, les coûts monétaires) devraient être définis. Les évaluations du MDI et de
la ME devraient être séparées et les différents objectifs évalués. Finalement, de
nouvelles méthodes, comme la méthode des « ingrédients » de Levin, permettent
d’évaluer le rapport coût-efficacité des programmes d’enseignement à distance.

Bibliographie

Allen W. H., “Instructional media research: Past, present and future”, Audio Visual
Communication Review, n° 19, 1971, p. 5-18.
Baker E. L., “Technology assessment: Policy and methodological issues”, Air Force Systems
Command, Proceedings of the 2nd intelligent tutoring systems research forum, 1989,
p. 151-158.
Baker E. L., “Technology assessment: Policy and methodological issues for training”,
H. Burns, J. W. Parlett and C. L. Redfield (Eds.), Intelligent Tutoring Systems, Hillsdale,
N. J., Lawrence Erlbaum Associates, 1991, p. 243-263.
Benjamin L. T., “A history of teaching machines”, American Psychologist, vol. 43, n° 9,
1988, p. 703-712.
Clark R. E., “Antagonism between achievement and enjoyment in ATI Studies”, Educational
Psychologist, vol. 17, n° 2, 1982, p. 92-101.
Clark R. E., “Reconsidering research on learning from media”, Review of Educational
Research, vol. 53, n° 4, 1983, p. 445-459.
Clark R. E., “Evidence for confounding in computer-based instruction studies: Analyzing the
meta-analyses”, Educational Communication and Technology Journal, vol. 33, n° 4,
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)

© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)


1985, p. 249-262.
Clark R. E., “Current progress and future directions in research on instructional technology”,
Educational Technology Research and Development, vol. 37, n° 1, 1989, p. 57-66.
Clark R. E., “Dangers in the evaluation of instructional media”, Academic Medicine, vol. 67,
n° 12, 1992a, p. 819-820.
Clark R. E., « Six definitions of media in search of a theory », D. P. Ely and B. B. Minor
(Eds.), Educational Media and Technology Yearbook, Littletown Co, Libraries Unlimited
Inc., vol. 18, 1992b, p. 65-76.
Clark R. E., “Media use in education”, Alkin M. (Ed.), Encyclopedia of Educational
Research, Sixth Edition, New York, Macmillan, 1992c, p. 805-814.
Clark R. E., “Media and method”, Educational Technology Research and Development,
vol. 42, n° 3, 1994a, p. 7-10.
Clark R. E., “Media will never influence Learning”, Educational Technology Research and
Development, vol. 42, n° 3, 1994b, p. 21-29.
110 D&S – 7/2009. Les effets des dispositifs d’EAD

Clark R. E., “Assessment of Distance Learning Technology”, Baker E.L., O’Neil, H.F. Jr.
(Eds.), Technology Assessment, Hillsdale, N.J., Lawrence Erlbaum, 1994c.
Clark R. E., “Media and Learning”, T. Husén, T. N. Postlethwaite (Eds.) The International
Encyclopedia of Education (2nd Ed.), Oxford, Pergammon, 1995.
Clark R. E., “Motivating Performance: Part 1 – Diagnosing and Solving Motivation
Problems”, Performance Improvement, vol. 37, n° 8, 1998, p. 39-46.
Clark R. E., Learning from Media: Arguments, Analysis and Evidence, Greenwich, Conn,
Information Age Publishers, 2001.
Clark R. E., Craig T. G., “Research and theory on multimedia learning effects”, M. Giardina
(Ed.) Interactive Multimedia Learning Environments, New York, Springer Verlag, 1992.
Clark R. E., F. Estes, “Technology or craft: What are we doing?”, Educational Technology,
vol. 38, n° 5, 1998, p. 5-11.
Clark R. E., Estes, F., “The Development of authentic educational technologies”, Educational
Technology, vol. 39, n° 2, 1999, p. 5-16.
Clark R. E., Estes F., Turning research into results: A guide to selecting the right
performance Solutions, Atlanta, CEP Press, 2002.
Clark R. E., Salomon G., “Media in Teaching”, Wittrock, M. C. (Ed.), Handbook of research
on teaching (3rd Edition), New York, Macmillan, 1986, p. 464-478.
Clark R. E., Voogel A., “Transfer of training for instructional design”, Educational
Communications and Technology Journal, vol. 33, n° 2, 1985, p. 113-123.
Congrès des Etats-Unis, Power on: New tools for teaching and learning, Office of Technology
Assessment, Washington, D.C., U.S. Government Printing Office, September 1988.
Congrès des Etats-Unis, Linking for learning: A new course for education, Office of
Technology Assessment, OTA-SET-430, Washington, D.C., U.S. Government Printing
Office, November 1989.
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)

© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)


Cuban L., Teachers and machines: The classroom use of technology since 1920, New York,
Teachers College Press, 1986.
Dillon A., Gabbard R., “Hypermedia as an educational technology: A review of the
quantitative research literature on learner comprehension, control and style”, Review of
Educational Research, vol. 68, n° 3, 1999, p. 322-349.
Fletcher D., Effectiveness and cost of interactive videodisc instruction in defense training and
education, Institute for Defense Analysis, Paper P-2372, Alexandria, Virginia, 1990.
Fowler F. J., Survey Research Methods, Beverly Hills, CA, Sage Publications, 1984.
Gagné R. M., Briggs L. J., Wager W. W., Principles of Instructional Design, New York,
Harcourt Brace Jovanovich, 1992.
Gardner H., Salomon G., “The computer as educator: Lessons from television research”,
Educational Researcher, January 1986, p. 13-19.
Heinich R., “The proper study of instructional technology”, Educational Communication and
Technology Journal, vol. 32, n° 2, 1984, p. 67-87.
Évaluer l’enseignement à distance 111

Jamison D., Suppes P., Wells S., “The effectiveness of alternative instructional media: A
survey”, Review of Educational Research, vol. 44, 1974, p. 1-68.
Kearsley G., Hunter B., Sidel R. J., “Two decades of computer based instruction: What have
we learned?”, T.H.E. Journal, vol. 10, 1983, p. 88-96.
Kirschner P., Sweller J., Clark R. E., “Why minimally guided learning does not work: An
analysis of the failure of discovery learning, problem-based learning, experiential learning
and inquiry-based learning”, Educational Psychologist, vol. 41, n° 2, 2006, p. 75-86.
Kozma R. B., “Learning With Media”, Review of Educational Research, vol. 61, n° 2, 1991,
p. 179-211.
Levie W. H., Dickie K., “The analysis and application of media”, R. M. W. Travers (Ed.)
Second handbook of research on teaching, Chicago, Rand McNally, 1973.
Levin H. H., Cost Effectiveness: A primer, Beverly Hills, CA, Sage Publications, 1983.
Levin H. H., Meister G. R., Educational technology and computers: Promises, promises,
always promises. Report No. 85-A13. Stanford, CA, Center for Educational Research at
Stanford, School of Education, Stanford University, 1985.
Levin H. H., “The economics of computer-assisted instruction”, Peabody Journal of
Education, Tate Center, Western Michigan University, May 1988.
Lumsdaine A., “Instruments and media of instruction”, N. L. Gage (Ed.) Handbook of
research on teaching, Chicago, Rand McNally, 1963.
Merrill D. M., Jones M. K., Jones L. Z., “Instructional Theory: Classes of Transactions”,
Educational Technology, June 1992.
Mielke K., “Questioning the questions of ETV research”, Educational Broadcasting Review,
n° 2, 1968, p. 6-15.
O’Neil Jr., H., Anderson C. L., Freeman, J., “Research and teaching in the armed forces”, M.
C. Wittrock (Ed.) Handbook of research on teaching (3rd Ed.), New York Macmillian,
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)

© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)


1986.
Reigeluth C. M., Instructional design: Theories and models, Hillsdale N.J., Lawrence
Earlbaum Associates, 1983.
Reigeluth C. M., Instructional theories in action, Hillsdale, N.J., Lawrence Erlbaum
Associates, 1987.
Saettler P. A., A history of instructional technology, New York, McGraw Hill, 1968.
Salomon G., Communication and Education, Beverly Hills, CA, Sage Publications, 1981.
Salomon G., “Television is ‘easy’ and print is ‘tough’: The differential investment of mental
effort in learning as a function of perceptions and attributions”, Journal of Educational
Psychology, vol. 76, n° 4, 1984, p. 647-658.
Schramm W., Big media, little media, Beverly Hills, CA, Sage Publications, 1977.
Sweller J., Kirschner P. A., Clark R. E., “Why minimally guided teaching techniques do not
work”, Journal of Educational Psychology, vol. 43, n° 2, 2007, p. 115-121.
112 D&S – 7/2009. Les effets des dispositifs d’EAD

Weiner B., Human motivation: Metaphors, theories and research, Newbury Park, Sage,
1992.
Winn W., “Visualization in learning and instruction”, Educational Communication and
Technology Journal, vol. 30, n° 1, 1982, p. 3-25.
© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)

© Lavoisier | Téléchargé le 01/09/2020 sur www.cairn.info (IP: 102.51.17.24)

Vous aimerez peut-être aussi