Module 4 Berkane-Benstaali Evaluation de La Qualite Dans Les

Module 4 : Evaluation de la Qualit des Programmes Universitaires, Baghdad Benstaali et Youcef Berkane
Commission Nationale pour lImplmentation de lAssurance Qualit dans lEnseignement Suprieur

-- CIAQES--
Module 4
EVALUATION DE LA QUALITE DES ENSEIGNEMENTS DANS LES ETABLISSEMENTS UNIVERSITAIRES
Formation des Responsables dAssurance Qualit (RAQs)
Prpar par: Youcef Berkane : Membre de la CIAQES, Universit de Stif Baghdad Benstaali : Membre de la CIAQES, Bureau National Tempus Algrie
Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES)
Sommaire
A. Concepts et Approches de lEvaluation de la Qualit ....................................... 1 Objectifs du cours : ..................................................................................................... 1 A. 1. Introduction ...................................................................................................... 1 A.2. Rappel des dfinitions des termes de base .................................................... 1
A.2.1. Le rfrentiel .......................................................................................................................... 1 A.2.2. Rfrences et standards ...................................................................................................... 2 A.2.3. Critres ................................................................................................................................... 3 A.2.4. Statistiques ............................................................................................................................. 4 A.2.5. Indicateurs de performance ................................................................................................. 4 A.2.6. Benchmarks ........................................................................................................................... 6
A.3. Approches de lassurance qualit ................................................................... 8

A.3.1. La qualit fonde sur des standards prdfinis................................................................ 8 A.3.2. La conception de la qualit fonde sur ladquation aux objectifs .............................. 10 A.3.3. Standards minimaux ou standards dexcellence ............................................................ 12 A.3.4. Domaines dvaluation de la qualit ................................................................................ 12 A.3.5. La prise de dcision en matire dassurance qualit .................................................... 15
A.4. Les diffrentes utilisations des standards ................................................... 15

A.4.1 Lutilisation de lvaluation quantitative............................................................................. 17 A.4.2 Lutilisation du jugement par les pairs ............................................................................... 21 A.4.3. La flexibilit comme moyen dadaptation au contexte ................................................... 23
A.5. Conclusion ...................................................................................................... 25 B. Mcanismes et Outils pour lEvaluation programmatique.............................. 26 Objectifs de cette partie B:........................................................................................ 26 B. I. Mise niveau des programmes denseignement et de formation ............. 26
B. I. 2 Dfinition des Rsultats dApprentissage dun Programme (RAPs) ........................... 27 B. I. 3 Rsultats dApprentissage Modulaires (RAMs) .............................................................. 29 B. I. 4 Relations RAM/RAP/OEP .................................................................................................. 30
B. II. Mesure de certains critres du programme ................................................ 31

B.II. 1 Types dvaluation .............................................................................................................. 32 B.II. 2 Types de Mesures............................................................................................................... 34 B.II. 3 Evaluation des RAMs ......................................................................................................... 34 B.II. 4 Evaluation des RAPs / programme .................................................................................. 36
ii
B. II. 5 Evaluation des OEPs / RAPs dun programme ............................................................. 37
B. III.
Processus damlioration continue ......................................................... 38
B. III. 1 Principe dAmlioration Continue ................................................................................... 38 B. III. 2 Par quoi commencer ? ..................................................................................................... 38 B. III. 3 Structure du processus damlioration continue .......................................................... 38 B. III. 4 Mise excution du plan dactivits .............................................................................. 39 B. III. 5 Benchmark ......................................................................................................................... 39 B. III. 6 Identification des forces, faiblesses et dficiences ...................................................... 40 B. III. 7 Stratgies dAmlioration ................................................................................................. 41 B. III. 8 Rsultats de la mise en uvre ....................................................................................... 41
Annexe 1 : Un modle de Description Dtaille ....................................................... 43 Annexe 2 : Programme de formation des RAQs....................................................... 44 Bibliographie : ........................................................................................................... 45
iii
A. Concepts et Approches de lEvaluation de la Qualiti
Objectifs du cours :
rappeler les concepts de base utiliss pour lvaluation de la qualit : standards, critres, indicateurs et benchmarks ; prciser les domaines pris habituellement en compte dans lvaluation de la qualit ; exposer les diffrentes mthodes dvaluation de la qualit ; mettre en vidence les caractristiques des diffrentes conceptions et mthodes dvaluation de la qualit. ; identifier les domaines communs pris en compte dans lvaluation de la qualit ; identifier les objectifs et les mthodologies des diffrentes approches de lassurance qualit.
A. 1. Introduction
Pour quun systme dassurance qualit soit utile et efficace, il importe de construire un consensus sur la dfinition de la qualit, et donc de trouver un point dquilibre entre les intrts, souvent divers et mme parfois contradictoires, des diffrents acteurs. La dfinition de la qualit et les mthodes employes pour lvaluer varient sensiblement selon les agences, selon les contextes dans lesquels on se situe et selon les points de vue o on se place. On donne au mot qualit un sens plus ou moins diffrent et cette diversit se rpercute sur les mthodologies dvaluation utilises. Mais, quelle que soit lapproche retenue pour lassurance qualit externe (valuation, audit ou accrditation), il sagit de porter un jugement de valeur sur le fonction nement et les rsultats dun tablissement dE.S, dune formation ou dun systme. Au cours de cette session, on exposera les diffrents choix mthodologiques possibles qui permettent de porter un jugement sur la dfinition de la qualit retenue, sa prsentation dans le rfrentiel et sa dclinaison sous forme de rfrences (ou standards ou critres).
A.2. Rappel des dfinitions des termes de base

On procdera, titre de rappel aux RAQ, la dfinition des principaux termes utiliss, la fois sparment et en relation les uns avec les autres : A.2.1. Le rfrentiel Pour pouvoir valuer les tablissements ou leurs filires de formation, les agences ont besoin de sappuyer sur un rfrentiel qualit. Le rfrentiel est un document qui prsente la dfinition de la qualit, en la dclinant de faon plus ou moins dtaille, et, le plus souvent, en lorganisant par domaines. Ils servent de base lvaluation interne et lvaluation externe. On les trouve sur les sites de toutes les agences dassurance qualit, mais sous des noms qui varient, aussi bien en franais quen anglais. Pour juger de la qualit dun tablissement ou dune filire de formation, pour mesurer
i
Cette partie est un rsum du cours prsent pat M.MARTIN dans le cadre dune formation en ligne pour les responsables qualit dans lenseignement suprieur au Maghreb et peut tre consults sur le site web de lIIPE www.iiep.unesco.org Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES) 1
le degr datteinte des rfrences ou des standards, les agences peuvent utiliser diff rents outils tels que des benchmarks, des indicateurs, des indicateurs de performance. Or, un mme mot peut dsigner des contenus diffrents et, linverse, des mots diffrents peuvent tre employs pour dsigner le mme contenu. Cest pourquoi il est apparu ncessaire de constituer des glossairesii. A.2.2. Rfrences et standards Le CNE (France) a propos de traduire le mot anglais standard par le mot franais rfrence, pour marquer le lien logique avec les rfrentiels qualit et pour faire cho son propre rfrentiel qui sappelait Livre des rfrences . Cette traduction permet dviter la connotation normative porte en franais par le mot standard qui a donn standardisation. Dans lE.S et lassurance qualit, le standard indique un principe (ou une mesure) auquel on doit (ou on devrait) se conformer, et daprs lequel on juge la qualit. Il peut aussi avoir dautres significations, notamment, le degr dexcellence exig pour atteindre un objectif particulier. Dans certains contextes, le terme standard est utilis comme synonyme de minimal ou de qualit moyenne , ou de minimum requis. Les standards peuvent tre quantitatifs ou qualitatifs, comme on va le voir plus loin. A titre dexemple, les standards - utiliss par lOrgane daccrditation et dassurance qualit des hautes coles suisses (OAQ), pour valuer la qualit des institutions universitaires- sont distribus en huit domaines prsents dans lencadr ci-dessous : Encadr (1) : standards utiliss par lOrgane daccrditation et dassurance qualit des hautes coles suisses (OAQ) Stratgie, organisation et gestion de la qualit au sein de linstitution. Offres dtudes. Recherche. Personnel scientifique. Personnel administratif et technique. Etudiants et tudiantes. Infrastructures. Coopration.
Dans ce rfrentiel, chaque standard se dcline en une srie de questions et de points de rfrence qui servent expliciter le standard et tayer la rponse de linstitution. La prsentation complte de tous ces lments figure sur le site web de lOAQ. En rsum, on constate une grande diversit quant lutilisation des standards. Dans certains cas, les standards dfinissent un seuil minimal (selon quil est ou non atteint). Lvaluation (ou plus frquemment laccrditation) dbouche sur une approbation ou sur un rejet, voire mme une sanction. Dans dautres cas, des agences tablissent des standards dexcellence, qui dsignent, non plus un niveau minimal de qualit quil est obligatoire datteindre, mais la qualit que lon vise, que lon se donne comme horizon tout en sachant quelle reste un objectif difficile atteindre parce que souvent trs ambitieux. Le plus souvent, les standards dexcellence coexistent avec des standards de seuil.
ii
Par exemple, en langue anglaise, le glossaire de lUNESCO -CEPES ou celui de lINQAAHE ; en espagnol, le glossaire ralis dans le cadre du rseau hispano-amricain RIACES. En franais, il nexiste pas pour le moment de tel glossaire. Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES) 2
Encadr (2) : Standards de qualit du domaine (6) de lOAQ [Suisse]
A.2.3. Critres LINQAAHE dfinit les critres comme des spcifications ou des lments par rapport auxquels on forme un jugement . Dans certains cas, on tablit une diffrence entre critres et standards. Alors que les critres indiquent des lments ou des caractristiques, les standards fixent le niveau. Le glossaire de lAUQA prcise que la fonction des standards consiste mesurer les critres daprs lesquels la qualit peut tre juge . Mais le plus souvent, les termes critres et standards sont employs indiffremment par les agences dassurance qualit, comme on peut le voir dans lencadr (3), qui prsente deux exemples concernant le corps enseignant. HEQC, en Afrique du Sud, emploie le terme criterion alors que lagence rgionale daccrditation MSCHE, aux Etats-Unis utilise le mot standard . Encadr(3) : Standards et critres concernant le corps enseignant : 02 exemples (USA et en Afrique du Sud)
A.2.4. Statistiques Les agences dassurance qualit recueillent des donnes sur le fonctionnement institutionnel ou sur les prestations des filires. Les donnes recueillies, primaires et secondaires, sont appeles statistiques . Ce sont les fondements des produits labors, spcifiques, comme les indicateurs de performance. Quand ces donnes sont analyses et utilises pour indiquer quelque chose, elles deviennent des indicateurs. Les statistiques en elles-mmes sont insuffisantes pour formuler des jugements, elles doivent tre analyses dans un contexte particulier ou par rapport une norme particulire. Cest cela qui les transforme en indicateurs. A.2.5. Indicateurs de performance Les indicateurs utiliss pour valuer lefficacit dun tablissement ou dune filire sont souvent appels indicateurs de performance . Ces indicateurs de performance mesurent la performance de ltablissement. Lide dvaluer la performance de lE.S vient de lconomie, dans le sens o la russite dun systme ou dun tablissement est lie sa productivit en termes defficacit et defficience : les indicateurs defficacit concernent le degr de ralisation des objectifs viss (le taux dachvement des tudes, le taux demploi des diplms et la satisfaction des tudiants) ; Les indicateurs defficience concernent lutilisation optimale des moyens pour raliser les objectifs viss (le ratio enseignant/tudiants, les cots unitaires, le taux dutilisation des locaux, la dure dobtention du diplme). Au Royaume-Uni, la publication du rapport Jaratt en 1985 par le Comit des prsidents duniversits et collges (Committee of Vice-Chancellors and Principals) a suscit un vif intrt dans le monde pour lutilisation des indicateurs dans lvaluation de lE.S. On a identifi un grand nombre dindicateurs dont la plupart concernent la performance des tablissements. Lencadr (4) prsente la liste des indicateurs de ce rapport et ceux qui sont actuellement utiliss par le Conseil de financement de lE.S anglais (Higher Education Funding Council of England). Encadr (4) : Indicateurs de performance proposs par le Rapport Jarratt (1985) [Royaume-Uni] et utiliss par le Conseil de financement de lE.S pour lAngleterre (HEFCE)
Des indicateurs ont t dvelopps pour chacun de ces domaines. Lencadr cidessous montre, titre dexemple, les 04 indicateurs dvelopps pour le domaine Recherche : Encadr (5) : les indicateurs du domaine Recherche :
En France, la nouvelle loi organique relative aux lois de finances (LOLF) offre un autre exemple dutilisation des indicateurs de performance dans le domaine de lducation et de lE.S. En France, la loi organique du 1 aot 2001 relative aux lois de finances (LOLF) institue de nouvelles rgles dlaboration et dexcution du budget de ltat. Elle introduit galement une dmarche de performance pour amliorer lefficacit des politiques publiques. Lobjectif est de faire passer ltat dune logique de moyens une logique de rsultats. Jusque l, on s'intressait davantage au volume des moyens consacrs une politique, qu'aux rsultats concrets obtenus grce ces moyens. Dsormais, les discussions budgtaires portent non seulement sur les moyens, mais aussi sur l'efficacit des dpenses, par rapport des objectifs dfinis pour chaque programme. En sinscrivant dans une logique de pilotage par la performance ou en dautres termes, en cherchant amliorer l'efficacit de la dpense publique en orientant la gestion vers des rsultats prdfinis ladministration publique sengage rformer sa culture, ses modes de fonctionnement et ses mthodes de travail. Cest pourquoi de nouveaux outils ont t crs pour mesurer de faon objective la performance publique. chaque programme, sont dsormais associs des objectifs, dfinis au niveau national et dclins en objectifs oprationnels pour les services et les oprateurs mettant en uvre les politiques. Pour chaque objectif, des indicateurs concrets, pertinents et fiables, mesurent les rsultats des actions menes. Afin de rpondre aux attentes de tous citoyens, usagers et contribuables ladministration publique sest fixe trois types dobjectifs, rpondant des critres socioconomiques, de qualit de service et defficience de gestion.iii Les indicateurs de performance sont utiliss pour valuer la performance du systme, de ltablissement ou de la structure organisationnelle. Ils peuvent servir plusieurs types doprations : contrle, soutien, dcision, comparaison, valuation, amlioration et identification des problmes.
er
Encadr (6) : Exemples dindicateurs de performance dans le cadre du programme Formations suprieures et recherche universitaire [France]
iii
site web du MINEFI [France] 5
Objectif 1 : Rpondre aux objectifs de qualification suprieure (du point de vue du citoyen et de lusager). Indicateur 1.1 : Pourcentage dune classe dge titulaire dun diplme dE.S. Indicateur 1.2 : Insertion professionnelle des jeunes diplms trois ans aprs leur sortie de formation initiale. Indicateur 1.3 : Pourcentage de sortants diplms selon le niveau LMD. Objectif 2 : Amliorer la russite tous les niveaux de formation (du point de vue du citoyen et du contribuable) Objectif 3 : Matriser loffre de formation (du point de vue du contribuable). Objectif 4 : Faire de lE.S un outil performant de formation tout au long de la vie (du point de vue du citoyen). Objectif 5 : Accrotre lattractivit internationale de loffre franaise de formation et son intgration dans le systme europen et mondial (du point de vue du citoyen). Objectif 6 : Optimiser laccs aux ressources documentaires pour la formation et la recherche (du point de vue de lusager). Indicateur 6.1 : Mesure de la disponibilit hebdomadaire des places de bibliothque Indicateur 6.2 : Nombre de documents communiqus sur place, prts domicile et tlchargs et taux de demandes satisfaites. Objectif 7 : Produire des connaissances scientifiques au meilleur niveau international (du point de vue du citoyen). Objectif 8 : Dvelopper le dynamisme et la ractivit de la recherche universitaire (du point de vue du citoyen). Objectif 9 : Contribuer lamlioration de la comptitivit de lconomie nationale par le transfert et la valorisation des rsultats de la recherche (du point de vue du citoyen et du contribuable). Objectif 10 : Concourir au dveloppement de lattractivit de la recherche franaise (du point de vue du citoyen).
Exemples dutilisation des indicateurs de performance : Le HEFCE utilise les indicateurs de performance pour les dcisions de financement. Un tablissement peut les utiliser pour comparer ses performances avec celles de ses homologues. Une agence dassurance qualit dont la priorit est lamlioration, peut vouloir attirer lattention de ltablissement ou de ltat sur les domaines qui ncessitent des amliorations supplmentaires. Elle peut aussi utiliser une combinaison dapproches, en fonction de lusage des indicateurs de performance. A.2.6. Benchmarks Un benchmark est un point de rfrence utilis pour faire des comparaisons. Le glossaire de lINQAAHE donne la dfinition suivante : Un benchmark est un point de rfrence par rapport auquel on mesure quelque chose. Daprs la dfinition la plus simple, le benchmarking est une technique qui consiste apprendre en faisant des comparaisons. Pendant des sicles, on a fait des comparaisons de manire informelle. Actuellement, le benchmarking est une mthode de comparaison utilise pour susciter des ides damlioration, et en particulier damlioration majeure. La Socit amricaine de qualit dfinit le benchmarking comme un processus damlioration suivant lequel un organisme est capable de mesurer sa performance par rapport celle des
Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES) 6
meilleurs organismes de sa catgorie, de dterminer comment ces derniers ont russi atteindre ces niveaux de performance et dutiliser cette information pour amliorer sa propre performance. Le glossaire de lINQAAHE dfinit le benchmarking comme le processus qui permet la comparaison au cours du temps des intrants, des processus et des rsultats entre des tablissements (ou leurs composantes) ou au sein dun mme tablissement . Il existe plusieurs moyens dtablir un benchmarking en fonction des objectifs. Pour comprendre les diffrences, on doit tenir compte des options existantes en matire de benchmarking et de mthodologie. Le Commonwealth Higher Education Management Service (1998), dans sa publication Benchmarking dans lE.S : une synthse internationale , tablit le classement suivant : benchmarks internes pour comparer les units au sein dun systme, sans avoir obligatoirement recours un standard externe pour la comparaison des rsultats ; benchmarks externes concurrentiels pour comparer la performance des secteurs cls dun tablissement partir dinformations sur les tablissements concurrents ; benchmarks externes de coopration pour comparer un tablissement avec un groupe dtablissements qui ne sont pas des concurrents immdiats ; benchmarks externes dexcellence pour rechercher des pratiques nouvelles et innovantes, quelle que soit leur origine, dans diverses industries. Le benchmarking peut prendre plusieurs formes, soit quantitatives comme les ratios, soit qualitatives comme les pratiques russies. Ces benchmarks peuvent tre formuls comme pratiques, noncs, ou prcisions des rsultats, mais toutes ces formulations se recouvrent. Encadr (7) : Un autre classement de benchmarks
Dans la ralit, les termes de base ne sont pas toujours utiliss dune manire unanime. Pour cela, le projet Tempus AQI-UMED (2010-2012) sest fix pour objectif la mise en place dune dmarche dvaluation interne dans dix universits maghrbines (algriennes, marocaines et tunisiennes) et de permettre aux partenaires europens et maghrbins de sentendent sur le vocabulaire mthodologique et notamment sur les lments constitutifs dun rfrentiel . Dans le cadre de ce projet, il est propos que les rfrences qui le composent soient assorties de rgles dinterprtation et de critres , qui ont pour objectif daider
un tablissement comprendre les rfrences et apprcier comment il se situe par rapport ces rfrences, sachant quil devra en fournir la preuve. Dans lencadr suivant, qui reprend une partie du document dAQI-UMED, on trouve une dfinition de tous ces mots. Le projet porte sur lassurance qualit interne, mais la logique de construction du rfrentiel est la mme que pour lassurance qualit externe. Encadr (8).Terminologie lie au rfrentiel utilis dans le projet TEMPUS AQI-UMED
Rfrentiel qualit : cest la dfinition explicite de la qualit adopte par linstitution, lensemble des valeurs et/ou objectifs que celle-ci se donne dans le cadre de ses missions pour rpondre aux attentes lgitimes de ses usagers et partenaires ainsi que de ses personnels. Le rfrentiel qualit peut se dcliner en un ensemble de rfrences et critres accompagn de rgles dinterprtation. Rfrences (Standard en anglais) Elle traduit en action une valeur que se donne linstitution. Il sagit donc didentifier les actions concrtes qui vont concourir au meilleur niveau possible de ralisation de cette valeur. Rgles dinterprtation (explication) : Cest la traduction dune rfrence au niveau oprationnel en exprimant les pourtours de cette rfrence et en tenant compte des spcificits de linstitution. Critres : Cest un lment qualitatif ou quantitatif qui permet dapprcier le niveau de mise en uvre dune rfrence. Preuves : Cest llment qui permet de confirmer la ralisation effective dun critre et son niveau ventuel de ralisation et de performance.
En rgle gnrale, dans les systmes volus, dots de mcanismes dassurance qualit internes efficaces, on utilise davantage des indicateurs et des benchmarks dfinis par les tablissements dE.S eux-mmes plutt que des standards et des indicateurs externes ; dans ces systmes, le souci de lamlioration continue et lvaluation par les pairs sont des lments essentiels de lassurance qualit. Dans les systmes mergents, qui se proccupent la fois de la reddition des comptes et de lamlioration de la qualit, les agences utilisent souvent des indicateurs quantitatifs et lvaluation par les pairs.
A.3. Approches de lassurance qualit

A.3.1. La qualit fonde sur des standards prdfinis Certaines agences, pour valuer les tablissements et filires dont elles assurent la qualit, mettent en avant des standards prdfinis ; dans cette approche normative, cest la conformit qui est vise. Selon cette approche, les tablissements doivent dmontrer leur qualit sur la base dun ensemble de rfrences ou standards prdfinis, qui ne dcoulent pas de leurs finalits propres ni de leurs spcificits. Ces rfrences peuvent tre elles mmes quantitatives ou qualitatives, et sappuyer sur des critres quantitatifs ou qualitatifs. Citons deux exemples : respecter un certain ratio enseignant/tudiants (critre quantitatif) ou disposer dun corps enseignant efficace, comptent ou qualifi (critre qualitatif). Au vu de ces deux exemples, il est clair que des questions apparemment quantitatives peuvent avoir un fondement qualitatif et inversement, plusieurs lments qualitatifs peuvent tre exprims en termes quantitatifs. Ainsi, le ratio enseignant/tudiants est fond sur lhypothse quun ratio particulier est ncessaire pour assurer une formation de bonne qualit. Quant lexistence dun corps enseignant comptent et qualifi, elle peut tre dmontre de manire qualitative mais aussi sappuyer sur des lments chiffrs comme le nombre denseignants titulaires dun doctorat
ou le nombre de publications. Lassurance qualit a beaucoup volu : auparavant, les critres quantitatifs suffisaient pour montrer que les standards taient atteints; actuellement, on a incorpor un plus grand nombre de critres qualitatifs et on encourage les tablissements se construire une identit propre et lentretenir. Les standards peuvent tre galement des noncs qualitatifs, comme dans le cas des agences daccrditation rgionales aux tats-Unis. Certaines agences tablissent des standards bass sur les bonnes pratiques des tablissements ou des filires de qualit. Dautres demandent aux tablissements de remplir des spcifications dtailles, surtout quantitatives. Les standards tablis par le Conseil panindien pour lenseignement technique (All India Council for Technical Education AICTE) sont eux des standards quantitatifs. LAICTE utilise un rfrentiel pour la cration de nouveaux tablissements avec des filires qui prparent la licence en sciences de lingnieur ou dans des secteurs connexes. Les standards conus par lAICTE visent contrler si ltablissement a le potentiel et les infrastructures ncessaires pour ouvrir des filires de qualit. Pour certains domaines, lAICTE a dfini des standards quantitatifs, notamment, la capacit daccueil, la surface non btie et la surface btie, les ressources financires, la taille du corps enseignant et les ressources documentaires. Exemple de standards quantitatifs: concernant la documentation, prenons lexemple des ressources exiges pour la bibliothque centrale lors de la cration dune cole dingnieur en Inde Encadr (9) : Standards demands pour la cration dune cole dingnieurs (AICTE)
Exemple de standards qualitatifs : citons, en exemple, les rfrentiels de la Commission des titres dIngnieurs (CIT) Encadr (10) : Commission des titres dingnieur (CTI) [France]
A.3.2. La conception de la qualit fonde sur ladquation aux objectifs (fitness for purpose) Dfinissant la qualit comme ladquation aux objectifs , un grand nombre dagences regardent comment les tablissements dE.S procdent pour atteindre les objectifs quils se sont fixs ; cette approche vise soutenir les tablissements ou les filires de formation dans la ralisation de leurs objectifs et respecter la diversit institutionnelle. Selon cette approche, un tablissement (ou une filire) est adquat aux objectifs si:
des procdures adaptes aux objectifs viss ont t mises en place; des preuves ont t fournies que les objectifs viss par ces procdures ont t atteints. Un tablissement qui russit atteindre les objectifs quil sest fix est considr comme tant un tablissement de qualit. Les objectifs de ltablissement ou de la filire sont langle sous lequel lagence dassurance qualit analyse sa qualit. Les missions de ltablissement ou de la filire peuvent tre imposes par ltat ou par dautres acteurs et sont apprcies au regard de standards externes. Mais lapproche adquation aux objectifs concerne les objectifs fixs par ltablissement : aprs que ltablissement a intgr les missions dfinies par ltat (ou dautres acteurs) dans ses objectifs, cest au regard de ces objectifs quil est alors valu. Lapproche fonde sur l adquation aux objectifs convient dune part aux systmes qui garantissent le respect des standards de base par dautres dispositifs, et, dautre part, aux systmes avec de bons mcanismes dautorgulation qui favorisent la diversit institutionnelle au lieu de la conformit aux standards, les tablissements dE.S bnficiant dune grande autonomie. LAgence pour la qualit des universits australiennes (Australian Universities Quality Agency AUQA) est prcise dans son approche adquation aux objectifs ; elle nimpose pas aux tablissements audits une grille de standards prdtermins, mais elle prend les objectifs de ltablissement comme point de dpart de laudit. Cette approche reconnat lautonomie de ltablissement audit pour fixer ses objectifs et mettre en place les processus ncessaires pour les atteindre. La tche essentielle des quipes daudit de lAUQA est dapprcier la performance de ltablissement en matire de ralisation de ses objectifs. Dans un mme pays, les agences dassurance qualit peuvent avoir, en fonction de leur mission, une conception diffrente de la qualit. La conception de la qualit des organismes professionnels, par exemple, qui valuent les filires de formation professionnelles, repose sur la comptence des diplms exercer la profession. Dans le mme pays, lagence responsable de la cration de nouveaux tablissements peut avoir des attentes diffrentes. Le plus souvent, les agences dassurance qualit utilisent une combinaison de ces approches adapte au contexte o elles oprent et tablissent leurs pratiques dassurance qualit autour de cette combinaison. Lapproche adquation aux objectifs conditionne lapproche gnrale de lagence dassurance qualit. Laudit, par exemple, sappuie davantage sur l adquation aux objectifs, alors que laccrditation sappuie sur lapproche fonde sur les standards. Lapproche adquation aux objectifs a t fortement soutenue au motif que les tablissements et les filires de formation ne peuvent pas tre jugs daprs les mmes standards, puisquils sadressent des publics diffrents au sein de systmes dE.S diversifis. Ainsi, une universit connue, situe dans une grande ville et ayant un secteur de recherche dvelopp ne peut tre juge selon les mmes standards quun tablissement dont lactivit principale est la formation et qui recrute ses tudiants parmi les catgories sociales dfavorises. Mais lapproche adquation aux objectifs a t critique aussi, certains considrant quelle ngligeait l adquation des objectifs . Quand on value la performance dun tablissement par rapport ses objectifs, on peut constater quils ont t remplis, mais sans que rien ne soit dit sur leur valeur scientifique or ils peuvent avoir t fixs, dlibrment, un faible niveau. Cela a donn lieu des critiques sur la dfinition des objectifs . Toutefois, il est difficile de sparer les deux dfinitions. En pratique, il est impossible davoir une approche de la qualit qui soit fonde purement et simplement sur l adquation aux objectifs . Certains lments de ce qui est acceptable et ncessaire , qui font partie
de la qualit, se retrouvent dans toutes les approches. Il y a des impratifs concernant le dveloppement national qui ne sont pas ngociables et les tablissements dE.S doivent en tenir compte dans la dfinition de leurs missions. Cest le moyen de contrler le bien fond des objectifs, mme si lagence dassurance qualit choisit lapproche adquation aux objectifs A.3.3. Standards minimaux ou standards dexcellence Les agences dassurance qualit peuvent utiliser des standards minimaux ou des standards dexcellence (ou de bonne pratique). Le plus souvent, on utilise des standards minimaux pour lautorisation de cration ou douverture dun tablissement ou dune filire, et ensuite pour son renouvellement priodique. Habituellement, les standards minimaux incluent les intrants en termes dtudiants, de personnels, dinfrastructures, dquipements et de finances. On prend aussi en compte les processus, tels que les systmes de gouvernance et de gestion, et les activits de recherche juges ncessaires. En rgle gnrale, les systmes dassurance qualit fonds sur les standards minimaux visent garantir la conformit aux rgles et la reddition des comptes. Les systmes dassurance qualit fonds sur lexcellence partent de lhypothse que les standards minimaux sont contrls par dautres dispositifs ou que la qualit du systme dE.S est relativement gale. Cest le cas, par exemple, en Europe de lOuest o ltat a depuis longtemps assum la responsabilit du financement dun systme dE.S majoritairement public. Les standards dexcellence ou les bonnes pratiques prdominent galement dans les pays dont les universits bnficient, depuis longtemps, dune large autonomie, o la conformit aux rgles, en particulier au niveau des filires de formation, semble contraire la conception locale de lautonomie. Lassurance qualit fonde sur les standards dexcellence ou de bonne pratique, semble tre le mcanisme le plus pertinent pour lamlioration de la qualit, car elle fournit une grille de rfrences que les tablissements doivent sefforcer dadopter. En outre, il est plus facile de les mettre en place, parce quil sagit souvent dune dmarche volontaire qui peut tre impulse par les meilleurs tablissements. Le problme est que cette approche nest pas trs efficace pour liminer les niveaux de qualit inacceptables ; elle est donc dune faible efficacit pour traiter les filires de qualit faible, voire inacceptable, proposes par exemple par des tablissements but lucratif. Dans un contexte de diversification et de privatisation de lE.S, un grand nombre de pays en dveloppement se trouvent confronts des prestataires de formation de qualit mdiocre, sans systme dassurance qualit pour ngocier avec eux. La mise en place des standards minimaux constitue donc la priorit. A.3.4. Domaines dvaluation de la qualit Une fois leur approche dfinie, les agences dassurance qualit doivent dfinir les domaines sur lesquels elles feront porter leurs valuations. Sur ce point, on constate une grande homognit : alors quelles peuvent servir des objectifs diffrents et adopter des approches diverses, la plupart des agences regardent les mmes domaines. Aux Philippines, par exemple, trois agences dassurance qualit sont responsables de laccrditation des filires de formation. Lencadr (11) met en vidence leurs similitudes concernant le champ de lassurance qualit et les domaines considrs.
12
Encadr (11) : Standards dassurance qualit Accrditation de filires selon les quatre agences daccrditation aux Philippines
N du standard 1 2 3 4 5 6 ACSCU-AAI Objectifs Personnel enseignant Enseignement Bibliothque Laboratoires Infrastructures et quipements Services aux tudiants et au personnel Orientation sociale et services la communaut Organisation et administration de la recherche PAASCU Objectifs Personnel enseignant Enseignement Bibliothque Laboratoires Infrastructures et quipements Services aux tudiants Orientation sociale et services la communaut Administration Objectifs Personnel enseignant Enseignement Bibliothque Laboratoires Infrastructures et quipements Services aux tudiants et au personnel Orientation sociale et services la communaut PACU-COA
Organisation et administration
Source: Phelps, 2001.
On constate que les domaines cls dans lvaluation de la qualit quils couvrent sont presque identiques En aot 2002, le Bureau rgional de lUNESCO pour lducation en zone AsiePacifique, Bangkok, a sponsoris une runion dexperts venant de huit pays sur le thme Indicateurs de qualit et facilitation de la mobilit acadmique travers les agences dassurance qualit dans la rgion Asie-Pacifique. Ces experts se sont accords sur un ensemble de domaines cls pour la qualit, qui sont les suivants : Les participants ont galement identifi les contenus des domaines cls : a. intgrit et mission : honntet et transparence des politiques et des procdures ; rapports avec la communaut et les parties intresses ; missions ralistes clairement formules ; finalits et objectifs connus des composantes de ltablissement ; quit et conditions spciales pour les catgories dfavorises ; b. gouvernance et gestion : autonomie de la gouvernance ; structure organisationnelle; dlgation de pouvoirs ; efficacit institutionnelle ; planification stratgique ; documentation; modernisation de ladministration ; c. ressources humaines : procdures de recrutement ; adquation, qualification et comptences du personnel ; le ratio enseignants/tudiants, rcompenses, distinctions honorifiques, adhsions, prix, mdailles scientifiques, stabilit du personnel ; plan de perfectionnement du personnel ; reconnaissance et rcompenses ; charges de travail du personnel ; plan social ; commission de litiges ; d. ressources documentaires et infrastructures : surfaces et surfaces bties ; proprit ; laboratoires et amphithtres ; bibliothque et quipements ddis aux technologies de linformation ; dpenses documentaires par tudiant ; dpenses informatiques par tudiant ; services de sant, de sports et dducation physique, rsidences universitaires ; maintenance du campus ; utilisation optimale ; utilisation des
installations de ltablissement par la communaut ; usage commercial des installations de ltablissement; e. gestion financire : sources de financement ; proprit des ressources ; prennit du financement ; mobilisation et allocation des ressources ; reddition des comptes ; liquidits ; budget pour le plan acadmique et le plan de dveloppement ; cot unitaire des formations ; management stratgique des actifs ; quilibre des recettes et des dpenses ; f. caractristiques des tudiants et services de soutien : procdures dadmission ; caractristiques des tudiants (ge, sexe, origine sociale, rpartition gographique, tudiants trangers, inscriptions par niveau dtudes, ratio par ge, tudiants inscrits venant dautres rgions du pays), distribution des notes dentre, taux de russite et taux dabandon, satisfaction des tudiants ; orientation individuelle et acadmique ; participation du personnel lorientation des tudiants, bourses et aides, dispositifs formels et informels de suivi des tudiants, reprsentation des tudiants, commission dappel pour les plaintes des tudiants et des enseignants, mobilit des tudiants, activits de loisirs, taux dinsertion professionnelle des tudiants, satisfaction des employeurs dtudiants diplms, rmunration des diplms par filire dtude, associations dlves et caractristiques des anciens lves, conditions de vie et dtude des tudiants ; g. aspects curriculaires : conformit aux buts et aux objectifs, pertinence par rapport aux besoins sociaux, intgration dans le contexte local, valuation et redfinition des filires, options des filires de formation, feedback sur la qualit de la filire ; rapports entre employeurs et enseignants universitaires; h. enseignement et valuation : innovations pdagogiques, utilisation de nouveaux mdias et mthodes, dveloppement des aptitudes et des comptences, liens avec dautres tablissements et entreprises en matire denseignement, liens pour la formation sur le terrain, suivi de la scolarit des tudiants, valuation interne continue, utilisation dexaminateurs externes, planning des examens, organisation des examens, publication des rsultats, programmes de rattrapage et dapprofondissement ; i. recherche, expertise-conseil et autres activits : soutien institutionnel la recherche; personnel actif dans le domaine de la recherche ; tudiants doctorants par filire dtudes ; nombre denseignants titulaires de doctorat ; nombre de projets de recherche par enseignant, projets de recherche sponsoriss par les entreprises ; financement public de la recherche, ratio recettes/dpenses pour la recherche, bourses de recherche et autres aides, chercheurs bnficiaires de bourses de recherche externes ; quipement ddi la recherche, utilit des rsultats de la recherche pour lducation ; intrt social de la recherche, recherche interdisciplinaire, participation des tudiants aux recherches effectues par le corps enseignant, qualit de la recherche (citations des publications, facteurs dimpact, brevets et licences), bnfices provenant des activits de consultance auprs des entreprises et des organismes publics, activits au profit de la communaut ; j. assurance qualit : assurance qualit interne ; recherche institutionnelle sur la gestion de la qualit ; coordination entre les fonctions acadmiques et administratives ; rsultats des valuations externes ; ambiance acadmique ; rformes ducatives. Ces deux exemples ( le cas des Philippines, sur lvaluation des filires de formation et le cas de la rgion Asie-Pacifique, sur lvaluation institutionnelle) montrent que certains domaines sont communs lvaluation des tablissements et lvaluation des filires, mais quil y a aussi des diffrences. Dans le cadre de lvaluation institutionnelle, les filires de formation sont examines de faon plus globale, sous langle de la mise en uvre des politiques de ltablissement ; il sagit de voir, au travers de la ralisation des formations, comment ltablissement remplit ses missions et atteint ses objectifs. Lvaluation des filires, en revanche, permet de porter une attention beaucoup plus approfondie aux
formations et de passer en revue, notamment, leur conception, leur contenu, leurs modalits, leurs rsultats. A.3.5. La prise de dcision en matire dassurance qualit Pour traduire leur conception de la qualit en dcisions dassurance qualit , les agences doivent construire un cadre de rfrence. En effet, les lignes directrices ou le cadre pour la prise de dcision sont des lments critiques. Au cours du processus dassurance qualit, on peut analyser divers aspects, acadmiques et administratifs, de ltablissement ou de la filire en valuation et recueillir des informations ; mais ces informations nont pas de sens en elles-mmes. Pour formuler un jugement valuatif, les donnes collectes doivent tre interprtes la lumire des questions pralablement poses. La dmarche doit tre claire, savoir utiliser des benchmarks qualitatifs et quantitatifs qui prcisent les ralisations souhaitables dont lvaluateur doit apporter la preuve. Dans certains systmes, lvaluation est base sur le jugement professionnel de lvaluateur. Lutilisation de la preuve au regard du cadre dassurance qualit conduit des dcisions qui ont des consquences importantes. Les agences oprent de plusieurs manires, certaines tablissent des standards, dautres adoptent une grille dindicateurs, et dautres encore dfinissent des benchmarks. Certaines agences tablissent des indicateurs spcifiques, dautres dveloppent des standards contenu gnral que les experts utilisent pour valuer la qualit. A.4. Les diffrentes utilisations des standards Les agences dassurance qualit adoptent des modes demploi des standards varis. Les standards de lAICTE (voir encadr 9) concernent principalement les intrants ncessaires pour que ltablissement puisse crer une filire de qualit. Certaines agences portent leur intrt sur les rsultats. Pour laccrditation des filires de formation professionnelles, les standards concernent les bonnes pratiques et les procdures institutionnelles, lapproche tant centre sur la pratique. Dans ce cas, les agences interprtent la qualit en termes defficacit de la formation reue pour lexercice de la profession par les nouveaux entrants. Au cours des dernires annes, les corps professionnels ont adopt des standards bass sur la comptence, c'est--dire, lapplication efficace et adquate des connaissances, des comptences et des comportements. Ces standards mettent laccent sur la relation entre la formation thorique et les rsultats professionnels, autrement dit, ils mesurent la capacit dappliquer correctement et efficacement les connaissances acquises lexercice de la profession. Suivant cette conception de la qualit, lagence demande aux tablissements et aux filires de formation de montrer les rsultats de la filire plutt que les intrants. On met donc laccent sur le dveloppement des comptences des tudiants pour quils deviennent de bons professionnels, plutt que sur le nombre dheures de travaux dirigs ou lexprience pratique. Le dveloppement des standards bass sur la comptence aux tats-Unis, est dcrit dans lencadr ci-dessous :
15
Encadr (12) :.Evolution des standards dans les filires darchitecture bass sur la comptence des corps professionnels aux USA
Les corps professionnels responsables de la rglementation tablissent les standards bass sur la comptence de plusieurs manires. LInstitut canadien des comptables agrs (CICA) a tabli La Charte des comptences des candidats lexpertise comptable pour sa procdure de qualification (reconnaissance ou enregistrement) dexperts-comptables. La CICA et les instituts dexpertise comptable reprsentent prs de 68 000 experts -comptables et 8000 tudiants au Canada et aux Bermudes. La Charte identifie deux types de comptences : des qualits et des comptences gnrales que les experts-comptables doivent appliquer toutes les tches, et des comptences spcifiques ; ces dernires sont regroupes en six catgories. Les comptences rpertories par la CICA pour la catgorie Fiscalit concernant le plan fiscal, la rglementation et le rapport pour diffrentes entits sont prsentes dans lencadr (13). Encadr (13) : Extrait de la charte des comptences (CANADA) Les comptences particulires- Fiscalit
1. Analyser le profil fiscal de lentit et identifier les questions fiscales gnrales : 1.1 rechercher lamlioration du profil fiscal de lentit ; 1.2 valuer de faon continue les nouvelles dispositions lgislatives fiscales applicables, et conseiller la direction cet gard. 2. Prparer et produire les dclarations fiscales requises conformment aux exigences lgales : 2.1 donner des conseils au sujet de la conformit aux dispositions fiscales ; 2.2 respecter les exigences en matire de dclarations. 3. Effectuer une planification fiscale efficace pour optimiser le rendement aprs impt 4. Justifier et dfendre les positions fiscales, et ngocier avec le fisc Source : site web du CICA
En France, la Commission des titres dingnieur (CTI) sous la rubrique Le mtier de lingnieur prcise : Le mtier de base de lingnieur consiste poser et rsoudre de manire toujours plus performante des problmes souvent complexes lis la conception, la ralisation et la mise en uvre, au sein dune organisation comptitive, de produits, de systmes ou de services, ventuellement leur financement et leur commercialisation. ce titre, lingnieur doit possder un ensemble de savoirs techniques, conomiques, sociaux et humains, reposant sur une solide culture scientifique. Elle dfinit les capacits et comptences recherches pour lingnieur comme suit (voir encadr 14).
16
Encadr (14) : Les capacits et comptences recherches pour lingnieur (Commission des titres dingnieurs CTI/France)
En plus des diffrentes utilisations de standards, le processus de prise de dcision autorise diffrents niveaux de jugement professionnel. La majorit des agences dassurance qualit utilisent des spcifications et des donnes quantitatives. Dans certains cas, le cadre de rfrence accorde plus de libert au jugement des pairs valuateurs, mais le plus souvent, celui-ci est guid par des considrations factuelles sous forme de donnes quantitatives et dindicateurs. A.4.1 Lutilisation de lvaluation quantitative La qualit peut-elle tre value de faon quantitative ? Les agences dassurance qualit ont plusieurs manires de le faire : en demandant aux tablissements de dmontrer quils rpondent des normes quantitatives ; En demandant aux pairs valuateurs de vrifier que les normes sont respectes ;
En demandant que lvaluation par les pairs soit enregistre sur une chelle chiffre ; En demandant que le rsultat final soit exprim sur une chelle chiffre. Cette valuation quantitative est-elle justifie ? Sur cette question de fond, les points de vue divergent. Lvaluation de la qualit est ncessaire voire indispensable pour de nombreuses activits humaines, mais les techniques utilises peuvent savrer subjectives. Nous dpendons, dans une large mesure, de nos perceptions sensorielles pour apprcier des choses comme la beaut, la musique, le th, le niveau de confort procur par lair conditionn, les parfumsIl est communment reconnu que nous ne pouvons pas mesurer prcisment certaines choses dans la vie, comme par exemple les sentiments ou les motions, et que la qualit, comme la beaut, est une notion assez indfinissable. Au dbut de ce module, on a vu que pour valuer la qualit, on peut utiliser, dans certains cas, des mthodes quantitatives et dans dautres, des mthodes qualitatives. Lorsque les agences dassurance qualit visent la conformit aux normes ou latteinte dun certain niveau de performance, elles ont tendance dvelopper des standards quantitatifs; les standards de lAICTE concernant les ressources documentaires (voir encadr 9) en sont un exemple. Certaines agences veulent garantir des standards minimaux non quantifis ; la grille des critres dligibilit des agences rgionales daccrditation amricaines en est un exemple. Dautres agences sappuient sur des standards quantitatifs pour valuer lexcellence des tablissements ; cest le cas du Conseil national daccrditation en Colombie (Consejo Nacional de Acreditacin -CNA) qui dfinit la qualit comme la runion de 66 caractristiques, chacune delles tant dcline en une srie de variables qualitatives et quantitatives. Encadr (15) : Variables en indicateurs dune caractristique (Colombie)
18
On peut utiliser des standards quantitatifs, indpendamment du fait que lagence veuille garantir des standards minimaux ou des standards dexcellence. Les agences qui souhaitent garantir lobjectivit en rduisant la subjectivit de lvaluation par les p airs, en particulier dans les pays o lidentification des pairs comptents est difficile, choisissent lemploi des mesures quantitatives. On fait lhypothse que celles-ci contribuent assurer la transparence du processus dassurance qualit. Les indicateurs de performance sont le principal outil dune valuation quantitative. Emploi des indicateurs de performance Lemploi dindicateurs de performance pour lassurance qualit dans lE.S fait dbat. Cest le plus souvent dans le cadre de systmes qui visent la redevabilit (ou reddition de comptes) quils ont t accepts. Au Royaume-Uni, par exemple, les indicateurs de performance ont t la rponse aux acteurs du march qui rclamaient aux universits des produits de meilleure qualit. Les partisans des indicateurs de performance soutiennent quils peuvent : tre utiles pour le contrle de la reddition des comptes ; aider comparer les performances entre tablissements similaires ; fournir des informations sur la performance susceptibles de guider les efforts damlioration de ltablissement et la mise en place dune gestion stratgique efficace; fournir des informations destines au public sur les conditions de fonctionnement des diffrents domaines dactivit de ltablissement ; contribuer la formulation des politiques.
Dans lencadr ci-dessous, on prsente les diffrents indicateurs pour un aspect du fonctionnement de ltablissement : la recherche telle quelle tait value au Royaume Uni. Encadr (16) : Indicateurs de recherche au Riyaume-Uni
19
Mais certains, bien quils acceptent les indicateurs de performance comme moyen damlioration des tablissements, craignent quils ne soient utiliss aussi pour les contrler. Davis (1996) rsume la situation ainsi : Les indicateurs de performance sont discutables l o on les transforme dun lment de dcision, parmi dautres, en un mcanisme de classement hirarchis pour diffrencier lallocation de fonds et destime. Ceux qui sopposent lemploi des indicateurs de performance pour lassurance qualit, font remarquer que la performance des tablissements ou la qualit des filires peut dpendre dune multitude de facteurs ; or, il nest pas facile de les prendre tous en compte pour lvaluation. Lencadr (16) montre que la performance et la qualit dun domaine spcifique peuvent faire lobjet de plusieurs indicateurs et que lvaluation de la qualit est complexe, raison pour laquelle toute valuation quantitative doit tre pondre par lvaluation qualitative des pairs. Emploi dindicateurs quantitatifs dans lvaluation par les pairs Les valuateurs peuvent tre amens utiliser des critres quantitatifs pour formuler des jugements qualitatifs. Ainsi, selon la mthodologie daccrditation du NBA (Inde), fonde par ailleurs sur lvaluation par les pairs, les valuateurs doivent exprimer leur jugement sous forme dindicateurs, le plafond de la valeur prise par chaque indicateur tant fix par le NBA comme le monte lencadr suivant :
20
Encadr (17) : La quantification comme guide de lvaluation par les pairs (NBA/Inde)
Quantification des rsultats de lvaluation externe Dans le cas du NAAC, les scores attribus par les valuateurs sont utiliss pour calculer les scores de ltablissement sous forme de pourcentage. Le score de ltablissement dtermine son rang sur une chelle de neuf points : le rang C indique un score de 50-60 ; C+ indique 60-65 ; C++, 65-70 ; B, 70-75 ; B+, 80-85 ; A, 85-90 ; A+, 90-95 et A++ indique un score de 95-100. Les tablissements qui ne russissent pas atteindre un minimum de 55% ne sont pas accrdits. Certains systmes de cration rcente adoptent ainsi une mesure quantitative des rsultats pour garantir la crdibilit et lobjectivit de leur dmarche. Un tel choix est plus particulirement justifi dans deux cas de figure : soit quon manque dun vivier suffisant dvaluateurs bien forms soit que la taille importante du systme entrane de fortes variations entre les nombreuses quipes dvaluation externe. Toutefois, la relation entre quantification et objectivit est discutable : comment garantir la validit du jugement quantitatif ? Comment tre sr que la diffrence entre 50 et 60% est la mme que celle entre 75 et 85% ? Les mesures quantitatives risquent bien souvent de donner une fausse impression dobjectivit, en masquant la part de subjectivit quil y a dans les scores. En conclusion, lutilisation de la quantification fait lobjet de dbats, et ce pour plusieurs raisons. En effet, elle peut aider lagence assurer la cohrence de sa mthodologie et rduire les carts entre quipes dvaluateurs. Elle peut aussi tre trs utile aux systmes mergents pour assurer la transparence. Mais, dun autre ct, elle peut encourager les tablissements dE.S prsenter des mesures quantitatives qui les favorisent plutt que dentreprendre une valuation sincre ; elle peut aussi les encourager courir aprs les mesures quantitatives au lieu de sintresser leur contenu. Dans tous les cas, il importe de veiller un juste quilibre entre les mesures quantitatives et lapprciation qualitative porte par les pairs. A.4.2 Lutilisation du jugement par les pairs Certaines agences nimposent pas de normes prcises ni dobjectifs chiffrs considrant quils pourraient aller lencontre de la diversit institutionnelle et de ladquation aux objectifs sans ngliger pour autant la conformit aux standards qui est
importante, mais qui peut tre assure par dautres dispositifs. Une fois que les tablissements ont atteint un niveau minimal de qualit, lagence examine la manire dont ils oprent pour raliser leurs finalits et objectifs. La prise en compte de la diversit est importante et lvaluation quantitative ne serait pas utile; cest le jugement des pairs, form sur la base du rfrentiel et selon la mthodologie adopte par lagence, qui est central. Les agences qui ne souhaitent pas avoir une dmarche trop prescriptive ne demandent pas aux tablissements de rpondre des objectifs quantifis ; elles peuvent, en revanche, avoir des rfrences (ou standards) ou des lignes directrices sur des questions comme la pertinence et lefficacit de ltablissement. Ainsi, une agence ninsistera pas sur le respect de ltablissement du ratio dun enseignant pour dix tudiants ou que les enseignants des formations doctorales soient titulaires du doctorat, mais elle dira en termes gnraux que les enseignants chercheurs doivent tre de niveau adquat et comptents pour assurer les formations concernes. LAUQA, par exemple, donne, titre indicatif, les domaines couvrir, mais sen remet au jugement professionnel des pairs (voir encadr 18). Encadr (18) : Champ indicatif- AUQA
Les agences qui se fient davantage au jugement des valuateurs doivent tre conscientes de la subjectivit qui peut sintroduire dans le processus dassurance qualit. Elles pallient cet inconvnient par des manuels et des lignes directrices pour guider lvaluation par les pairs dont la fiabilit peut tre conforte par une formation rigoureuse. Une bonne stratgie pour renforcer lobjectivit du jugement des valuateurs consiste exiger quils arrivent aux conclusions par consensus et non par vote. Ainsi, lobjectivit est assure travers lintersubjectivit, les opinions extrmes tant rejetes ; ce qui lemporte cest la dcision commune du groupe. La composition des quipes, avec une reprsentation quilibre dopinions et dapproches disciplinaires diverses, sont galement des facteurs importants pour aboutir des dcisions justes. On a montr, jusqu prsent, que les agences dassurance qualit peuvent sappuyer la fois sur lemploi dlments quantifis et sur lapprciation qualitative des pairs. Pour sadapter au contexte et respecter leur mission, elles doivent choisir une position approprie. Les options prsentes ci-dessus ne sont pas des options tranches. Il sagit plutt dapproches combiner pour mettre en vidence, au mieux, les forces et les faiblesses de ltablissement ou de la filire.
A.4.3. La flexibilit comme moyen dadaptation au contexte Pour apprcier la qualit, les agences dassurance qualit doivent prendre en considration la notion de flexibilit. L adquation aux objectifs est une approche qui permet dintroduire la flexibilit pour prendre en compte les missions spcifiques lies aux conditions locales. Lagence doit sinterroger sur la possibilit dutiliser les mmes standards et les mmes critres pour des tablissements et des filires diffrents. Approches flexibles de lauto-valuation Au dpart, lagence dassurance qualit peut tablir un cadre gnral dauto-valuation des tablissements et des filires, mais, mesure que la mthodologie volue, elle doit ajuster ses approches. La prise en compte de la diversit institutionnelle est importante pour que lauto-valuation soit pertinente et utile aux tablissements. Dans tous les systmes dE.S, les tablissements ont des caractristiques diffrentes (un secteur de recherche dvelopp ou tre davantage orients vers lenseignement, date de cration, spcialiss ou pluridisciplinaires), on se demande si la mme grille de critres, les mmes lignes directrices, les mmes attentes en matire dauto-valuation peuvent tre valables pour tous. Les agences dassurance qualit laissent, en rgle gnrale, peu de f lexibilit dans lorganisation et la ralisation de lauto-valuation. La plupart des agences fournissent des lignes directrices ou des guides pour aider les tablissements. Certaines agences sont alles plus loin en adoptant des approches innovantes pour introduire plus de flexibilit. Aux tats-Unis, on trouve plusieurs exemples dapproches flexibles de lautovaluation, qui ont t introduites en raison de la diversification croissante des tablissements, mais aussi la suite de plaintes formules par les tablissements lencontre de la charge de travail occasionne par des visites rptition dans le cadre des procdures daccrditation. Certaines agences daccrditation rgionales offrent donc diffrentes options dauto-valuation. La Commission pour lE.S des tats du Centre (Middle States Commission on Higher Education MSCHE) a quatre principaux modles dautovaluation : le modle gnral, le modle gnral avec un point dintrt particulier, le modle des thmes choisis et le modle dauto-valuation alternatif. Lencadr (19) dcrit la flexibilit de deux modles dauto-valuation : Encadr (19) : La flexibilit en matire dauto-valuation (USA)
23
La flexibilit dans la dfinition des standards Lemploi de standards qualitatifs est, probablement, le moyen le plus facile et le plus efficace dtre flexible. On demande aux tablissements de prouver, par exemple, quils ont des ressources suffisantes pour exercer leurs activits, de fournir des installations adquates, de dvelopper la recherche ou encore dutiliser des mthodologies denseignement appropries. Il appartient alors aux tablissements de montrer quils disposent des moyens suffisants, adquats, importants, et/ou appropris pour remplir leurs missions. Cela les aide rflchir sur leur action, en particulier sur lutilisation de leurs ressources et lefficacit de leur mode de fonctionnement. Cette approche est efficace si les tablissements fournissent des informations quantitatives et qualitatives pertinentes pour dmontrer aux valuateurs et lagence que leur action va dans le bon sens. Encadr (20) : La flexibilit dans la dfinition des standards
Ce qui est appropri pour une filire dtudes juridiques, en termes de nombre denseignants ou de recrutements sur poste temps plein, peut tre compltement inappropri pour une filire darchitecture ou dodontologie. De mme, ce qui est suffisant pour un tablissement de formation, peut tre insuffisant pour un tablissement de recherche. Flexibilit dans le cadre de lvaluation Quand une agence a diffrentes catgories dtablissements sous sa comptence, une question est souvent pose : Comment les mmes standards peuvent-ils sappliquer tous les tablissements et toutes les filires ? Certaines agences se fient lvaluation par les pairs pour tenir compte de la diversit institutionnelle. Dautres ont adopt des cadres dvaluation diffrencis. Dans lencadr 21, on donne un exemple de critres dvaluation auxquels sont affects des pondrations diffrentes en fonction du type dtablissement. Le systme dE.S indien est complexe et diversifi. Selon les tablissements, limplantation gographique, la population tudiante cible, les missions, la vision, la gouvernance, le financement, la libert dinnovation dans le curricula sont diffrents. Il nest pas possible, bien videmment, de dvelopper un cadre particulier pour chaque catgorie dtablissements, mais on a tenu compte des principales diffrences pour construire un classement en 3 catgories : universit et tablissements de niveau universitaire ; collges autonomes et collges affilis. La mthodologie de NAAC traite les diffrences entre ces catgories deux niveaux en utilisant des rfrentiels diffrencis et en appliquant une pondration diffrencie des critres. Le rfrentiel spcifique est prsent dans le guide dvaluation spcifique chaque catgorie dtablissements. Compte tenu des diffrences
24
entre les tablissements, dans leurs finalits comme dans leur fonctionnement, les critres retenus ont t pondrs en consquence comme il est montr ci-dessous : Encadr (21) : la flexibilit comme moyen dadaptation au contexte institutionnel NAAC (Inde) Collges Collges Critres Universits affilis autonomes 15 10 15 Aspects currriculaires 25 40 30 Enseignement et valuation 15 05 10 Recherche, expertise-conseil et autres activits Infrastructures et ressources 15 15 15 documentaires 10 10 10 Russite des tudiants et soutien Organisation et gestion 10 10 10 Bonnes pratiques 10 10 10 Comme on peut le constater, la pondration des trois premiers critres est diffrente selon la catgorie dtablissements. Compte tenu de la libert limite dun collge affili pour concevoir son programme dtudes, la pondration du critre est de 10, alors que lenseignement, qui est entirement sous son contrle, est pondr de 40. De mme, beaucoup de collges affilis ont des cursus jusqu la licence, leur secteur de recherche est donc peu dvelopp ; ainsi, la pondration du critre Recherche, expertise-conseil et autres activits pour les collges affilis est de 05. Par contre, pour les collges autonomes, dont le statut permet la promotion de la recherche, la pondration du mme critre est de 10. La NAAC a lgrement rvis le score total. Suivant la mme mthodologie, elle continue de pondrer ses critres mais elle est pass dune base de 100 une base de 1000 ; les scores sont, toutefois, distribus suivant les mmes proportions (Stella, 2002). Le rle des pairs dans la contextualisation de lvaluation Chaque tablissement est unique, mais les agences dassurance qualit ne peuvent pas tenir compte de toutes leurs diffrences au point dtablir un rfrentiel propre chacun deux. Elles considrent, cependant, que la contextualisation de lvaluation est une question importante laquelle les valuateurs doivent tre sensibiliss, lors des sessions de formation et au travers des orientations qui leur sont donnes. Par ailleurs, les agences prennent soin de la composition des groupes dvaluateurs ; elles choisissent des valuateurs qui apportent des expriences pertinentes et de lexpertise, ce qui aide le groupe dvaluation comprendre le contexte sans remettre en cause le rfrentiel et la cohrence de lapproche. Les agences dassurance qualit doivent avoir des programmes de formation adapts et des garde-fous, si elles souhaitent introduire la flexibilit travers lvaluation par les pairs. A.5. Conclusion Le contenu de cette partie a prsent les diverses approches en matire dassurance qualit. Chaque mthode a ses avantages et ses inconvnients, en fonction du lieu o elle est employe, de la faon dont elle est mise en uvre et des objectifs auxquels elle rpond. Il est indispensable danalyser attentivement ces diffrents facteurs pour faire le meilleur choix. Les analyses et les tudes de cas prsentes visent largir la comprhension des options existantes, mais aucune approche napporte la solution parfaite aux problmes spcifiques dun pays. En effet, toute stratgie doit prendre en compte le contexte. Toutefois, quand on dveloppe une stratgie dassurance qualit, les expriences des autres pays sont toujours utiles.
B. Mcanismes et Outils pour lEvaluation programmatique Etude de cas : Programme de Formation des RAQs
Objectifs de cette partie B: Lobjectif de cette deuxime partie est de : - Dappliquer les connaissances obtenues dans la partie A - Identifier le rfrentiel des comptences du programme - Identifier les outils et mcanismes pour valuer le programme de formation - Procder lvaluation des composants du programme - Identifier les forces, les faiblesses et les dficiences - Mise en uvre du processus damlioration continue Trois parties bien distinctes : 1. Mise niveau des programmes denseignement et de formation 2. Evaluation de certains critres de programmes 3. Mise en place du processus damlioration continue B. I. Mise niveau des programmes denseignement et de formation Dans cette partie seront dfinis les critres essentiels dun programme de formation : Les Objectifs Educatifs dun Programme (OEPs) Les Rsultats dApprentissage dun Programme (RAPs) Les Rsultats dApprentissage Modulaires (RAMs) B. I. 1 Dfinition des Objectifs Educatifs dun Programme (OEP) Dfinition Les objectifs ducatifs dun programme sont les ralisations professionnelles escomptes des diplms au cours des premires annes de leur carrire qui suivent l'obtention du diplme. Caractristiques Ce sont des dclarations plus larges que le programme a l'intention de faire sur une base continue (pas des objectifs spcifiques pour une anne). Donc mesurables mais long terme, mesures aprs (3-5 annes aprs la graduation) Les rsultats reprsentent ce que les parties prenantes, tels que les tudiants, les professeurs, le personnel ou d'autres ralisent en tant que rsultats des efforts de l'unit, programmes ou activits. Chaque OEP sadresse un ou plusieurs besoins d'une partie prenante Doit tre comprhensible par la partie prenante desservie Devrait correspondre une dapprentissage du programme dclaration plus large compare aux rsultats
Chaque objectif doit tre appuy par au moins un rsultat dapprentissage du programme. Devrait tre limite un nombre grable de dclarations Les objectifs ducatifs dun programme doivent tre en conformit avec la mission de
lUniversit, la Facult, et le Dpartement Les missions ainsi que les OEPs sont dfinis par les institutions et les programmes. Ils doivent mettre l'accent sur les besoins des parties prenantes. Parties prenantes potentielles Les parties prenantes peuvent tre : Etudiants, les parents, les employeurs, les enseignants, les anciens diplms Conseillers et partenaires industriels, organismes d'accrditation Administration pdagogique: Dpartement, Ecole, Collge, etc. Organismes gouvernementaux: locaux, provinciaux, rgionaux Institutions qui transfert les tudiants Programmes d'tudes suprieures qui acceptent les diplms Donateurs, collaborateurs, sympathisants Exemple. Les diplms dun programme dingnieur en Procd de lInstrumentation et du Contrle vont: 1. sengager dans un large domaine de carrires productives dingnieur en Procd de lInstrumentation et du Contrle dans les secteurs public et priv 2. s'engager dans des activits de dveloppement professionnel en poursuivant des tudes suprieures et / ou d'autres possibilits d'apprentissage; 3. avancer en matire de responsabilit et de leadership dans leurs carrires. Qui sont vos parties prenantes ?
A prparer en groupe les Objectifs Educatifs du Programme (OEPs) de formation des RAQs. Les RAQs ou participants cette formation vont :
B. I. 2 Dfinition des Rsultats dApprentissage dun Programme (RAPs) Dfinition Les rsultats dapprentissage dcrivent ce que les tudiants devraient savoir et tre en mesure de le faire au moment de l'obtention du diplme. Ceux-ci concernent les comptences, les connaissances et les comportements que les tudiants acquirent au fur et mesure qu'ils progressent dans le programme. Caractristiques
27
Chaque RAP dcrit un domaine de connaissance et / ou de comptence qu'un apprenant peut dmontrer Doit tre dclar tel qu'un tudiant peut dmontrer la fin du programme et avant l'obtention du diplme Doit tre une unit de connaissance / comptence qui supporte au moins un objectif pdagogique valus durant la formation des tudiants Collectivement, les rsultats de dfinir les comptences et les connaissances imparties par le programme d'tudes Peuvent tre regroups dans des rfrentiels des comptences dfinis par lorganisme accrditeur Dans le cas de lorganisme Accreditation Board and Engineering Technologyi (ABET), le nombre de RAPs pour les programmes dingnieurs sont en gnral au nombre de 11 mais sont variables en fonction de la nature du programme Exemple : Rsultats dApprentissage dun programme dingnieur en Chimie Industrielle pour lorganisme (ABET). Les diplms de ce programme auront la fin de leur graduation: a) Une capacit dappliquer les mathmatiques, les sciences et lingnierie. b) Une capacit de concevoir et mener des expriences ainsi que lanalyse et linterprtation des donnes. c) Une capacit de concevoir un systme, un composant ou processus qui satisfait les besoins requis dans des contraintes ralistes telles quconomiques, environnementales, sociales, politiques, thiques, de sant et scurit, de fabrication et de durabilit. d) Une capacit de travailler en quipes multidisciplinaires. e) Une capacit didentifier, formuler et rsoudre des problmes dingnierie f) Une comprhension de la responsabilit thique et professionnelle. g) Une capacit de communiquer efficacement h) Une ducation gnrale ncessaire pour comprendre limpact des solutions dingnierie dans un contexte global, conomique, environnemental et socital. i) j) Une reconnaissance du besoin pour, et une capacit de sengager dans un apprentissage permanent. Une connaissance des questions contemporaines.
k) Une capacit dutiliser les techniques, comptences et les outils ncessaires pour la pratique de lingnierie. Il faut sassurer que les RAPs imposs par le standard ou dvelopps concordent avec les OEPs.
Figure 1: OEPs et RAPs
Les RAPs pourraient tre diviss en 3 catgories en fonction de la taxonomie de Bloom des
rsultats scolaires: Cognitives : Connaissances scientifiques Comptences : Savoir faire Attitudes personnelles : Savoir-tre A identifier les RAPs correspondant a chaque catgorie : Connaissances : a, . Savoir-faire : Savoir-tre :
A prparer Dfinir les Rsultats dApprentissage de la formation des RAQs. (Enumrer les comptences que vous pensez avoir acquis lors de cette formation : a) b) c) d) e) . etc
Sassurer que les RAPs concordent bien avec les OEPs en tablissant une matrice. Que doit-on conclure dans le cas ou il ny a pas de concordance ?
B. I. 3 Rsultats dApprentissage Modulaires (RAMs) Dfinition Les rsultats dapprentissage dun module sont des dclarations qui dcrivent ce que les tudiants apprendront et seront en mesure de faire, ou tre en mesure de dmontrer ou raliser quand ils auront termin ou particip un module/activit/projet. Caractristiques Les rsultats sont habituellement exprims en connaissances, comptences, attitudes ou valeurs. Les objectifs ducatifs sont similaires aux standards la diffrence que ceux la sont crs et grs par lenseignant dans le module. Les objectifs ducatifs permettent aux enseignants de concevoir les rsultats dapprentissage qui correspondent au mieux au module du curriculum. Les enseignants peuvent utiliser les objectifs en conjonction avec les standards pour crer les rsultats escompts sans aucune contrainte de la structure hirarchique du standard Les objectifs ducatifs peuvent tre relis travers une matrice aux standards Un ou plusieurs standards peuvent tre relis n'importe quel objective
RAM utilisent des verbes d'action de la taxonomie de Bloom en mettant l'accent sur les aptitudes. Il devrait y avoir 3-8 RAM pour chaque module ou d'un programme. En cas de doute, moins c'est mieux. RAM devraient tre inclus dans les plans de cours. RAM devraient tre les mmes pour toutes les sections d'un module. Toutefois, chaque enseignant peut inclure dans leurs programmes de modules des rsultats supplmentaires et / ou les attentes du cours. RAM doivent tre rdigs dans la langue que les tudiants sont en mesure de comprendre. RAM devraient se concentrer sur les concepts gnraux, les comptences ou les attitudes. RAM demandent aux tudiants d'appliquer ce qu'ils ont appris. RAM doivent tre valus et devraient suggrer ou impliquer une valuation. S'ils ne comprennent pas la mthode d'valuation, ils ne devraient pas tre trop spcifiques - un RAM pour un cours doit tre adapt toute personne enseignant le cours. viter par commencer les RAM avec des mots tels que comprendre, apprendre, savoir, etc. car ceux la indiquent des processus mentaux internes pour les tudiants. (Il pourrait tre possible d'utiliser des mots comme celui-ci si la mthode d'valuation est indique dans le RAM). Concentrez-vous plutt sur ce que les lves seront en mesure de faire, de produire, ou de dmontrer. Idalement, chaque cours ou module doit comprendre des RAM de plus d'un domaine (cognitif, psychomoteur et affectif). Lorsque on crit les RAM, pensez comment vous allez valuer chacun d'eux. Il faut sassurer que les RAM concordent bien avec les RAP. a. Prparer pour chaque cours une fiche signaltique : Syllabus de module (Annexe 1) b. Dfinir les RAMs pour chaque module c. Dfinir les RAPs qui sont valus par chaque module d. Faire une matrice reprsentant la relation entre les RAMs, RAPs et OEPs pour chaque module.
B. I. 4 Relations RAM/RAP/OEP Lorganigramme (Figure 2ii) montre la relation entre les diffrentes composantes du programme. Lensemble des modules formant le curriculum doivent couvrir tous les RAP. Si un module ne couvre pas au moins un RAP, il na pas lieu dy figurer dans le curriculum. Si un RAP nest pas couvert, il en manque au moins un module pour complter le restant des RAP.
30
Figure 2: Organigramme d'un programme
A prparer par groupe a. Faire la relation des les RAPs et OEPs pour le programme b. Prparer une matrice montrant la relation existant entre les diffrents modules du programme et les RAPs c. Est-ce que tous les RAPs sont assurs ? d. Que peut on conclure dans le cas ou un RAP nest pas assur ? Que doit-on faire dans ce cas prcis ?
B. II. Mesure de certains critres du programme Dfinition L'valuation est un ou plusieurs processus qui permettent d'identifier, collecter et prparer les donnes pour valuer l'aboutissement des rsultats des tudiants et les objectifs du programme d'enseignement. Une valuation efficace utilise des mesures pertinentes directes, indirectes, quantitatives et qualitatives, appropries l'objectif ou le rsultat mesur. Des mthodes d'chantillonnage appropries peuvent tre utilises dans le cadre d'un processus d'valuation. Plusieurs mthodes sont utilises pour valuer les rsultats de l'apprentissage.
31
Le processus unique et le plus utilis pour sassurer que les diplms ont atteint les rsultats du programme est le suivi continu du travail des tudiants par les professeurs qui enseignent les diffrents modules. Les enseignants sont gnralement impliqus dans la prparation des objectifs et des rsultats des modules de sorte que l'valuation est une partie de leur responsabilit permanente. Ces donnes sont refltes dans les devoirs, les projets, les travaux de laboratoire et les examens que les tudiants prennent rgulirement. Les enseignants ont tendance reconnatre que, si une ou deux personnes dans une classe ne matrisent pas un concept, alors il y a probablement une difficult qui peut tre attribue l'tudiant. Si, toutefois, une fraction substantielle d'une classe ne parvient pas matriser un concept majeur, donc des mesures correctives par linstructeur sont mises en place. Bien quinformelle, cette valuation est rapide et importante dans lactivit de lenseignant. Le contenu et la qualit de la matire dans chacun des modules sont constats par un examen des descriptions de cours, les manuels et les devoirs chantillon et les examens. Un autre outil d'valuation est le sondage la sortie des tudiants diplms. Avant l'obtention du diplme, les diplms sortants sont invits remplir un questionnaire de sortie et une enqute sur lvaluation des rsultats. Cette mthode offre aux tudiants la possibilit d'valuer, partir de leurs expriences d'apprentissage personnelles, l'efficacit du programme dans lobtention des rsultats du programme et leurs propres attentes. De temps autre, les enqutes sont galement envoyes aux anciens diplms (Alumni). Ca permet aux diplms, dans le contexte de leurs expriences professionnelles, de rflchir leurs expriences d'apprentissage et d'valuer l'efficacit du programme dans lobtention des rsultats d'apprentissage viss. Les formulaires d'enqute sont aussi parfois donns aux anciens lors de leurs visites sur le campus. Les enseignants sont gnralement actifs et interagissent avec les professionnels et les recruteurs. Beaucoup de ces recruteurs sont nos anciens tudiants. Linput partir de ces professionnels permet daider apporter des modifications au programme d'tudes temps afin que les tudiants soient bien prpars pour un march comptitif de l'emploi. Les tudiants sont encourags d'une manire transparente et amicale de se prononcer sur les forces du programme et d'exprimer leurs proccupations. Les enseignants et l'administration sont galement prsents la runion. Un examen dtaill du programme d'tudes et de l'infrastructure du dpartement / collge / universit pour assurer la prestation efficace du programme d'tudes en tenant compte des donnes universitaires, des salles de classe, des laboratoires, ressources professorales et un espace de laboratoire et de l'quipement. Le doyen/chef de dpartement doit rgulirement discuter avec les tudiants anciens et tenir compte de leurs commentaires et leurs dolances. Les rapports des runions entre enseignants, enseignants-tudiants ou tudiants entre eux sont numrots, distribus pour information et archivs pour utilisation future. B.II. 1 Types dvaluation Comme outils dvaluation, il y en deux formes essentielles: l'valuation sommative et l'valuation formativeiii. On peut classer les mthodes dvaluation en deux catgories :
32
celles qui sont axes sur limpact et celles qui portent essentiellement sur le processus. Si elle est axe sur: limpact: Evaluation sommative le processus: Evaluation formative B.II. 1.a Evaluation sommative Les valuations dimpact, sont aussi appeles tudes de rsultats ou tudes sommatives. Elles sont ralises aprs la mise en uvre dun programme. Elles permettent dvaluer les rsultats dun programme par rapport aux objectifs. La majorit des tudes valuatives met laccent sur limpact des programmes. Elles sont souvent ralises trop tard pour jouer un rle significatif dans lorientation des dcisions dintrt public. B.II. 1.b Evaluation formative Cest lvaluation des processus, appele aussi tude formative. Elle consiste analyser la mise en uvre des programmes. Elle a pour objet de dterminer si un programme est offert son public cible selon la dose prvue et comment on pourrait lamliorer. Elle apporte traditionnellement une information sommative qui permet de dcider si un programme doit tre maintenu ou abandonn, on semble opter de plus en plus pour lvaluation des processus.
Type A quoi servent elles? (leur fonction) Sur Quoi portent elles? (leur objet) Quand on doit les prvoir Comment les raliser
- Reprer les acquis des lves - Affirmer leurs comptences; - Rle: Certificative ; - Barrire pour le passage scolaire/ professionnel);
- Fin de travail, pour - Savoirs acquis par les - Seffectue de justifier le passage tudiants, quelle met dans le secteur lintrieur du en relation avec les suprieur ; systme comptences dapprentissage. - En dbut, elle a intrt socialement exiges ventuellement afin de - Peut aussi pour le passage dans dterminer les savoirs- seffectuer de un autre secteur, afin dj-l des tudiants lextrieur du de dterminer les et permettre une systme possibilits de passage dapprentissage. valuation de leurs en question. progrs accomplis. - Chemin parcouru dans la direction des objectifs atteindre, - seffectue de lintrieur du systme dapprentissage. - peut seffectuer de lextrieur du systme dapprentissage, partie intgrante, et avec les apprenants;
Evaluation sommative Evaluation formative
- Rgulirement, mais pas trop souvent, tout au long du travail dapprentissage; - Rle : rgulatrice - Activits pour tre la fois denseignement elles- Dfinit satisfaisante et mmes; quantitativement et efficace, qualitativement le - Prise de dcision: sur travail effectuer les suites donner au - Doit tre : pas frquente, travail dapprentissage; pour atteindre les objectifs fixs. prcise, - Regard de ltudiant: - Organisation et rajustement de lapprentissage. - Ne juge ni les lves, ni leurs performances, inclut ncessairement sur ses propres savoirs. prvue, et, de bonnes circonstances!
B.II. 1.c Combinaison des deux Formes dEvaluation La meilleure option des combiner lexamen des processus avec lvaluation dimpact. Les valuations comprennent la fois des tudes formatives et des tudes sommatives. Le regroupement des processus et des donnes sur limpact des programmes parat logique et
complmentaire. La qualit de la mise en uvre dun programme, mesure grce lvaluation des processus, nest pas ncessairement synonyme de la qualit du programme lui-mme, mesure au moyen de lvaluation dimpact. Lapport continuel et ininterrompu de constatations dcoulant des valuations; B.II. 2 Types de Mesures B.II. 2.a Mesures directes Les mesures directes fournissent un examen ou une observation directe des connaissances et des comptences des tudiants envers des rsultats d'apprentissage mesurables. Elles sont utilises dans ce cas pour juger directement les performances des tudiants. Pour les RAMs et RAPs, il existe les mthodes dvaluation directes (Examen, TD, TP, Mmoire, stage, etc). B.II. 2.b Mesures indirectes Les mesures indirectes de l'apprentissage des tudiants vrifient l'opinion ou l'autovaluation de l'tendue ou la valeur des expriences d'apprentissage. Elles sont excutes travers des questionnaires, sondages, interviews et autres, par les partenaires du programme (Employeurs, Comit consultatif, Ex-tudiants, Etudiants sortants).
Mesures Directes Examens labors localement Examens normaliss Interviews la Sortie et autres Portefeuilles Simulations Evaluation du rendement Examinateur externe Examens oraux Observations comportementales Mesures Indirectes Enqutes et Questionnaires crits Interviews la Sortie et autres Documents d'archives Groupes de discussions
B.II. 3 Evaluation des RAMs Un exemple de mesures directes des RAMs par module est report dans le tableau suivant.
34
Tableau 1 : Exemple de mesures directes des RAMs par module

Test 1 No. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 MAX Average (out of 10) 5 4 6 6 6 5.5 5.5 5 5.5 6 6 6 5.5 6 6 6 4 4 4 3 4 4 4 4 4 4 4 4 4 4 1.5 4 7 5.5 9.5 6 3 5.5 6.5 4 4 8.5 9.5 9.75 9.5 9.25 8 10 16 13.5 19.5 15 13 15 16 13 13.5 18.5 19.5 19.75 19 19.25 15.5 20 0 2 5 10 0 5 10 5 6 8.5 10 10 5 10 10 10 7 3 9 7 6 7 9 7 7 9 9 9 9 8 8 10 7 5 14 17 6 12 19 12 13 17.5 19 19 14 18 18 20 4 4 2 2 2 4 3 3 3 5 5 5 4 5 5 5 3 3.5 6.5 4 2 3.5 9 5 3 3 7 9 3.5 3 4 9 2 3 3 8.5 2 2 4.5 7 1 10 9.5 10 6 10 9.5 10 8 8 11 11 11 10 13 11 11 12 12 13 12 12 10 3 1 0 2 2 1 2 2 1 2 2 2 2 2 2 2 13 18 18.5 24.5 27.5 18 21.5 31.5 27 20 32 35.5 39 27.5 32 30.5 40 Noms Q1 5.5 Q2 4 Q3 8 Total 17.5 Q1 2 Test 2 Q2 8 Total 10 Q1 3 Q2 0 Exam Q3 0 Q4 9 Q5 0 Total 12
93%
94%
71%
82%
62% 76% 69% 74% 48% 55% 84% 52% 65%
Si lvaluation sommative contrle les acquis la fin du module et leur attribue une note ou un rang, lvaluation des comptences peut tre exprime en termes de pourcentage (%) dtudiants capables de faire telle ou telle activit. Une grille dvaluation du systme de notation peut aider dterminer le pourcentage dtudiants valus capables de comptence bien dfinie.
Grille d'valuation du systme de notation Le systme de notation suivante a t utilise pour l'valuation: 1: 80% ou plus des lves ont atteint l'objectif du cours, 2: 60% - 80% des lves ont atteint l'objectif du cours. 3: 40% - 60% des lves ont atteint l'objectif du cours. 4: Moins de 40% des lves ont atteint l'objectif du cours. Exemple de mthode dvaluation qui support les mesures des RAMs RAMs Assessment Method 1 2 3 4 5 6 Labs 1 2 2 Quizzes 1 3 4 1 5 1 Project Test 1 2 1 Test 2 1 1 Test 3 Final 4 3
7 3 2
10
Un exemple de rsultats de RAM est donne dans la Figure 3.

Des critres peuvent tre labors pour identifier les forces, les faiblesses et les lacunes du module : Force : quand le score est bien au dessus du benchmark Faiblesse : quand le score (+/-) avoisine le benchmark Lacune : quand le score est bien au dessous du benchmark.
Evaluation des RAMs pour un module
100.0%
80.0%
Score (%) 60.0% 40.0% 20.0% 0.0% a b c d e f RAs g h i g k Srie1 Srie2
Figure 3: Exemple d'valuation des RAMs
En plus des mesures directes, des mesures indirectes sont incluses dans le processus dvaluation des performances des tudiants. B. II. 4 Evaluation des RAPs / programme Cas dun Programme : Dans le cas ou les mesures directes sont utilises pour valuer les performances des tudiants, les scores obtenus pour chaque RAP dans les diffrents modules sont totaliss et les moyennes obtenues sont reprsentatives de chaque RAP sparment dans le programme. Tous les RAPs seront donc valus et leur histogramme peut apparaitre tel que reprsent dans la Figure 4.
36
1.00
0.80
Score (%)
0.60
0.40
0.20
0.00 a b c d e f RAP g h i j k
Figure 4: Exemple de scores pour les RAP d'un programme
Les critres labors pour identifier les forces, les faiblesses et les lacunes du programme doivent tenir compte de toutes les types de mesure en accordant plus de crdit aux scores donns par les employeurs considrs comme meilleurs juges des comptences des diplmes sur le terrain. Force : quand tous les scores obtenus pour un RAP est bien au dessus du benchmark Faiblesse : quand un score obtenu avoisine ou est au dessous du benchmark (sil sag it de celui des employeurs, il peut tre considr comme une lacune) Lacune : quand plus dun score sont bien au dessous du benchmark. B. II. 5 Evaluation des OEPs / RAPs dun programme A prparer un
1. Questionnaire pour valuer les RAPs par les tudiants sortants 2. Questionnaire pour valuer les RAPs par les Alumni 3. Questionnaire pour valuer les OEP par les Alumni 4. Questionnaire pour valuer les OEPs par les partenaires socioconomiques
37
B. III. Processus damlioration continue

Le changement dans lenseignement suprieur et la mise en place dun processus dassurance qualit national et international sont motivs par
iv
la frquentation croissante de lenseignement suprieur; laugmentation des institutions de lenseignement le souci damliorer les normes pour lemploi au niveau local et national et la reconnaissance internationale; la ncessit de sadapter a un environnement concurrentiel national et rgional toujours plus marqu; les dispositions de la lgislation nationale. Tous ces lments contribuent la reforme des programmes et lassurance qualit, qui sont intimement lies. B. III. 1 Principe dAmlioration Continue C'est le comportement dynamique d'une organisation Il doit tre systmatique et systmique Il doit tre partag tous les niveaux de l'organisation Il peut tre motiv par des facteurs externes Il doit tre soutenu par le comportement interne Il exige que la poursuite continue de la recherche de l'excellence dtermine les philosophies, les plans, les politiques et les processus de l'organisation Il ncessite une interaction continue entre parties internes et externes Il met l'accent sur les besoins des parties prenantes
B. III. 2 Par quoi commencer ? Lamlioration continue de la qualit commence par des questions simples : Qui sont les parties prenantes? Quels services offrons-nous? Est-ce que les parties prenantes comprennent les objectifs ? Quels sont les services, les infrastructures et les politiques ncessaires pour s'assurer que nous continuons satisfaire nos parties prenantes? Est-ce que les bailleurs de fonds et la tutelle institutionnelle comprennent et rpondent nos besoins? Quelles tapes pouvons-nous accomplir pour fournir nos services? Est-ce que les parties prenantes sont satisfaites de nos services? Comment pouvons-nous mesurer notre efficacit? Comment pouvons-nous utiliser ces mesures pour amliorer continuellement nos services? Est-ce quon est en train d'atteindre nos objectifs et de samliorer? B. III. 3 Structure du processus damlioration continue La nature de la structure cyclique du processus d'amlioration continue de la qualit doit tre bien comprise. L'valuation est un ou plusieurs processus d'interprtation des donnes et des preuves accumules grce des mthodes d'valuation. L'analyse dtermine dans quelle mesure les rsultats des tudiants et les objectifs ducatifs des programmes sont
38
atteints. Les rsultats des valuations dans les dcisions et les actions concernent l'amlioration du programme. Il consiste en plusieurs tapes dont :
Etapes Planification
Planification Excution Mesure Evaluation Feedback Changement

Actions entreprises Identifier les lois, rglements et autres Faire un calendrier des activits entreprendre dans le temps Dfinir les OEPs, RAPs et Rsultats dApprentissage par Module (RAMs) Prparation du Course Syllabus Rfrentiel des comptences Passer laction : enseignement, TD, TP, Projets, etc. Examens, tests, etc. Analyser des rsultats obtenus et des vidences durant les mesures des RAM, RAP et OEP du programme Identification des forces, faiblesses et carences. Faire des recommandations et Proposer des stratgies damlioration du programme tout en passer lacte. Amlioration, Modifier, Actualisation Recommencer la procdure
Excution Mesure Evaluation Feedback
Changement
B. III. 4 Mise excution du plan dactivits Toutes les parties prenantes sont impliques dans lexcution du processus damlioration. Corps Enseignant Evaluateurs externes Etudiants Etudiants sortants Alumni Employeurs Autres B. III. 5 Benchmark Dfinition du benchmark Un benchmark est un indicateur chiffr de performance dans un domaine donn (qualit, productivit, rapidit et dlais, etc.) tir de l'observation des rsultats de lvaluation de linstitution qui a russi le mieux dans ce domaine.
39
On utilise souvent un benchmark ou seuil de performance pour pouvoir comparer les performances des apprenants. Les performances sont focalises sur les rsultats dapprentissage ayant obtenu des scores bien au dessous du benchmark (Figure 5).
5
0 a b c d e f g h i j k
Faculty Assessment (14) Assessed results for Alumni (7 respondents) Assessed results for 27 UOB Senior Exit surveys
Employers (12 respondent) Assessment by SP2 (10 responses), IT3 (3) Metric goal *
Figure 5: Exemple dvaluation des RAPs d'un programme
B. III. 6 Identification des forces, faiblesses et dficiences Lidentification des forces, faiblesses et lacunes ncessite automatiquement un indicateur ou benchmark qui sert dfinir les objectifs que l'institution cherche amliorer continuellement. Elles peuvent tre dfinies de la sorte : Force : quand les scores de toutes les mesures sont bien au dessus du benchmark Faiblesse : quand le score de certaines mesures (+/-) avoisine le benchmark. Le score obtenu par les rsultats des questionnaires ou sondages des employeurs est prpondrant. Lacune : quand le score de la plupart des mesures est bien au dessous du benchmark. Elles peuvent concerner nimporte quel composant du programme : OEP, RAP, le Curriculum, les Mthodes dvaluation, lEquipment de laboratoire, la Documentation, etc. Sil sagit de faiblesses ou de lacunes, elles peuvent concerner les pratiques denseignement et dapprentissage, le curriculum, les mthodes dvaluation des connaissances, les moyens
mis en uvre, etc. Une fois identifies, des stratgies damlioration promptes doivent tre mises en uvre. Elles peuvent concerner des changements dans le contenu des modules, la composante du curriculum, lachat de nouvel quipement de laboratoire, etc. Une fois les signes damlioration dans les performances des tudiants sont observs et stabiliss pour une priode dtermine, le benchmark est lev et le mme processus continue. B. III. 7 Stratgies dAmlioration Les stratgies damlioration peuvent concerner nimporte quel composant du programme : OEPs, RAPs, RAMs Curriculum, Mthodes dvaluation, Equipment de laboratoire, Documentation, etc. Le programme doit utiliser rgulirement, un processus ou mcanisme document pour mesurer et valuer lampleur dans laquelle les OEPs et les RAPs ont t atteints. Les rsultats de ces valuations doivent tre systmatiquement utiliss comme entre pour l'amlioration continue du programme. Autres informations disponibles peuvent galement tre utilises pour aider l'amlioration continue. Une fois les signes damlioration dans les performances des tudiants sont observs et stabiliss pour une priode dtermine, le benchmark est lev et le mme processus continue. B. III. 8 Rsultats de la mise en uvre Il faut documenter toutes les activits pdagogiques entreprises. Le portefeuille est la seule pice angulaire qui garantie les activits denseignement et dapprentissage. Il doit donc contenir: Description dtaille (syllabus) du module Formulaire dvaluation du Module Formulaire dAuto-valuation de lenseignant Liste des tudiants, grades, etc. Matrice des RAM 3 exemples (meilleur, moyen, pire) de travail dtudiants (examens, tests, quizz, laboratoire, etc.) Sujets des examens, tests, quizz, manuel de laboratoire, etc. Manuel de module, autres
41
Mission Parties prenantes:

Mission Comit industriel
Standard EC 2000
Enseignants Employeurs Alumni Etudiants Autres parties
Parties prenantes
Amlioration des OEP and RAP
Mise en place des OEPs
Rsultats dApprentissage Chaque 3-5 ans
Amlioration du Curriculum et Enseignement
Curriculum et Enseignement
Analyse des donnes et Evaluation
Outils dEvaluation et Collection des donnes
Evaluation directe: Examens, Tests, Quizzes, Devoirs, Projets, Indicateurs de Performance, etc Evaluation indirecte: Sondages par: Comit, Employeurs, Alumni, Senior-Exit, Etudiants (Module/ instructeur) valuation.
Amlioration des outils dvaluation
Figure 5: Processus damlioration continue
42
Annexe 1 : Un modle de Description Dtaille Module de Programme de Formation des RAQs Code : .. Titre : .. Description dtaille: (Requis pour la Licence de .) Nombre dheures de crdit : (Confrence, TD, TP, Heure de Crdit) . Pr-requis : Livre : Rfrence :
Objectifs du Module
Sujets traits :
Emploi du temps Cours/Laboratoire 1 sminaire / 2-3 semaines Session de Laboratoire : 0 Contribution du module pour rpondre la composante professionnelle College-level mathematics and basic sciences: 0 credits Engineering topics: 0 credits General education: 0 credits Relations du module aux rsultats dapprentissage Ce cours dveloppera les capacits suivantes des tudiants : a. b. e. Prpar par Dr ...........................................: <@univ-mosta.dz> Date de prparation 24 Octobre 2010 Date de Rvision : 30 Janvier 2011
43
Annexe 2 : Programme de formation des RAQs

Liste des Modules Module 1 : GENERALITES SUR LA QUALITE 1.1. Evolution de la notion de qualit 1.2. Dfinition de la qualit 1.3. Pourquoi la qualit 1.4. Dmarches qualit 1.5. Outils qualit 1.6. Charte Qualit Module 2 : ASSURANCE QUALITE (AQ) dans lEnseignement Suprieur (ES) 2.1 Tendances des systmes denseignement suprieur 2.2 Dfinitions de lAQ : Programmatique, Institutionnelle et Recherche 2.3 AQ interne et Autovaluation 2.4 AQ Externe et Accrditation 2.5 Certification et Audit Module 3 : ELEMENTS CONSTITUTIFS DUN REFERENTIEL DE QUALITE et Rapport dAutoevaluation 3.1 Domaine 3.2 Rfrences 3.3 Critres 3.4 Preuves 3.5 Indicateurs de performance 3.6 Etude de cas Module 4 : EVALUATION DE LA QUALITE DANS LES ETABLISSEMENTS UNIVERSITAIRES 4.1 Approches de lassurance qualit 4.1.1 Lapproche fonde sur les rfrentiels 4.1.2 Lapproche par ladquation aux objectifs 4.1.3 Standards minimaux ou standards dexcellence 4.2 Domaines dvaluation de la qualit 4.2.1 Etude de cas 4.2.2 Etude comparative des principaux modles Module 5 : COMPETENCES COMPLEMENTAIRES 5.1 Comptences interpersonnelles : communication, etc. 5.2 Gestion de projets 5.3 Systmes dinformation 5.4 Gestion des conflits 5.5 Approche par les comptences Responsables Bakouche Mezache et
Bouzid Berrouche
et
Boubakour Herzellah
et
Benstaali Berkane
et
Miliani Gourmalah
et
44
Bibliographie : Sources imprimes :

Commonwealth Higher Education Management Service 1998. Benchmarking in higher education: an international review. London: CHEMS. Available at www.chems.org Davis D. 1996. The real world of performance indicators: a review of their use in selected countries. London: Commonwealth Higher Education Management Service (CHEMS). Phelps, M. 2001. Accreditation and the quality assurance system for higher education in the Philippines. TA-3500-PHI: Philippines Education Sector Development Programme. Asian
Development Bank. Stella, A. 2002. External quality assurance in Indian higher education: case study on the National Assessment and Accreditation Council (NAAC). Paris: IIEPUNESCO.
i ii
http://ecee.colorado.edu/~mathys/ecen2250/abet/criterion3.html B. Benstaali, Self-Study Report for the Process Instrumentation and Control Engineering program http://www.docstoc.com/docs/99777781/ABET---Self-Study-Report-SSR---BSc-inProcess-Instrumentation-and-Control-Engineering-Program
iii
http://www.charmeux.fr/evalformetsomm.html Amliorer la Qualit de lEnseignement Superieur, Une tude du programme Tempus, Office des publications officielles des Communauts europennes, 2009
iv
45

Module 4 Berkane-Benstaali Evaluation de La Qualite Dans Les

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Module 4 Berkane-Benstaali Evaluation de La Qualite Dans Les

Transféré par

Droits d'auteur :

Formats disponibles

Module 4 : Evaluation de la Qualit des Programmes Universitaires, Baghdad Benstaali et Youcef Berkane

Commission Nationale pour lImplmentation de lAssurance Qualit dans lEnseignement Suprieur

EVALUATION DE LA QUALITE DES ENSEIGNEMENTS DANS LES ETABLISSEMENTS UNIVERSITAIRES

Formation des Responsables dAssurance Qualit (RAQs)

Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES)

A.3. Approches de lassurance qualit ................................................................... 8

A.4. Les diffrentes utilisations des standards ................................................... 15

B. II. Mesure de certains critres du programme ................................................ 31

Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES)

B. II. 5 Evaluation des OEPs / RAPs dun programme ............................................................. 37

Processus damlioration continue ......................................................... 38

Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES)

A. Concepts et Approches de lEvaluation de la Qualiti

A.2. Rappel des dfinitions des termes de base

Encadr (2) : Standards de qualit du domaine (6) de lOAQ [Suisse]

Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES)

Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES)

site web du MINEFI [France] 5

Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES)

A.3. Approches de lassurance qualit

Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES)

Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES)

Source: Phelps, 2001.

Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES)

Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES)

Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES)

Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES)

Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES)

Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES)

Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES)

Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES)

Figure 1: OEPs et RAPs

Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES)

Figure 2: Organigramme d'un programme

Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES)

Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES)

Evaluation sommative Evaluation formative

Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES)

Tableau 1 : Exemple de mesures directes des RAMs par module

62% 76% 69% 74% 48% 55% 84% 52% 65%

Un exemple de rsultats de RAM est donne dans la Figure 3.

Evaluation des RAMs pour un module

Figure 3: Exemple d'valuation des RAMs

Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES)

Figure 4: Exemple de scores pour les RAP d'un programme

Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES)

B. III. Processus damlioration continue

Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES)

Planification Excution Mesure Evaluation Feedback Changement

Excution Mesure Evaluation Feedback

Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES)

Figure 5: Exemple dvaluation des RAPs d'un programme

Commission dImplmentation de lAssurance Qualit dans lEnseignement Suprieur (CIAQES)

Mission Parties prenantes:

Enseignants Employeurs Alumni Etudiants Autres parties

Amlioration des OEP and RAP

Mise en place des OEPs

Rsultats dApprentissage Chaque 3-5 ans

Amlioration du Curriculum et Enseignement

Analyse des donnes et Evaluation

Outils dEvaluation et Collection des donnes

Amlioration des outils dvaluation

Figure 5: Processus damlioration continue