Revue inDIRECT

Bruxelles n12. 2008

Les nouveaux enjeux de la mesure de la qualit en ducation

Annie Vinokur
Professeur mrite de sciences conomiques
Universit de Paris X
Table des matires:
1. pourquoi un management de l'ducation "par la qualit"?
1.1. du "vieux management public" : obligation de moyens + confiance
1.2. au "nouveau management public" : obligation de rsultats + mfiance
2. la boite outils de la mesure de la qualit
2.1. La standardisation des produits
2.1.1. le point de vue du march: normer l'objet de l'change
2.1.2. le point de vue managrial : normer les objectifs de rsultats
2.2. la certification des processus de production
2.2.1. un indicateur de qualit sur les marchs.
2.2.2. un outil de contrle et de gestion
2.3. le classement des producteurs
2.3.1. classement et comptition sur les marchs
2.3.2. benchmarking et management
3. les prcautions d'emploi
3.1. les biais mthodologiques
3.2. les effets pervers de la relation d'agence
**
Les responsables d'tablissements et les enseignants constatent la multiplication des
instruments et des dispositifs d'valuation de la qualit en ducation: mesure des rsultats
(tests standardiss, valuation des acquis et des comptences, taux d'insertion professionnelle,
taux de rendement des tudes, bibliomtrie et dpts de brevets, Tuning1 des normes de
l'enseignement suprieur, etc.), valuation de la qualit des processus de production des
services d'enseignement (audits, normes d'assurance-qualit et d'accrditation des
tablissements, monitoring, "bonnes pratiques", dmarche qualit, Gestion Qualit Totale),
classements (comparaisons nationales et internationales des performances des lves,
indicateurs standardiss de comparaison des systmes ducatifs, classements des
tablissements scolaires, palmars des universits, indicateurs ducatifs de comptitivit des
territoires, benchmarking2, etc.).

Infra 2.1.1.
Le benchmarking consiste comparer une performance une norme ou un standard (gnralement la meilleure
performance observe) qui sert de point de rfrence pour mesurer les progrs.
2

Ces nouveaux dispositifs sont largement emprunts la pratique industrielle. Ils sont conus
et mis en uvre par des organismes, extrieurs l'cole, de natures juridiques et conomiques
trs diverses: organisations internationales, agences indpendantes but non lucratif,
"organismes quasi-autonomes non gouvernementaux", firmes multinationales du testing,
cabinets d'experts et de consultants, agences d'accrditation, medias, revues scientifiques, etc.
Or l'institution scolaire est elle-mme un vaste et vnrable dispositif de jugement de la
qualit, des savoirs et des lves: elle note, slectionne, confre grades et diplmes, elle
qualifie. Que signifie donc cette prolifration d'valuateurs des valuateurs? Leur objectif est
diffrent: il ne s'agit pas ici d'amliorer ou contrler la justesse, la fiabilit ou l'quit du
jugement des enseignants, mais, usage de dcideurs externes, de mesurer la qualit du
"produit" et du "processus de production" de l'enseignement lui-mme. Ce changement
d'objet de la mesure en ducation renvoie deux volutions majeures: (i) du march, avec la
globalisation des changes sur les marchs du travail et des services d'enseignement, (ii) de la
conception de l'Etat, avec l'adoption par de nombreux pays du "Nouveau Management Public"
(Peters 2004). Il convient donc de rappeler les origines du mouvement de pilotage "par la
qualit" en ducation [1] avant d'en recenser les principaux outils [2] pour enfin s'interroger
sur le mode d'emploi de ces nouveaux instruments de mesure de la qualit de l'ducation [3].

1. Pourquoi un management de l'ducation "par la qualit" ?

1.1. Du "vieux management public" : obligation de moyens + confiance
Dans les annes qui ont suivi la fin de la seconde guerre mondiale, les systmes ducatifs se
sont largement aligns sur le modle alors prconis par l'OCDE, qui prsentait l'URSS et la
France comme exemples au monde pour leur financement public et leur gestion centralise du
systme scolaire (OCDE 1962). Ce modle correspondait aux besoins du rgime de croissance
qui se mettait en place dans les pays industrialiss. Les mouvements internationaux de
capitaux et de marchandises tant contrls, le principal dbouch de la production est la
consommation des salaris nationaux. La croissance de la consommation et le plein emploi
sont assurs par la ngociation collective du partage des gains de productivit entre capital et
travail. L'obstacle est la pnurie de travailleurs qualifis, les jeunes trouvant aisment du
travail la sortie de l'enseignement obligatoire. Dans ces conditions les entreprises (i) sont
contraintes de ngocier avec les syndicats des systmes de rmunration attractifs adosss aux
qualifications, (ii) ont intrt participer collectivement via l'impt au financement de
l'expansion de l'instruction scolaire, (iii) peuvent supporter individuellement la charge de
l'adaptation des sortants du systme scolaire leurs besoins spcifiques dans la mesure o,
incites par la pnurie conserver leurs employs le plus longtemps possible (rmunration
l'anciennet, emploi vie, etc.), elles peuvent amortir cet investissement sur la longue dure.
Le droit l'instruction scolaire, considre comme bien public, s'inscrit alors dans les
Constitutions nationales. Le montant des ressources qui y sont affectes est politiquement
dcid. Le financement par l'impt rpartit le cot de l'enseignement entre tous ses
bnficiaires, directs et indirects. L'affectation de la dpense publique est administre: d'un
ct par une planification de l'offre de places scolaires en fonction des besoins anticips de la
socit en personnels forms, de l'autre par le rationnement sur critres acadmiques du droit
d'accs des individus aux places gratuites de l'enseignement post-obligatoire. Les cursus et
les diplmes sont contrls et garantis par les pouvoirs publics. La mise en uvre est
dlgue la profession, traditionnellement organise sur un modle collgial. La gestion des
tablissements peut se rsumer dans la formule "obligation de moyens + confiance".

L'obligation de moyens se traduit par un contrle bureaucratique a priori (qualification et

rmunration des enseignants, dfinition des programmes, normes d'encadrement,
autorisations pralables de dpense etc..), la confiance par la stabilit de l'emploi, le
recrutement par les pairs et l'autonomie pdagogique et scientifique. La mesure des rsultats
usage externe est purement quantitative (taux de scolarisation, de redoublement, de russite
etc.) car destine au pilotage de la planification dans une priode o le mot d'ordre est la
"course la scolarisation". L'valuation qualitative, qui relve du magistre de la profession,
est usage interne: mulation des lves et progression dans les cursus, feedback
pdagogique, valuation par les pairs.
1.2 .au "nouveau management public" : obligation de rsultats + mfiance
A partir du milieu des annes 1970, la drgulation des marchs des capitaux et la
financiarisation de l'conomie accroissent les risques conomiques et raccourcissent l'horizon
des dcisions des entreprises. Combine avec la libration des mouvements de marchandises,
la baisse des cots de transport et la rvolution informatique, la fluidit des capitaux autorise
des stratgies d'emble globale d'implantation des firmes transnationales. Les territoires et
leurs facteurs immobiles (travail, services publics, etc.) sont donc dsormais en comptition
pour les attirer: d'un ct par des avantages fiscaux, de l'autre par l'offre d'une main d'uvre
comptente abondante, qualitativement norme en fonction de leurs besoins et immdiatement
employable sans frais. Du ct de la demande de personnel qualifi, la quantit tant acquise
c'est la qualit qui est dsormais en question. Aux qualifications, titres scolaires jugs trop
axs sur les savoirs et sur lesquels les salaris peuvent appuyer leurs revendications, les
employeurs souhaitent substituer des comptences standardises, savoir-faire directement
productifs et qui permettent l'individualisation des rmunrations. Les World Competitiveness
Reports qui classent les territoires en fonction de leur attractivit pour les capitaux incluent
dans leurs critres des indicateurs de qualit de la main d'uvre et des services
d'enseignement. Simultanment, du ct de l'offre, les capitaux pntrent le secteur, jusque l
non marchand, de la reproduction de la force de travail (sant, ducation, protection sociale).
Se dveloppe une "industrie de l'enseignement" transnationale but lucratif 3, qui implique la
fin des monopoles ducatifs nationaux et l'hybridation du public et du priv dans la
production et le financement de l'enseignement. Le secteur ducatif, sans distinction de nature
juridique, passe du statut de service public national celui de secteur conomique de pointe
dans la comptition mondiale des territoires et des capitaux.
Pris en ciseaux entre des besoins de dpense d'ducation accrus et la baisse des recettes
fiscales assises sur les revenus du capital, le financement public n'apparat plus dans le
discours comme une variable mais comme une donne exogne: la "contrainte" budgtaire.
Deux solutions: (i) faire appel des financements privs complmentaires, (ii) amliorer la
productivit des services publics d'enseignement en mettant les producteurs en comptition et
3

Des tablissements existants, juridiquement publics ou privs, s'tendent l'international via l'ouverture de
filiales, le franchisage, les joint ventures, l'enseignement en ligne. Des conglomrats incluant des tablissements
d'enseignement suprieur crent des universits virtuelles fonctionnant comme courtiers pour leurs
enseignements distance. Les firmes de l' industrie de l'enseignement se concentrent, sont cotes en bourse, et
se livrent un lobbying actif auprs des gouvernements et des institutions internationales (cf. par ex. les
ngociations de l'Accord gnral sur le commerce des services dans le cadre de l'OMC). Pntrent galement sur
le march des institutions but non lucratif ou des sponsors dont l'ducation n'tait pas la vocation initiale. Des
firmes industrielles ou de service crent des chanes de services d'enseignement ou reprennent en sous-traitance
la gestion d' tablissements publics extrioriss par l'administration. Des socits off shore proposent sur le Web
des programmes et des diplmes "internationaux". Les universits d'entreprise, qui se multiplient, tendent
largir leur champ au del de leurs propres salaris et pntrer les campus existants.

en y diffusant les modes de gestion de l'entreprise prive. A partir des annes 1980, le
discours de l'OCDE ( mais aussi de la Banque Mondiale et de l'Union Europenne) s'inverse
pour fustiger non plus les dfaillances du march mais celles de l'Etat: monopoleur,
bureaucratique, inefficace, voire corrompu. Simultanment le terme de politique d'ducation
est remplac dans la littrature des organisations internationales par celui de management. Ce
management est le "Nouveau Management Public" (NPM) , doctrine issue des think tanks de
la "nouvelle droite" en Angleterre et aux Etats-Unis:

Le libre march est le mode de fourniture des services la plus efficace, celui qui
satisfait la demande au moindre cot.
Laisse au march, l'instruction serait cependant produite en quantit insuffisante en
raison de ses effets diffus sur la socit, dont les "clients" directs ne peuvent tenir
compte. Confier la demande sociale d'instruction au niveau politique de rsolution des
conflits d'intrts (dmocratie reprsentative) limite la capacit de tous les
bnficiaires exprimer leurs besoins en contribuant au financement de l'instruction.
La solution consiste favoriser l'entrecroisement des intrts de toutes les parties
prenantes (stakeholders) sous la forme d'accords (contrats, conventions, rseaux etc.),
dcalques non marchands de l'change marchand. Ces accords doivent pouvoir tre
librement conclus entre les agents quels que soient leur statut juridique, leur
nationalit et leur niveau hirarchique. On substitue la verticalit des rapports
d'autorit et de subsidiarit l'horizontalit des relations contractuelles, que l'on dsigne
parfois comme l'expression d'une "dmocratie participative".
Du ct de l'offre, lorsque la concurrence des producteurs sur le march n'est pas
envisageable, il convient de lui substituer son double, la comptition non marchande
ou quasi marchande4.
L'Etat doit donc se concentrer sur ses fonctions de "stratge": (i) partenaire dans les
accords entre stakeholders, (ii) pilote de l'offre: il doit dlguer ou extrioriser les
fonctions de production et de contrle: non plus faire, i.e. administrer, mais faire-faire,
i.e. piloter distance les producteurs (oprateurs)

Mais comment piloter si, en tant que financeur, on ne dispose pas de pouvoir direct dans la
gestion de l'organisme dlgu? On peut recourir au principe de l'agence, expriment au
niveau micro dans les relations entre les fonds de pension actionnaires et les firmes (pension
governance), et au niveau macro dans les relations entre bailleurs de fonds internationaux et
pays endetts. Soit A un principal (l'actionnaire) et B un agent (la firme) dont les intrts
divergent. Pour contraindre B donner la priorit aux intrts de A sur les siens propres, A
fixe B des objectifs de rsultats, assortis d'incitations (punitions/rcompenses), et met en
uvre les procdures ncessaires pour vrifier si et comment ces objectifs ont t satisfaits.
Ce qui suppose l'autonomie de l'agent, libre des moyens qu'il utilise pour atteindre les
objectifs fixs par le principal (le modle en ducation est l'universit "entrepreneuriale")
mais aussi sa "transparence" et sa responsabilit (accountability). La formule peut se rsumer
en "obligation de rsultats + mfiance".
Sur les marchs de l'ducation comme dans la relation d'agence, la mesure de la qualit est
donc indispensable. Les marchs du travail et de l'enseignement ont besoin d'une

Le terme de quasi-march a t utilis d'abord en Angleterre pour caractriser le changement de systme

intervenu dans l'enseignement obligatoire en 1988: les coles, indpendantes, sont entirement finances par
l'Etat sur la base des effectifs d'lves; les familles ayant le libre choix de l'tablissement, les tablissements sont
ainsi mis en comptition pour les attirer.(West & Pennel 2005)

information norme sur la qualit de ce qui est chang. L'Etat-principal a besoin d'outils de
pilotage qualitatifs pour la formulation des objectifs et le contrle de leur bonne excution.

2. la boite outils de la mesure de la qualit

On peut classer les outils employs en trois groupes: ceux qui visent normer le produit, ceux
qui valuent la qualit du processus de production et enfin ceux qui classent les producteurs.
Chacun peut servir l'une des deux fonctions (information du march, pilotage par l'agence)
ou aux deux la fois.
2.1. La standardisation des produits
2.1.1. le point de vue du march: normaliser les produits changs

Un march efficace suppose la transparence, et en particulier que les changistes soient

parfaitement informs, pralablement l'change, de la substance mme de la chose
change, i.e. des caractristiques du produit (sa qualit intrinsque). Plus le march s'tend,
donc, plus doit s'accrotre la demande de spcification qualitative de l'objet de l'change.
Lorsque le problme s'est pos pour les changes de produits manufacturs au lendemain de
la seconde guerre mondiale, on a cr, en marge du GATT (OMC) une unique organisation
non marchande, l'International Organization for Standardization (ISO). Dfinissant la qualit
comme l'aptitude satisfaire le client ("fitness for purpose"), l'ISO a dvelopp partir de
1947 des standards techniques de produits sur la base de consensus entre reprsentants des
secteurs demandeurs, ratifis ensuite par les pays membres
Dans le cas du march du travail, les caractristiques qui font que la force de travail est
demande (sa productivit) ne peuvent se manifester que dans l'emploi lui-mme, d'o la
ncessit, l'embauche, de disposer d'indicateurs de productivit future. On pourrait imaginer
le dveloppement - par consensus des secteurs demandeurs de force de travail - de standards
techniques de comptences, qui normeraient la qualit des produits fournir par le secteur
ducatif 5. Mme si le projet tait ralisable dans le cas du travail salari, il est peu probable
qu'il soit mis en uvre, et pas seulement parce que l'cole a d'autres vises que de fournir
flux tendu l'conomie les travailleurs formats dont elle exprime la demande. Les
tablissements et les systmes ducatifs se font en effet concurrence non sur les prix mais sur
la rputation de qualit de leurs propres certifications, les diplmes. Historiquement le
problme de la normalisation et de la comparabilit des diplmes t rsolu au niveau national
par des procdures non marchandes, publiques ou prives, d'habilitation ou d'accrditation..
5

Cf. sous la plume dun directeur de lInstitut International de Planification de lEducation de lUNESCO : la
certification des comptences par un systme international constitue une vritable chance pour lducation si la
course lexcellence se traduit effectivement par une amlioration de la qualit de lducation et de la
transparence dans lvaluation des comptences. Cette amlioration ne pourra seffectuer que si les
comptences acquises au sein de lcole et des diffrentes formes dducation informelle rpondent le plus
exactement possible aux ncessits du march. Or, les capacits ncessaires seront de plus en plus de lordre du
non-cognitif (panouissement personnel et autonomie, capacit de participation et dintgration). Ce sont autant
daptitudes qui sont difficilement quantifiables et standardisables. Il faut donc chercher le moyen de
standardiser et valuer non seulement les comptences cognitives mais aussi celles qui ne le sont pas. Lchec
dans cette mission risquerait dentraner deux consquences : dune part tout systme de certification
deviendrait inefficace, puisquil ne rpondrait pas aux exigences du march qui a besoin dune source
dinformation sre sur laquelle fonder les critres de recrutement ; dautre part le rductionnisme du systme
dvaluation des aptitudes a toutes les chances de se rpercuter sur la qualit de lducation qui tendrait
limiter son action lapprentissage du savoir (Hallak, 1998).

Au niveau international, les conflits d'intrts autour de l'quivalence et de la transfrabilit

des diplmes sont tels que l'accord politique s'y avre impossible, mme dans un cadre
rgional. D'o les tentatives de recours, pour construire l'Espace Educatif Europen par
exemple, deux processus "bottom up", inverses de celui de l'industrie: (i) le premier est le
projet pilote Tuning Educational Structures in Europe, initi en 2000 par un groupe
duniversits avec le soutien de lAssociation Europenne des Universits et du programme
Socrates: il vise faire dfinir par les universits les comptences, gnriques et spcifiques
chaque domaine, qui doivent normer les produits des deux premiers cycles (licences et
masters). (ii) le second fait le pari qu' partir de l'homognisation des services
d'enseignement par la certification des processus de production on pourra atteindre finalement
la convergence des certifications universitaires (infra 2.2.1.)
2.1.2. le point de vue managrial : fixer des normes de rsultats
En revanche, la standardisation des rsultats se gnralise lorsque la mesure du produit,
dconnecte du diplme, a pour objectif l'accroissement de l'efficacit interne des
tablissements scolaires. C'est le cas en particulier des tests dits "high stake" du type de ceux
mis en uvre en Angleterre, ou par la loi "No child left behind" aux Etats-Unis dans
l'enseignement obligatoire. Les tests passs par les lves, qui portent sur un petit nombre de
comptences de base (expression crite et maths) ont pour fonction non d'valuer les lves
mais de mesurer la capacit des coles (et parfois des enseignants) remplir les objectifs de
niveau et de progression qui leur ont t assigns. Des rsultats dpendent le jeu des
incitations (primes la performance) et des sanctions (qui vont jusqu' la fermeture de
l'cole). Ces tests ( 45 millions par an aux USA) sont sous-traits par les Etats des firmes
multinationales du testing. Jusqu'ici rservs la scolarit de base, le modle tend gagner le
premier cycle de l'enseignement suprieur. Constatant l'insuffisance du niveau des tudiants
aux Etats-Unis, le rapport Spellings recommande la gnralisation des tests de comptence et
le financement la performance sur le mme modle: "no undergraduate left behind"
(Spellings 2006).
Mais dans la comptition mondiale de l' "conomie de la connaissance", les produits
stratgiques sont dsormais moins ceux de l'enseignement que de la recherchedveloppement. Les annes rcentes ont vu la multiplication des critres de rsultats dans ce
domaine: bibliographiques et bibliomtriques (nombre de publications scientifiques, pondr
par un indice de qualit de leurs supports et un facteur d'impact), nombre de brevets dposs,
nombre et montant des contrats passs avec les entreprises etc. La performance ainsi mesure
devient centrale dans les critres de financement public des tablissements d'enseignement
suprieur6.
2.2. la certification des processus de production
A partir des annes 1980, dans l'industrie, le problme n'est plus le manque de spcifications
des produits, il est celui de l'incapacit de certaines entreprises faire en sorte que leurs
produits satisfassent ces standards techniques, ce qui accrot les cots de transaction dans
l'espace international. ISO 9000, publi pour la premire fois en 1987, a alors t dvelopp
pour tablir un standard minimum de qualit du processus de production, assurant que le
produit expdi est conforme aux spcifications convenues entre l'acheteur et le vendeur. Le
but de la certification d'assurance qualit d'une entreprise est "de dmontrer au client sa
6

Cf par exemple en France le "projet de performance pour l'enseignement suprieur et la recherche" de la Loi
organique des lois de finance (LOLF) 2007

comptence et son savoir-faire en matire de qualit de l'offre, et de dmontrer la matrise

des processus de ralisation sans pour cela s'attacher la performance du produit"7.. La
transposition aux services (privs et publics) du modle ISO de certification de processus est
en principe aise dans la mesure o les normes portent sur lorganisation et sont gnriques,
cest--dire que les mmes normes peuvent tre appliques toute organisation, grande ou
petite, quel que soit son produit qui peut tre en fait un service indpendamment du
secteur dactivit et que lorganisation soit une entreprise, une administration publique ou un
dpartement gouvernemental (ibid).
Si l'usage de procdures d'assurance qualit de type ISO 9000 et la pratique de l'accrditation
se gnralisent dans l'enseignement, c'est parce qu'elles y remplissent deux fonctions souvent
confondues, l'une usage externe de label de qualit sur les marchs, l'autre usage interne de
management. .
2.2.1 un indicateur de qualit sur les marchs
L'accrditation est un label de qualit du fournisseur de services d'enseignement. Ds lors que
ces services s'internationalisent, les systmes nationaux d'accrditation n'assurent plus la
transparence des marchs, ni ne protgent les systmes ducatifs nationaux dans le cadre de
l'Accord gnral sur le commerce des services (AGCS). Individuellement, les fournisseurs ont
intrt capitaliser des labels dans leurs stratgies de conqute de parts de march, d'autant
que le cot lev et rcurrent d'ISO 9000 et de l'accrditation favorise la concentration en
liminant du march les tablissements ou les formations de taille trop rduite ou de moyens
financiers insuffisants. Des tablissements, dj habilits par des agences nationales
publiques, sollicitent des accrditations d'agences trangres pour tre plus visibles sur les
marchs globaux. Des tablissements suprieurs professionnels crent leurs propres labels
(coles d'ingnieurs ou de commerce). Les fournisseurs transnationaux s'opposent, comme
dans l'industrie, tout contrle externe de la qualit de leurs activits et prfrent soit recourir
leurs propres organismes d'accrditation, soit s'autorguler via des "codes de bonne
conduite" (Vinokur 2006)
La demande d'accrditation est d'autant plus forte que les tablissements veulent un label mais
pas de contrle public. C'est ainsi que, paralllement aux services gouvernementaux
d'valuation et d'habilitation prsents dans la plupart des pays dots d'un systme
d'enseignement public, on trouve des agences d'accrditation quasi gouvernementales, semi
indpendantes ou prives, infra-, supra- ou transnationales, certifiant des tablissements ou
des programmes, utilisant des mthodes et des critres varis, dotes de moyens trs ingaux
Ce march est en pleine expansion8: Les tablissements peuvent se procurer ces labels sur un
march libre et foisonnant d'agences d'accrditation, souvent auto proclames, qui toutes
revendiquent l' "indpendance", politique et conomique, indispensables leur crdibilit. La
ncessit de mettre de l'ordre sur ce march relve de la protection du consommateur, mais
aussi et surtout de la rgulation des changes internationaux de services, d'tudiants et de
travailleurs. On a vu (2.1.1.) que, dfaut d'accord sur la standardisation des certifications, le
projet initial de la Dclaration de Bologne attendait l'harmonisation des diplmes
principalement de "la promotion d'une coopration europenne dans le domaine de
7

http://www.iso.org
"on observe le dveloppement foisonnant d'agences d'accrditation et d'assurance qualit aux niveaux
nationaux et rgionaux, cependant que des accrditeurs autoproclams font une publicit agressive, se targuant
parfois de liens avec l'Unesco ou les Nations Unies comme preuve de leur crdibilit internationale" (UvalicTrumbic 2001

l'assurance qualit, en vue de dvelopper des critres et mthodologies comparables". Y

figurait la cration d'un "label europen d'assurance-qualit", gr par un unique organisme
officiel qui accrditerait les agences d'accrditation des tablissements europens et des
fournisseurs transnationaux de services d'enseignement suprieur. Mais c'est le seul point du
projet qui n'avait pas reu l'assentiment des ministres, peu favorables dans ce domaine une
intervention directe de l'Union qui remettrait en cause les systmes nationaux d'accrditation
et rencontrerait des rsistances intrieures. De mme, pour l'OCDE, "une meta-accrditation
peut s'avrer un outil puissant au niveau international. Une procdure de reconnaissance,
base sur l'valuation des agences d'assurance-qualit et d'accrditation selon des standards
accepts par la communaut professionnelle entranerait la reconnaissance multilatrale des
agences. Celle-ci, son tour.. donnerait l'assurance que cette valuation est ralise sur la
base de standards reconnus internationalement. La confiance dans les systmes d'assurance
qualit et d'accrditation constituerait un grand progrs dans le domaine de la
reconnaissance des qualifications"9.
La ncessit de mettre un peu de transparence sur ce march (Sanyal & Martin 2007) suscite
des efforts pour tablir des systmes de "meta-titres", sur la base du volontariat10. Mais ces
efforts se heurtent aux enjeux de pouvoir conomique et politique que reprsente l'adoption
d'un unique systme de standards de qualit, et rencontrent l'opposition des fournisseurs
transnationaux . La moralisation du march de l'accrditation ne peut passer actuellement que
par des codes de bonnes pratiques sans sanctions (Dias & Van Ginkel 2006).
2.2.2. un outil de management
La certification ISO 9000 a t conue pour les besoins des relations entre donneurs d'ordre et
sous-traitants; en cas de dfaut dans le produit livr, elle permet de remonter rapidement
l'origine du problme et de le rgler. Dans la relation d'agence, qui est cense permettre au
principal d'obtenir les rsultats souhaits sans avoir se proccuper de la faon dont ils ont t
obtenus, la seule information ncessaire en principe concerne la fiabilit des rsultats. La
lourde procdure de l'assurance qualit des "oprateurs" d'enseignement remplit donc une
autre fonction: celle d'amener ces derniers en adopter le prolongement dynamique, le Total
Quality Management (TQM), directement inspir des mthodes de gestion des entreprises
japonaises qui ont pntr dans l'industrie dans les annes 1970. L'objectif est de s'assurer une
part de march croissante en se focalisant sur la qualit des produits comme support de
marketing. Le principe est l'internalisation de la qualit dans le processus de production par
les travailleurs eux mmes. Le but tant simultanment d'amliorer la qualit et d'abaisser les
cots11, il est fait appel la mobilisation de tous dans une "culture de l'apprentissage".
La premire tape de la procdure d'assurance qualit est la mise plat collective des
processus de production et l'autovaluation. La dmarche valorise les membres de
l'organisation traits en "sujets" de leur activit, les gaspillages de temps et les lourdeurs
bureaucratiques inutiles sont identifis; le collectif de travail, soucieux d'efficacit, peut
trouver et mettre en uvre de nouvelles faons de faire. Lorsqu'elle n'tait pas dj
9

OECD/US Forum on Trade in Educational Services 23-24 May 2002, Washington DC, USA
Exemple au niveau rgional de lENQA (European Network of Quality Assurance), rseau d'agences
d'assurance qualit des pays membres, cr en 2000 pour assurer la qualit des agences d'accrditation; ou au
niveau mondial du projet de World Quality Register (WQR) propos en 2002 par l'Association Internationale des
Prsidents d'Universits (IUAP) sur la base d'un consortium de rseaux d'agences d'accrditation rgionales.
11
Des cabinets de consultants proposent par exemple le TQM aux coles primaires et secondaires amricaines,
sur l'argument qu'il doit leur permettre de rsoudre l'quation: baisse du financement public, augmentation des
exigences de qualit (tests).
10

spontanment pratique, cette phase, de mme que l'audit par les pairs, est en gnral
favorablement accueillie dans les tablissements d'enseignement car elle n'est pas trangre
la culture professionnelle des enseignants. Les problmes apparaissent lorsque les objectifs de
performance imposs entrent en conflit avec la conception de la "qualit" propre une
profession gnralement peu motive par la lutte pour les parts de march. La mise plat des
procdures permet alors une quantification dtaille des objectifs qualitatifs et l'imposition de
contrles plus bureaucratiques et de mthodes plus tayloriennes que ceux de l'ancien
management.
2.3.Le classement des producteurs
La comptition monopolistique entre tablissements repose sur une image de marque de
leur qualit, soutenue par une publicit qui peut tre mensongre. Par ailleurs laccroissement
du nombre des fournisseurs de services denseignement et la diversification de leur offre de
cursus et de diplmes suscitent de la part des utilisateurs (employeurs, tudiants dont la
hausse des frais dinscription encourage le consumrisme, gouvernements engags dans la
promotion de leurs territoires) une demande croissante danalyses comparatives pour clairer
leurs choix. LUNESCO soutient cette entreprise12. Les agences daccrditation ntant pas
des agences de notation, la hirarchisation des rputations est confie aux classements, dont le
march se dveloppe tout aussi rapidement.
Rpondant la demande de comparabilit partir des annes 1990, l'UNESCO et l'OCDE
produisent des indicateurs de performance (ex du Programme international pour le suivi des
acquis des lves, PISA), dfinissent des classements de pays sur des chelles numriques et
identifient les "bonnes pratiques". Des agences gouvernementales "notent" les tablissements
sur leurs performances13 . Les palmars des meilleurs tablissements" relvent, eux, dun
march essentiellement commercial, domin par les media (pour un journal ou une revue, le
numro spcial consacr chaque anne au palmars des lyces ou des universits est sr
d'avoir la plus large diffusion). Accessoirement on trouve des agences prives (ex. Recruit Ltd
au Japon14), des universits (ex. Jia Tong Shanghai), des fournisseurs de prparation aux
examens dentre luniversit (ex. des jukus), des firmes de l'industrie de l'information
(webmetrics), etc.. Dabord limits aux marchs nationaux, les producteurs de palmars
tendent maintenant leur champ aux classements internationaux. Ils construisent des
indicateurs synthtiques partir dindicateurs objectifs et/ou subjectifs. Les indicateurs
objectifs, recueillis auprs des tablissements, des agences daccrditation et des
administrations, portent sur le taux de slection lentre, le pourcentage d'tudiants
trangers, les ratios tudiants/enseignants, les quipements, les publications cites et les
brevets, linsertion et la carrire des anciens lves, le cot des tudes, etc. Les indicateurs
subjectifs de qualit acadmique sont lopinion des lycens et de leurs professeurs, celle des
tudiants, lvaluation mutuelle des dpartements universitaires par leurs pairs, la rputation
des enseignants auprs de leurs collgues, lopinion des DRH sur les comptences des

12

La Confrence Mondiale sur lEnseignement Suprieur, tenue lUNESCO en 1998, avait conclu la
ncessit de dvelopper les indicateurs statistiques pour lvaluation de la qualit des institutions denseignement
suprieur et les mthodologies de construction de tableaux de classement .
13
ex. du Dpartement de l'ducation de NewYork qui attribue des notes globales de A F aux coles de la ville
en fonction de leurs performances dans le cadre de la loi "no child left behind" (New York Times. 4 novembre
2007).
14
Fond en 1997, Recruit Ltd tire ses recettes des contributions des tablissements et assure un service gratuit
pour les utilisateurs. Il a galement dvelopp, l'usage des DRH, un test standardis de comptences gnrales
indpendantes des programmes d'tudes.

diplms, etc. Ces classements, hors l'information du public, remplissent deux fonctions: de
mise en comptition des producteurs sur le march et de benchmarking des performances.
2.3.1

classement et "dviation acadmique"

Dans l'enseignement suprieur le classement a pour effet d'acclrer la "dviation"

acadmique, dfinie comme la tendance des institutions, en l'absence de toute contrainte
externe, copier les institutions plus prestigieuses (Morphew & Huisman 2002). Si on ne
connat gure l'impact des classements sur la demande d'inscription des tudiants, en revanche
leur influence sur les stratgies des directions des tablissements est avre. La publication
des palmars a un effet mimtique sur les stratgies de positionnement sur le march de
concurrence monopolistique des tablissements. Une universit qui veut largir sa part de
march aura tendance s'interroger, non sur les critres et la qualit du palmars qui l'a note,
mais sur l'effet du classement sur ses clients, financeurs et partenaires. Si elle pense que
ceux-ci y croient, il ne lui reste plus qu' s'aligner sur les critres de notation du palmars pour
amliorer son rating. La prophtie devient autoralisatrice. La ncessit de jouer le jeu de la
comptitivit dans des rgles dont on ne questionne pas la pertinence apparat comme une
vidence.
L'influence des experts en notation est redouble par celle des cabinets de consultants appels
conseiller pouvoirs publics et universits. Cette tendance l'homognisation des critres
(en particulier ceux relatifs la recherche, dont le poids est dterminant) renforce
l'extraversion des enseignements suprieurs nationaux. Les classements sont donc beaucoup
plus efficaces que les efforts de normalisation de l'accrditation pour aligner les
enseignements suprieurs sur un mme modle dominant. Dans le cas de l'espace ducatif
europen, le processus de Bologne a t absorb par celui de Lisbonne, l'objectif
d'harmonisation par celui de comptitivit. Il n'est pas interdit de penser que, une fois
obtenue l'harmonisation minimale des cursus (LMD) indispensable la concurrence, les
palmars s'avraient plus efficaces pour parvenir la convergence. La large publicit accorde
en Europe au classement dit de Shanghai pourrait ainsi tre impute au fait que les universits
europennes y figurent dans un mauvais rang.
2.3.2. benchmarking et management
Dans le NPM les indicateurs statistiques sont utiliss comme rponses et non comme
questions, comme cibles normatives atteindre et non comme images de la ralit destines
informer les dcideurs. La mesure ordinale est donc privilgie comme outil de gestion. Ainsi
par exemple la Mthode ouverte de coordination (MOC) de la Commission europenne, qui
vise la convergence des politiques d'ducation: (i) fixe pour l'Union des lignes directrices
assortie de calendriers, (ii) tablit des indicateurs quantitatifs et qualitatifs et des benchmarks
cals sur les meilleurs indicateurs mondiaux et les meilleures pratiques, (iii) traduit les lignes
directrices gnrales en objectifs et politiques spcifiques pour chaque tat membre, (iv) met
en place monitoring, valuations et audits, prsents comme processus d'apprentissage
mutuel. On a pu dire ainsi que l'on tait pass de l'intgration par le droit l'europanisation
par les chiffres (Dale 2005)
Au niveau national, les objectifs de rsultats sectoriels tendent naturellement se caler sur les
benchmarks fournis par les classements internationaux, de PISA aux palmars des universits.
Ainsi, par exemple, le "projet de performance 2007" franais pour l'enseignement suprieur
donne la priorit aux indicateurs de recherche-dveloppement qui dterminent quasi-

10

exclusivement le classement de Shanghai au dtriment des indicateurs de qualit de

l'enseignement.
3.

prcautions d'emploi des outils de mesure

Les proccupations commerciales ou normatives sont peu favorables la production

d'objectifs chiffrs fiables. L'importance des enjeux dans la relation d'agence suscite tricherie
et collusions dans la mesure des rsultats 15, et les rsistances sont d'autant plus fortes que les
intrts du principal et de l'agent sont plus opposs.
3.1. les biais mthodologiques

les indicateurs synthtiques combinent gnralement des indicateurs objectifs chiffrs

(dont la relation avec les variables dont ils sont supposs tre le proxy n'est pas
toujours pertinente16) et des indicateurs subjectifs d'opinions dont l'additivit est
mthodologiquement irrecevable. Les classements sur ces indicateurs sont trs
sensibles la pondration des variables, rarement publie et aisment manipulable17.
Un exemple de biais statistique est fourni aux USA dans l'application de la loi "No
child left behind"'. A l'occasion de la mise en cause de ses rsultats, une firme de
testing a rappel que (i) d'une anne sur l'autre les enfants tests ne sont pas les
mmes, (ii) si on utilise le mme test chaque anne le score ne sera pas significatif en
raison de l'effet d'apprentissage, et si on en change on ne peut pas comparer les
rsultats. De sorte que les faibles variations enregistres d'une anne sur l'autre qui
commandent le jeu des incitations/sanctions - sont au dessous du seuil de fiabilit.
Les gouvernements veulent des rsultats chiffrs rapides. La mesure du facteur
d'impact d'une publication par le nombre de citations dans les deux ans pnalise les
nouveaux sujets de recherche et les avances scientifiques importantes qui sont
souvent la marge et d'aprs la communaut scientifique - mettent en moyenne dix
ans tre reconnues, favorise les effets de mode et les publications dans la langue
dominante (Lawrence 2007). De mme pour le classement des revues scientifiques par
leur facteur d'impact, qui est circulaire, ne garantit pas ncessairement la qualit des
articles publis, pnalise les recherches interdisciplinaires, favorise les chercheurs du
pays des revues les mieux classes.
La normativit qui lie le souci de promouvoir les "bonnes pratiques" au benchmarking
sur indicateurs chiffrs peut conduire prsenter de simples corrlations comme des
causalits18

3.2. les effets pervers de la relation d'agence

15

Chistopher Hood note avec ironie que le management centralis des services publics par objectifs, introduit
par Tony Blair en 1998, ressemble fort aux mthodes de la planification sovitique, et les mmes causes
produisant les mmes effets - qu'il n'est donc pas surprenant qu'on observe en Angleterre les mmes stratgies
de tricherie dans l'execution qu'en URSS (Hood 2006).
16
Ex: le pourcentage de professeurs trangers reflte-t-il le prestige de l'universit ou la pnurie d'enseignants?
Celui des tudiants trangers la rputation de l'tablissement ou un faible cot relatif des tudes?
17
Sur la critique mthodologique des classements, cf. Eccles 2002, qui de surcrot souponne les journaux, pour
maintenir leurs ventes, de changer leurs pondrations dune anne sur lautre afin de modifier le rang des
tablissements (Eccles, 2002).
18
Ex: de l'exploitation des donnes de PISA par l'OCDE pour tablir des "liens forts" entre les variables
scolaires, comme "la performance en mathmatiques est corrle avec l'autonomie des tablissements", ou les
publications de la Banque Mondiale montrant "l'absence de lien significatif entre la dpenses publique
d'ducation et la dure moyenne des scolarisations" (Cusso & D'Amico 2005)

11

Les effets pervers de la relation d'agence ont dj t tudis au niveau micro (ex de l'affaire
Enron) et au niveau macro (relations entre bailleurs de fonds et pays aids). Ils sont
imputables trois caractristiques de la relation:

le principal, par dfinition extrieur l'organisme agent, ne peut connatre les

conditions concrtes de fonctionnement interne qui sous-tendent la cration de valeur
dans la firme ou la mise en uvre effective des conditionnalits imposes par les
bailleurs de fonds. Ce qui laisse une marge de manuvre l'agent pour manipuler
l'information. On note, en ducation: le gonflement artificiel du nombre de candidats
pour lever le ratio de slection l'entre, l'limination des lves les moins
performants, le bachotage (teach to the test) au dtriment des autres activits
pdagogiques, voire des pratiques directes de tricherie pour lever les scores, la
pratique systmatique des liens hypertextes pour booster le classement des universits
et des quipes de chercheurs dans les moteurs de classement du type webmetrics,
l'tablissement de rseaux d'change de citations, ou de relations privilgies avec
d'autres tablissements pour obtenir des opinions favorables des pairs, etc.
le contrle externe est coteux; il suppose pour tre efficace des capacits de
l'administration centrale au moins gales celles de l'agent, d'o une double
bureaucratie, celle de l'agent pouvant tre plus puissante que celle du principal.
Exemple aux USA du contrle des tests dont la passation est extriorise par une
administration d'autant moins bien dote qu'il s'agit de faire des conomies de dpense
publique19. Les organes dlgus de contrle ou les producteurs de classement peuvent
galement parfois commercialiser leurs services d'aide aux contrls; on a vu supra la
difficult de moraliser le march de l'accrditation et des classements.
La lgitimit du principal repose sur l'obtention de rsultats; il peut donc tre amen
nouer avec l'agent une collusion satisfaisante pour les deux: par exemple abaisser le
niveau des tests ou manipuler les statistiques de rsultats, ou encore jouer du pur effet
de la taille des tablissements sur les classements en effectuant des regroupements
fictifs etc.

Mais la relation d'agence en ducation a aussi des effets sur les comportements des agents que
l'on ne peut qualifier de pervers dans la mesure o ils entrent bien dans les objectifs du
principal tel que dfini par le nouveau management public: subordination de l'action au jeu
des incitations/sanctions, prfrence pour le court terme, magistre du chiffre et des valeurs
marchandes, recherche de visibilit de l'action au dtriment de son contenu, perte de
l'autonomie pdagogique et scientifique, extraversion de la recherche et de la culture. A
chacun de les qualifier en fonction de sa propre conception de la qualit en ducation.
**

19

les multinationales du testing peuvent payer 200.000 $ leurs psychomtriciens, l'Etat ne peut offrir que le
quart de cette somme (David Herszenhorn: As Test-Taking Grows, Test-Makers Grow Rarer. New York Times.
May 5, 2006)

12

Rfrences:
Cusso Roser & D'Amico Sabrina (2005). Vers une comparabilit plus normative des
statistiques internationales de l'ducation. In Vinokur [ed] 2005 pp.21-48.
Dale Roger (2005). The potentialities of "la mesure en ducation": the European Union's
Open Method of Coordination and the Construction of a European Education Space. In
Vinokur [ed] 2005 pp. 49-65
Dias Marco-Antonio & Van Ginkel Hans J. (2006). Institutional and Political Challenges of
Accreditation at the International Level. III GUNI Conference. Barcelona.nov.
Eccles C. (2002) Lutilisation des classements des universits au Royaume-Uni ,
Enseignement Suprieur en Europe, vol. XXVII, n 4,
Hallack J. (1998), Education et globalisation, Paris, Institut International de Planification de
lEducation, Contributions n 26.
Hood Christopher (2006). Gaming in Targetworld: The Target Approach to Managing British Public
Services. Public Administration Review. July-August.
Lawrence Peter A. (2007). The Mismeasurement of Science. Current Biology. Vol 17 n15

Morphew CC. & Huisman J. (2002): L'utilisation de la thorie institutionnelle pour la

rorientation de la recherche sur la dviation acadmique. In UNESCO-CEPES (2002): Les
classements des institutions suprieures. Enseignement suprieur en Europe. Vol XXVII n4.
pp.127-146.
OCDE (1962): Les politiques de croissance conomique et d'investissement dans
l'enseignement. Confrence de Washington oct.1961.
Peters B.Guy (2004). Nouveau management public. Dictionnaire des politiques publiques.
Les Presses de Sciences Po. Paris. pp. 304-309.
Romainville Marc (2002) L'valuation des acquis des tudiants dans l'enseignement
universitaire. Rapport tabli la demande du Haut Conseil de l'Evaluation de l'Ecole. Paris
Sanyal Bikas C. & Martin Michaela (2007): Quality Assurance and the Role of
Accreditation : an Overview in Higher Education in the World 2007 Accreditaion for
Quality Assurance : What is at Stake?" GUNI, Barcelona and Palgrave Macmillan,
Basingstoke, England. pp 3-23.
Spellings M. - A Report of the Commission appointed by (2006): A Test of Leadership: Charting the
Future for the US Higher Education. US Dept of Education. Washington DC

Uvalic-Trumbic S. (2001), Introductory remarks , Expert Meeting on the Impact of

Globalization on Quality Assurance, Accrditation and the Recognition of Qualifications in
Higher Education, Paris, UNESCO, 10-11 sept.

13

Vinokur Annie [ed](2005): Pouvoirs et mesure en ducation. Cahiers de la Recherche sur

l'Education et les Savoirs. Hors-srie n1 juin. (telechargeable sur http://netx.uparis10.fr/foreduc/)
Vinokur Annie (2006). La qualit de la mesure de la qualit dans lenseignement suprieur:
Essai d'analyse conomique. Education et Socits. n 18
West Ann & Pennel Hazel (2005). Market Oriented Reforms and "High Stakes" Testing:
Incentives and Consequences. In Vinokur [ed] 2005 pp. 181-200.

14