Éclairer Les Choix en Matière de Recherche: Indicateurs Et Décisions

clairer les choix en matire i ndicateurs et dcisions
de recherche
Le comit dexperts sur le rendement scientifique et le financement de la recherche
Le savoir au service du public
clairer les choix en matire de recherche : indicateurs et dcisions Le comit dexperts sur le rendement scientifique et le financement de la recherche
ii
clairer les choix en matire de recherche : Indicateurs et dcisions
le conseil des acadmies canadiennes 180, rue elgin, bureau 1401, ottawa (ontario) canada K2P 2K3 Avis : Le projet sur lequel porte ce rapport a t entrepris avec lapprobation du conseil des gouverneurs du Conseil des acadmies canadiennes (CAC). Les membres de ce conseil des gouverneurs sont issus de la Socit royale du Canada (SRC), de lAcadmie canadienne du gnie (ACG) et de lAcadmie canadienne des sciences de la sant (ACSS), ainsi que du grand public. Les membres du comit dexperts responsable du rapport ont t choisis par le CAC en raison de leurs comptences spcifiques et en vue dobtenir forum quilibre des points de vue. Ce rapport a t prpar pour le gouvernement du Canada en rponse une demande soumise par le Conseil de recherches en sciences naturelles et en gnie par lintermdiaire du ministre de lIndustrie. Les opinions, constatations, conclusions et recommandations prsentes dans cette publication sont celles de leurs auteurs, savoir les membres du comit dexperts sur le rendement scientifique et le financement de la recherche, et ne reprsentent pas ncessairement la position des organismes auxquelles ils sont affilis ou dont ils sont employs. Catalogage avant publication de Bibliothque et Archives Canada Conseil des acadmies canadiennes. Comit dexperts sur le rendement scientifique et le financement de la recherche clairer les choix en matire de recherche [ressource lectronique] : indicateurs et dcisions / Le Comit dexperts sur le rendement scientifique et le financement de la recherche. Publ. aussi en anglais sous le titre: Informing research choices. Comprend des rf. bibliogr. et un index. Monographie lectronique en format PDF. Publ. aussi en format imprim. ISBN 978-1-926558-44-8 1. Recherche valuation. 2. Recherche technique valuation. I. Titre. Q180.55.E9C6814 2012 507.2 C2012-902681-6
Avis de non-responsabilit : Au meilleur de notre connaissance, les donnes et les informations tires dInternet qui figurent dans le prsent rapport taient exactes la date de publication du rapport. En raison de la nature dynamique dInternet, des ressources gratuites et accessibles au public peuvent subsquemment faire lobjet de restrictions daccs ou exiger des frais et lemplacement des lments dinformation peut changer lorsque les menus et les pages Web font lobjet de modifications. 2012 Conseil des acadmies canadiennes Imprim Ottawa, Canada
Cette valuation a t rendue possible grce lappui du gouvernement du Canada.
iii
le conseil des acadmies canadiennes

Le savoir au service du public
Le Conseil des acadmies canadiennes (CAC) est un organisme indpendant but non lucratif qui soutient des valuations scientifiques indpendantes, effectues par des experts, qui alimentent llaboration de politiques publiques au Canada. Dirig par un conseil de 12 gouverneurs et conseill par un comit consultatif scientifique de 16 membres, le CAC a pour champ daction la science prise au sens large, qui englobe les sciences naturelles, les sciences sociales, les sciences de la sant, ainsi que le gnie et les sciences humaines. Les valuations du CAC sont effectues par des comits pluridisciplinaires indpendants dexperts provenant du Canada et de ltranger. Ces valuations visent connatre les problmes nouveaux, les lacunes dans les connaissances, les points forts du Canada, de mme que les tendances et les pratiques internationales dans les domaines tudis. Ces tudes fournissent aux dcideurs gouvernementaux, aux universitaires et aux parties prenantes linformation de grande qualit dont ils ont besoin pour laborer des politiques publiques claires et innovatrices. Toutes les valuations du Conseil sont soumises un examen formel par des pairs. Elles sont publies en franais et en anglais et accessibles au public sans frais. Des fondations, des organismes non gouvernementaux, le secteur priv ou tout palier de gouvernement peuvent soumettre au CAC des questions susceptibles de faire lobjet dune valuation. Le CAC bnficie du soutien de ses trois acadmies membres fondatrices : La Socit royale du Canada (SRC) est le principal organisme national regroupant dminents scientifiques, chercheurs et gens de lettres au Canada. La SRC a pour objectif premier de promouvoir lacquisition du savoir et la recherche en arts et en sciences. Elle est compose de prs de 2000 membres, hommes et femmes, choisis par leurs pairs pour leurs ralisations exceptionnelles en sciences naturelles, en sciences humaines et en arts. La SRC sattache reconnatre lexcellence, conseiller les gouvernements et les organisations, ainsi qu promouvoir la culture canadienne. LAcadmie canadienne du gnie (ACG) est lorganisme national par lentremise duquel les ingnieurs les plus chevronns et expriments du Canada offrent au pays des conseils stratgiques sur des enjeux dimportance primordiale. Fonde en 1987, lACG est un organisme indpendant, autonome et but non lucratif. Les membres de lACG sont nomms et lus par leurs pairs titre de membres honoraires, en fonction de leurs ralisations exceptionnelles et de leurs longs tats de service au sein
iv
de la profession dingnieur. Les membres de lACG sengagent faire en sorte que lexpertise en gnie du Canada soit mise au service du plus grand bien de tous les Canadiens et Canadiennes. LAcadmie canadienne des sciences de la sant (ACSS) reconnat les personnes qui ont leur actif de grandes ralisations savantes dans le domaine des sciences de la sant au Canada. Fonde en 2004, lACSS compte environ 400 membres et nomme chaque anne de nouveaux membres. Lorganisation est administre par un conseil de direction et un conseil dadministration. LACSS a pour principale fonction de fournir en temps voulu des valuations claires et indpendantes sur des questions urgentes qui touchent la sant de la population canadienne. LAcadmie surveille galement les vnements relis la sant mondiale afin damliorer ltat de prparation du Canada, et se fait le porte-parole du Canada sur la scne internationale, au sujet des sciences de la sant. LACSS offre une voix collective, multidisciplinaire et qui fait autorit, pour les communauts des sciences de la sant. www.sciencepourlepublic.ca @scienceadvice.ca
comit dexperts sur le rendement scientifique et le financement de la recherche

Rita Colwell (prsidente), professeure duniversit mrite, College Park, Universit du Maryland; cole de sant publique Bloomberg, Universit Johns Hopkins; conseillre principale et prsidente mrite, Canon U.S. Life Sciences, Inc.; prsidente et chef de la direction, CosmosID, Inc. (College Park, MD) Max Blouw, prsident et recteur, Universit Wilfrid Laurier (Waterloo, ON) Linda Butler, chercheure invite, Universit nationale de lAustralie (ANU); professeure auxiliaire, Universit de Newcastle (Soldiers Point, Australie) Susan E. Cozzens, professeure de politique publique, directrice du Centre de politique et dvaluation de la technologie et doyenne associe de la recherche, cole de politique publique, Collge Ivan Allen, Georgia Tech (Atlanta, GA) Irwin Feller, scientifique invit principal, American Association for the Advancement of Science (AAAS) (State College, PA) Yves Gingras, professeur et titulaire de la Chaire de recherche du Canada en histoire et sociologie des sciences, Universit du Qubec Montral (UQAM) (Montral, QC) Jacques Hurtubise, MSRC, directeur, Dpartement de mathmatique et de statistique, Universit McGill (Montral, QC) Gretchen Jordan, membre principal du personnel technique, Sandia National Laboratories (Albuquerque, NM) John S. MacDonald, O.C., MACG, prsident du conseil, Day4 Energy, Inc. (Burnaby, CB) Marja Makarow, chef de la direction, Fondation europenne de la science (FES) (Strasbourg, France); professeure de biochimie applique et de biologie molculaire, Universit dHelsinki (Helsinki, Finlande) James (Jim) McGroddy, retrait, International Business Machines (IBM) (New York, NY) Tim McTiernan, prsident et recteur, Institut universitaire de technologie de lOntario (UOIT) (Oshawa, ON)
vi
Sir Keith ONions, recteur, Imperial College London (Londres, Royaume-Uni) Ren Simard, O.C., MSRC, MACG, professeur honoraire, Universit de Montral (Montral, QC) Alan E. Winter, MACG, prsident et chef de la direction, Genome British Columbia (Vancouver, CB) Ronald Woodward, prsident, Clockbuilder Consulting, Ltd.; prsident honoraire, Collge de Red Deer (Red Deer, AB)
vii
remerciements
Ce rapport prsente les conseils des 16 membres du comit dexperts sur lutilisation dindicateurs comme outils daide la dcision. Des choix difficiles doivent tre faits pour sassurer que les fonds publics investis dans la recherche contribueront au bientre des citoyens. La recherche exploratoire est la manifestation de la crativit et de lingniosit humaines. Elle contribue la stabilit sociale, la vitalit conomique et la scurit nationale et internationale. Ce rapport tmoigne de la sagesse du comit, qui y prodigue ses conseils dans un esprit de collaboration internationale, au meilleur de son jugement. Je remercie sincrement mes collgues et membres du comit dexperts pour leur dvouement, ainsi que pour le temps et lnergie quils ont gnreusement fournis. Leurs efforts concerts et leur expertise ont permis de produire un ouvrage rassemblant des leons pratiques et prcieuses, ainsi que des conseils judicieux destins clairer le milieu des politiques scientifiques lchelle mondiale. Au nom du comit dexperts, jaimerais remercier tout spcialement M. Max Blouw pour lexcellence de ses services. La prparation de cette valuation sest rvle un agrable dfi en raison de sa pertinence particulire pour le Canada, o jai eu la chance de passer deux annes productives dtudes postdoctorales au dbut de ma carrire. Enfin, je tiens remercier le personnel du CAC pour son soutien extraordinaire et pour avoir veill ce que le comit dexperts suive fidlement les pratiques et les politiques du CAC.
Rita Colwell, prsidente Comit dexperts sur le rendement scientifique et le financement de la recherche
viii
Personnel responsable du projet au conseil des acadmies canadiennes

quipe affecte lvaluation : Renata Osika, directrice de programme Christina Stachulak, directrice principale de programme R. Dane Berry, associ de recherche Fiona McArthur, associe de recherche Andrea Hopkins, coordonnatrice de programme Christina McMahon, coordonnatrice de programme Claire Chesnais, stagiaire Clare Walker, rviseure Jean-Pierre Toupin, traducteur agr, anglais-franais Christine Gonthier, traductrice agre, anglais-franais Yves Gingras, rviseur, version franaise
Avec la collaboration de :
ix
examen du rapport
Ce rapport a t examin, ltat dbauche, par les personnes mentionnes ci-dessous un groupe de personnes choisies par le Conseil des acadmies canadiennes (CAC) en raison de la diversit de leurs points de vue et de leurs domaines de spcialisation et de leur reprsentativit dans les secteurs de la recherche, de lindustrie, des politiques et des organisations non gouvernementales. Les examinateurs ont valu lobjectivit et la qualit du rapport. Leurs avis, qui demeureront confidentiels, ont t pleinement pris en considration par le comit dexperts et la plupart de leurs suggestions ont t intgres au rapport. Nous navons pas demand ces personnes dapprouver les conclusions du rapport et elles nont pas vu la version finale avant sa publication. Le comit dexperts et le CAC assument lentire responsabilit du contenu dfinitif de ce rapport. Le CAC tient remercier les personnes suivantes davoir bien voulu examiner le rapport : Claire Donovan, matre de confrences, HERG, Universit Brunel (Londres, Royaume-Uni) Stevan Harnad, titulaire de la Chaire de recherche du Canada en sciences cognitives, Universit du Qubec Montral (Montral, QC) Diana Hicks, professeure et prsidente, Institut de technologie de Gorgie (Atlanta, GA) Kari Kveseth, conseiller scientifique, Ambassade royale de Norvge (Beijing, Chine) Cheryl Oros, fondateur et chef de la direction, Oros Consulting (Washington, DC) Pekka Sinervo, MSRC, professeur, Universit de Toronto (Toronto, ON) David Strangway, O.C., MSRC, prsident et chancelier, Universit Quest (Squamish, CB) Robert Tijssen, professeur, tudes en sciences et innovation, Universit de Leiden (Leiden, Pays-Bas) Don Wright, prsident, Institut de technologie de la Colombie-Britannique (Burnaby, CB) La procdure dexamen du rapport a t supervise par Judith Hall, O.C., MSRC, MACSS, professeure mrite en Pdiatrie et mdecine gntique, Universit de la Colombie-Britannique (Vancouver, CB), au nom du comit consultatif scientifique et du conseil des gouverneurs du CAC. Son rle tait de sassurer
que le comit dexperts prenne en considration de faon entire et quitable les avis des examinateurs du rapport. Le conseil des gouverneurs du CAC nautorise la publication du rapport dun comit dexperts quune fois que la personne responsable du contrle de lexamen du rapport confirme que le rapport satisfait aux exigences du CAC. Le CAC remercie la Dre Hall de la diligence dont elle a fait preuve dans la supervision de lexamen du rapport.
Elizabeth Dowdeswell, prsidente-directrice gnrale Conseil des acadmies canadiennes
Sommaire
xi
sommaire
La cration de nombreux biens publics passe par la recherche exploratoire en sciences naturelles et en gnie (SNG). Les progrs scientifiques permettent de stimuler linnovation, de crer de nouvelles connaissances, de favoriser la prosprit conomique, damliorer la sant publique, de mieux protger lenvironnement, de renforcer la scurit nationale et la dfense, en plus de contribuer de bien dautres faons latteinte dobjectifs nationaux et infranationaux. Pour toutes ces raisons, la plupart des gouvernements dans le monde soutiennent judicieusement la recherche exploratoire en SNG en y affectant dimportantes ressources publiques. Le Canada ne fait pas exception la rgle. Le Conseil de recherches en sciences naturelles et en gnie (CRSNG) consacre environ un milliard de dollars par anne des travaux de recherche scientifique. Environ un tiers de cette somme sert appuyer directement la recherche exploratoire par lentremise du Programme de subventions la dcouverte (PSD). Beaucoup de dcouvertes canadiennes marquantes et de perces scientifiques tmoignent de limportance de ces investissements et les valuations du PSD ont toujours montr que ce programme est une composante essentielle et hautement efficace du financement de la recherche au Canada. Les organismes de financement public comme le CRSNG se demandent souvent quelle est la meilleure faon de rpartir les fonds entre diffrents domaines et programmes. Une fois ces dcisions prises, ils doivent ensuite trouver le meilleur moyen de les rendre publiques et de les dfendre auprs du milieu de la recherche, des dcideurs et du grand public. Par consquent, les organismes de financement se tournent de plus en plus vers des outils dvaluation et des indicateurs quantitatifs scientifiques susceptibles de guider et dclairer leurs dcisions. Grce de nouveaux indicateurs et la science des politiques scientifiques naissante, il est possible damliorer lefficacit globale et la transparence de la mthode utilise par les organismes de financement pour affecter les fonds et suivre le rendement de leurs investissements en recherche. Cependant, les indicateurs et les outils dvaluation se multiplient et il est difficile pour les dcideurs et les organismes de financement de la recherche de choisir ceux qui conviennent le mieux dans un contexte donn.
xii
mandat c o n fi au com i t de x P e rt s
Pour aider orienter les dcisions relatives la raffectation des fonds qui seront prises dans le cadre du PSD, le ministre fdral de lIndustrie, au nom du CRSNG, a soumis la question suivante au Conseil des acadmies canadiennes (CAC) en 2010 :
Que peut-on apprendre des donnes scientifiques et des approches employes par dautres organismes de financement de par le monde, sur le plan des indicateurs de rendement et des pratiques exemplaires relatives leur utilisation, dans le contexte de la recherche en sciences naturelles et en gnie effectue dans les universits, les collges et les coles polytechniques?
Pour rpondre cette question, le CAC a cr un comit compos de 16 experts canadiens et trangers provenant de domaines divers : politiques publiques, conomie, financement et administration de la recherche, mathmatiques et statistiques, histoire des sciences, sociologie, bibliomtrie et dautres domaines des SNG. Le comit dexperts, qui sest runi quatre reprises en 2011, a pass en revue les nombreuses donnes factuelles consignes dans des rapports dtudes et sest pench attentivement sur les pratiques dvaluation scientifique de dix pays.
indic ate ur s s c i ent i f i qu e s e t s t r at gies dvalu ation de l a r e c he r c he e x P l or at oi r e
Les indicateurs scientifiques et les stratgies dvaluation qui existent actuellement peuvent tre classs de plusieurs faons. Certains sappuient sur des mthodes dlibratives, notamment un examen par les pairs ou par des experts, tandis que dautres reposent sur des indicateurs quantitatifs, notamment le nombre de publications et de citations, le nombre de chercheurs ou dtudiants, le montant des fonds allous la recherche ou le nombre de demandes de subventions. Pour dcider de laffectation des fonds de recherche en SNG, il est ncessaire davoir des ensembles dindicateurs qui saisissent des donnes sur la qualit de la recherche, les tendances de la recherche et la capacit de recherche. Pour chacun de ces types dvaluation, le comit dexperts a mis au point une taxonomie des mthodologies et des indicateurs possibles et il a valu leur validit au regard des objectifs de lvaluation. Le comit a exclusivement mis laccent sur le rendement
Sommaire
xiii
scientifique des domaines de recherche en SNG au niveau national (plutt que sur des scientifiques ou des quipes de recherche en particulier), ainsi que sur les indicateurs et les mthodologies les mieux adapts la recherche exploratoire finance dans le cadre du PSD du CRSNG.
P r i n c i Pa u x cons tat s
Plusieurs indicateurs scientifiques et approches en matire dvaluation sont suffisamment robustes pour valuer le rendement scientifique dans les domaines des SNG agrgs au niveau national. Par exemple, les indicateurs
bibliomtriques sappuyant sur le nombre pondr de publications peuvent tre utiles pour valuer les rsultats de la recherche dans un domaine donn. Les indicateurs fonds sur le nombre de citations lorsquils sont correctement normaliss en fonction du domaine de recherche et quils couvrent une priode suffisamment longue peuvent tre des outils de mesure utiles pour valuer limpact scientifique global de la recherche dans un domaine donn au niveau national. Plusieurs autres types dindicateurs quantitatifs, par exemple les indicateurs fonds sur la population dtudiants ou de chercheurs, sur les montants accords au financement de la recherche et sur ltat et la qualit de linfrastructure et du matriel scientifiques disponibles peuvent tre utiles pour connatre les tendances de la recherche ou la capacit nationale de recherche dans certains contextes dvaluation.
Dans le cadre dune valuation scientifique axe sur laffectation des fonds la recherche, les indicateurs quantitatifs devraient servir clairer plutt qu remplacer le jugement des experts. Bien que plusieurs types dindicateurs
quantitatifs puissent tre fiables et informatifs dans le cadre dvaluations scientifiques au niveau national, ils ne devraient pas tre utiliss pour affecter des fonds la recherche sans sappuyer sur le jugement dexperts. Lensemble des lments probants disponibles montre que lapproche la plus efficace repose sur un recours quilibr aux indicateurs quantitatifs et au jugement dexperts. Cela est confirm par lexprience rcente de certains pays et organismes de financement de la recherche dans le monde. Au Royaume-Uni, le modle de longue date, appel Research Assessment Exercice (RAE), doit tre remplac par le Research Excellence Framework (REF). Ce nouveau cadre continuera de privilgier lexamen par les pairs, mais permettra lutilisation dindicateurs quantitatifs. En Australie, un systme national dvaluation de la recherche rcemment adopt repose sur le jugement dexperts clair par des indicateurs quantitatifs. Beaucoup de pays, dont les tats-Unis, la Finlande et les Pays-Bas, ont eu recours des stratgies dvaluation scientifique sappuyant la fois sur des indicateurs et sur le jugement dexperts, et ce, dans diffrents contextes. En ce
xiv
qui a trait lvaluation des domaines de recherche en SNG au niveau national, tout indique que la meilleure approche consiste faire appel des donnes quantitatives et au jugement dexperts. Les pratiques exemplaires internationales nous clairent peu sur lutilisation des indicateurs scientifiques et les stratgies dvaluation. La construction et lapplication dindicateurs sont tributaires du contexte. Le fait quun indicateur soit informatif ou fiable dpend aussi bien du contexte que de la nature et de la construction mme de lindicateur. Aucun indicateur, ensemble dindicateurs ou stratgie dvaluation noffre une solution idale pour tous les contextes dvaluation de la recherche exploratoire en SNG. Il faut prendre en considration les circonstances particulires de lvaluation et le contexte du financement de la recherche. Du point de vue du CRSNG, ces dcisions devront ncessairement tenir compte de la stratgie globale du gouvernement fdral en matire de science et technologie (S et T), ainsi que du mandat du CRSNG et des objectifs particuliers de ses programmes. Lvaluation doit reflter les buts immdiats (sous langle des extrants ou des rsultats souhaits) et les objectifs ultimes du programme ou de lorganisme de financement.
Lier directement laffectation des fonds des indicateurs quantitatifs est beaucoup trop simpliste et ne constitue pas une stratgie raliste. Les
indicateurs peuvent donner des renseignements utiles sur le rendement scientifique, mais les dcisions en matire daffectation de fonds sont complexes. maints gards, ni les donnes disponibles ni lexprience tire des processus de financement dautres pays ne justifient dadopter une approche simpliste en matire daffectation des fonds en se fondant uniquement sur des indicateurs quantitatifs. Un organisme de financement peut choisir daccrotre les montants affects aux domaines de recherche montrant des faiblesses afin dy amliorer le rendement, ou au contraire sen dtourner pour investir dans des domaines o le rendement est lev. Ces dcisions sont dictes par la stratgie et les programmes de chaque organisme de financement. De plus, en matire de recherche exploratoire, le rendement pass nest pas garant du rendement futur. Dans la plupart des domaines scientifiques, il ny a pas de raison de penser que les succs passs vont invitablement se traduire en succs futurs, ou que les checs passs laissent prsager dchecs futurs. Par consquent, les indicateurs scientifiques, qui sont essentiellement des mesures du rendement pass, peuvent tre de mauvais prdicteurs des perspectives futures. Globalement, le comit na pas constat quune formule de financement unique convenait tout lventail des rsultats dvaluation.
Sommaire
xv
li g n e s d i r e ct r i ce s e t P r i nci P e s en matir e d va luat i on s ci e nt i f i qu e
Le comit dexperts navait pas pour mandat de prsenter des recommandations de politique axes sur les stratgies nationales en SNG. Il a toutefois formul certaines lignes directrices gnrales (voir le Rsum des lignes directrices mthodologiques) pour llaboration dune approche en matire dvaluation. En plus des lignes directrices mthodologiques, le comit a articul les principes gnraux suivants en vue dtablir un processus dvaluation de la recherche en SNG qui permette dclairer les dcisions relatives laffectation des fonds de recherche. Le contexte est important : lutilisation efficace dindicateurs ou de stratgies dvaluation dans les domaines de la recherche en SNG dpend du contexte. Par consquent, toute approche devrait tenir compte des objectifs nationaux en science et technologie, ainsi que des buts et des priorits de chaque organisme et programme de financement. Ne pas nuire : toute tentative visant lier directement laffectation des fonds des indicateurs pourrait avoir des consquences imprvues qui toucheront ngativement le milieu de la recherche. Le comit dexperts a dgag des stratgies prometteuses pour attnuer ce risque, notamment recourir un ensemble quilibr dindicateurs et tenir compte du jugement dexperts dans le processus dvaluation. La transparence est essentielle : les mthodes dvaluation et les indicateurs sont plus efficaces lorsquils sont parfaitement transparents pour le milieu scientifique. En fait, le principe de la transparence doit sappliquer aux mthodes dvaluation et aux indicateurs (p. ex. au niveau de la construction et de la validation des indicateurs, des sources de donnes, des critres et de la procdure de slection des examinateurs spcialiss), tout comme la mthode ou au processus par lequel les indicateurs ou les valuations clairent ou influencent les dcisions en matire de financement. Le jugement des experts scientifiques demeure inestimable : beaucoup dindicateurs quantitatifs peuvent fournir des renseignements utiles pour lvaluation de la recherche exploratoire au niveau national et au niveau du domaine scientifique. Toutefois, quand il sagit dclairer les dcisions relatives au financement de la recherche, les indicateurs quantitatifs sont mieux interprts par des experts scientifiques qui ont une connaissance et une exprience approfondies du domaine de recherche en question et qui saisissent bien tous les enjeux et les subtilits du contexte de financement de ce domaine, ainsi que les questions, les problmes et les possibilits en jeu.
xvi
Sommaire des lignes directrices mthodologiques

Le contexte est essentiel pour dterminer si une stratgie dvaluation ou un indicateur scientifique est appropri et informatif. Il est donc impossible dtablir une liste universelle de pratiques exemplaires. Toutefois, les lignes directrices suivantes pourraient tre utiles lvaluation de la recherche scientifique en SNG dans lensemble des domaines de recherche au niveau national. valuation de la qualit de la recherche Les indicateurs permettant de mesurer la qualit de la recherche portent souvent sur diffrents aspects de la qualit ou sur diffrentes chelles temporelles. Par consquent, il vaut mieux sappuyer sur une approche combinant stratgies dvaluation et indicateurs. Pour valuer la qualit de la recherche dans un domaine au niveau national, la meilleure approche consiste combiner des mthodes dlibratives et des indicateurs quantitatifs. Pour valuer limpact scientifique de la recherche dans un domaine au niveau national, les indicateurs fonds sur le facteur relatif de citations (p. ex. limpact relatif des citations) offrent les meilleures mesures disponibles. ce niveau dagrgation, si elles sont correctement normalises en fonction du domaine et portent sur une priode suffisamment longue, ces mesures permettent de faire une valuation valable et informative de limpact des travaux de recherche en SNG. Les indicateurs quantitatifs de la qualit de la recherche devraient toujours tre valus par des experts clairs, car pour interprter correctement les donnes provenant des indicateurs disponibles, il est souvent ncessaire de connatre en profondeur le contexte du domaine de recherche vis. valuation des tendances de la recherche Comme pour lvaluation de la qualit de la recherche, la meilleure approche pour suivre les tendances de la recherche est de recourir plusieurs stratgies dvaluation et indicateurs, ce qui permet davoir une perspective composite des nouvelles tendances de la recherche dans les divers domaines. Une telle approche devrait reposer sur un ensemble de stratgies dvaluation et dindicateurs comprenant un ou plusieurs outils de mesure appartenant aux catgories suivantes : Tendances des demandes de subvention par sujet de recherche : dgager les tendances de la recherche lies directement aux demandes de financement permet de sassurer que les tendances relatives aux demandes directes de ressources dans les diffrents domaines de recherche sont incluses dans le processus.
suite la page suivante
Sommaire
xvii
Mthodes bibliomtriques : approches bibliomtriques pointues axes sur lanalyse de mots cls et permettant de dgager des grappes mergentes de travaux de recherche abondamment cits, ce qui est une source dinformation dtaille trs utile. Ces approches peuvent servir mettre en vidence des domaines de recherche actifs, pouvant englober plusieurs disciplines, qui pourraient tre candidats un soutien accru. Population tudiante : tendances au sein de la population tudiante, saisies partir dindicateurs comme le taux dinscription au doctorat par domaine de recherche. Cette mthode peut tre utile pour prvoir les tendances de la recherche plus long terme et pour surveiller les changements qui se produisent graduellement dans les niveaux de formation et dexpertise. Les indicateurs quantitatifs des tendances de la recherche devraient toujours tre soumis lexamen dexperts informs parce que linterprtation exacte des donnes provenant des indicateurs requiert souvent une connaissance contextuelle approfondie du domaine vis. valuation de la capacit de recherche La meilleure approche pour suivre la capacit de recherche consiste fonder lvaluation sur une multiplicit dindicateurs diffrents pour crer un composite de caractristiques sous-jacentes qui permettent de dterminer la capacit de recherche dans un domaine donn. En rgle gnrale, il est suggr de choisir un ou plusieurs indicateurs dans chacune des catgories suivantes : Financement : les mesures du niveau de financement de la recherche clairent lanalyse de la capacit de recherche, surtout lorsquelles sont compares aux niveaux de financement antrieurs et dautres secteurs de la recherche. La diversit des sources de financement peut galement tre un renseignement important. Infrastructure : limportance et la qualit de linfrastructure et des installations de recherche (p. ex. lespace de laboratoire, les dpenses en immobilisations) sont directement lies la capacit de recherche. Les mesures axes sur linfrastructure des technologies de linformation et des communications devraient galement tre prises en compte, le cas chant. Nombre de chercheurs et dtudiants : les populations dtudiants et de chercheurs sont un dterminant cl de la capacit de recherche, et les outils de mesure fonds sur ces populations sont par consquent un aspect important de ce genre dvaluation.
xviii
Rseaux et collaborations : les mcanismes de collaboration et les rseaux qui se forment pour faire des travaux de recherche (p. ex. la collaboration de plusieurs auteurs la rdaction dun article) dans un domaine sont aussi une source de renseignements sur la capacit de recherche. Caractristiques dun domaine : les valuations de la capacit de recherche devraient galement inclure des mesures telles que la taille moyenne des quipes de recherche, le montant et la dure moyens des subventions de recherche, limportance du matriel et de lquipement, les cots de la recherche et laccs des installations de recherche. Comme pour lvaluation des tendances de la recherche, la capacit de recherche dans les domaines propres aux SNG devrait toujours faire lobjet dun examen par des experts parce que linterprtation exacte des donnes provenant dindicateurs quantitatifs requiert souvent une connaissance contextuelle du domaine vis.
Table des matires
xix
table des matires

1 1.1 1.2 1.3 1.4 2 Introduction et mandat du comit dexperts .......................... 1 Raisons pour lesquelles cette valuation est importante ..................... 2 Mandat du comit dexperts .............................................................. 4 Mthodologie dvaluation ................................................................ 8 Structure du rapport ........................................................................ 10
Financement et valuation de la science : le contexte canadien et lexprience internationale ................................ 13 2.1 Le contexte canadien : soutien fdral la recherche en SNG ........ 17 2.2 Le contexte international : examen des pratiques dvaluation scientifique ltranger .................................................................... 22 2.3 Conclusions ...................................................................................... 33 3 3.1 3.2 3.3 3.4 3.5 3.6 Processus daffectation des fonds la recherche .................. 34 Lcosystme du financement de la recherche .................................. 36 Le processus dcisionnel pour laffectation des fonds ....................... 39 Le rle des indicateurs et des mthodes dvaluation ....................... 43 Le rle du jugement des experts....................................................... 48 Le rle des dcisions stratgiques ..................................................... 49 Conclusions ...................................................................................... 50
4 Indicateurs scientifiques : comprendre les options ............... 52 4.1 Approches dlibratives et autres mthodes dvaluation qualitatives ................................................................... 54 4.2 Bibliomtrie ..................................................................................... 58 4.3 Autres indicateurs scientifiques quantitatifs...................................... 66 4.4 Conclusions ...................................................................................... 67 5 5.1 5.2 5.3 5.4 Indicateurs pour lvaluation de la qualit de la recherche ........................................................................ 68 Examen des indicateurs quantitatifs scientifiques............................. 70 Taxonomie des indicateurs pour lvaluation de la qualit de la recherche............................................................. 72 Examen des indicateurs ................................................................... 72 Conclusions ...................................................................................... 82
xx
6 6.1 6.2 6.3 6.4
Indicateurs pour lvaluation des tendances de la recherche ........................................................................ 83 Taxonomie des indicateurs pour lvaluation des tendances de la recherche .......................................................... 84 Examen des indicateurs ................................................................... 86 Approches dlibratives pour lvaluation des tendances de la recherche .......................................................... 89 Conclusions ...................................................................................... 91
7 Indicateurs pour lvaluation de la capacit de recherche ... 92 7.1 Taxonomie des indicateurs pour lvaluation de la capacit de recherche .............................................................. 93 7.2 Indicateurs de la capacit de recherche ........................................... 95 7.3 Conclusions .................................................................................... 104 8 8.1 8.2 8.3 Conclusions ............................................................................ 105 Rpondre au mandat ..................................................................... 106 Rponse aux sous-questions ........................................................... 110 Conclusions finales ......................................................................... 113
Rfrences ..................................................................................... 114 Appendice A tudes de cas internationales : Sommaires des cas ................................................................. 127
Chapitre 1 Introduction et mandat du comit dexperts
1
introduction et mandat du comit dexperts
Raisons pour lesquelles cette valuation est importante Mandat du comit dexperts Mthodologie dvaluation Structure du rapport
1
1.1
introduction et mandat du comit dexperts

r a i s o n s P ou r l e s qu e l l e s c e t t e valu ation e s t i m P o rtant e
La difficult de dterminer quels sont les secteurs de la recherche quil faut financer est au cur de toute politique scientifique. De nos jours, les nations investissent dimportantes sommes dargent dans la recherche exploratoire en sciences naturelles et en gnie (SNG). Elles le font pour plusieurs raisons. La recherche exploratoire contribue dcouvrir de nouvelles technologies; favoriser linnovation et la comptitivit conomique; amliorer la qualit de vie et atteindre des objectifs sociaux ou stratgiques largement valoriss, par exemple, amliorer la sant publique et les soins de sant, protger lenvironnement et promouvoir la scurit nationale. Les faits montrent clairement que ces investissements ont des retombes avantageuses : long terme, les investissements publics dans la recherche exploratoire profitent concrtement la socit dans de nombreux domaines. Cependant, ces dpenses sont associes lobligation de se montrer prudent dans laffectation des fonds publics. Dans un contexte de contraintes budgtaires accrues et dexigences plus rigoureuses en matire de reddition de comptes, les organismes finanant la recherche doivent souvent dployer beaucoup dnergie pour justifier leurs dcisions de financement, tant auprs du milieu scientifique que du grand public. De quelle manire les organismes finanant la recherche devraient-ils rpartir leurs budgets entre les diffrents secteurs de la recherche? Et une fois ces fonds investis, comment surveiller ou valuer leur rendement au fil du temps? Ce sont l des questions qui ont toujours t au centre des politiques scientifiques et qui le demeurent. Il est notoirement difficile de rpondre ces questions. Toutefois, elles ne sont pas insolubles. Une science des politiques scientifiques est en train dmerger et le domaine en pleine expansion de la scientomtrie (ltude de la faon de mesurer, de suivre et dvaluer la recherche scientifique) offre des outils quantitatifs et qualitatifs permettant dclairer les dcisions relatives au financement de la recherche. Il y a encore bien des controverses sur ce quil faut mesurer et comment le faire, mais les valuations des travaux scientifiques sont de plus en plus souvent faites laide dindicateurs. Dans bien des cas, ces valuations clairent indirectement, si ce nest directement, les dcisions relatives au financement de la recherche. certains gards, la principale difficult qui se pose dans le cadre dune valuation scientifique aujourdhui provient de la surabondance des indicateurs et non de leur pnurie. La plthore dindicateurs rend plus difficile la tche des dcideurs et des organismes de financement, qui doivent dterminer quels sont les outils de mesure les plus pertinents et les plus informatifs dans un contexte donn. Les valuations de
travaux scientifiques sont faites pour plusieurs raisons. Leur porte peut tre vaste ou troite et elles peuvent cibler diffrents groupes chercheurs, quipes de recherche, tablissements de recherche ou mme lensemble des domaines au niveau national. Certaines valuations sont destines influer directement sur laffectation de fonds la recherche. Dautres visent faire une analyse du rendement actuel, ce qui peut influer sur les dcisions de financement. Enfin, les valuations peuvent tre de nature rtrospective (ex post) ou prospective (ex ante), mme si la plupart des indicateurs scientifiques sont essentiellement rtrospectifs, car ils portent sur des travaux de recherche termins ou sur des rsultats de recherche dj obtenus. Tous ces paramtres ont un effet sur le type dindicateurs qui pourrait tre pertinent ou informatif dans un contexte dvaluation donn. Les systmes dvaluation lis laffectation des fonds publics peuvent souvent donner lieu des controverses. tant donn que les dcisions en matire de financement de la recherche ont un impact direct sur le revenu et la carrire des chercheurs, les systmes dvaluation sur lesquels reposent ces dcisions ont forcment une influence sur le comportement des chercheurs. Des initiatives dvaluation scientifique ont parfois eu des effets imprvus et indsirables. En outre, des indicateurs mal construits ou utiliss incorrectement ont suscit le scepticisme parmi les scientifiques et les chercheurs quant la valeur et lutilit de ces mesures. Ainsi, les enjeux soulevs par les initiatives nationales dvaluation scientifique sont devenus de plus en plus controverss. Au Royaume-Uni et en Australie, les dbats entourant les valuations nationales de la recherche ont t hautement mdiatiss. Cette attention tmoigne de limportance de ces valuations, mais le caractre parfois vhment des dbats publics autour des valuations et des outils de mesure scientifiques peut nuire llaboration et ladoption de bonnes politiques publiques. Pour contrer cette tendance, un nombre croissant dorganismes de financement de la recherche souhaitent disposer de lignes directrices claires en matire de stratgies dvaluation scientifique et dindicateurs. Plusieurs pays ont dploy dimportants efforts pour dgager des pratiques exemplaires et lintrt renouvel lgard des outils de mesure servant valuer la recherche exploratoire a suscit de nouvelles recherches. Les avances technologiques et mthodologiques ont engendr une profusion de mesures (Van Noorden, 2010) et de nouveaux outils de mesure continuent de voir le jour la faveur de la popularit croissante dInternet comme outil de publication et de consultation de la recherche. Alors que les nouvelles technologies et techniques danalyse continuent de changer la mesure et lvaluation de la science, les dcideurs et les organismes de financement de la recherche dploient beaucoup defforts pour que leurs systmes dvaluation et leurs processus daffectation des fonds refltent les dernires avances et les meilleures connaissances disponibles.
1.2
m a n d at d u c om i t de x P e rt s
Le Programme de subventions la dcouverte (PSD) du Conseil de recherches en sciences naturelles et en gnie (CRSNG) du Canada est le programme phare du Canada en matire de financement de la recherche exploratoire en sciences naturelles et en gnie. En 1994, le CRSNG a entrepris le premier de trois exercices de raffectation des fonds pour faire en sorte que le PSD volue et sadapte aux changements observs [] dans lenvironnement de la recherche (CRSNG, 2006a). Ces exercices visaient rviser les enveloppes budgtaires utilises auparavant par les comits sectoriels pour attribuer les subventions de recherche. Une valuation de ces exercices de raffectation faite en 2006 a cependant conclu quils cotaient beaucoup trop chers, du point de vue tant humain que financier, par rapport aux avantages des modestes changements apports au systme daffectation des fonds (CRSNG, 2006a). Depuis, le CRSNG a explor diverses avenues pour faire en sorte que le systme daffectation des fonds du PSD soit adapt lvolution du milieu scientifique. Dans le cadre de ces efforts, le CRSNG a confi en 2010 au Conseil des acadmies canadiennes (CAC) le mandat de rpondre la question et aux sous-questions suivantes :
Que peut-on apprendre des donnes scientifiques et des approches employes par dautres organismes de financement de par le monde, sur le plan des indicateurs de rendement et des pratiques exemplaires relatives leur utilisation, dans le contexte de la recherche en sciences naturelles et en gnie effectue dans les universits, les collges et les coles polytechniques?
1.
Quels indicateurs et outils de mesure qualitatifs et quantitatifs existants sont pertinents laffectation des budgets destins soutenir la recherche en sciences naturelles et en gnie et comment peut-on les classifier (p. ex. selon la dure de vie utile, la comparabilit dune discipline et dun pays lautre, la pertinence pour la recherche interdisciplinaire ou sectorielle ou lapplicabilit aux domaines de recherche nouveaux ou tablis)? Quelles sont les pratiques exemplaires internationales en matire dlaboration, dexamens mthodologiques et dutilisation dindicateurs quantitatifs et qualitatifs pour valuer la recherche et affecter les budgets destins appuyer la recherche en sciences naturelles et en gnie?
2.
3.
tant donn ce qui prcde et la lumire de la stratgie en matire de sciences et de technologie du gouvernement du Canada et des objectifs du CRSNG pour le soutien de la recherche, quels sont les principes et les lments cls (p. ex. les risques, les avantages et les inconvnients, les consquences comportementales et institutionnelles) qui permettent de dterminer une utilisation justifiable dindicateurs de rendement et doutils de mesure, ainsi que leur quilibre et leur pondration, pour laffectation des budgets?
Pour rpondre ces questions, le CAC a cr un comit dexperts sur le rendement scientifique et le financement de la recherche (le comit), compos de 16 membres provenant du Canada et de ltranger et offrant un large ventail dantcdents et de domaines dexpertise. Le comit tmoigne dune vaste exprience en administration de la recherche (prsidents et administrateurs du secteur universitaire) et en gestion du financement de la recherche tant dans le secteur priv et le secteur public. Le comit sest runi quatre fois en 2011 pour examiner les questions ltude et remplir son mandat. Le prsent rapport est le produit de ces dlibrations. Il importe de clarifier plusieurs points importants lis la porte du mandat du comit dexperts. Premirement, le comit devait expressment examiner les pratiques lies aux valuations scientifiques et aux indicateurs scientifiques en SNG. Il est gnralement reconnu que les difficults associes lvaluation de la recherche et lutilisation dindicateurs quantitatifs sont particulirement srieuses dans les domaines des sciences humaines, des arts et des sciences sociales (voir, par exemple, Hicks, 2004). Cependant, le rapport ne traite pas en profondeur de ces questions. Deuximement, le mandat confi au comit dexperts par le CRSNG tait en partie dict par son exprience des exercices de raffectation du PSD et par la ncessit dadopter des stratgies dvaluation plus pointues pour la recherche exploratoire. Fidle son mandat de prendre en considration le rle des indicateurs dans le contexte des programmes du CRSNG, et plus particulirement du PSD, le comit dexperts sest concentr sur les indicateurs lis aux mesures ex post et ex ante du rendement (et de la capacit) de la recherche fondes sur des enqutes. Le comit a reconnu lexistence et limportance des indicateurs axs sur lincidence socio-conomique de la recherche scientifique et technologique, mais il nentrait pas dans son mandat de sy attarder. Troisimement, le comit devait se concentrer sur les enjeux relatifs lutilisation dindicateurs ou de mthodes dvaluation pour clairer les dcisions relatives laffectation de fonds la recherche dans lensemble des domaines au niveau national. Par consquent, le rapport ne traite pas en dtail de questions qui se posent dautres niveaux dagrgation (chercheurs, groupes de recherche, tablissements de recherche). (La figure 1.1 prsente un schma des diffrents niveaux dvaluation scientifique.)
valuation des subventions de recherche (chercheur principal unique/plusieurs chercheurs principaux) Cela se produit lorsquil est ncessaire dvaluer les travaux dun seul chercheur ou dun seul programme de recherche, par exemple si un chercheur sera titularis. valuation des modles de financement Cela peut se produire pour valuer un programme donn afin voir sil rpond aux objectifs de la socit.
Sujet de ce rapport
valuation des domaines/disciplines de recherche Cela est fait pour valuer la qualit, les tendances ou la capacit de recherche dans un domaine donn. valuation des domaines/disciplines de recherche Cela est fait pour valuer la qualit, les tendances ou la capacit de recherche dans un domaine donn. valuation des politiques de financement ou denjeux stratgiques particuliers Cela peut prendre la forme dun examen des politiques de financement ou des enjeux stratgiques, comme dans le cas dune valuation des objectifs nationaux en S et T.
Adaptation de lESF, 2009
Figure 1.1 Niveaux de lvaluation scientifique

Cette figure montre les diffrents niveaux dagrgation partir desquels il est possible de faire une valuation de la recherche. Le prsent rapport porte sur lvaluation au niveau des domaines/disciplines.
Quatrimement, dans le cadre de son mandat, le comit dexperts devait examiner les indicateurs scientifiques servant valuer la recherche scientifique tant dans les universits, les collges que les coles polytechniques. Pour y donner suite, le comit sest pench sur les enjeux lis lvaluation de la recherche exploratoire en SNG, sans gard au lieu o elle se droule (voir lencadr 1.1). Enfin, il a t expressment demand au comit dexperts dtudier lexprience dautres pays dans lutilisation dindicateurs scientifiques aux fins de laffectation des fonds. Le comit a examin attentivement le contexte canadien, mais il traite ici davantage de lexprience rcente dautres pays.
Encadr 1.1 valuation de la recherche exploratoire dans les collges et coles polytechniques du Canada
Le comit dexperts avait pour mandat dexaminer les pratiques dvaluation scientifique et les indicateurs relatifs la recherche ralise dans des universits canadiennes, ainsi que dans des collges et coles polytechniques. Gnralement, la recherche en sciences naturelles et en gnie (SNG) non dirige et axe sur la dcouverte a dabord t mene dans les universits canadiennes. Les travaux de recherche effectus dans les collges et les coles polytechniques taient normalement axs davantage sur le dveloppement dapplications technologiques particulires, en collaboration avec le secteur priv. Cependant, au cours des dernires annes, le rle des universits et des collges dans le domaine de la recherche a volu. De plus en plus dtablissements denseignement suprieur au Canada participent des travaux de recherche allant de la dcouverte au dveloppement, au dploiement et la commercialisation de technologies. Comme le montre la figure 1.2, il est invitable que les rles des universits, des collges, du gouvernement et du secteur priv se chevauchent au chapitre de la recherche, tous participant un degr ou un autre aux travaux de recherche exploratoire en SNG. tant donn cette volution dans les tablissements de premier cycle universitaire, les chercheurs sont admissibles prsenter des demandes au Programme de subventions la dcouverte du CRSNG. Tous les types de recherche sur ce continuum, allant de la recherche exploratoire la recherche applique, contribuent la production de connaissances. Le choix des pratiques dvaluation et des indicateurs devrait reflter cette diversit. Lors de lvaluation des domaines de recherche exploratoire en SNG, les mesures et les approches valuatives choisies devraient reflter la nature de la recherche value, quel que soit ltablissement o elle se droule. Par consquent, dans la mesure o les collges participent la recherche exploratoire, lvaluation des domaines de recherche exploratoire en SNG devrait saisir des donnes sur leurs activits, comme cela se fait pour les universits.
Rech erc he
atoire lor xp e
Rec he rc
Universits
Collges et coles polytechniques
he
tionnelle nsla tra
p ue in lic a ti q d u tio oli u es str n s a u x p iq l ielle s et p u b
Laboratoires grs par lindustrie et laboratoires publics au service dune mission
Figure 1.2 Chevauchement de la recherche dans les tablissements de recherche du Canada

Cette figure montre le rle des divers types dtablissements de recherche, qui participent tous dans une certaine mesure la recherche exploratoire.
1.3
m tho d o lo gi e d val u at i on
Le comit dexperts sest appuy sur deux grandes sources de donnes pour raliser son mandat : tude de la documentation disponible : Le comit a fait une recension exhaustive de la littrature sur les indicateurs scientifiques et les mthodologies dvaluation servant clairer laffectation des fonds de recherche en SNG. Le comit a attentivement pass en revue les tudes disponibles sur la scientomtrie et la bibliomtrie, le recours lexamen par les pairs et lexamen par des experts dans le cadre de diffrents modles dvaluations scientifiques et les pratiques passes et prsentes dvaluation de la recherche diffrents niveaux. Le comit a galement tenu compte de la documentation passe sur la rpartition des fonds de recherche. Le comit voulait recueillir les observations faites dans des travaux
savants rigoureux afin de mieux clairer les principaux aspects de son mandat. Ltude de ces publications, cites tout au long du rapport, a jou un rle de premier plan dans les conclusions tires par le comit dexperts. tudes de cas internationales : Le comit devait prciser ce que les approches employes par des organismes de financement trangers avaient offrir quant lutilisation dindicateurs scientifiques et de pratiques exemplaires connexes dans le contexte de la recherche en SNG. Pour ce faire, le comit a ralis des tudes de cas approfondies de 10 pays. Ces tudes de cas avaient un double objectif : i) sassurer que le comit ait une comprhension approfondie des indicateurs et pratiques couramment utiliss dans le monde; ii) dgager les leons tires par les organismes de financement trangers qui pourraient tre utiles au Canada. Les constats et les exemples instructifs tirs de ces tudes de cas sont prsents et comments tout au long du rapport. Des rsums des tudes de cas sont prsents lappendice A. Les 10 pays slectionns pour les tudes de cas rpondaient au moins lun des quatre critres suivants noncs par le comit dexperts : Pays coefficient lev de savoir : Pays ayant montr un engagement privilgier les sciences et la technologie au niveau national ou soutenir la recherche et le dveloppement en SNG et ayant fait preuve de leadership cet gard. Chefs de file en matire dvaluation scientifique : Pays qui, dans le contexte de laffectation de fonds la recherche, ont une exprience nationale reconnue ou unique dans lutilisation dindicateurs scientifiques ou ladministration de projets nationaux dvaluation scientifique. Chefs de file mergents en matire de sciences et technologie : Pays considrs comme mergents du point de vue du savoir et o le soutien aux sciences et la technologie progresse rapidement, ou jouant un rle croissant dans la sphre mondiale de la recherche en SNG. Pertinence pour le Canada : Pays dont lexprience est pertinente pour le Canada et pour le CRSNG cause des caractristiques de leur systme gouvernemental ou de la nature de leurs tablissements et de leurs mcanismes de financement public de la recherche. Les 10 pays slectionns par le comit dexperts sont les suivants : lAustralie, la Chine, la Finlande, lAllemagne, les Pays-Bas, la Norvge, Singapour, la Core du Sud, le Royaume-Uni et les tats-Unis. Pour chaque pays, la recherche a t divise en plusieurs volets. Un examen des tudes dj publies et des documents, rapports et sites Web pertinents des diffrents gouvernements a permis dtablir une base de renseignements pour chaque pays. Le comit sest aussi servi dun court questionnaire en ligne pour recueillir auprs dorganismes de financement de la recherche des donnes sur le type dindicateurs scientifiques utiliss et leur pertinence dans le contexte de mcanismes particuliers daffectation de fonds la recherche. Enfin, le comit a ralis une srie dentrevues avec des reprsentants dorganismes de financement de
10
la recherche (et dautres organismes pertinents) afin de connatre leur exprience des indicateurs et des mthodes dvaluations scientifiques et de valider linformation et les ides recueillies dans des travaux dj publis. Il est noter que lors de ces entrevues consacres lutilisation dindicateurs et de mthodes dvaluation scientifiques, le comit ne sest pas limit aux 10 pays choisis pour les tudes de cas. Il a galement pass en revue des exemples de pratiques pertinentes provenant de plusieurs administrations. Celles-ci ont t prises en considration dans ses dlibrations, sans pour autant en faire tat dans le prsent rapport.
1.4 s tr uc tur e du r aP P ort
Le rapport est structur comme suit : Le chapitre 2 donne un aperu du contexte du financement de la recherche au Canada, en mettant laccent sur la stratgie fdrale des sciences et de la technologie et sur les principales caractristiques du PSD du CRSNG. Ce chapitre dresse galement un portrait des expriences internationales rcentes en matire de financement et dvaluation des sciences et prsente un rsum des principales leons dgages par le comit dexperts lors de ses tudes de cas internationales. Le chapitre 3 porte sur le processus dcisionnel daffectation des fonds par domaine et dcrit les rles respectifs quy tiennent les indicateurs, le jugement des experts et les dcisions stratgiques. Le chapitre 4 prsente un aperu gnral des indicateurs scientifiques et des stratgies dvaluation actuellement disponibles. Il met en vidence les principaux aspects des approches dlibratives et quantitatives en matire dvaluation scientifique et traite de questions dordre gnral relatives aux types dindicateurs. Le chapitre 5 nonce lensemble des critres dvaluation adopts par le comit dexperts pour apprcier la validit des indicateurs quantitatifs servant valuer la qualit de la recherche et les tendances de la recherche. Le chapitre passe aussi en revue les indicateurs et les mthodes disponibles pour valuer la qualit de la recherche et prsente un rsum des constats faits par le comit suite son valuation de ces indicateurs. Le chapitre 6 passe en revue les indicateurs quantitatifs disponibles et les mthodes servant valuer les tendances de la recherche. Le chapitre 7 prsente les types dindicateurs disponibles pour valuer la capacit de recherche, offre des exemples de ces indicateurs et rsume leurs caractristiques cls. Le chapitre 8 rsume les observations du comit dexperts et les rponses aux questions qui lui ont t soumises.
11
Trois appendices renferment des renseignements techniques supplmentaires pertinents au rapport. Lappendice A offre des rsums des 10 tudes de cas internationales ralises aux fins de la prsente valuation, tandis que lappendice B prsente la version intgrale des tudes de cas et une liste de rfrences. Lappendice C donne des prcisions sur lexamen des indicateurs quantitatifs1. Note terminologique
Les termes utiliss par les dcideurs sont parfois diffrents des termes utiliss par les scientifiques. Mme dans la littrature savante sur lvaluation des sciences, on ne trouve pas les mmes termes dune publication lautre. Aux fins de ce rapport, le comit dexperts sest mis daccord sur les dfinitions suivantes.* Recherche exploratoire : recherche scientifique axe sur le travail denqute. La recherche exploratoire consiste en des travaux exprimentaux ou thoriques, principalement en vue dacqurir de nouvelles connaissances sur les fondements des phnomnes ou des faits observables, sans envisager une application ou une utilisation particulire. (Selon la dfinition de recherche fondamentale de lOCDE; voir OCDE, 2002). valuation : terme gnral dsignant lacte de mesurer le rendement dun domaine de la recherche en sciences naturelles et en gnie par rapport des normes globales ou internationales. Les valuations peuvent tre lies laffectation des fonds, ou peuvent tre ralises dans le cadre de lvaluation de programmes ou de politiques. Scientomtrie : science de lanalyse et de la mesure de la science, y compris tous les modles et indicateurs quantitatifs lis la production et la diffusion des connaissances scientifiques et technologiques (De Bellis, 2009). Bibliomtrie : les indicateurs quantitatifs, les donnes et les techniques danalyse permettant dtudier les tendances dans les publications. Aux fins du rapport, bibliomtrie dsigne ces indicateurs et techniques fonds sur les donnes tires des publications scientifiques (De Bellis, 2009). Mthodes dlibratives : stratgies dvaluation de la science fondes sur le jugement et les dlibrations dexperts (NRC, 2006). Les mthodes dlibratives comprennent lexamen par des experts et lexamen par les pairs.
Lappendice A se trouve la fin du rapport. Les appendices B et C sont disponibles en ligne, ladresse URL suivante : www.sciencepourlepublic.ca.
12
Indicateurs quantitatifs : tout indicateur construit partir de donnes quantitatives (comme le nombre de publications, de citations, dtudiants ou de bourses; le financement de la recherche). Domaine : le terme domaine ne sapplique pas un champ troitement dlimit; les domaines peuvent tre vastes (comme la chimie) ou plus prcis (comme la spectroscopie). Dans ce rapport, sauf indication contraire, le terme sapplique gnralement de vastes domaines de la recherche. Qualit de la recherche : la qualit ou le calibre de la recherche, tabli selon les valeurs et les normes de la communaut scientifique. La qualit de la recherche est une apprciation complexe et multidimensionnelle tenant compte dune varit de facteurs, notamment de loriginalit, de la rigueur et de limpact scientifiques (mais sans prendre en considration limpact socio-conomique plus gnral de la recherche) (REPP, 2005; Butler, 2007). Tendances de la recherche : les diverses tendances de lvolution de la recherche scientifique, par exemple les nouveaux domaines dtude ou les domaines en dclin, le dplacement des centres dintrt de la recherche, les nouveaux modles de collaboration, etc. Capacit de recherche : la capacit globale dentreprendre ou de raliser des recherches scientifiques dans un domaine ou une rgion en particulier. La capacit de recherche est value en fonction de facteurs comme linfrastructure et les installations disponibles, les niveaux de financement, les ressources humaines, les cots de la recherche, ainsi que la nature des partenariats et des collaborations existants, etc.
* Lorsque ces dfinitions sinspirent dautres sources, celles-ci sont indiques ci-dessus.
Chapitre 2 Financement et valuation de la science : le contexte canadien et lexprience internationale
13
2
financement et valuation de la science : le contexte canadien et lexprience internationale
Le contexte canadien : soutien fdral la recherche en SNG Le contexte international : examen des pratiques dvaluation scientifique ltranger Conclusions
14
financement et valuation de la science : le contexte canadien et lexprience internationale

Points saillants
Au Canada, le soutien public la recherche exploratoire en sciences naturelles et en gnie (SNG) est accord en vertu de la stratgie fdrale des sciences et de la technologie (S et T). Le Programme de subventions la dcouverte du Conseil de recherches en sciences naturelles et en gnie est le principal mcanisme employ par le gouvernement fdral pour soutenir la recherche exploratoire en SNG au Canada. Un examen international du PSD a permis dtablir quil rpond efficacement aux objectifs fixs; cependant, on sest inquit du fait que la rpartition des fonds du PSD entre les diffrents domaines de recherche dpend excessivement de la tendance historique du financement pass. Les initiatives rcentes dvaluation scientifique dans dautres pays montrent que i) le contexte national du financement de la recherche influe ncessairement sur la nature de toute valuation; ii) de nombreux pays semblent de plus en plus adopter une approche combinant des mthodes dlibratives et des indicateurs quantitatifs pour lvaluation nationale de la recherche.
Presque tous les gouvernements nationaux dans le monde soutiennent, des degrs divers, la recherche exploratoire, selon leur capacit budgtaire et leur situation scientifique. Toutefois, il est toujours problmatique de rendre compte de la valeur publique intgrale de ce soutien en termes concrets, comme il est toujours difficile de justifier le soutien continu la recherche scientifique. Ces difficults sont lies plusieurs grandes caractristiques de la recherche scientifique. Dabord, les avantages dcoulant davances scientifiques ne se font souvent sentir qu long terme et il est difficile par la suite de montrer que ces avantages sont directement lis un programme ou un projet de financement particulier. Ltendue des avantages sociaux ou conomiques dcoulant de la recherche scientifique nest souvent mesure que des dcennies (voire des sicles) plus tard (voir lencadr 2.1). Deuximement, pour rpondre aux impratifs de la reddition de comptes, les organismes publics de financement de la recherche (de mme que les ministres et autres organismes publics) doivent souvent se fixer des objectifs de rendement mesurables et quantifier dans quelle mesure ces objectifs sont atteints. Il leur est toutefois difficile dtablir des objectifs de rendement la fois lis leurs objectifs fondamentaux et leurs mandats respectifs et mesurables empiriquement.
15
Troisimement, les organismes publics de financement de la recherche doivent constamment justifier leurs dpenses la lumire des attentes que suscitent les diffrents axes de recherche. Mais les prvisions quant aux retombes de nimporte quel investissement dans la recherche exploratoire ne sont pas fiables. Comme le souligne un rapport du Conseil national de recherches des tats-Unis (NRC) portant sur lvaluation des sciences, aucune thorie ne peut prvoir de manire fiable les travaux de recherche qui seront les plus susceptibles de dboucher sur des progrs scientifiques ou socitaux (NRC, 2006). Par consquent, les organismes de financement ne peuvent prvoir hors de tout doute quelles seront les retombes de leurs investissements dans diffrents types, disciplines ou domaines de recherche. Encadr 2.1 Les retombes imprvisibles de la science exploratoire
priori, le parcours de la science exploratoire peut sembler clair et direct : cerner un problme puis y trouver une solution. Dans une allocution prononce en 1916, J.J. Thomson, laurat du prix Nobel de physique, soulignait combien il tait important dencourager la recherche exploratoire une recherche libre de la ncessit de trouver une application industrielle. Il en donnait pour preuve lutilisation des rayons X en chirurgie : Maintenant, comment cette mthode a-t-elle t dcouverte? Non pas dans le cadre de travaux de recherche applique qui auraient eu pour objectif de perfectionner la mthode de localisation des blessures par balle. la limite, ce type de recherche aurait pu tout au plus dboucher sur le perfectionnement des sondes, mais elle naurait jamais pu mener la dcouverte de lutilisation des rayons X en chirurgie [Traduction] (Rayleigh, 1942). Ainsi, les rayons X ont t dcouverts par hasard en novembre 1895, alors que Wilhelm Roentgen faisait des expriences avec le tube de Crookes. Un jeune homme bless par balle le jour de Nol 1895 Montral, au Qubec, est devenu le premier patient subir une chirurgie laide de rayons X. Les mthodes traditionnelles navaient pas permis de localiser la balle et les mdecins ont laiss la blessure gurir naturellement. Un tube de Crookes mont lUniversit McGill a toutefois servi produire des rayons X, conformment la dcouverte de Roentgen. En fvrier 1896, il a t utilis pour localiser la balle, qui a ensuite t retire avec succs (Sullivan, 2011; Gingras, 1987).
16
Les crans plats cristaux liquides (LCD) constituent un autre exemple pertinent. Les fondements scientifiques lorigine de la technologie LCD remontent 1888, alors quun botaniste et chimiste autrichien du nom de Friedrich Reinitzer a dcouvert les cristaux liquides. lpoque, ce scientifique ne savait quune chose : le benzoate de cholestryle, un compos issu des carottes, fondait 145C mais demeurait trouble jusqu ce quil atteigne 179C (Gray, 2009). Un an plus tard, le physicien allemand, Otto Lehmann, dcouvre que mme si le benzoate de cholestryle devient liquide 145C, il conserve une structure cristalline des tempratures allant jusqu 179C (Nobelprize.org, 2012). Il aura fallu 80 ans avant que cette dcouverte ne trouve une application lorsque Richard Williams dcouvre que le passage dun voltage dans une fine couche de cristaux liquides produit un modle, et il faudra encore 20 ans avant que cette invention ne trouve sa place dans les foyers (Magoun, 2007). Enfin, songez linvention de limagerie par rsonnance magntique (IRM), une technique qui a sauv un nombre incalculable de vies grce sa capacit de dtecter des tumeurs, des problmes cardiaques et dautres troubles de sant. Son origine remonte aux annes 1930, lorsque Isidor Rabi, un physicien de New York, dcide dtudier les proprits atomiques du sodium le spin nuclaire et le moment magntique. Il dcouvre que sous leffet daimants, les noyaux actifs salignent en position parallle ou antiparallle un champ magntique et quils se retournent sils sont exposs une onde lectromagntique dont la frquence est spcifique au matriau utilis. Lorsquun organisme comme le corps humain est expos un champ magntique intense, de nombreux noyaux dhydrogne dans lorganisme salignent dans la direction du champ magntique. Selon lintensit du champ, cette information peut servir produire une imagerie spatiale en trois dimensions. Ce nest quen 1977 que les premires images du corps humain sont produites grce cette technique. Lorsque Rabi lui-mme se soumet cette forme dimagerie en 1988, il dclare quil naurait jamais imagin que son travail aboutirait de tels rsultats (Rigden, 2000).
Aucune de ces difficults na cependant empch les gouvernements de continuer soutenir la recherche exploratoire en SNG. Les dernires donnes sur limportance de lactivit scientifique dans le monde montrent que les dpenses publiques consacres la recherche scientifique continuent daugmenter lchelle plantaire (OCDE, 2011). Mais des pressions croissantes sexercent sur les organismes de financement de la recherche pour quils amliorent les outils et les mthodes dvaluation scientifique et consolident la base de donnes qui leur sert prendre des dcisions relatives laffectation de fonds de recherche.
17
Au fur et mesure que les pratiques dvaluation scientifique voluent dans le monde, les organismes de financement de la recherche disposent de plus doptions pour tayer, clairer et valuer leurs dcisions en matire daffectation des fonds. Ce chapitre pose les jalons qui permettront dexaminer ces dveloppements. La premire section donne un aperu des principales caractristiques du contexte du financement des SNG au Canada qui sont pertinentes la rflexion actuelle du CRSNG sur les pratiques dvaluation et les indicateurs. La deuxime section dcrit les expriences rcentes de pays trangers en matire dvaluation scientifique et daffectation des fonds de recherche, en puisant largement dans les 10 tudes de cas internationales faites par le comit.
2 .1 le c ont e x t e c anadi e n : s o u tien fdr al la r e c h e r ch e e n s ng
Au Canada, la majorit des subventions la recherche provenant du gouvernement fdral sont verses par lentremise de trois organismes de financement connus collectivement sous le nom des trois Conseils. Chaque organisme subventionnaire a le mandat de financer un large ventail de travaux de recherche dans sa sphre dactivit. Les Instituts de recherche en sant du Canada (IRSC) offrent des subventions la recherche clinique et biomdicale, la recherche sur les services des systmes de sant, la recherche sur la sant des populations et la recherche sur les dimensions socitales et culturelles de la sant et sur les effets de lenvironnement sur la sant. Le Conseil de recherches en sciences humaines (CRSH) soutient la recherche en sciences sociales et humaines, tandis que le CRSNG soutient la recherche en sciences naturelles et en gnie. Deux aspects du financement des SNG au Canada sont particulirement pertinent au mandat du comit dexperts : i) le contexte global des politiques li au financement des SNG au Canada, tel que dtermin par la stratgie fdrale des S et T; ii) les objectifs et les caractristiques du Programme de subventions la dcouverte du CRSNG.
2.1.1 La stratgie fdrale des S et T
Le soutien fdral la recherche exploratoire en SNG au Canada est accord dans le contexte de la stratgie fdrale des S et T, intitule Raliser le potentiel des sciences et de la technologie au profit du Canada (Industrie Canada, 2007). Cette stratgie, labore en 2007, vise donner une orientation gnrale et un cadre stratgique global tous les programmes fdraux soutenant les sciences et la technologie au Canada. Elle comporte trois grands objectifs stratgiques pour les ministres et organismes
18
fdraux administrant des programmes de S et T au Canada, y compris le CRSNG. Ces objectifs sont tablis de manire favoriser trois avantages distincts du Canada en matire de S et T : Avantage entrepreneurial : traduire les connaissances en applications commerciales qui creront de la richesse pour les Canadiens . Avantage du savoir : sassurer de positionner le Canada la fine pointe des travaux importants qui engendrent des retombes pour la sant, lenvironnement, la socit et lconomie . Avantage humain : sassurer que le Canada demeure un aimant pour les personnes hautement qualifies dont il a besoin pour prosprer dans lconomie mondiale daujourdhui avec la main-duvre la plus instruite, la plus comptente et la plus souple au monde . (Industrie Canada, 2007) La stratgie fdrale des S et T nonce galement quatre grands principes visant orienter les politiques publiques en matire de sciences et de technologie : i) Promouvoir une excellence de classe internationale; ii) Concentrer les efforts sur les priorits; iii) Favoriser des partenariats; iv) Augmenter la responsabilisation. Le premier de ces principes ritre lengagement du gouvernement sassurer que les Canadiens atteignent une excellence de classe internationale en matire scientifique et technologique (Industrie Canada, 2007). Le deuxime affirme lintention du gouvernement de dployer des efforts stratgiques pour offrir un soutien cibl la recherche dans des domaines o le Canada a des atouts et des possibilits. Le troisime reflte la volont du gouvernement de soutenir la collaboration intersectorielle (p. ex. entre le secteur priv et les universits) en S et T, tandis que le quatrime vise renforcer les pratiques de gouvernance et de reddition de comptes applicables au soutien fdral aux S et T. Ensemble, ces principes et avantages forment le cadre stratgique qui rgit actuellement le soutien fdral la recherche exploratoire (et aux S et T de faon gnrale) au Canada (voir la figure 2.1). Aux fins du prsent rapport, il est important de comprendre la stratgie fdrale en S et T, et ce, pour deux raisons. Premirement, parce que les programmes de financement du CRSNG (comme dailleurs la plupart des programmes fdraux appuyant les S et T au Canada) sont, dans une large mesure, structurs de manire reflter les trois grands objectifs de la stratgie fdrale. Les programmes du CRSNG sont rpartis en trois catgories correspondant trois rsultats stratgiques : ceux qui visent linnovation, ceux qui visent les dcouvertes et ceux qui visent les personnes (c.--d. btir un capital humain) (CRSNG, 2011a). Mme sils ne sont pas identiques aux trois grands objectifs de la stratgie fdrale, il est clair que le choix de ces rsultats stratgiques a t en partie motiv par le contexte stratgique fdral. Les programmes du CRSNG, qui sinscrivent dans le volet dcouverte , correspondent l avantage du savoir . Le PSD est le plus important de ces programmes axs sur la dcouverte.
19
CADRE STRATGIQUE FDRAL POUR LES SCIENCES ET LA TECHNOLOGIE AU CANADA

Vision : Nous tablirons un avantage concurrentiel national durable fond sur les sciences et la technologie et une main-duvre qualifie dont les aspirations, les ambitions et les talents engendrent linnovation. Pour raliser cette vision, nous crerons trois avantages en S et T pour le Canada :
Avantage entrepreneurial Le Canada doit traduire les connaissances en applications pratiques afin damliorer notre richesse, notre mieux-tre et notre bien-tre.
Avantage du savoir Le Canada doit exploiter ses forces en recherche et en ingnierie, gnrer de nouvelles ides et des innovations et atteindre lexcellence selon des normes mondiales.
Avantage humain Le Canada doit largir son bassin de travailleurs du savoir en perfectionnant, en attirant et en retenant les personnes hautement qualifies dont il a besoin pour prosprer dans lconomie mondiale moderne.
Les mesures gouvernementales seront guides par quatre principes fondamentaux : Promouvoir une excellence de calibre international Concentrer les efforts sur les priorits Encourager les partenariats Renforcer lobligation redditionnelle
Reproduit selon Industrie canada, 2007
Figure 2.1 Cadre fdral des S et T au Canada
Deuximement, les principes prsents dans la stratgie fdrale ont une incidence sur les activits dvaluation scientifique ralises par le CRSNG. Ces principes expriment plusieurs des valeurs gnralement privilgies par les gouvernements lors de lvaluation scientifique de la recherche finance par des fonds publics : par exemple amliorer la reddition de comptes pour les dpenses publiques consacres la recherche scientifique, prioriser le soutien la recherche dans des domaines o le Canada possde des atouts ou offre des possibilits et sassurer que les rsultats de ce soutien sont de calibre mondial (voir OCDE, 2010, pour une analyse sommaire de ces motivations). Par consquent, pour le CRSNG (et dautres ministres et organismes fdraux appuyant la recherche), ces principes motivent directement lvaluation rgulire des investissements en recherche.
20
2.1.2
Le CRSNG et le Programme de subventions la dcouverte
Le Programme de subventions la dcouverte du CRSNG est le principal mcanisme servant appuyer la recherche exploratoire au Canada. Cest aussi le plus ancien et le plus important programme de financement de lorganisme2. Le PSD est aussi lune des plus importantes sources de soutien la recherche exploratoire en SNG au Canada. Ce soutien est souvent vital pour les chercheurs qui ont besoin dobtenir du financement supplmentaire auprs dautres sources qui, dans bien des cas, accordent des sommes plus importantes que les fonds verss en vertu du PSD (CRSNG, 2008). Tel quindiqu la section 2.1.1, les programmes de financement du CRSNG sont actuellement structurs en fonction de trois rsultats stratgiques : btir le capital humain, consolider la recherche exploratoire et soutenir les partenariats entre lindustrie et le milieu universitaire pour transformer le savoir en innovation (CRSNG, 2011a). La figure 2.2 prsente la ventilation actuelle des programmes de subventions et de bourses du CRSNG en fonction de ces trois catgories. En gros, un tiers des dpenses actuelles du CRSNG sont lies au soutien la recherche exploratoire au Canada et cest par lentremise du PSD que la majeure partie de ce soutien est accorde.
Administration 5%
Personnes 28 % Dcouverte 37 % Innovation 30 %
PSB 30 %
Non-PSB 7%
Total : 1,080 milliard de $

CRSNG, 2012
Figure 2.2 Rpartition du budget du CRSNG par rsultat stratgique, 20102011

Cette figure montre la rpartition du budget du CRSNG entre les trois rsultats stratgiques de lorganisation en 20102011. Tel quindiqu ici, plus dun tiers du budget annuel du CRSNG est investi dans la recherche exploratoire et le financement du Programme de subventions la dcouverte reprsente la majorit de ces dpenses.
Le PSD, qui a port plusieurs noms depuis la cration du CRSNG en 1978, tait auparavant appel Subventions de fonctionnement et Subventions de recherche (NSERC, 2008).
21
Les objectifs explicites du PSD sont les suivants : Promouvoir et maintenir une base de recherche diversifie et de haute qualit en sciences naturelles et en gnie dans les universits canadiennes; Favoriser lexcellence en recherche; Fournir un milieu stimulant pour la formation de chercheurs. (CRSNG, 2011b) Les chercheurs ou les quipes de chercheurs peuvent soumettre une demande de subventions la dcouverte. Ces dernires durent normalement cinq ans (ce qui est gnralement plus long que la priode de financement des projets ailleurs dans le monde) (CRSNG, 2008). Lune des caractristiques les plus notables du PSD est quil vise appuyer des programmes de recherche plutt que des projets. Lorsquun chercheur reoit une subvention par lentremise du PSD, le financement ne se limite pas aux activits dcrites dans la demande de subvention. En fait, le chercheur peut affecter des ressources de nouveaux travaux de recherche, sil y a lieu condition que ces travaux correspondent au mandat du CRSNG (CRSNG, 2011b). Dans le cadre du PSD, un niveau minimal de subvention est accord dans chaque domaine afin que chaque bnficiaire reoive un soutien suffisant pour que le programme de recherche puisse avoir une incidence apprciable sur le domaine de recherche (CRSNG, 2011b). Les subventions la dcouverte se distinguent des autres programmes de financement de la recherche dans la mesure o elles sappliquent seulement aux cots directs de la recherche et non aux salaires des professeurs, aux frais gnraux de ltablissement ou aux cots indirects (CRSNG, 2008). Les valuations passes du CRSNG ont montr que le PSD est un programme de financement trs efficace. Par exemple, une tude internationale mene en 2008 a conclu que, en plus davoir trouv un quilibre appropri entre ses deux objectifs, savoir promouvoir et maintenir une base diversifie de moyens de recherche et favoriser lexcellence en recherche , le PSD appuie de faon gnrale les meilleurs chercheurs et leur permet de soutenir la concurrence internationale . Le comit charg de ltude a conclu que le PSD est un modle exceptionnellement efficace pour appuyer la recherche canadienne dans les domaines des SNG (CRSNG, 2008). Le PSD a priodiquement t la cible de critiques en raison du fait que laffectation des fonds aux diffrents domaines de recherche est anormalement tributaire des profils de financement passs, ce qui signifie que le niveau de financement global par domaine est peu susceptible de changer. Les subventions la dcouverte sont accordes selon un processus typique dexamen par les pairs (un comit bnvole compos de pairs du candidat examine sa proposition et rend une dcision). Toutefois, avant loctroi des subventions individuelles, le financement est dabord rparti entre divers groupes dvaluation correspondant des domaines de recherche particuliers. (Le CRSNG a rcemment adopt un systme de douze groupes dvaluation lis des disciplines;
22
auparavant, le financement tait rparti entre 28 comits de slection des subventions). Cette premire tape du processus daffectation est largement influence par les tendances passes du financement, les comits (maintenant les groupes dvaluation) recevant une enveloppe semblable celles des annes passes. Le CRSNG a dabord tent de rpondre ces proccupations en 1991 en mettant en place un exercice de raffectation du budget du PSD, pour faire en sorte que le PSD volue et sadapte aux changements observs dans les diverses disciplines et dans lenvironnement de la recherche (CRSNG, 2006a). Il voulait y parvenir en raffectant priodiquement (tous les quatre ans) un certain pourcentage (jusqu 10 %) du financement du PSD entre les domaines de recherche. Il y a eu trois exercices de raffectation du PSD (en 1994, 1998 et 2002) et la mthodologie a sensiblement volu entre chaque exercice. En 2006, une valuation de lexercice de raffectation a abouti la conclusion que cet aspect du PSD natteignait gnralement pas ses objectifs. Malgr ces trois exercices, le financement accord chaque comit de slection changeait trs peu, restant gnralement dans une marge de 4 % des budgets prvus avant la raffectation (CRSNG, 2006a). Ces variations minimes ont incit les valuateurs conclure que les cots du programme de raffectation, dans sa conception actuelle, taient suprieurs ses avantages (CRSNG, 2006a). Le programme a donc t aboli. Nanmoins, lvaluation de lexercice de raffectation du PSD a fait ressortir que les raisons qui avaient justifi la mise en place de lexercice de raffectation taient toujours valables et quils avaient lappui des membres de la collectivit du CRSNG. Par consquent, le CRSNG a continu rvaluer priodiquement la manire dont les fonds du PSD taient rpartis entre les domaines et sintresser aux pratiques, aux mthodes et aux mcanismes dvaluation permettant dclairer le processus daffectation.
2.2 le c o n te xt e i nt e r nat i onal : e xa m e n d e s P rat i qu e s d val u at ion s c i e n ti fi q u e l t r ange r
Le comit dexperts a pris en considration un large ventail de pratiques dvaluation scientifique et daffectation de fonds utilises par dautres pays. Il sest notamment intress 10 pays : lAustralie, la Chine, la Finlande, lAllemagne, les Pays-Bas, la Norvge, Singapour, la Core du Sud, les tats-Unis et le Royaume-Uni (voir la section 1.3 pour un aperu des critres de slection du comit et lappendice A qui renferme plus de dtails sur les tudes de cas). Lexamen des donnes factuelles de ces pays a amen le comit dexperts faire deux constats :
23
Les circonstances dans lesquelles se droulent les valuations scientifiques y compris le contexte du financement de la recherche, le cadre institutionnel et organisationnel et lenvironnement stratgique national a une incidence significative sur la conception des mthodes dvaluation de la recherche exploratoire.
Diverses mthodes dvaluation sont utilises dans le monde et cette diversit ressort de la manire dont ces mthodes sont intgres aux processus daffectation des fonds. tant donn les diffrences observes dans les caractristiques des systmes de financement de la recherche et des tablissements de recherche, ainsi que les diffrences entre les cadres stratgiques nationaux et les mandats des organismes de financement de la recherche, on ne peut sattendre ce quun ensemble unique de pratiques dvaluation et dindicateurs sapplique en toutes circonstances. Lvaluation de la recherche exploratoire en SNG au niveau des domaines va ncessairement varier selon le contexte national du financement de la recherche. Par consquent, la notion mme de pratiques exemplaires internationales offre peu denseignements sur les indicateurs scientifiques et les pratiques dvaluation susceptibles dclairer les dcisions relatives au financement de la recherche.
Il y a une tendance gnrale vers des modles nationaux dvaluation scientifique reposant sur le jugement dexperts et des indicateurs quantitatifs.
Un certain nombre dvaluations nationales de la recherche ont volu sparment vers ce type de modle, souvent en raction aux conclusions dcoulant dexamens exhaustifs des mthodologies dvaluation disponibles commands par les ministres et les organismes gouvernementaux concerns. Comme en tmoignent les recommandations sur la mthodologie formules par des experts en valuation de la recherche et les mthodes dvaluation adoptes par les gouvernements, on reconnat de plus en plus que la meilleure approche lvaluation de la recherche au niveau des domaines est une combinaison dindicateurs et dexpertise. Ces questions et dautres observations connexes sont examines plus en dtail dans les sections qui suivent.
2.2.1 Financement de la recherche institutionnelle et financement de projets de recherche
Les mcanismes publics de financement de la recherche peuvent tre rpartis en deux grandes catgories : i) le financement de projets de recherche, soit loctroi de subventions des chercheurs individuels, des quipes ou des projets de recherche; ii) le financement de la recherche institutionnelle, cest--dire un transfert global effectu par les autorits aux tablissements de recherche, notamment les collges et les universits. Le financement de projets de recherche se fait gnralement par lentremise de conseils de recherche financs par des fonds publics (comme le CRSNG)
24
et les demandes de subvention individuelles sont principalement values dans le cadre dun processus dexamen par les pairs. Le financement institutionnel est directement vers aux universits par les gouvernements centraux ou rgionaux, et les montants affects sont souvent tablis partir dune formule de financement.
Le financement de projets de recherche
Il est gnralement difficile dobtenir des renseignements sur laffectation de fonds des projets de recherche auprs des organismes publics de financement de la recherche. tant donn que les dcisions de haut niveau en matire daffectation des ressources (p. ex. la rpartition des fonds entre les divers groupes dvaluation du PSD au Canada) sont souvent prises la discrtion des cadres suprieurs ou de la direction de ces organismes. Ainsi, la description des mcanismes daffectation et des processus dcisionnels en place ne se retrouve gnralement pas dans les documents publics. De plus, il existe trs peu de publications soumises lexamen des pairs sur ces processus dcisionnels et mcanismes daffectation. Le comit dexperts a pu recueillir de linformation sur ce type de dcisions pour seulement quatre des dix pays retenus aux fins des tudes de cas : lAustralie, lAllemagne, la Finlande et la Norvge3. Par consquent, il na pas t possible de tirer des conclusions fermes partir de ces renseignements limits. Toutefois, les donnes disponibles incitent penser que les organismes qui financent des projets de recherche sappuient gnralement sur des indicateurs pour tablir les niveaux de rfrence du financement de la recherche (comme cest le cas du CRSNG), lesquels peuvent par la suite tre assortis dun complment de fonds, mais cette dcision est laisse la discrtion des cadres ou de la direction de chaque organisme. Cest le cas en Allemagne et en Australie, o la plus grande partie des fonds initialement affects aux diffrents domaines est dicte par la tendance du financement antrieur, tandis que laffectation dune part plus limite des fonds est laisse la discrtion de la direction de lorganisme. Linfluence exerce par la tendance du financement antrieur vise maintenir une certaine cohrence entre les niveaux de financement passs et prsents, ainsi qu tenir compte des cots variables de la recherche dun domaine lautre. Or, ces cots sont souvent censs avoir t pris en compte dans le calcul du niveau de financement pass (Margaret Sheil, communication personnelle, le 15 juin 2011; Asbjrn Mo, communication personnelle, le 30 juin 2011).
Les principaux programmes non-dirigs de financement de la recherche axe sur la dcouverte examins par le comit dans ces pays taient le Programme national de subventions la concurrence (NCGP) du Conseil de recherches australien (ARC), le Programme de subventions individuelles de la Fondation allemande pour la recherche (DFG), le Programme de subventions indpendantes (FRIPRO) du Conseil de recherches de la Norvge (RCN) et les projets de lAcadmie de lAcadmie finlandaise.
25
Le financement de la recherche institutionnelle
Linformation sur les indicateurs et les pratiques dvaluation utiliss pour clairer les dcisions relatives laffectation du financement de la recherche institutionnelle et la rpartition de ces fonds est plus facilement accessible. Laffectation dune part importante du financement global aux tablissements denseignement suprieur au Royaume-Uni en fonction des rsultats dune valuation de la recherche (United Kingdoms Research Assessment Exercice RAE) est peut-tre le plus clbre exemple de ce mode de financement, mme si de nombreux autres pays adoptent des modles axs sur le rendement en vue dattribuer des fonds la recherche institutionnelle (examins dans OCDE, 2010). Dans ces modles, les transferts globaux des tablissements denseignement suprieur reposent en partie sur une forme quelconque dvaluation de la recherche, qui dtermine aussi gnralement loctroi des fonds additionnels aux tablissements qui, selon un ensemble dindicateurs choisis, affichent un rendement suprieur. Sur les dix pays tudis, six (Australie, Finlande, Allemagne, Pays-Bas, Norvge et Royaume-Uni) ont des modles de financement institutionnel o une partie des fonds verss aux tablissements denseignement suprieur est lie au rendement de la recherche. Ces formules de financement ne sont pas tout fait comparables celles des organismes qui financent des projets de recherche (comme le CRSNG), mais les pratiques dvaluation du financement de la recherche institutionnelle ont fait lobjet de plus dtudes et pourraient donc tre riches en enseignements pour le CRSNG et le Canada. Les modles de financement de la recherche institutionnelle axs sur le rendement se distinguent la fois par la nature des processus employs pour valuer le rendement de la recherche et par les moyens utiliss pour intgrer les valuations aux mcanismes daffectation des ressources. En gnral, mme l o de tels mcanismes existent, la composante rendement reprsente une part relativement modeste de lenveloppe globale du financement de la recherche institutionnelle. Une part importante de ce type de financement est gnralement dtermine par le niveau de financement antrieur. Ainsi, les niveaux de financement antrieurs expliquent 60 % du financement allant aux tablissements en Norvge (OCDE, 2010). De plus, en raison des modalits en place, les variations dans le financement global accord aux tablissements sont souvent limites par les niveaux de financement historiques. Par exemple, en Australie, la subvention institutionnelle globale (en vertu du Joint Research Engagement, ou JRE) doit reprsenter au moins 95 % du niveau de financement de lanne prcdente (DIISR, 2011a)4. La plupart des tats allemands (les gouvernements des tats contrlent le financement institutionnel en Allemagne) emploient aussi une marge de tolrance lie au budget de lanne prcdente, ce qui limite le montant maximum pouvant tre gagn ou perdu dans la part du financement accord au rendement (OCDE, 2010).
Le 15 dcembre 2011, le ministre de lIndustrie, de lInnovation, de la Science, de la Recherche et de lEnseignement suprieur a remplac le DIISR.
26
Plusieurs types dindicateurs quantitatifs sont couramment utiliss dans le cadre de ces systmes de financement surtout des indicateurs permettant de mesurer les sources externes de financement (celui qui provient dautres sources), les rsultats de la recherche et les populations dtudiants et de professeurs. Des indicateurs axs sur les sources externes de financement entrent dans le calcul de la rpartition des transferts globaux aux tablissements denseignement suprieur en Australie, en Norvge, en Finlande et en Allemagne (voir OCDE, 2010; Geuna et Martin, 2003; DIISR, 2011b). En Norvge, 30 % du financement des universits est fonction dune srie dindicateurs de ce genre, notamment les montants de financement externe provenant du Conseil de recherche de la Norvge (RCN) et du Programme-cadre de recherche de lUE (OCDE, 2010). En outre, plusieurs de ces systmes de financement affectent des fonds proportionnellement aux rsultats de la recherche, valus en fonction dun ou de plusieurs indicateurs. Par exemple, en Norvge, 30 % du financement de la recherche institutionnelle est accord en tenant compte du volume de publications, rajust selon trois critres : la qualit de la revue, la contribution relative du chercheur la publication et le type de publication (p. ex. ouvrage, article) (OCDE, 2010). En Australie, le volume de publications reprsente 10 % du budget de financement du JRE, quil sagisse douvrages, de chapitres douvrages, darticles ou dactes de confrences, et le volume moyen est tabli partir de la production des deux dernires annes (DIISR, 2011a). La Finlande distribue aussi une petite tranche de son budget de financement en fonction du rendement de la recherche, en sappuyant notamment sur le volume de publications (5 %)5 (OCDE, 2010). Plusieurs de ces systmes emploient les mmes indicateurs. Enfin, certains systmes, dont le plus connu est le RAE au RoyaumeUni, font appel au jugement dexperts pour valuer la qualit de la recherche et, de l rpartir les fonds de recherche. Les modles axs sur le rendement semblent de plus en plus populaires pour le financement de la recherche institutionnelle (OCDE, 2010) et il y a de plus en plus de donnes factuelles clairant la faon dont les indicateurs et les pratiques dvaluation influent sur les systmes nationaux de recherche. Les sections qui suivent abordent deux grandes questions, soit limpact possible des systmes nationaux dvaluation de la recherche sur le comportement du milieu de la recherche et le rle des experts dans lvaluation et laffectation des fonds.
Cet indicateur pourrait avoir plus de poids lavenir et pourrait tre rvis en fonction de la qualit des revues. Cest un sujet qui fait actuellement lobjet de discussions au sein du groupe de travail sur la rforme institutionnelle du ministre de lducation de la Finlande (Anita Lehikoinen, communication personnelle, le 15 juin 2011).
27
2.2.2 Limpact de lvaluation de la recherche et des mthodes dvaluation sur les comportements
Lier directement les dcisions relatives au financement de la recherche des indicateurs ou aux rsultats dvaluation engendre invitablement des effets incitatifs, positifs et ngatifs, qui peuvent avoir des consquences imprvues sur le comportement des chercheurs et des tablissements de recherche. La question a surtout t tudie dans le contexte du financement de la recherche institutionnelle car les montants attribus sont souvent directement lis des indicateurs quantitatifs6. Lun des effets comportementaux le plus souvent tudi est limpact des systmes dvaluation et des indicateurs sur les rsultats de la recherche. Des corrlations ont t observes entre lutilisation, dans une formule de financement, dindicateurs mesurant le volume de la recherche et laugmentation subsquente des extrants de la recherche. Corrlation ne veut pas dire causalit, mais il est probable quune partie de la hausse est lie des effets incitatifs ayant modifi les comportements. La plupart de ces observations portent sur lutilisation dindicateurs du nombre de publications. Ainsi, le ministre de lducation et de la Recherche de la Norvge a constat que lutilisation dun indicateur li aux publications dans le calcul de la part du financement institutionnel axe sur le rendement avait contribu une augmentation du nombre de publications norvgiennes, mme si cet indicateur na dtermin que moins de 2 % du financement total des tablissements denseignement suprieur (OCDE, 2010). Une tude australienne a conclu que laugmentation du nombre total darticles de recherche publis en Australie au milieu des annes 1990 tait vraisemblablement lie une formule de financement institutionnel englobant des indicateurs relatifs au volume de publications (Butler, 2003). Au Royaume-Uni, le financement institutionnel est en partie dtermin en fonction du RAE. Bien que le RAE englobe un examen par des experts, les comits dexperts tiennent compte du volume de publications. Moed (2008) a prsent des donnes qui indiquent que le RAE a eu un impact important sur les extrants de la recherche au Royaume-Uni et que cet impact a vari au fil du temps, selon les aspects privilgis dans les rondes successives dvaluation7.
6 7
Voir OCDE, 2010, chapitre 4, pour un examen de ces impacts. Dans les annes qui ont suivi la mise en place du RAE, le nombre total de publications issues de la recherche a augment au Royaume-Uni. Aprs avoir privilgi la qualit plutt que le nombre de publications dans le RAE de 1996, la part mondiale des publications du Royaume-Uni a dclin, mais sa part des articles parus dans les revues les plus cites a augment. Au cours des dernires annes, la part globale des publications de recherche semble nouveau augmenter, probablement en raison des efforts visant accrotre le nombre de personnes activement employes en recherche (Moed, 2008; OCDE, 2010).
28
Toutefois, cet effet incitatif peut agir ngativement dans la mesure o, lorsque le financement est explicitement li aux extrants de la recherche, les chercheurs peuvent tre tents daccrotre la quantit des publications au dtriment de la qualit. Cela est confirm par certaines donnes. Par exemple, une tude a montr que le nombre total darticles de recherche avait augment en Australie au milieu des annes 1990, mais que le facteur relatif de citations avait chut (Butler, 2003). Les gouvernements se sont dots dune varit de stratgies pour corriger ce problme. Le ministre de lducation et de la Recherche de la Norvge croit que le risque est suffisamment contrl lorsque le critre du nombre de publications est li la qualit des revues (OCDE, 2010)8. Au Royaume-Uni, le RAE a recours un processus dexamen par des experts. Dans ce contexte, les donnes relatives aux publications de recherche servent clairer le comit dexperts mais elles ne jouent pas un rle dterminant. Cette stratgie semble avoir donn de bons rsultats puisque lon convient gnralement au Royaume-Uni que la recherche est de meilleure qualit grce au RAE (gouvernement du Royaume-Uni, 2006; OCDE, 2010). La bibliomtrie vient confirmer cela, dans la mesure o limpact global de la recherche au Royaume-Uni, valu daprs les profils de citations, a augment depuis la cration du RAE (Adams et Gurney, 2010; Moed, 2008). Les indicateurs fonds sur le nombre de publications, pondr en fonction de la qualit de la revue, peuvent contribuer attnuer le problme de la qualit des rsultats, mais cette pratique peut engendrer dautres effets indsirables. Par exemple, le RAE semble avoir incit les universitaires du Royaume-Uni publier dans des revues scientifiques trs connues et trs cites au dtriment des autres publications (McNay, 1998; OCDE, 2010; RIN, 2009). Mais il est discutable de considrer les revues scientifiques trs connues et trs cites comme tant de meilleure qualit que les revues spcialises ou rgionales soumises lvaluation des pairs. Si, dans certains cas, la dimension internationale est souhaitable, il reste que le fait daccorder plus dimportance aux revues internationales dans le cadre des processus dvaluation de la recherche peut conduire ngliger des sujets importants sur le plan national (ou rgional) (REPP, 2005). En outre, si les revues trs spcialises sont susceptibles davoir un facteur dimpact moins lev, leur lectorat tant plus restreint, cela ne veut pas dire pour autant que les articles qui y sont publis sont de moins bonne qualit ou de moindre importance. Un exemple de cela se trouve en Chine, o les universitaires sont fortement incits publier dans des revues internationales. La Chine na pas de mcanismes de financement de la recherche institutionnelle axs sur le rendement, mais un grand nombre duniversits et dinstituts de recherche chinois offrent frquemment des primes
La formule de financement institutionnel en Finlande sera vraisemblablement modifie bientt pour aller dans ce sens (Anita Lehikoinen, communication personnelle, le 15 juin 2011).
29
financires aux universitaires en fonction de leurs publications dans des revues, et les rcompenses sont plus importantes lorsque les articles paraissent dans des revues plus prestigieuses (ou trs cites) ou dans des revues figurant dans le Science Citation Index de Thomson Reuters. Ainsi, lUniversit Zhejiang, les premiers auteurs publier dans Nature ou Science reoivent une rcompense de 200 000 RMB (lquivalent denviron 30 000 $CAN)9, tandis que les auteurs publiant dans dautres revues touchent une somme infrieure allant de 600 RMB (environ 90 $CAN) 14 000 RMB (environ 2 000 $CAN), selon le facteur dimpact de la revue (Shao et Shen, 2011). Les effets incitatifs de ce genre de pratique pourraient avoir contribu la forte croissance des publications scientifiques en Chine au cours des dix dernires annes, mais les politiques qui incitent publier dans des revues internationales dtournent probablement la recherche des problmatiques rgionales ou dfavorisent la publication dans des revues de langue chinoise (Shao et Shen, 2011). Lutilisation dindicateurs dans les formules de financement donne lieu un autre type deffet incitatif : le dtournement des objectifs; au lieu de viser un objectif ou un niveau de rendement qui est ensuite mesur grce un indicateur, le but vis devient laccumulation du plus grand nombre de points pour un indicateur donn (REPP, 2005). Les chercheurs et les tablissements de recherche peuvent en venir tenter de trouver des moyens de gonfler artificiellement leur rendement au regard des indicateurs servant aux valuations. titre dexemple, en Australie, selon les indicateurs jadis utiliss pour financer la recherche institutionnelle, les confrences devaient avoir un caractre international et les membres des comits de rdaction des revues devaient provenir de plusieurs tablissements. Une universit a contourn la premire restriction en invitant au moins un participant tranger ses confrences, tandis quun chercheur a contourn la seconde restriction en crant un comit de rdaction compos danciens tudiants diplms (OCDE, 2010). Une tude rcente a montr que la pratique institutionnalise consistant offrir des primes financires aux scientifiques et aux chercheurs en fonction de leurs publications avait eu de srieuses consquences sur lintgrit scientifique en Chine. Selon des sondages, un chercheur sur trois aurait avou avoir plagi, falsifi ou fabriqu de toutes pices des donnes pour pouvoir publier plus rapidement dans des revues plus prestigieuses (Qiu, 2010). La recherche a galement dmontr lmergence dun vaste march de la rdaction darticles par des auteurs anonymes portant sur des travaux de recherche inexistants, ainsi que de sites Web illicites offrant des services de rdaction de rapports de recherche fictifs, la possibilit de passer outre lexamen par les pairs contre paiement et la falsification dexemplaires de revues chinoises ou internationales
Montants convertis en dollars canadiens daprs le taux de change en vigueur le 2 mai 2011.
30
lgitimes (Qiu, 2010). Lexprience de la Chine en matire de primes pour publication laisse donc penser quil faut tre prudent avant de lier les incitatifs financiers offerts aux chercheurs des indicateurs axs sur les rsultats de la recherche. Le comportement des chercheurs peut aussi tre influenc par dautres facteurs qui, dans certains cas, sont tout aussi importants. Outre les effets des incitatifs signals cidessus, au Royaume-Uni, le RAE a eu des rpercussions considrables et imprvues sur les pratiques dembauche et la structure dpartementale des tablissements, ainsi que des effets sur le moral, la collaboration, lautonomie et lorientation des travaux des chercheurs (OCDE, 2010). Ainsi, le RAE a suscit un march des transferts parmi les chercheurs au sein des tablissements denseignement et entre ceux-ci. Les universits se font concurrence pour recruter les meilleurs chercheurs avant que les valuations naient lieu, ce qui a plac les chercheurs devant une diversit croissante de postes et de possibilits contractuelles. Les donnes montrent que le RAE a conduit certaines universits du Royaume-Uni mettre laccent sur lembauche de professeurs plus jeunes ayant un potentiel de recherche, tandis que dautres ont adopt une approche plus conservatrice et ont mis sur lembauche de chercheurs bien tablis (HEFCE, 1997; OCDE, 2010). Plusieurs universits ont ferm des dpartements qui avaient un classement mdiocre (OCDE, 2010). Dans certains cas, la sensibilit des universitaires sest trouv exacerbe par la question de savoir quels membres du dpartement figureraient sur la liste du personnel actif en recherche dans les propositions prsentes au RAE (HEFCE, 1997), ce qui a mis rude preuve le moral et la collgialit des effectifs. Les universits devenant de plus en plus soucieuses de leur classement dans le cadre du RAE et de ses rpercussions sur le financement, certains administrateurs et directeurs ont resserr leur contrle sur lorientation des travaux de recherche des enseignants et des dpartements (McNay, 1998; OCDE, 2010). Le RAE peut dcourager la recherche risque lev, surtout lorsque les chercheurs pensent ne pas pouvoir produire de rsultats avant la prochaine ronde dvaluations (Evaluation Associates Ltd., 1999; McNay, 1998; OCDE, 2010). Les chercheurs se sont galement proccups du fait que le RAE nencourage pas suffisamment la collaboration, notamment avec des chercheurs travaillant lextrieur des tablissements denseignement suprieur (OCDE, 2010; Evaluation Associates Ltd., 1999).
2.2.3 Le rle des experts dans lvaluation de la recherche
Les tudes de cas ralises aux fins de ce rapport ont permis de dgager des leons importantes quant au rle des experts dans lvaluation de la recherche. Le constat gnral est le suivant : les exercices dvaluation de la recherche semblent de plus en plus reposer sur des mthodes dlibratives et des indicateurs quantitatifs. Les exemples les plus frappants de ce phnomne proviennent de lAustralie et du Royaume-Uni. Au Royaume-Uni, le vnrable RAE doit bientt tre remplac par le Research Excellence Framework (REF), ou cadre dexcellence en matire de
31
recherche (HEFC, 2011b). Les examens passs du RAE ont confirm quil dpendait surtout de lexamen par les pairs (voir, par exemple, Roberts, 2003) et des recherches plus rcentes sur lutilisation dindicateurs bibliomtriques dans le cadre du REF ont conclu que ceux-ci ne sont pas encore assez fiables pour servir de formule ou remplacer lexamen par des experts, mais que les donnes sur les citations pourraient clairer lexamen des experts (HEFCE, 2009). Par consquent, mme si le processus du REF devrait normalement comprendre des indicateurs bibliomtriques et des paramtres de rfrence, le jugement des experts aura la priorit. LAustralie a rcemment mis au point un processus national dvaluation, Excellence in Research for Australia (ERA), ou excellence en matire de recherche en Australie, qui repose galement sur une combinaison doutils de mesures et de dlibrations : les indicateurs bibliomtriques et les paramtres de rfrence ont leur place dans les valuations, mais ils sont subordonns lexamen de comits dexperts qui dcident de lissue des valuations (ARC, 2011).
lchelle internationale, beaucoup dautres exemples montrent que les mthodes dvaluation associent lanalyse quantitative et les dlibrations. Par exemple, si les tats-Unis ne disposent pas dun mcanisme national dvaluation de la recherche de lenvergure de celui du Royaume-Uni, le Conseil national de recherches des tats-Unis a dj fait des analyses comparatives internationales des domaines de recherche dans le cadre desquelles des comits dexperts ont valu le rendement de la recherche et la capacit de recherche par domaine laide dun ventail de donnes de rfrence (voir, par exemple, NRC, 2000). La Finlande sest dote dun modle similaire : un comit dexperts utilisant des outils de mesure pour faire des valuations (voir, par exemple, Acadmie finlandaise, 2011). Le Conseil de recherches en gnie et en sciences physiques (EPSRC) du Royaume-Uni a adopt un modle semblable pour ses valuations internationales, fond sur lexamen de donnes par un comit dexperts (voir, par exemple, EPSRC, 2011). Une tude consacre au dveloppement du RAE au Royaume-Uni et au rapport du Conseil des sciences et des sciences humaines (WR) dAllemagne, intitul Research Ratings, est galement instructive cet gard. Dans les deux cas, ltude a dbouch sur la conclusion que le meilleur moyen dvaluer la qualit de la recherche semble tre une analyse par des experts claire par des indicateurs quantitatifs. En 2003, le gouvernement du Royaume-Uni a parrain une tude indpendante du RAE qui a valid cette approche globale et confirm le besoin de continuer recourir un processus dexamen par des experts pour les valuations futures. Les auteurs de ltude ont notamment affirm que : nous [le comit] sommes maintenant convaincus que le seul systme susceptible de gagner la confiance et lassentiment de la communaut des universitaires est un systme qui repose en dfinitive sur un examen par des experts [Traduction] (Roberts, 2003).
32
Dans son rapport de 2004, Recommendations for Rankings in the System of Higher Education and Research in Germany, le WR a conclu que, pour tre efficaces et exactes, les comparaisons de la qualit de la recherche doivent tre soumises lexamen dun comit dexperts clair : la lumire de lexprience internationale, le Conseil des sciences carte tout systme dvaluation de la recherche reposant uniquement sur des indicateurs quantitatifs et sur un simple classement fond sur la rputation. Pour comparer la qualit du rendement de la recherche, il faut valuer chaque domaine de recherche dans le cadre dun examen par les pairs utilisant des donnes harmonises et des indicateurs quantitatifs (examen par les pairs clair) laide dune chelle dvaluation dfinie lavance [Traduction] (WR, 2004). Quatre ans plus tard, cette conclusion a t corrobore par une analyse du projet pilote Research Ratings, qui a montr que la qualit de la recherche aurait souvent t classe diffremment si lon avait utilis seulement des indicateurs quantitatifs pondrs, sans examen plus approfondi (WR, 2008a). De manire gnrale, lors de lvaluation de la recherche, le jugement dexperts apporte une valeur ajoute sur plusieurs plans. Les pairs ou les experts dans un domaine de recherche particulier sont familiariss avec les caractristiques de ce domaine et, dans le cas du Research Ratings du WR par exemple, ils prennent en considration les donnes contextuelles, comme les ralisations novatrices ou les priodes de changement fondamental, qui peuvent contredire les conclusions tires dindicateurs quantitatifs (WR, 2008b). Le WR a galement not que lvaluation des donnes qualitatives est utile, par exemple la lecture de travaux de recherche ou des descriptions fournies par des groupes de recherche (WR, 2008b). De plus, lorsque la qualit est value dans le cadre dun processus dexamen par des experts, il y a moins de risque de crer des effets incitatifs. Si les dcisions en matire de financement sont fondes sur des mthodes dvaluation plus complexes, la communaut de la recherche sera moins tente de cibler un ou plusieurs indicateurs pour amliorer son rendement. En outre, lexamen du RAE ralis au Royaume-Uni par Roberts (2003) affirmait : Nous sommes convaincus [] quen dfinitive, seul un systme fond sur le jugement dexperts est suffisamment lpreuve deffets comportementaux imprvisibles pour prvenir une distorsion de la nature mme des travaux de recherche [Traduction]. Cela ne veut pas dire que les indicateurs quantitatifs devraient tre limins des valuations de la recherche, mais bien quils devraient servir clairer les dlibrations dexperts. Le WR a relev plusieurs avantages des mesures quantitatives. Par exemple, leur utilisation empche quun examen ne soit influenc uniquement par la rputation. Lanalyse du Research Ratings de la recherche faite par le WR a montr quaprs avoir pris en compte les donnes, les examinateurs taient plus susceptibles de se montrer critiques envers certaines entits connues quils ne lauraient t si lvaluation avait repos uniquement sur la rputation (WR, 2008a). En outre, le WR a soulign quune analyse utilisant des donnes quantitatives permettait aux examinateurs de gagner du
33
temps et prsentait une garantie de fiabilit (WR, 2004). Aksnes (2009) remarque par ailleurs que les analyses bibliomtriques peuvent sauver du temps et que les comits dont les dlibrations sont claires par des donnes gagnent en crdibilit, car leur objectivit est plus grande. Enfin, les donnes quantitatives peuvent galement servir dtecter des anomalies et les points sur lesquels il y aurait lieu dapprofondir lanalyse dexperts (Butler, 2007). Lexprience internationale indique toutefois quun processus dvaluation comprenant un examen par des experts peut savrer coteux et laborieux, et que ce modle nest peut-tre pas adapt tous les contextes. tant donn le fardeau administratif que reprsente le systme dvaluation, ltude du RAE faite par Roberts (2003) suggrait (mme si cela na pas t retenu), dutiliser lexamen par les pairs seulement pour les universits effectuant des recherches de pointe, qui reoivent lessentiel du financement. Au terme dun examen international de ltat du systme dinnovation finlandais, inspir du RAE du Royaume-Uni, il a t recommand dintgrer au modle de financement institutionnel finlandais ax sur le rendement un examen plus superficiel par des experts afin de mieux valuer la qualit de la recherche dans les tablissements finlandais (ministre de lEmploi et de lconomie, 2009). Le groupe de travail du ministre de lducation et de la Culture finlandais charg de la rforme du financement institutionnel a envisag dajouter un examen par des experts pour valuer la qualit de la recherche, mais a craint que cette approche ne soit trop complexe pour le systme universitaire finlandais, de taille relativement modeste.
2 .3 c o nc l u s i ons
Laccent mis par le CRSNG sur les pratiques dvaluation scientifique est dict en partie par une proccupation de longue date souleve par la faon dont les fonds du PSD sont rpartis entre les diffrents domaines de recherche, laquelle dpend excessivement des tendances du financement pass. De plus, le CRSNG est davis qu lavenir, les affectations devraient tenir compte dautres facteurs, comme la qualit de la recherche, lvolution du milieu scientifique et lmergence de nouveaux domaines de recherche. Cet examen de lvaluation scientifique au niveau international rvle quil existe tout un ventail de mthodes et de pratiques dvaluation. Deux grandes leons que lon peut tirer de cet examen sont particulirement pertinentes au mandat confi au comit dexperts. Premirement, le contexte national de la recherche compte pour beaucoup dans lvaluation scientifique et un ensemble dindicateurs choisi ne peut convenir lvaluation de la recherche scientifique en toutes circonstances. Les donnes tires de lexamen de lexprience dautres pays peuvent toutefois clairer llaboration dune stratgie canadienne dvaluation scientifique. Deuximement, la tendance gnrale est ladoption de modles dvaluation scientifique nationale intgrant la fois des indicateurs quantitatifs et le jugement dexperts.
34
3
Processus daffectation des fonds la recherche
Lcosystme du financement de la recherche Le processus dcisionnel pour laffectation des fonds Le rle des indicateurs et des mthodes dvaluation Le rle du jugement des experts Le rle des dcisions stratgiques Conclusions
Chapitre 3 Processus daffectation des fonds la recherche
35
Processus daffectation des fonds la recherche

Points saillants
Le mandat dun programme de financement doit tre clairement dfini parce quil orientera le choix des indicateurs et lapproche en matire dvaluation, ainsi que lusage des donnes provenant dindicateurs dans les dcisions relatives laffectation des ressources. La transparence, la crdibilit, lefficacit et des dlais opportuns sont des caractristiques importantes du processus dcisionnel en matire de financement; ce qui ncessite une communication claire de la stratgie employe pour rpondre des exigences concurrentes. Les dcisions en matire daffectation des fonds doivent sappuyer sur le jugement dexperts, conjugu un ensemble pertinent et valide dindicateurs et une solide comprhension du contexte des politiques et du financement. Les indicateurs et le jugement dexperts guident la cueillette des donnes qui seront interprtes pour prendre les dcisions relatives laffectation des fonds. Ces donnes sont transmises aux responsables des politiques qui prennent les dcisions finales en matire daffectation des fonds. Lefficacit globale dun programme de financement repose sur une boucle de rtroaction dcisionnelle de cette nature. Les dcisions relatives au financement de la recherche en sciences naturelles et en gnie doivent tre prises en tenant compte dun ensemble dindicateurs permettant de saisir des donnes sur la qualit de la recherche, les tendances de la recherche et la capacit de recherche.
Ce rapport porte sur les indicateurs et les mthodes dlibratives permettant de prendre des dcisions en matire de financement de la recherche exploratoire, mais ces indicateurs et ces mthodes sinscrivent dans un contexte plus vaste incluant la gestion du rendement et les politiques publiques, ainsi que les dcisions prises relativement laffectation des fonds. Un systme moderne de gestion du rendement doit comprendre des outils dvaluation et de mesure structurs et systmatiques. Ces derniers peuvent offrir un mcanisme pratique et efficace pour recueillir des donnes et valuer lefficacit de linvestissement dans le secteur des sciences. Lorsque les indicateurs sont construits et utiliss correctement, ils jouent un rle central, dans la mesure o ils viennent clairer la complexit de lcosystme du financement de la
36
recherche. Ils peuvent rpondre une varit de questions, mme si cest la plupart du temps de manire rtrospective. Les scientifiques peuvent examiner les indicateurs disponibles pour obtenir des donnes sur la recherche faite dans leur domaine : De quelle manire leurs travaux ou ceux de leurs collgues ou des tablissements se comparent-ils aux travaux de recherche faits dans dautres domaines? Quel est leur impact et quelles sont les possibilits qui se dessinent lhorizon? De mme, les dcideurs utilisent rgulirement des indicateurs pour avoir des informations et des donnes factuelles sur les rpercussions socio-conomiques de la recherche scientifique finance par des fonds publics ou pour valuer les forces et les faiblesses relatives de leur systme national de recherche (voir, par exemple, STIC, 2009, 2011; CAC, 2006). Pour comprendre comment les indicateurs servent efficacement la prise de dcision relative laffectation de fonds la recherche au niveau des domaines, il faut tudier attentivement le processus dcisionnel connexe. Ce chapitre examine le contexte national et le contexte plus restreint des programmes de financement dans lesquels ces dcisions sont prises lcosystme du financement de la recherche. Il prsente ensuite les tapes essentielles du processus dcisionnel laide dun modle logique permettant dorganiser linformation ncessaire la prise de dcision et dlimite le rle des indicateurs et du jugement des experts dans le cadre de ce processus. La dernire section donne un bref aperu des responsabilits des dcideurs qui doivent choisir la meilleure faon de rpartir les fonds entre les diffrents domaines du vaste cosystme du financement de la recherche.
3.1 l c o s ys t m e du f i nance m e nt d e la r ec h er c h e
La tentation est forte dans le milieu des politiques publiques de confondre ltablissement des priorits avec les prfrences en matire de domaines de recherche financer (Stewart, 1995). Toutefois, les pays qui tablissent des priorits dans le secteur des sciences peuvent dterminer lorientation stratgique gnrale du financement scientifique. Pour ce qui est de la recherche exploratoire, ces priorits se traduisent par diffrents programmes de financement ayant chacun ses propres buts et objectifs. Lexamen des pratiques adoptes par dautres pays montre que les approches descendantes (financement ax sur la mission) et ascendantes (subventions attribues selon un processus concurrentiel) sont ncessaires pour reflter la complexit du processus de recherche scientifique. Linteraction entre les programmes de financement des sciences et leur corrlation avec dautres politiques nationales (notamment les politiques dducation) limitent la capacit de dterminer comment fonctionnent les instruments de politique scientifique. Il est toutefois largement admis quen matire de financement de la
37
recherche exploratoire en SNG, pour choisir entre diffrentes priorits scientifiques concurrentes, il vaut mieux adopter une approche pluraliste (c.--d. un mlange de politiques et de programmes) plutt quun processus centralis (Popper et al., 2000; Stewart, 1995; Bernanke, 2011)10. Une telle approche pluraliste engendre un cosystme complexe de financement de la recherche comprenant de nombreux acteurs et de nombreux programmes de financement parallles dont les priorits et les mandats se chevauchent. Pour choisir qui ou quoi financer, il est ncessaire de mieux comprendre cet cosystme et les nombreuses contraintes, parfois opposes, qui sexercent sur les dcisions relatives laffectation des fonds. Ces dcisions sont prises dans le contexte compliqu des politiques scientifiques dun pays faonn par lexprience socitale, technologique, conomique et historique (voir la figure 3.1). Les valeurs sociales et politiques et les vnements conomiques influent tous sur le soutien la recherche. Les priorits dun pays signalent une certaine urgence dans des secteurs particuliers et influencent donc lorientation gnrale du financement de la science. Aux fins des dcisions de financement, le mrite dun domaine scientifique est peru tant du point de vue du domaine lui-mme que de lextrieur (les mrites de la science par opposition aux mrites de la technologie ont t dcrits pour la premire fois par Weinberg, 1963). Le mandat dun programme de financement doit tre clairement dfini autour de ses objectifs stratgiques dans le vaste cosystme du financement de la recherche. Cela permettra de prciser les besoins dinformation, de slectionner les outils de mesure et les approches adaptes lvaluation et de voir comment les donnes recueillies partir dindicateurs pourront clairer les dcisions relatives laffectation des fonds. mesure quaugmentent les investissements dans la recherche scientifique, lenjeu fondamental au niveau des priorits politiques et scientifiques est de dterminer quoi financer (Popper et al., 2000; Stewart, 1995; Press, 1988; Weinberg, 1963; Bernanke, 2011).
10 Dans presque tous les pays, il existe divers programmes de financement de la recherche fondamentale. Chaque programme et organisme peut prendre ses dcisions librement dans les limites de son mandat. Dans un rapport publi en 1995, le Comit sur les critres du soutien fdral la recherche et au dveloppement du Conseil national de recherches (NRC) des tats-Unis a recommand ladoption dune mthodologie spciale pour tablir les priorits et assurer la coordination de la recherche fondamentale finance par le gouvernement amricain (NRC, 1995). Cette recommandation na pas fait lunanimit, ni aux tats-Unis, ni ailleurs.
38
Objectifs du financement de la recherche exploratoire au Canada Lexcellence en recherche Base diversifie de recherche pour la prosprit long terme Des gens trs qualifis Choses observes dans dautres pays : Comptitivit/classement lchelle internationale Spcialisation/soutien aux forces stratgiques Cration demploi
Information sur les sources et la taille des demandes
Capacit de recherche
Contexte socital, historique et conomique
Information sur les raisons du financement de la recherche exploratoire Information sur les besoins et les dsirs
Priorits nationales
Information sur ce quil faut financer
valuations scientifiques
Information sur le rendement pass, les forces et les faiblesses actuelles et les possibilits
Espace dcisionnel Rpartition des fonds entre tous les domaines
Analyse prospective
Information sur les occasions et la comptitivit
Figure 3.1 Espace dcisionnel et contexte de laffectation des fonds la recherche

Les dcisions de financement sont influences par plusieurs facteurs, dont certains sont indiqus dans cette figure, tmoignant du contexte particulier dun pays. Les objectifs du financement de la recherche exploratoire, qui sont codifis par les politiques scientifiques nationales, sont numrs dans lencadr contenant des puces (p. ex. la stratgie canadienne en S et T). La figure montre aussi quels autres types de renseignements peuvent influer sur les dcisions de financement (p. ex. la capacit de recherche, le contexte socital, les priorits nationales).
39
3 .2
le P r oce s s u s d ci s i onne l Pou r laffec tation d e s f onds
tant donn les diffrents facteurs concurrents qui entrent dans les dcisions de financement, les dcideurs misent de plus en plus sur des critres objectifs et des outils de mesure pour faire des choix rationnels (Dutton et Crowe, 1988). tant donn que plusieurs aspects des relations nombreuses et complexes de lcosystme de financement nont pas encore t tudis, les dcideurs ont souvent une vision fragmente, limite par des observations rtrospectives qui ne rendent pas pleinement compte de la complexit de lcosystme. Cette perspective plus troite peut inciter prendre des dcisions de financement partir de postulats qui ne sont ni fonds, ni appropris (Jordan, 2010; Sarewitz, 2011; Koizumi, 2011)11. Du point de vue du comit, le fait de traduire les objectifs dun programme en dcisions de financer ou de ne pas financer certains domaines joue un rle dterminant dans les travaux de recherche scientifique qui se drouleront et, partant, dans les besoins sociaux auxquels ils rpondront. Les investissements publics (tant nationaux que mondiaux) dans la recherche exploratoire influent sur la capacit de recherche globale dun pays et sur la trajectoire des activits de recherche exploratoire (Freeman et Van Reenen, 2009). Mme si la recherche exploratoire est continuellement rinvente, et se corrige donc delle-mme, les bailleurs de fonds publics peuvent utiliser les exercices de raffectation de fonds pour exercer une influence sur les travaux de recherche qui seront raliss (p. ex. largir lventail des disciplines) et la manire dont ils seront raliss (comme le soutien aux chercheurs en dbut de carrire, les partenariats et le rseautage, les infrastructures communes, etc.). Pour le dcideur, le dfi est de traduire des objectifs stratgiques en critres de mrite pouvant tre mesurs objectivement et de faon fiable et pouvant orienter les dcisions en matire daffectation de fonds. Il nest pas ici question de la concurrence entre les divers domaines des SNG, mais plutt de la pertinence de lactivit scientifique au regard de contributions possibles au savoir et la socit (Dutton et Crowe, 1988). Le processus dcisionnel daffectation des fonds suit plusieurs grandes tapes (voir la figure 3.2). En premier lieu, les dcisions relatives laffectation devraient tenir compte des stratgies dinvestissement les plus efficaces pour rpondre au mandat et aux
11 Comme le souligne Marburger (2005), un domaine dtude relativement nouveau, la science des politiques scientifiques, privilgie cette approche aux tats-Unis (Fealing et al., 2011). Ce domaine naissant vise dfinir et normaliser la terminologie et la base connexe de connaissances, et perfectionner les donnes, les outils et les mthodes pour laborer des politiques scientifiques et technologiques rigoureuses. La feuille de route, Science of Science Policy Roadmap, prsente une approche organise ltude des politiques scientifiques (consulter le site Web ladresse URL suivante : http://scienceofsciencepolicy.net/page/sosp-roadmap).
40
Dterminer le mandat, les buts et les priorits du programme.
Des intrants externes priodiques tels que des considrations lies aux politiques, les objectifs de programme et la collecte de donnes interviennent dans le processus daffectation du financement.
Prciser les besoins dinformation pour la dcision relative laffectation des fonds (c.--d. ce qui sera mesur).
Les donnes sont recueillies et analyses (p. ex. donnes bibliomtriques, comits dexperts etc.).
valuations cycliques du programme
Les dcideurs examinent les donnes et ajoutent des considrations propres au domaine.
Espace dcisionnel : le montant de financement du programme doit-il tre augment, diminu ou maintenu?
Cette dcision est intgre lvaluation de lefficacit du programme dans son ensemble.
Figure 3.2 Les grandes tapes de laffectation du financement

Cette figure schmatise les grandes tapes du processus daffectation du financement.
41
priorits du programme : Si nous envisageons la science comme un systme cintique et les politiques comme un effort visant rediriger, accrotre ou bloquer ces nergies, alors, la question centrale est toujours celle-ci : o peut-on investir judicieusement des ressources et des efforts pour faire en sorte que les systmes voluent dans des directions favorables? Et la question corollaire est la suivante : quelles consquences plus larges pourrait avoir le fait de pousser des systmes en quilibre dans une direction particulire? [Traduction] (Powell et al., 2011). Lorsque des fonds sont affects ou raffects, le but peut tre de maintenir le statu quo ou de changer la dynamique au sein du systme de recherche par exemple, comment fonctionne le milieu de la recherche, quel est son environnement et quelle est linfrastructure de recherche. Laffectation de fonds devrait aussi tenir compte des incitatifs visant modifier ou influencer les comportements par exemple, les scientifiques ragissent aux incitatifs et aux occasions de financement. Le mandat dun programme doit tre trs clair pour que le processus dcisionnel de financement puisse tre couronn de succs. En second lieu, les organismes de financement doivent dterminer quelles sont les donnes dont ils ont besoin pour prendre des dcisions en matire de financement et comment ces donnes peuvent tre obtenues. Cest cette tape que les indicateurs et les mthodes dvaluation sont choisis (voir la section 3.3). Il est essentiel de dfinir clairement les objectifs, tant du point de vue des politiques que de lvaluation, car les indicateurs peuvent tre ambigus et ne pas signifier grand-chose, moins de bien cerner le contexte pralablement. tant donn que les dcisions en matire daffectation sont values en fonction des objectifs du programme qui ont t atteints, il faut choisir les indicateurs et les mthodes dvaluation en fonction du mandat du programme (Thomas et Mohrman, 2011). Les critres doivent galement tenir compte de linteraction du programme avec lensemble de lcosystme de financement de la recherche. Le jugement des experts est essentiel pour dterminer quelles donnes sont ncessaires et pour choisir les indicateurs. Une fois que les indicateurs sont choisis, les donnes sont recueillies et analyses. Les valuations de la recherche scientifique sont importantes dans le cadre du processus cyclique des dcisions stratgiques, car leurs rsultats clairent les dcisions qui seront prises. Il est possible dobtenir des donnes partir de plusieurs sources bases de donnes bibliomtriques, comits dexperts et enqutes, valuations au niveau des domaines, base de donnes statistiques de lOrganisation de coopration et de dveloppement conomiques (OCDE) et dautres gouvernements et de lhistorique des programmes de financement. Des experts devront galement procder une analyse sommaire et intgrative des diverses sources de donnes (voir section 3.4).
42
Ltape finale du processus dcisionnel revient aux dcideurs (voir la section 3.5). Leurs considrations doivent tre conjugues lanalyse des donnes et au jugement des experts, car cest l une composante cruciale du processus itratif. La cueillette et lanalyse des donnes viennent clairer lapprciation gnrale des politiques et de la conception du programme et de laffectation des fonds, ainsi que les dcisions prises leur sujet. Pendant tout le processus dcisionnel, il y a des apports intermittents dinformation provenant de lextrieur, ce qui donne lieu un systme en circuit ferm allant des donnes au pronostic. Ainsi, les dcisions de gestion tiennent compte des priorits socitales et de lvolution constante du savoir scientifique. Pour tre efficace, le processus dcisionnel relatif au financement doit avoir les qualits suivantes : Transparence : Le processus doit tre transparent et juste du point de vue de toutes les parties prenantes. Le mandat du programme et ses objectifs doivent tre clairement dfinis et il doit motiver les dcisions relatives aux affectations (c.--d. quelles doivent aller dans le sens des effets voulus). Les dcideurs doivent faire clairement tat de la stratgie de financement utilise pour rpondre des demandes contradictoires par exemple, maintenir une grande diversit, soutenir la recherche de grande qualit, soutenir la recherche mergente et btir une capacit de recherche de calibre international. Si les critres servant prendre des dcisions (les critres dvaluation) sont noncs clairement, le processus dcisionnel est plus transparent (Cozzens, 1999; Jordan et Malone, 2001), lvaluation est plus cohrente et les comparaisons entre les domaines sont plus judicieuses (Dutton et Crowe, 1988). Le public comme le milieu de plus en plus diversifi de la recherche sattendent ce que le processus dcisionnel soit ouvert (Cozzens, 1999). Dlais opportuns : Le processus doit tre pratique, efficace et pouvoir dboucher sur une dcision au moment opportun (Research Council U.K., 2006). Crdibilit : Lvaluation et les mesures doivent sappuyer sur des indicateurs crdibles et rigoureux et sur le jugement dexperts respects. Pour certaines mesures, la disponibilit et la qualit des donnes peuvent limiter lventail des indicateurs pertinents (Research Council U.K., 2006). Efficience : Lefficience du processus dpend du degr dapplicabilit des donnes quantitatives et qualitatives (Bonaccorsi et al., 2007; Werner et Souder, 1997). Pour tre efficace, le processus dvaluation doit permettre de recueillir des donnes et de linformation qui viennent amliorer les pratiques de gestion, qui permettent datteindre les buts fixs et de rendre compte des rsultats par rapport ces buts, damliorer le rendement, daffecter les ressources et de dboucher sur des dcisions stratgiques claires ( Jordan et Malone, 2011).
43
3 .3
le r l e de s i ndi cat e u r s e t d e s m t h ode s d val u ation
Pour adopter une approche viable en matire dvaluation et de mesures scientifiques, il faut commencer par poser les bonnes questions. Il vaut mieux donner une rponse approximative, cest--dire souvent vague, une bonne question, quune rponse exacte, pouvant souvent tre dtaille, une mauvaise question [Traduction] (Tukey, 1962). Il faut trouver un quilibre entre la ncessit de recueillir des donnes pertinentes de grande qualit et les cots et les efforts importants associs la mesure du rendement (Jordan et Malone, 2001). Ainsi, dans le cadre du processus dcisionnel, il est crucial de choisir des indicateurs pertinents et rigoureux. Le choix des indicateurs et des outils de mesure doivent permettre de trouver un quilibre entre les indicateurs mthodologiquement les plus acceptables et les donnes quils permettent de saisir. Dans le cadre dune valuation scientifique, chaque critre, quil soit quantitatif ou qualitatif, doit pouvoir tre formul sous forme de question (Dutton et Crowe, 1988), ce qui contribue choisir des indicateurs pertinents et les interprter lorsquils sont soumis au jugement des experts.
3.3.1 Utilisation dun modle logique pour slectionner des indicateurs et des mthodes dvaluation
Les organismes de financement de la recherche peuvent sappuyer sur un modle explicite ou un cadre conceptuel dcrivant le but de lanalyse valuative pour rduire le nombre dindicateurs appropris et les outils et les mthodes disponibles (Jordan et Malone, 2001; Morgan, 2011). Un modle logique (voir la figure 3.3), qui est un outil stratgique courant, peut reprsenter une structure dorganisation instructive pour tablir des liens thoriques entre le financement et les impacts anticips, ainsi quavec les avantages socitaux dcoulant de linvestissement dans la science exploratoire. Les travaux de recherche exploratoire ncessitent une varit dintrants; cest le volet investissement dans le systme de recherche. Les intrants comprennent les outils de mesure actuels et rtrospectifs, qui sont gnralement fiables et facilement disponibles diffrents niveaux dagrgation partir des donnes recueillies, et qui sont ensuite raffins au fil des ans (Jordan et Malone, 2001). Les extrants des travaux de recherche sont le savoir produit et la formation de personnes hautement qualifies. Les extrants fournissent la preuve intermdiaire des avances progressives et des contributions aux impacts sur la science et aux impacts prvus long terme (Jordan et Malone, 2001).
INTRANTS
EXTRANTS et IMPACTS SUR LA SCIENCE
44
IMPACTS SOCIO-CONOMIQUES (dans le contexte de la stratgie des S et T du Canada)

Avantage du savoir Avantage humain Avantage entrepreneurial
VOIES DE CONTRIBUTIONS
MANDAT
Financement de la recherche exploratoire et de lquipement Contribuer lexcellence dans les domaines existants Contribuer aux nouveaux domaines de recherche
Contribuer la capacit de recherche
BESOINS EN INFORMATION
Quels travaux de recherche exploratoire finanons-nous et quelle hauteur? Financement de base aux domaines Renforcement de la capacit, y compris les nouveaux domaines, les domaines thmatiques particuliers
Quel est ltat de la capacit de recherche dans chaque domaine et globalement? Personnes Collaborations Fonds Diffrences de caractristiques dans chaque domaine
Que savons-nous de la qualit de la recherche dans chaque domaine? Intrants Extrants Utilisation de ces extrants
Quelles sont les nouvelles tendances dans la recherche exploratoire en SNG? De quoi a-t-on besoin pour saisir les occasions et offrir un soutien?
De quelle manire le succs des travaux antrieurs et la vision de la recherche future clairent-ils les dcisions actuelles en matire de financement?
JUGEMENT DES EXPERTS

Indicateurs possibles des extrants et des impacts scientifiques : Publications, citations, mrite et outils Thories et dcouvertes Dveloppement de nouveaux processus et produits Indicateurs des impacts possibles : Opinion dexperts sur : Les lacunes dans le savoir Les lacunes dans la capacit Les nouvelles technologies et applications La fourniture de biens publics
INDICATEURS POSSIBLES
Indicateurs possibles des intrants : Personnel et tudiants Financement Savoir existant Capacit de recherche existante Infrastructure
SOURCES DE DONNES POTENTIELLES POUR LES INDICATEURS

Comits dexperts Dbat public clair Indicateurs en sciences et gnie du NSB valuations au niveau des domaines Statistiques de lOCDE sur les S et T
Donnes de Statistique Canada / du CRSNG
SOURCES DE DONNES POTENTIELLES
Bases de donnes bibliomtriques
Figure 3.3 Modle logique pour la slection dindicateurs appropris
Ce modle logique montre de quelle manire le mandat du Programme de subventions la dcouverte peut tre appliqu pour trouver les indicateurs dont les donnes serviront prendre des dcisions relativement laffectation de fonds.
45
Les impacts permettent de mesurer si les rsultats obtenus rpondent aux objectifs du programme de financement. Contrairement aux intrants ou aux extrants, les impacts nont pas de limites temporelles et refltent la nature dynamique, complexe et imprvisible du processus de recherche. Pour apprcier les retombes socioconomiques possibles, il faut observer la pertinence gnrale de la recherche (Jordan et Malone, 2001). Un modle logique nest pas une structure servant produire des rapports ou rendre des comptes dans le cadre dun programme de financement. Il ne sert pas non plus avoir une reprsentation linaire typique de la recherche exploratoire au dbut du cycle dinnovation12. En fait, le premier rang de la figure 3.3 prsente le mandat du programme de financement, tandis que le second rang prsente sous forme de questions pertinentes lensemble des donnes ncessaires, notamment les suivantes : Quels sont les travaux de recherche exploratoire qui sont financs et quel est le niveau de financement pour chaque domaine? Quel est ltat de la capacit de recherche dans chaque domaine et globalement? Que savons-nous sur la qualit de la recherche dans chaque domaine? Quelles sont les nouvelles tendances de la recherche exploratoire en SNG? En quoi les succs dj enregistrs par la recherche et les visions pour lavenir de la recherche clairent-ils les dcisions quil faut prendre maintenant en matire de financement? Les indicateurs sont slectionns pour contribuer rpondre ces questions sous lattention des experts, comme le montre le troisime rang de la figure. partir de l, il est possible davoir recours des sources de donnes pour construire les indicateurs qui simposent (comme le montre le dernier rang). Les indicateurs seront choisis en fonction du mandat du programme, du but de lvaluation, de lunit ou du niveau de lvaluation, des mcanismes de financement et de la nature des dcisions de financement qui sont en jeu, mais aussi dautres facteurs. Ce quil faut mesurer dpend des besoins des dcideurs en matire dinformation et des caractristiques du systme qui est mesur (Jordan et Malone, 2001; Jordan, 2010). Mme si de nombreux organismes de financement ont recours une varit
12 Le modle linaire dinnovation, institutionnalis grce linfluence de lessai de V. Bush, Science, the endless frontier , a permis de dfinir lensemble de donnes de base (donnes mtriques des intrants et des extrants) sur lequel est toujours bas le paradigme des politiques scientifiques. Lune des nombreuses consquences de ce modle est que les donnes mtriques utilises pour la recherche fondamentale misent seulement sur les avantages conomiques (Bush, 1945).
46
de donnes pour procder aux valuations, les indicateurs, qui peuvent tre rigoureux et informatifs un gard, peuvent en fait tre inadquats lorsquils sont agrgs ou utiliss dautres fins. Par exemple, les donnes agrges sappliquant des domaines de recherche nationaux ne peuvent certainement pas servir valuer le mrite dun tablissement de recherche ou dun chercheur en particulier. De la mme faon, les donnes sur des particuliers ne peuvent pas toujours tre agrges pour obtenir des donnes statistiques nationales rvlatrices. Un indicateur ne peut lui seul entirement saisir ni reprsenter la diversit et la complexit des relations qui se nouent au sein dun cosystme de financement de la recherche. Les mesures quantitatives permettent de recueillir des renseignements seulement sur certains aspects de cet cosystme. Il y a un cart entre le type dinformation qui peut tre recueillie laide dun outil de mesure unidimensionnel et la nature kalidoscopique de la recherche exploratoire. Toute tentative visant mesurer la complexit des travaux scientifiques se heurte cette difficult (Martin, 1996). Les indicateurs sont gnralement construits pour aider analyser certaines proprits thoriques de la ralit qui peuvent faire lobjet dune observation empirique (Van Raan, 2004). Il est donc profitable, voire souhaitable, dutiliser plusieurs indicateurs et de slectionner un ensemble dindicateurs offrant un ventail de perspectives et contribuant rpondre diffrentes questions. Le rendement de la recherche sera tout vraisemblablement mieux compris si les indicateurs sont nombreux et pertinents (Martin, 1996). Dans une large mesure, le choix dindicateurs exige un compromis entre le dsir de trouver les bonnes rponses des questions complexes dvaluation et les considrations pratiques sous-jacentes relatives aux politiques et aux donnes (Bonaccorsi et al., 2007). La disponibilit des indicateurs ne veut pas dire que, dans le cadre dun programme, ils sont pertinents ou importants pour prendre des dcisions quant laffectation des fonds au niveau des domaines de recherche. De bons indicateurs rpondent des questions particulires (c.--d. quils sappliquent un examen valuatif), ils sont ancrs dans une comprhension thorique de limpact que peut avoir un programme court et long terme par rapport la stratgie, aux objectifs et au mandat du programme. Ils sont galement ralistes dans la mesure o ils permettent davoir accs des donnes de grande qualit et ils sont transparents quant aux limites des donnes de base ou lapproche utilise pour recueillir les donnes (ESF, 2009).
47
3.3.2 Dterminer les catgories dindicateurs servant prendre les dcisions relatives laffectation de fonds au niveau des domaines
Pour la recherche exploratoire en SNG, les indicateurs servant prendre des dcisions relativement laffectation de fonds au niveau des domaines peuvent tre rpartis dans trois catgories, dtermines selon le type dinformation ncessaire : Qualit de la recherche : La notion de qualit de la recherche terme courant, mais faisant rarement lobjet dune dfinition ou dont la dfinition manque duniformit est depuis longtemps un trait saillant des dbats entourant les politiques et les dcisions relatives au financement de la recherche (Butler, 2007). Dans le contexte des valuations de la recherche, la qualit de la recherche dsigne gnralement le calibre global de la recherche, selon les valeurs, les critres ou les normes propres au milieu scientifique. Dans ce sens, le terme est largement entendu au sens du mrite scientifique dun domaine de recherche, mais il nest pas ncessairement associ limportance de ce domaine pour la socit ou limpact quil peut avoir sur elle, dans limmdiat ou plus long terme. Les organismes finanant la recherche exploratoire cherchent de linformation sur la qualit de la recherche, car ils visent optimiser laccumulation de connaissances et les perces du savoir, mais aussi limpact que peuvent avoir les recherches dans les diffrents domaines quils financent. Tendances de la recherche : La nature dynamique du savoir et de la science sinscrit dans une redfinition constante, mais souvent lente, des domaines scientifiques. De nombreux facteurs interviennent dans lmergence de nouveaux secteurs de recherche par exemple, les collaborations interdisciplinaires de plus en plus nombreuses lchelle mondiale, les nouveaux outils et les nouvelles technologies et les ressources investies par les gouvernements et les industries. De nouveaux secteurs du savoir franchissent les frontires traditionnelles des disciplines, ainsi que les frontires sparant la recherche exploratoire de la recherche applique, mais le mrite scientifique dun domaine est souvent exprim du point de vue de sa pertinence pour des domaines connexes et des horizons quil a ouverts (Press, 1988; Dutton et Crowe, 1988). Les organismes finanant la recherche exploratoire analysent lvolution des domaines scientifiques pour sassurer que les affectations de fonds tiennent compte des changements qui se produisent dans le monde de la recherche. Capacit de recherche : Cette catgorie englobe les ressources disponibles dans lenvironnement interne et externe de la recherche, y compris la capacit humaine, les infrastructures et les cots de la recherche (Meek et van der Lee, 2005). Le concept comprend une varit daspects qui ne peuvent souvent pas tre limits un seul domaine. La capacit est un bien commun; par exemple, les domaines
48
classiques des SNG (mathmatiques, biologie, chimie) offrent un fondement sur lequel sappuient dautres disciplines, tout comme linfrastructure numrique, qui est maintenant une composante essentielle de la capacit du savoir dans le cadre de la plupart des travaux de recherche scientifique. Il peut tre difficile de mesurer la capacit de recherche par domaine. Cependant, divers indicateurs de la capacit de recherche ont t normaliss et sont largement utiliss par des organisations internationales et nationales, notamment par lOCDE, la Commission europenne et la National Science Foundation (NSF) aux tats-Unis. La difficult rside dans laffectation judicieuse des fonds aux diffrents domaines et dans le regroupement de diverses sources de donnes. Les organismes finanant la recherche exploratoire devraient chercher de linformation sur la capacit de recherche globale et sur la capacit propre chaque domaine, car la recherche de calibre mondial ne peut tre ralise sans une capacit adquate et durable. Ces trois catgories sont lies entre elles. Par exemple, la capacit de recherche influe largement sur la qualit actuelle et future et sur les tendances de la recherche.
3.4 le r le d u j u ge m e nt de s e x P e rt s
Diffrentes valuations de la recherche scientifique peuvent fournir de prcieux renseignements sur le rendement pass et actuel, tandis quune rflexion sur lorientation future des activits de recherche peut contribuer cerner des occasions de croissance qui favoriseront la comptitivit de la recherche long terme. Cependant, mme en disposant dapproches et dindicateurs multiples, il est impossible dobtenir une quantification absolue de la recherche exploratoire (Martin, 1996), ni de faire avec prcision des prvisions ex ante ou des valuations ex post. tant donn que la plupart des indicateurs sont rtrospectifs, il nest pas possible de conclure que ce qui sest produit est garant de ce qui se produira. Par consquent, les valuations de la recherche doivent sappuyer sur des indicateurs quantitatifs, conjugus au jugement dexperts. Par exemple, le rapport du Conseil national de recherches des tats-Unis (NRC, 2006) recommandait que les dcisions relatives laffectation de fonds reposent principalement sur un systme combinant les dlibrations et les instruments de mesure : Nous recommandons ladoption dune stratgie conjuguant lanalyse et les dlibrations, en vertu de laquelle les processus sont ouverts, les dialogues explicites et organiss de manire traiter de toutes les questions importantes du point de vue dcisionnel. Cette stratgie doit aussi prvoir des tribunes de discussion entre chercheurs et responsables scientifiques et permettre le rexamen en rgle des dcisions prises par le pass. [Traduction].
49
Lorsque les dcisions relatives laffectation de fonds sappuient sur des valuations structures, lessentiel des donnes probantes provient de lexamen dexperts, de diverses mesures quantitatives ou dune combinaison des deux. Mme sils peuvent comporter certains biais (pour des prcisions sur cette question, voir le chapitre 4), les outils de mesure et le jugement des experts offrent un mcanisme permettant dintgrer des donnes quantitatives et qualitatives aux dcisions de financement, et ce, quel que soit le niveau auquel se font les affectations, mme au niveau des domaines. Mais surtout, lorsquelles sont utilises ensemble, ces donnes sont considres comme tant des outils daide la dcision la fois fiables et rigoureux (ESF, 2009). Le jugement des experts est ce qui permet de donner une dimension prospective et multidisciplinaire des mesures rtrospectives. Les valuations rtrospectives, ou ex post, contribuent cerner les amliorations et les conomies de cots oprationnels quil serait possible de faire. Elles peuvent aussi aider clarifier les responsabilits au sein de lcosystme du financement de la recherche considr dans sa globalit et permettre de mieux comprendre de quelle manire la science produit des retombes (OCDE, 1997; ESF, 2009; Rip, 2009). Cependant, les valuations devraient de plus en plus traiter de considrations prospectives, ou ex ante (Georghiou et Roessner, 2000; Jordan et Malone, 2001). Ceci est beaucoup plus difficile valuer puisquil faut trouver des rponses des rsultats qui ne sont que possibles (du point de vue scientifique et des impacts socio-conomiques globaux). Ces rponses sappuient sur les valuations ex post quels investissements ont t faits, quels extrants ont-ils produits, et pourquoi (c.--d. linteraction entre les intrants et les extrants et leur contribution aux impacts immdiats).
3 .5 le r l e de s d ci s i ons s t r atgiqu es
Le jugement dexperts scientifiques repose sur linterprtation dun ensemble de donnes incompltes, mais mesurables. Le comit estime quaucune des approches actuelles, pas mme le jugement dexperts, ncarte la ncessit de prendre des dcisions stratgiques. Les choix relatifs laffectation de fonds reposent sur un quilibre entre des donnes factuelles mesurables et les pressions exerces par les priorits scientifiques et nationales. Par consquent, il est important dtablir une distinction entre les questions dordre stratgique et lvaluation du mrite et de la qualit scientifiques. Le comit partage le point de vue exprim dans les conclusions dautres comits dexperts, savoir que, pour ne pas alourdir la capacit du systme de recherche, il est ncessaire de maintenir une distinction entre les responsabilits des dcideurs (p. ex. les organismes de financement) et celles des experts (CRSH, 2008). Il ny a pas un modle privilgi pour prendre des dcisions relatives au financement
50
par domaine. Les principaux facteurs semblent tre le contexte socital et politique et les valeurs quil vhicule. Bien que les comits dexperts semblent tre perus comme le meilleur moyen dvaluer les mrites de la recherche, les dcisions de financement proprement dites sont prises par un groupe ou par un organisme dsign autre que celui qui juge du mrite scientifique des propositions de recherche. Par exemple, les dcideurs pourraient vouloir examiner la question des infrastructures actuelles et de lexpertise pour dterminer sil sera possible de rpondre aux besoins venir. Les outils dappui aux dcisions, y compris les outils visuels comme les graphiques bulles, peuvent aider les dcideurs assimiler un volume important de donnes multidimensionnelles et intgrer de multiples considrations stratgiques dans un seul diagramme (Cooper et al., 2012). Ils peuvent permettre de comprendre de faon plus exhaustive la nature du statu quo et dexplorer divers scnarios stratgiques en vue dorienter les dcisions relatives aux affectations de fonds venir. Bien que le processus dcisionnel global (voir la figure 3.2) puisse tre transparent quant la cueillette de donnes, certains faits semblent suggrer que la responsabilit de prendre des dcisions relativement laffectation de fonds repose somme toute sur une poigne de personnes dsignes. Il nest pas surprenant de constater quil y a peu de renseignements sur la manire dont ces dcisions sont prises, notamment sur les procdures officielles qui sont suivies, et jusqu quel point elles le sont. Ce qui veut dire que les dcisions sont extrmement sensibles, sans quil y ait forcment un manque dimputabilit. Les personnes nommes pour prendre ces dcisions et en rendre compte personnifient les valeurs du milieu des politiques et de celui de la recherche et elles ont toute leur confiance. Par consquent, les valeurs qui sont la base des dcisions volueront avec le contexte socital, conomique, technique et institutionnel. Il est cependant prouv que, des degrs divers, ces dcisions sappuient principalement sur lexamen des experts, qui se fait laide de mesures quantitatives (surtout rtrospectives) et de lanalyse qualitative.
3.6 c o n c lus i o ns
Ce chapitre portait sur la question des choix qui simposent au moment de prendre des dcisions relatives laffectation de fonds la recherche. Quil sagisse de mesurer et dvaluer les forces du pays dans le secteur des sciences ou dvaluer des scientifiques en particulier, les dcideurs sappuient sur des donnes quantitatives et qualitatives pour comprendre les diffrents aspects du systme complexe de la recherche. ce titre, les indicateurs et le jugement des experts jouent un rle important dans la mesure o ils facilitent le processus dcisionnel.
51
Les donnes factuelles sur le rendement rcent et pass des domaines de la recherche en SNG seront recueillies en fonction des renseignements dont un dcideur a besoin. Les indicateurs adapts la prise de dcisions relatives au financement des domaines de recherche exploratoire sont ceux qui permettront de recueillir des donnes sur la qualit de la recherche, les tendances de la recherche et la capacit de recherche (p. ex. les personnes, les outils, les cots et les fonds). Le fait quun indicateur soit fiable ou informatif dans le contexte dune dcision donne dpend de la manire dont il est utilis, de la mthodologie adopte pour le construire et de la qualit des donnes de base. Bien quun seul indicateur ne puisse rendre toute la complexit dun cosystme de recherche, un ensemble dindicateurs tablis selon une srie de paramtres peuvent permettre de recueillir des donnes fiables sur le rendement rcent et pass. Quoi quil en soit, lexamen des experts scientifiques et des dcideurs est ce qui permet de donner une dimension prospective et multidisciplinaire des mesures rtrospectives. Cet examen permet aussi de traiter du mrite scientifique et de la pertinence socitale de la recherche, en plus de dgager les diffrentes options et les compromis faire entre diffrents choix. En bref, le mandat du programme doit tre clairement dfini pour que tout le processus soit couronn de succs.
52
4
indicateurs scientifiques : comprendre les options
Approches dlibratives et autres mthodes dvaluation qualitatives Bibliomtrie Autres indicateurs scientifiques quantitatifs Conclusions
Chapitre 4 Indicateurs scientifiques : comprendre les options
53
indicateurs scientifiques : comprendre les options

Points saillants
Les stratgies dvaluation scientifique par domaine peuvent tre rparties en deux grandes catgories : celles qui font appel des mthodes dlibratives (p. ex. lexamen par les pairs ou lexamen par des experts) et celles qui sappuient sur des indicateurs quantitatifs. Lvaluation scientifique des domaines au niveau national repose souvent sur une combinaison de mthodes dlibratives et dindicateurs quantitatifs. Les mthodes dvaluation dlibratives, par exemple lexamen par les pairs et lexamen par des experts, sont souvent employes pour valuer des chercheurs. Mme si elles ont leurs limites, ces mthodes dvaluation conviennent galement lvaluation du rendement dun domaine scientifique. Les indicateurs bibliomtriques sont des indicateurs scientifiques quantitatifs paradigmatiques. Bien que ces indicateurs aient des limites, plusieurs sont maintenant suffisamment rigoureux pour fournir des donnes utiles aux fins dune valuation scientifique de lensemble des domaines de la recherche au niveau national.
Les avances technologiques et mthodologiques lies la gestion de la recherche scientifique ont dbouch sur une prolifration dindicateurs scientifiques (Van Noorden, 2010), ce qui rend plus difficile le choix dinstruments de mesure scientifique appropris et informatifs. Devant cette multiplicit de choix, les dcideurs comptent de plus en plus sur des experts en valuation pour les aider choisir les indicateurs et les mthodes dvaluation qui permettront dclairer leurs dcisions quant lorientation et limportance quil faut donner aux investissements publics dans la recherche scientifique. Ce chapitre prsente un aperu des indicateurs scientifiques et des mthodologies dvaluation disponibles pour lensemble des domaines de recherche au niveau national13. Les stratgies dvaluation scientifique entrent dans deux grandes catgories : les stratgies fondes sur les dlibrations et le jugement dexperts et les stratgies fondes sur des donnes quantitatives et lanalyse. Mme si lapproche dlibrative reste la mthode dvaluation scientifique la plus courante dans la plupart des contextes (c.--d.
13 La difficult et la complexit caractrisant lutilisation dindicateurs scientifiques pour lvaluation de scientifiques ou de chercheurs ne sont pas ici examines. Pour une analyse de cette question, voir le rapport rcemment publi par lAcadmie des sciences (2011) de la France.
54
lexamen par les pairs des publications scientifiques et des demandes de subvention), les donnes quantitatives et les indicateurs servent de plus en plus dans de nombreux types dvaluation de la recherche, notamment les valuations portant sur des niveaux plus levs dagrgation. Ce chapitre examine le mrite relatif de chaque type dvaluation et traite brivement des indicateurs quantitatifs les plus courants, notamment ceux qui sappuient sur des donnes bibliomtriques. Les chapitres 5 7 examinent et valuent plus en dtail les indicateurs axs sur trois objectifs particuliers : valuer la qualit de la recherche, les tendances de la recherche et la capacit de recherche (catgories dinformation dcrites la section 3.3.2). Ce comit dexperts nest pas le premier examiner les indicateurs et les approches servant valuer la science. Van Noorden (2010) prsente un bref tour dhorizon utile des instruments de mesure scientifique. De Bellis (2009) et Moed (2005) offrent des tudes dtailles des indicateurs bibliomtriques et des indicateurs fonds sur le nombre de citations. Un examen de la documentation traitant des indicateurs quantitatifs employs dans lvaluation de la recherche a t ralis dans le cadre du Research and Evaluation Policy Project (REPP), de lUniversit nationale australienne, et comporte un catalogue dtaill dindicateurs (REPP, 2005). Un rapport de lAcadmie canadienne des sciences de la sant (ACSS) consacr lvaluation du rendement des investissements dans la recherche en sant renferme un rsum de plusieurs des indicateurs utiliss pour valuer la recherche, notamment dans le secteur de la sant (ACSS, 2009). Enfin, aux tats-Unis, le Conseil national de recherches a command une tude qui a pass en revue les diverses stratgies dvaluation de la science (NRC, 2006).
4.1 a P P r o c he s d l i b r at i v e s e t au t r es mth odes d va luation qu al i tat i v e s
Dans la foule dune tude sur lvaluation scientifique ralise par le Conseil national de recherches des tats-Unis, le comit a appliqu le concept de mthode dlibrative pour distinguer les stratgies dvaluation scientifique axes sur lexamen par les pairs, ou par des experts, des stratgies fondes sur lanalyse quantitative (NRC, 2006). Les approches dlibratives reposent sur la discussion, la rflexion et la persuasion pour communiquer, soulever et traiter collectivement de certaines questions, pour mieux les comprendre et pour en arriver des dcisions sur le fond. [Traduction] (NRC 2006, citation extraite de NRC, 1996a). Dans le contexte de lvaluation de la recherche, les approches dlibratives peuvent gnralement tre rparties en deux groupes de pratique : examen par les pairs et examen par des experts (OCDE, 2008).
55
4.1.1
Examen par les pairs et examen par des experts
Lexamen par les pairs, qui est la forme la plus courante dapproche dlibrative, a toujours t le modle dvaluation scientifique prdominant (Chubin et Hacket, 1990). Les pratiques dvaluation fondes sur lexamen par les pairs sont utilises pour examiner des articles destins la publication dans des revues scientifiques, valuer les demandes de subvention dans le cadre de programmes de financement et valuer le travail individuel de scientifiques ou de chercheurs en vue de leur recrutement ou de leur promotion au sein dtablissements de recherche (OCDE, 2008). tant donn les diverses applications de cette mthode, lexamen par les pairs prend des formes varies qui se distinguent sensiblement sur certains aspects, notamment le nombre et le type dextrants produits, la slection des examinateurs, les critres et lignes directrices fournis dans le cadre du processus, ainsi que lorganisation et la structure des dlibrations (OCDE, 2010). Cependant, tous les modles dexamen par les pairs dpendent du jugement de scientifiques travaillant dans le mme domaine ou dans des domaines troitement lis (c.--d. des pairs) appliqu aux travaux ou aux scientifiques viss par lvaluation. La plupart des formes dexamen par les pairs ont dautres lments en commun, notamment des rencontres et des dlibrations en personne, des modalits de recrutement des examinateurs visant sassurer que leur expertise ait la profondeur et lenvergure voulues, des rgles garantissant des examens indpendants et libres de toute influence extrieure, et des procdures pour structurer les dlibrations ou le processus dvaluation, par exemple des critres dvaluation ou des systmes de classement (NRC, 2006). Lexamen par des experts est un processus analogue, mais plus gnral. Suivant la terminologie propose par lOCDE (2008), le comit utilise le terme examen par des experts pour dsigner des processus dvaluation dlibratifs fonds sur le jugement dexperts et servant valuer des domaines ou des units de recherche plus larges. Si lexamen par les pairs est considr comme tant ax sur lvaluation de travaux de recherche de particuliers, par exemple un article ou une demande de subvention (ou sur lvaluation dune personne, lorsquil sagit de recrutement ou de promotion), lexamen par des experts sapplique lvaluation dinstances plus importantes, par exemple un domaine ou un tablissement (pour une illustration de cette distinction, voir lencadr 4.1). Lexamen par les pairs et lexamen par des experts ont des avantages en commun. De toute vidence, les processus dvaluation dlibratifs peuvent servir valuer les caractristiques de la recherche qui sont difficiles quantifier (p. ex. la rigueur et la pertinence des mthodologies, limportance dun contenu donn ou dides particulires, la dimension esthtique de la qualit de la recherche) (Moed et al., 1985, cit par Butler, 2007). Parmi les autres atouts, il y a la capacit de prendre en considration les nuances et les dtails i) du contexte dans lequel la recherche est
56
Encadr 4.1 Exemple dexamen par les pairs au Royaume-Uni et dexamen par des experts en Australie
Les exercices dvaluation nationale de la recherche mens en Australie et au Royaume-Uni permettent dillustrer la distinction entre lexamen par les pairs et lexamen par des experts. Au Royaume-Uni, le Research Assessment Exercise (RAE) est essentiellement fond sur un processus dexamen par les pairs. Des comits de scientifiques et de chercheurs sont mis sur pied pour chaque domaine et sous-domaine et reoivent le mandat dvaluer la qualit globale dun ensemble dextrants de la recherche (le plus souvent des articles) soumis par les tablissements et les entits faisant lobjet de lvaluation. Ces comits fonctionnent essentiellement de la mme faon que les comits traditionnels dexamen par les pairs. Lorsque les examens des extrants particuliers sont complts, leurs rsultats sont agrgs afin dvaluer le niveau global de rendement dun tablissement par rapport ses pairs. Une initiative rcente dvaluation de la recherche appele Excellence in Research for Australia (ERA) correspond au modle dexamen par des experts. Des comits dexperts sont mis sur pied pour valuer le rendement de domaines particuliers de la recherche qui est effectue dans lensemble des tablissements. lexception de certains comits en sciences humaines et en sciences sociales, il ny a pas dexamen des extrants de la recherche au niveau individuel. Pour se forger une opinion, les comits de lERA sappuient sur des donnes ou des indicateurs dj agrgs. Ils ne lisent pas et ne passent pas en revue les publications provenant des tablissements et des groupes de recherche viss par une valuation. Pour de plus amples renseignements, veuillez consulter les tudes de cas sur lAustralie et le Royaume-Uni lappendice A.
ralise (p. ex. les caractristiques institutionnelles et environnementales pouvant tre lies la viabilit de certaines pistes de recherche) et ii) des tendances rcentes de la recherche susceptibles dclairer les pistes de recherche plus ou moins prometteuses. Cependant, les mthodes dlibratives ont leurs limites. Une tude de lOCDE (2008) portant sur les processus dexamen par les pairs a fait ressortir deux grandes faiblesses. Premirement, la qualit de lexamen par les pairs dpend de la qualit et de lobjectivit des examinateurs. Par consquent, la plupart des processus dexamen par les pairs comportent maintenant des mcanismes et des procdures visant dceler les sources possibles de partis pris ou de conflits dintrts. Toutefois, ces mcanismes
57
ne sont pas infaillibles, surtout dans les domaines hautement spcialiss ou dans les petits pays, ou dans les cas o la demande en examinateurs est telle quelle grve la capacit du milieu de la recherche. La deuxime faiblesse, en loccurrence le risque que les examinateurs ayant une expertise bien tablie et reconnue aient tendance perptuer des paradigmes de recherche orthodoxes ou conservateurs, ne fait pas lunanimit. Certaines tudes ont affirm que lexamen par les pairs pourrait avoir un parti pris contre la recherche interdisciplinaire (NRC, 2006; Porter et Rossini, 1985; Travis et Collins, 1991; Rafols et al., 2012), alors que dautres jugent que cette approche a tendance favoriser les propositions faible risque (Langfeldt, 2001). Il est toutefois possible dattnuer ces risques, dune part, par ladoption de mcanismes permettant de sassurer que les membres dun comit soient slectionns de manire obtenir une bonne reprsentation interdisciplinaire (Laudel, 2006) et, dautre part, en offrant des incitatifs explicites pour rcompenser les propositions risque lev14. Lexamen par les pairs et lexamen par des experts peuvent aussi tre critiqus pour le manque de transparence du processus (Reinhart, 2010), surtout lorsquil ny a presquaucune documentation sur la nature ou le droulement des dlibrations, ainsi que pour la tendance ne pas prendre en considration la pertinence de la recherche au regard dobjectifs sociaux qui sortent du mandat du programme de recherche (voir, par exemple, Nightingale et Scott, 2007).
4.1.2 Autres mthodes qualitatives dvaluation
Ltude de cas est peut-tre lexemple le plus familier des autres types de mthodes qualitatives utilises dans lvaluation de la recherche. Les tudes de cas servent souvent explorer les impacts socio-conomiques plus vastes de la recherche. titre dexemple, le Research Excellence Framework (REF) (qui a t propos pour remplacer le Research Assessment Exercise, RAE) sappuiera sur des tudes de cas pour valuer limpact de la recherche. Un projet pilote du REF portant sur lutilisation des tudes de cas a montr lefficacit de cette mthode pour analyser et communiquer ce type dimpacts (HEFCE, 2010). La cartographie de la valeur publique est un autre type de technique faisant appel ltude de cas qui sert explorer les questions pertinentes la valeur sociale plus vaste des investissements publics en recherche (Bozeman et Sarewitz, 2011; Meyer, 2011; Slade, 2011). Le projet Retrosight est un exemple canadien dune approche par tude de cas utilise pour lvaluation de la recherche. Lanc dans le cadre dune tude multinationale visant valuer limpact de projets de recherche biomdicale et clinique en cardiologie et
14 Par exemple, aux tats-Unis, la National Science Foundation (NSF) et le National Institutes of Health (NIH) ont des programmes soutenant spcifiquement les projets de recherche risque lev . Pour de plus amples renseignements, veuillez consultez le site Web suivant : http://commonfund.nih.gov/highrisk/ and http://www.nsf.gov/funding/pgm_summ.jsp? pims_id=5319.
58
sur les accidents vasculaires crbraux, le projet Retrosight a mesur les retombes de projets laide dun modle dchantillonnage. Mme si ltude comportait plusieurs limites (p. ex. le nombre dtudes de cas limitant le bassin dchantillons partir duquel faire des observations et les incohrences possibles au niveau des rapports et de la comparabilit), lapproche par tude de cas a offert une plateforme efficace pour montrer limpact en valuant le comment et le pourquoi des donnes factuelles. Les principaux constats de ltude ont rvl une gamme tendue et diversifie dimpacts, la majorit des impacts socio-conomiques et autres de plus vaste porte provenant dune minorit de projets (Wooding et al., 2011)15.
4.2 b i b li o m t ri e
Les indicateurs bibliomtriques sont des indicateurs paradigmatiques quantitatifs servant mesurer la recherche scientifique. Ils sont fonds sur les donnes relatives aux tendances de la publication de travaux de recherche scientifique, notamment les articles publis dans des revues savantes qui ont t soumis lexamen des pairs. Les indicateurs bibliomtriques sont varis et prennent diffrentes formes, par exemple le nombre de publications scientifiques, le nombre de citations de publications et lanalyse fonde sur dautres variables bibliomtriques, par exemple les auteurs, lutilisation de mots-cls et les modles de citations croises entre des entits ou des domaines de recherche. Les techniques bibliomtriques sont galement utilises en combinaison avec diverses techniques de visualisation dans ltude des relations entre les diffrents domaines de recherche. Enfin, des variables complexes et des techniques danalyse peuvent combiner diffrents types de mesures bibliomtriques pour donner lieu de nouvelles formes danalyses (voir, par exemple, Klavans et Boyack, 2010). Lutilisation de la bibliomtrie a volu sensiblement au cours des dernires dcennies. Comme le signale le rapport du NRC (2006), les techniques bibliomtriques appliques la recherche scientifique taient, lorigine, de nature plus descriptive quvaluative (voir aussi Godin, 2002; Van Raan, 2004). Les historiens des sciences, les universitaires et les sociologues tudiaient les donnes provenant de publications scientifiques pour mieux comprendre lvolution et le cheminement de la recherche scientifique. Les techniques bibliomtriques ont commenc tre utilises des fins dvaluation au milieu des annes 1970 (voir, par exemple, Narin, 1976). Le caractre valuatif de lanalyse bibliomtrique a ensuite t dvelopp pour sappliquer des groupes de recherche (Martin et Irvine, 1983). Les techniques bibliomtriques ont fait lobjet de dveloppements ultrieurs, souvent en parallle avec des dveloppements technologiques et avec lenrichissement du corpus scientifique dans les bases de donnes bibliomtriques. Cest maintenant lun des outils standard de lvaluation scientifique. De nombreux
15 Pour plus de renseignements, voir la page de linitiative canadienne Retrosight, sur le site Web des Instituts de recherche en sant du Canada, http://www.cihr-irsc.gc.ca/f/43251.html.
59
pays ralisent des tudes bibliomtriques nationales, comparant les extrants de la recherche, fonds sur le nombre de publications et dautres indicateurs bibliomtriques (voir les exemples choisis dans lencadr 4.2). Encadr 4.2 Lutilisation dindicateurs bibliomtriques des niveaux levs dagrgation
Les donnes et les indicateurs bibliomtriques sont couramment utiliss diffrents niveaux dagrgation pour valuer le rendement de la recherche dans tous les domaines. On trouvera ci-dessous des exemples tirs de rapports nationaux sur les S et T provenant dun peu partout dans le monde : Ltat de la science et de la technologie au Canada analyse un certain nombre dindicateurs bibliomtriques au niveau national, ce qui comprend des mesures de la production de publications par domaine et des donnes internationales sur les citations (CAC, 2006). Ce rapport a influ sur llaboration de la stratgie fdrale des S et T (Industrie Canada, 2007) et, partant, sur la dfinition des priorits de la recherche au Canada. LInstitut de la statistique du Qubec publie depuis 2005 un Compendium des indicateurs de lactivit scientifique et technologique au Qubec, qui contient des indicateurs bibliomtriques compils par lObservatoire des sciences et des technologies du Canada (voir ISQ, 2011). Aux tats-Unis, le National Science Board publie tous les deux ans le U.S. Science and Engineering Indicators, qui fournit, partir dindicateurs bibliomtriques, un ensemble de donnes sur ltat de la science et du gnie aux tats-Unis, y compris des donnes comparatives sur la production de publications dans divers domaines et pays (voir National Science Board, 2012). Les Pays-Bas publient priodiquement le Science and Technology Indicators Report, qui prsente une valuation exhaustive des rsultats agrgs de la recherche aux Pays-Bas, ainsi quune varit de donnes et dindicateurs bibliomtriques (voir NOWT, 2010). Le gouvernement finlandais publie un rapport intitul The State and Quality of Scientific Research in Finland, dans le cadre de lvaluation exhaustive triennale du systme scientifique finlandais faite par lAcadmie finlandaise (voir Acadmie finlandaise, 2010). Cette analyse englobe lensemble de la production scientifique en Finlande, ainsi que des comparaisons lmentaires sur le nombre de publications et de citations par domaine de recherche. Pour de plus amples renseignements sur ces initiatives, voir les tudes de cas prsentes lappendice A.
60
Les indicateurs bibliomtriques sont si nombreux quil est impossible de les examiner tous dans le prsent document. Ceux qui dsirent avoir un aperu complet des pratiques actuelles en bibliomtrie pourraient trouver utile de consulter les tudes suivantes : De Bellis (2009), REPP (2005), Van Raan (2004) et Moed (2005). Ces instruments de mesure peuvent tre rpartis dans trois grandes catgories : i) ceux qui sont fonds sur le nombre de publications, ii) ceux qui sont fonds sur les citations, iii) ceux qui sont fonds sur dautres variables.
4.2.1 Indicateurs fonds sur le nombre de publications
Les indicateurs bibliomtriques les plus simples sont ceux qui sont fonds sur le nombre de publications. En principe, un tel indicateur peut sappliquer de nombreux types de publications (p. ex. les livres, les chapitres de livres). En pratique, les bases de donnes bibliographiques indexes ont une couverture limite, les indicateurs existants sont donc le plus souvent fonds sur le nombre darticles de revues scientifiques ayant fait lobjet dun examen par les pairs. Les indicateurs de base qui servent tablir le nombre de publications prennent gnralement la forme dun dcompte absolu des articles publis chaque anne, ou sur un certain nombre dannes, dans des revues par des sources particulires (personne, groupe de recherche, tablissement ou domaine). Ces indicateurs sont gnralement prsents comme une mesure des extrants de la recherche. Il est possible de btir dautres indicateurs partir du nombre de publications (p. ex. la part du nombre total de publications revenant un groupe de recherche, ou un domaine de recherche dans un pays). Ces indicateurs fonds sur les parts servent gnralement fournir de linformation sur limportance relative des extrants de la recherche provenant dune entit ou dun domaine particulier. Il est aussi possible de crer des indicateurs plus perfectionns partir du nombre pondr de publications lorsque les donnes sur les publications sont pondres par une mesure valuant la qualit de la revue. Par exemple, les facteurs dimpact des revues (mesure de la frquence relative de citation dune revue) peuvent servir donner une pondration suprieure aux publications paraissant dans des revues plus prestigieuses ou plus concurrentielles. Contrairement au simple dcompte des publications, ces instruments de mesure dpendent aussi dautres mesures de la qualit, fondes sur les citations ou sur une autre forme dvaluation de la qualit de diffrentes revues. La mesure utilise pour le classement des revues dans le cadre de linitiative Excellence in Research for Australia (ERA) en est un exemple (voir lencadr 4.3).
61
Encadr 4.3 Classement des revues dans le cadre de linitiative australienne ERA
En matire dvaluation de la recherche, lAustralie se distingue par lutilisation dun systme exhaustif de classement des revues. En prparation du premier exercice ralis dans le cadre de linitiative Excellence in Research for Australia (ERA), le Conseil de recherches australien (ARC) a effectu une valuation de grande envergure de plus de 20 000 revues universitaires. Chaque revue sest vue attribuer une cote de qualit sur une chelle de quatre (A*, A, B ou C). Les revues juges parmi les meilleures dans leur domaine recevaient la cote A*; les revues de moindre importance recevaient une cote moindre (A, B ou C). Le classement des revues a t labor dans le cadre dun processus dexamen par les pairs, ralis avec laide des quatre acadmies savantes dAustralie en consultation avec le milieu de la recherche. Le classement des publications selon les quatre cotes a ensuite servi de mesure pour valuer la qualit de la recherche universitaire dans chaque discipline, dans le premier exercice de lERA, en 2010 (ARC, 2008). Malgr tous les efforts dploys pour classer les revues, ce systme na pas t utilis lors de lERA de 2011 et il ne sera pas utilis lors des exercices dvaluation futurs (gouvernement de lAustralie, 2011). Le classement des revues a toujours t un aspect controvers de lERA. Fait noter, le gouvernement et le Conseil de recherches australien ont dcid dabandonner le systme de classement des revues, non seulement cause des proccupations relatives la prcision du classement, mais parce que certaines universits et certains tablissements de recherche nutilisaient pas correctement le classement. Ainsi, dans certains tablissements, les directeurs de recherche avaient commenc fixer des cibles de publication darticles dans les revues classes A* et A (gouvernement de lAustralie, 2011), en faisant pression sur les professeurs pour quils publient dans certaines revues. Cette raction du milieu de la recherche a t juge improductive et a men labandon de cet aspect du processus national dvaluation de la recherche en Australie.
62
4 . 2. 2
i n d i c ate u rs f ond s s u r l e s c i tations
Les indicateurs fonds sur les citations servent recueillir de linformation sur linfluence ou limpact de la recherche sur le milieu scientifique. Cette pratique part du principe que les citations sont une indication prcieuse de limpact quun article de revue a pu avoir sur les travaux de recherche ultrieurs (Moed, 2005). Une grande varit dindicateurs fonds sur les citations sont utiliss diffrents niveaux de lvaluation de la recherche : le simple dcompte des citations (p. ex. le nombre de fois quun article, un auteur ou un pays a t cit); le nombre moyen de citations (p. ex. la moyenne des citations dun domaine ou dune revue), ou des mesures drives comme lindice h et ses variantes (Hirsch, 2005). Des indicateurs fonds sur la rpartition des citations par domaine de recherche sont aussi couramment utiliss. titre dexemple, une tude bien connue a calcul le nombre darticles scientifiques les plus cits au monde, correspondant au premier centile, et compar les articles de certains pays par domaine (King, 2004). Les indicateurs fonds sur les citations servent parfois valuer la relation entre diffrents domaines de recherche, ou servent de mesures interdisciplinaires. Ces dernires peuvent prendre la forme de mesures de la frquence des citations croises entre diffrents domaines ou units de recherche (Larivire et Gingras, 2010). Lun des plus importants indicateurs fonds sur les citations utilis pour comparer le rendement de la recherche dans diffrents domaines au niveau national est limpact relatif des citations (parfois appel facteur de citations relatif moyen, ou FCRM). Cet indicateur est fond sur la comparaison du niveau des citations de lunit value avec le niveau gnral des citations de la recherche dans le mme domaine lchelle internationale. Par exemple, le nombre moyen de citations darticles sur la mdecine clinique publis au Canada est compar au nombre moyen de citations de tous les articles sur la mdecine clinique publis dans le monde.
4.2.3 Autres indicateurs bibliomtriques
La troisime catgorie dindicateurs bibliomtriques englobe tous ceux qui reposent sur dautres variables. Parmi ces indicateurs, lun des plus courants est fond sur les articles signs par des coauteurs; il sert tudier les diffrents modles de collaboration scientifique (voir, par exemple, Royal Society, 2011). Ces mthodes peuvent servir analyser la collaboration entre chercheurs, entre groupes de chercheurs, entre tablissements, entre domaines et entre pays (pour le Canada, voir Larivire et al., 2006). Dautres indicateurs bibliomtriques sappuient sur les mots-cls qui se trouvent dans les articles scientifiques. La plupart des articles scientifiques sont publis avec un petit nombre de mots-cls choisis par leur auteur pour donner des indications sur le sujet. Les mots-cls peuvent aussi tre extraits des titres et des rsums des articles. La recherche par mot-cl dans les bases de donnes bibliomtriques peut servir dfinir les sujets de recherche, valuer les secteurs de recherche interdisciplinaire et suivre
63
les tendances de la recherche long terme. Ils peuvent galement servir de paramtres pour la construction dindicateurs bibliomtriques dans de nouveaux domaines, sujets ou groupes de disciplines. Enfin, dautres types de renseignements contenus dans les notices bibliographiques peuvent servir dautres tudes. Ainsi, ladresse des auteurs darticles peut servir analyser la rpartition gographique des travaux de recherche dans une rgion ou un pays donn. Linformation contenue dans les remerciements a rcemment t intgre certaines bases de donnes bibliomtriques et peut aussi entrer dans lanalyse bibliomtrique.
4.2.4 Limites des indicateurs bibliomtriques
Les limites conceptuelles et techniques des indicateurs bibliomtriques ont fait lobjet de nombreuses tudes (voir, par exemple, Moed, 2005; REPP, 2005). Ces limites ne sont pas analyses plus en dtail ici. Lencadr 4.4 prsente un rsum des principales difficults mthodologiques lies la construction et lutilisation de ces indicateurs. Le comit est davis quaucune de ces difficults nest insurmontable. Mme si elles comportent des limites, les donnes et la construction de ces indicateurs sont suffisamment robustes pour tre utiles lvaluation au niveau des domaines de recherche. Encadr 4.4 Quelques faits au sujet de lanalyse bibliomtrique
Les paramtres suivants doivent tre pris en considration dans une analyse bibliomtrique : Choix de lunit danalyse : La bibliomtrie peut servir analyser les extrants de la recherche plusieurs niveaux : personnes, groupes de recherche, tablissements, domaines, rgions ou pays. Toutefois, de nombreux indicateurs sont appropris ou fiables seulement certains niveaux dagrgation. De manire gnrale, lanalyse bibliomtrique est plus fiable des niveaux plus levs dagrgation et les indicateurs qui ne conviennent pas lvaluation individuelle de chercheurs peuvent tre utiles lvaluation de domaines de recherche au niveau national. Diffrences dun domaine lautre : Les profils de publication et de citation varient dun domaine de recherche lautre. Dans certains domaines, on a tendance publier ou citer des travaux de recherche davantage que dans dautres domaines. Les comparaisons directes dun domaine lautre sont donc rarement pertinentes et il est essentiel davoir recours des instruments de mesure normaliss par domaine pour utiliser des indicateurs bibliomtriques des fins dvaluation. Ainsi, la production dun groupe de recherche peut faire lobjet dune valuation significative seulement si elle est compare la production moyenne dans ce domaine de recherche.
64
Couverture des donnes : En dernier ressort, lutilit des indicateurs bibliomtriques dpend de ltendue de la couverture des extrants pertinents de la recherche dans les bases de donnes bibliomtriques et cette couverture varie dun domaine de recherche lautre. Des tudes ont montr que la couverture est plutt tendue en sciences naturelles, les publications dans des revues y tant trs valorises. Dans dautres domaines, o la publication de livres, de chapitres de livres, de monographies, etc., suit un modle plus traditionnel, ltendue de la couverture est plus rduite (Archambault et al., 2006). Bien que ce problme soit plus srieux dans les sciences humaines, les arts et les sciences sociales, il peut aussi soulever des proccupations dans certaines disciplines des sciences naturelles et du gnie, o la publication dans les actes de confrences joue souvent un rle de premier plan, comme en gnie et en sciences informatiques (HEFCE, 2009, appendice H). Articles signs par plusieurs auteurs : La plupart des articles scientifiques sont signs par plusieurs auteurs. Un article publi rcemment dans Physics Letters B fournit un exemple extrme. Cet article, qui porte sur des travaux de recherche raliss au Grand collisionneur de hadrons de lOrganisation europenne pour la recherche nuclaire (CERN), est sign par plus de 3 000 auteurs (Royal Society, 2011). Il faut tenir compte des articles signs par plusieurs auteurs au moment de construire des indicateurs bibliomtriques. cette fin, il existe deux grandes approches : i) un auteur peut recevoir tout le mrite dun article (c.--d. une comptabilisation intgrale), ou ii) le mrite de chaque article peut tre divis par le nombre dauteurs (c.--d. une comptabilisation fractionne). Il existe dautres stratgies, par exemple compter seulement les premiers auteurs; cependant, il sagit dune solution imparfaite parce que les conventions au sujet de lordre dnumration des auteurs dans un article scientifique varient dun domaine lautre (Pontille, 2004; RIN, 2009). Citations ngatives et autocitations : Certains scientifiques estiment que les indicateurs fonds sur le nombre de citations sont trompeurs dans la mesure o une fraction des citations visent rfuter les rsultats de travaux antrieurs plutt qu les corroborer. Dautres estiment que la frquence des autocitations (un auteur citant ses propres travaux) affaiblit souvent la validit des indicateurs. Il sagit de proccupations valables, mais les donnes empiriques montrent que ces problmes sont plutt ngligeables des niveaux plus levs dagrgation. Des tudes ont montr que la grande majorit des citations (plus de 90 %) sont confirmatives et que les recherches errones font rarement lobjet de citations et sont plutt
65
ignores (voir REPP, 2005; Herbertz et Muller-Hill, 1995). Les autocitations peuvent tre retraces et il est possible de construire des indicateurs tenant compte ou non des autocitations (REPP, 2005). Cependant, beaucoup dautocitations sont valides et, dans le cadre dvaluations de vaste porte, il est pratiquement impossible de distinguer les autocitations lgitimes de celles qui ne le sont pas. Un rdacteur en chef veille jusqu un certain point ce quun auteur ne recoure pas de faon abusive lautocitation. Par consquent, au Royaume-Uni, le Research Assessment Exercise (RAE) ( lpoque o on envisageait de donner un rle central aux donnes bibliomtriques) et linitiative Excellence in Research for Australia (ERA) ont choisi de retenir les autocitations. Actualit des donnes : Les indicateurs bibliomtriques ont une actualit variable. Les rsultats de travaux de recherche peuvent prendre plusieurs mois, voire plusieurs annes, avant dtre publis. Mais plus important encore, il faut souvent du temps avant quun article ne soit connu dans les milieux scientifiques, ce qui a un effet sur les indicateurs fonds sur les citations. Les concepts de priode de citations et de demi-vie dune revue tiennent compte de ces contraintes. Le concept de demi-vie tant dfini comme le nombre dannes quil faut remonter partir de lanne prsente pour en arriver 50 % des citations dans la revue concerne. La priode de citations approprie varie selon le domaine. Cependant, des recherches ont montr quen sciences naturelles, une priode de trois cinq ans est gnralement suffisante tant donn que dans ce domaine, les citations de la plupart des articles atteignent un sommet dans un dlai de trois ans (REPP, 2005; Moed et al., 1985). Pour des examens exhaustifs de ces questions, voir Moed (2005) et REPP (2005).
4.2.5
Sources de donnes bibliomtriques
Il existe trois sources de donnes bibliomtriques couramment utilises dans le cadre des exercices dvaluation de la recherche : i) la base de donne du Web of Science et la famille des indices de citations de Thomson Reuters (autrefois Institute for Scientific Information, ISI); ii) la base de donnes Scopus, dElsevier; iii) Google Scholar. Les bases de donnes Scopus et Web of Science ont toutes les deux t trs utilises et testes dans le cadre danalyses bibliomtriques. Elles sont suffisamment transparentes du point de vue du contenu et de la couverture pour tre gnralement utiles aux valuations du rendement de la recherche au niveau des domaines. Bien que la couverture diffre sensiblement dune base de donnes lautre, les donnes factuelles montrent que, pour les comparaisons en sciences naturelles au niveau national, les deux sources donnent peu prs les mmes rsultats (Archambault et al., 2009).
66
tant donn que Google Scholar est facile daccs et gratuit, il est frquemment utilis dans les analyses bibliomtriques sommaires. Il sagit toutefois dun engin de recherche dynamique et exclusif, et Google ne publie pas un dcompte statique des rsultats de ses recherches un moment prcis, ni les dtails de ce qui est couvert. Par consquent, les spcialistes en bibliomtrie ne peuvent avoir accs aux rsultats de recherche et la couverture de faon mthodique. De plus, Google Scholar tant constamment mis jour, la mme requte effectue plusieurs jours de suite peut donner chaque fois des rsultats diffrents quant au nombre de citations. Le nettoyage des donnes disponibles exige parfois beaucoup de temps. Une tude a rvl quil avait fallu 30 heures de plus pour recueillir, nettoyer et normaliser les donnes provenant de Google Scholar quil nen avait fallu pour nettoyer des donnes provenant du Web of Science (Meho et Yang, 2007). Par consquent, le comit dexperts estime que Google Scholar ne devrait pas tre utilis dans le cadre dvaluations bibliomtriques rigoureuses. La pression croissante qui sexerce sur les scientifiques et les tablissements de recherche pour quils dmontrent la valeur socitale de leurs travaux a entran une prolifration rapide de bibliomtries amateurs ou sauvage (Gingras, 2008). Les indicateurs bibliomtriques sont alors appliqus sans aucune expertise ou comprhension des donnes de base et sans savoir vraiment comment utiliser les indicateurs. Cette pratique sest rpandue avec laccs instantan au Web of Science, disponible par lentremise dabonnements universitaires, et a t exacerbe avec larrive de la base de donnes gratuite, Google Scholar, ce qui nuit lutilisation lgitime de techniques perfectionnes et valides.
4.3 a utr e s i n di c at e u rs s c i e nt i f i ques qu antitatifs
Outre les indicateurs bibliomtriques, il existe plusieurs types dindicateurs quantitatifs. Les plus courants sont ceux axs sur les sources de financement externes (c.--d. les autres sources de financement), le nombre de demandes de subvention, la population tudiante et la population de chercheurs et les mesures du mrite (p. ex. le nombre de distinctions et de prix universitaires) (voir REPP, 2005 et De Bellis, 2009 pour des tudes sur ces autres types dindicateurs). Des indicateurs axs sur les activits en ligne, comme le nombre de fois quun article a t consult ou tlcharg, ont rcemment t mis au point. Enfin, il existe aussi des indicateurs quantitatifs servant recueillir de linformation sur linfrastructure de recherche, notamment les fonds annuels consacrs
67
au matriel et aux installations ou lespace de laboratoire disponible. Ces autres types dindicateurs quantitatifs sont trs htrognes et sappuient sur diffrentes sources de donnes, selon le contexte national et le contexte de financement de la recherche. Ils sont utiliss pour diffrents types dvaluation. tant donn la diversit de ces indicateurs, il nest pas possible de faire un examen gnral de leurs forces et de leurs faiblesses, mais ils sont examins dans les chapitres suivants, qui mettent laccent sur les indicateurs utiliss pour servir trois objectifs communs de lvaluation scientifique.
4 .4 c o nc l u s i ons
Ce chapitre a prsent un survol des mthodes et des indicateurs disponibles pour valuer la recherche exploratoire. Il a notamment dgag deux grandes stratgies : les mthodes dlibratives et les indicateurs bibliomtriques. Ces deux types dapproches en matire dvaluation scientifique comportent la fois des forces et des faiblesses. Les approches dlibratives sont gnralement associes lvaluation individuelle des chercheurs et des extrants de la recherche, mais ils peuvent aussi servir lvaluation de domaines de recherche. Mme si beaucoup dindicateurs quantitatifs comportent des limites fondamentales lies la nature et ltendue des donnes, ces dernires sont nanmoins suffisamment robustes pour que les indicateurs aient une utilit relle dans plusieurs contextes dvaluation. Lors dune valuation, il faut garder lesprit que la faon dont les indicateurs sont utiliss est aussi importante que la manire dont ils sont construits, si lon veut quils soient valides et informatifs dans des contextes prcis. Le comit a conclu quil ne serait pas productif de traiter des forces et des faiblesses des indicateurs sans savoir quelles fins ils seront utiliss. Par consquent, les trois prochains chapitres renferment une analyse dtaille des indicateurs scientifiques et des mthodes dvaluation en fonction de trois objectifs des valuations scientifiques pertinents laffectation des fonds la recherche : i) la qualit de la recherche, ii) les tendances de la recherche et iii) la capacit de recherche (voir la section 3.3.2, qui traite des renseignements requis pour prendre des dcisions relatives laffectation des fonds de recherche).
68
5
indicateurs pour lvaluation de la qualit de la recherche
Examen des indicateurs quantitatifs scientifiques Taxonomie des indicateurs pour lvaluation de la qualit de la recherche Examen des indicateurs Conclusions
Chapitre 5 Indicateurs pour lvaluation de la qualit de la recherche
69
indicateurs pour lvaluation de la qualit de la recherche

Points saillants
Les indicateurs quantitatifs servant valuer la qualit de la recherche peuvent tre rpartis en six catgories : soutien externe la recherche (financement), population tudiante, nombre pondr de publications, citations, mesures du mrite et indicateurs webomtriques. Le nombre pondr de publications et les indicateurs fonds sur les citations sont les deux seuls types de mesures quantitatives valides de la qualit de la recherche qui conviennent lvaluation au niveau des domaines. Les mthodes dlibratives constituent galement une stratgie valide pour valuer la qualit de la recherche au niveau du domaine, mais lapproche la plus solide pour valuer la qualit de la recherche est celle qui fait appel la fois des mesures quantitatives et des mthodes dlibratives.
La qualit de la recherche et les concepts connexes comme lexcellence de la recherche et les atouts de la recherche font rfrence au mrite scientifique de la recherche, jug selon les valeurs propres au milieu de la recherche. Le concept de qualit de la recherche est aussi gnralement reconnu comme tant la fois complexe et multidimensionnel, et beaucoup dtudes scientomtriques insistent sur le fait que la qualit de la recherche est mieux comprise dans sa dimension multiple, qui englobe une srie de caractristiques de base comme limportance scientifique des travaux, la rigueur des mthodes employes, ainsi que llgance ou les qualits esthtiques de la conception et des constatations de la recherche (voir, par exemple, Martin et Irvine, 1983; Moed et al., 1985; CAC, 2006)16. Qualit de la recherche nest pas forcment synonyme dimpact scientifique du travail de recherche. Limpact de la recherche est invitablement fonction de sa qualit, mais il dpend aussi dautres facteurs, notamment la situation gographique du/des auteur(s), la rputation et le rseau personnel du/des auteur(s), la langue de publication et la disponibilit et le prestige de la revue dans laquelle la recherche est publie (Martin et Irvine, 1983). Ces facteurs sont importants parce que les spcialistes en bibliomtrie
16 Il est noter que le concept de qualit de la recherche tel quutilis dans de nombreux exercices dvaluation de la recherche met habituellement laccent sur la valeur scientifique ou limpact de la recherche seulement, et ne tient pas compte de considrations lies aux effets socioconomiques plus tendus. Ces facteurs sont souvent envisags sous la rubrique quelque peu trompeuse de limpact de la recherche dans beaucoup dinitiatives dvaluation scientifique (voir, par exemple, HEFCE, 2011b).
70
font gnralement confiance aux mesures bibliomtriques pour valuer limpact dune publication scientifique sur dautres travaux de recherche, mais ils doutent de la capacit des indicateurs bibliomtriques de juger de la qualit globale de la recherche (qui, selon certains, devraient tre laisse lexamen des pairs) (voir Butler, 2007; Nederhof et Van Raan, 1987; Van Raan, 1996). Les indicateurs fonds sur les citations peuvent donner une ide assez prcise des profils dimpact de la recherche, comme le refltent les tendances des publications scientifiques. Cependant, ces indicateurs peuvent ne pas saisir lensemble des caractristiques pertinentes lvaluation de la qualit. Nanmoins, ils peuvent tre utiles pour porter un jugement sur la qualit. Ce chapitre passe en revue les indicateurs quantitatifs utiles lvaluation de la qualit de la recherche en sciences naturelles et en gnie (SNG) et prsente les conclusions du comit dexperts quant la validit des diffrents indicateurs.
5.1 e xa m e n d es i ndi c at e u rs q ua n ti tatif s s c i e nt i f i qu e s
Le comit a ralis une tude exhaustive des diffrents types dindicateurs quantitatifs dans deux contextes dvaluation : lvaluation de la qualit de la recherche (lobjet de ce chapitre) et lvaluation des tendances de la recherche (voir le chapitre 6). Ltude visait reprer les indicateurs qui sont valides dans le cadre dvaluations de la recherche en SNG au niveau des domaines. Le comit dexperts a conclu que pour tre valide, un indicateur doit avoir fait lobjet dune recherche rigoureuse et tre reconnu lchelle internationale, et son application doit avoir t valide par la recherche existante et lexprience passe. Il doit aussi pouvoir servir comparer la qualit de la recherche dun domaine lautre (certains types dindicateurs peuvent tre des mesures valides au niveau des domaines, mais inutiles pour faire des comparaisons entre les domaines). Le comit a galement pris en considration dautres critres secondaires qui contribuent la validit dun indicateur. Actualit de lindicateur : Lindicateur doit tre en lien avec des activits rcentes (les donnes portant sur des recherches entreprises il y a plusieurs annes ne refltent pas la dynamique actuelle du contexte de la recherche et peuvent mener des dcisions de financement errones). Impact sur les comportements : Lindicateur ne doit pas comporter un risque lev davoir des effets imprvus et ngatifs sur les comportements dans le milieu de la recherche. Niveau dagrgation : Lindicateur devrait tre pertinent et valide pour les valuations au niveau des domaines. Transparence : Lindicateur devrait tre transparent et reposer sur des mthodologies et des donnes publiquement disponibles.
71
5 .2
ta xo nom i e de s i ndi cat e u r s Pou r lvalu ation de la q u al i t de l a r e ch e rc he
La figure 5.1 montre une taxonomie dindicateurs de la qualit de la recherche labore par le comit dexperts. Au niveau suprieur, ces indicateurs sont rpartis en six catgories : les indicateurs fonds sur i) le soutien externe la recherche; ii) la population tudiante; iii) le nombre pondr de publications; iv) les citations; v) les mesures du mrite et vi) les donnes webomtriques, par exemple, les consultations darticles en ligne et les tlchargements. Ce groupe dindicateurs peut galement tre class selon des mesures des intrants de la recherche (p. ex. le financement), des extrants (p. ex. les articles scientifiques) ou des impacts de la recherche (p. ex. les citations). La taxonomie a permis de prciser des sous catgories pour chacune des catgories dindicateurs. Les indicateurs relatifs la population tudiante sont gnralement fonds sur des donnes comme le taux dobtention de diplmes et dinscriptions par niveau de programme dtudes et par domaine dtudes. Les mesures axes sur le financement externe sont gnralement construites laide de donnes montaires ou du nombre de subventions accordes par dautres sources. Les donnes webomtriques consistent gnralement faire un simple dcompte dactivits en ligne, comme la consultation darticles, les tlchargements et les hyperliens renvoyant une autre page. Les types les plus courants de mesures du mrite sont notamment le nombre de discours douverture, de prix scientifiques, dadhsions des socits honorifiques, et de nomination des comits de rdaction ou des comits consultatifs.
5 .3 e xa m e n de s i ndi cat e u r s
Le tableau 5.1 prsente un rsum des principales conclusions du comit dexperts au sujet des indicateurs servant valuer la qualit de la recherche. Outre les mthodes dlibratives, seulement deux des six catgories dindicateurs quantitatifs ont t juges valides pour lvaluation de la qualit de la recherche au niveau des domaines et susceptibles de soutenir des comparaisons entre les domaines17.
17 Certains indicateurs sont des mesures utiles de la qualit dans un domaine, mais ils ne peuvent servir faire des comparaisons de la qualit entre les domaines, tant donn les diffrences fondamentales quant aux sources de donnes pertinentes ou aux modles dactivit de recherche.
72
Indicateurs quantitatifs de la qualit scientifique et de limpact de la recherche
QUALIT DE LA RECHERCHE
Soutien externe la recherche Citations Mesures du mrite Donnes webomtriques
tudiants
Nombre pondr de publications
Financement externe de la recherche Nombre de citations Consultations darticles en ligne
Taux dinscription
Nombre de publications pondr par le facteur dimpact de la revue Confrences/ discours douverture
Nombre de subventions externes la recherche Impact relatif des citations Nominations universitaires prestigieuses
Taux dobtention de diplmes
Nombre de publications pondr par le classement des mdias ou un autre systme de pondration Honneurs et prix
Centile de la rpartition des publications selon les citations
Tlchargements darticles
Hyperliens
Figure 5.1 Taxonomie des indicateurs quantitatifs pour lvaluation de la qualit de la recherche
Indice h
lection des socits savantes
Participation des comits ditoriaux
I I I
Participation des comits dexperts/consultatifs
Cette figure montre les types courants dindicateurs scientifiques quantitatifs utiliss pour valuer la qualit de la recherche. Ils peuvent tre rpartis en six catgories gnrales : i) soutien externe la recherche; ii) population tudiante; iii) nombre pondr de publications; iv) nombre de citations; v) mesures du mrite et vi) donnes webomtriques, par exemple les consultations darticles en ligne et les tlchargements.
Intrant Extrant Impact
73
Tableau 5.1 Validit des catgories dindicateurs de la qualit de la recherche

type dindicateur Nombre pondr de publications est-ce que lindicateur est gnralement valide pour valuer la qualit de la recherche au niveau du domaine? Oui Les indicateurs fonds sur le nombre de publications sont gnralement axs sur la quantit dextrants de la recherche dans tous les domaines plutt que sur la qualit de la recherche. Le nombre pondr de publications peut cependant tre une mesure valide de la qualit de la recherche. Ces indicateurs pondrent gnralement le nombre de publications laide dune mesure de la qualit, par exemple le facteur dimpact dune revue ou dautres variables lies aux citations. Les indicateurs fonds sur les citations peuvent tre une mesure valide de la qualit de la recherche au niveau dun domaine dans la mesure o ils permettent de saisir de linformation sur limpact scientifique de la recherche dans ce domaine. Pour tre valides, ces indicateurs doivent tre normaliss en fonction du domaine et couvrir une priode de citations adquate, et ne devraient tre utiliss que lorsquune bonne proportion des extrants est saisie dans la base de donnes. Les outils de mesure fonds sur le soutien externe la recherche peuvent tre des paramtres valides de la qualit de la recherche, mais gnralement pas au niveau des domaines de recherche. Ces paramtres sont souvent tirs de processus dexamen externes par les pairs. Toutefois, les comparaisons entre les domaines de recherche sont problmatiques car chaque domaine a une structure de cots et des capacits de base qui lui sont propres. Par consquent, ces indicateurs conviennent mieux aux valuations au niveau des tablissements ou des groupes de recherche. Les donnes sur la population tudiante sont souvent valides dans plusieurs contextes dvaluation, et la formation des tudiants figure souvent au nombre des objectifs explicites des programmes de financement de la recherche en SNG. La production des tudiants ntant pas un indicateur direct de la qualit de la recherche, elle ne devrait pas tre utilise comme indicateur principal de la qualit de la recherche au niveau des domaines. Il peut toutefois tre utile de comparer les inscriptions et la production des tudiants comme source secondaire dinformation, notamment pour suivre les tendances de la recherche et la capacit de recherche.
Citations
Oui
Soutien externe la recherche
Non
Population tudiante
Non
74
Tableau 5.1 (suite) Validit des catgories dindicateurs de la qualit de la recherche

type dindicateur Mesures du mrite est-ce que lindicateur est gnralement valide pour valuer la qualit de la recherche au niveau du domaine? Non Les indicateurs fonds sur le mrite peuvent tre valides des niveaux infrieurs dagrgation. tant donn quils ne sont pas comparables dun domaine de recherche lautre, ils ne sappliquent pas au niveau des domaines. Les donnes webomtriques pourraient ventuellement servir dindicateurs valides de la qualit de la recherche au niveau du domaine. Cette catgorie dindicateurs est cependant largement exprimentale et na pas encore fait lobjet dune validation dans le cadre dimportants exercices dvaluation nationale de la recherche. Les approches dlibratives, comme lexamen par les pairs et par des experts, sont les seules approches disponibles pour valuer la qualit de la recherche susceptibles de prendre en compte les dimensions qualitatives de la recherche qui ne peuvent tre rduites des quantits. Ces approches peuvent tre valides pour lvaluation au niveau du domaine et sy appliquer. Toutefois, lorsquelles sont appliques au niveau du domaine, elles sont gnralement complmentes par des donnes quantitatives.
Donnes webomtriques
Non
Approches dlibratives
Oui
5.3.1
Indicateurs valides de la qualit de la recherche
Nombre pondr de publications
Le nombre pondr de publications est un dcompte des publications (voir la section 4.2.1) intgrant dautres mesures de la qualit qui servent pondrer les publications. La forme la plus courante est fonde sur les facteurs dimpact dune revue : un article est pondr en fonction du facteur dimpact de la revue dans laquelle il est publi (c.--d. que les articles paraissant dans des revues trs cites ont une meilleure pondration que ceux qui paraissent dans des revues moins cites). Thoriquement, il existe bien des faons de faire un dcompte pondr des publications et certaines produisent des indicateurs moins fiables ou moins rigoureux. Lindicateur relatif aux publications dont se sert la Norvge pour laffectation des fonds la recherche institutionnelle illustre de manire intressante lutilisation du nombre pondr de publications. Cet indicateur bibliomtrique mis au point par la Norvge repose sur un modle deux volets dans lequel les articles paraissant dans des revues plus prestigieuses ont une pondration suprieure ceux qui sont publis dans des revues plus ordinaires. Dans ce cas, les dcisions relatives aux revues faisant partie du groupe prestigieux ont t prises par le comit de publication de lAssociation norvgienne des
75
tablissements denseignement suprieur, avec une rtroaction des conseils nationaux de chaque domaine de recherche (Schneider, 2009; Sivertsen, 2009). Le ministre de lducation norvgien a jug que ladoption de cet indicateur deux volets permettait de prvenir le risque de favoriser une augmentation du nombre de publications au dtriment de la qualit (Commission europenne, 2010).
Indicateurs fonds sur les citations
Il existe plusieurs types dindicateurs axs sur les citations, notamment ceux qui reposent sur le nombre de citations, ceux qui intgrent une analyse de la rpartition des citations dans un ensemble donn de publications, ceux qui sont fonds sur limpact relatif des citations, ceux qui reposent sur le facteur dimpact de la revue et, enfin, lindice h, qui tient compte de lhistorique des publications et des citations. Cependant, tous ces indicateurs ne sont pas valides ou informatifs pour lvaluation de la qualit de la recherche des domaines au niveau national. Lorsquil a examin les indicateurs de ce type, le comit dexperts a dtermin quun indicateur fond sur les citations ne pouvait tre valide que si sa construction et son utilisation rpondaient trois conditions essentielles. Premirement, tout indicateur fond sur les citations utilis pour valuer et pour comparer des domaines de recherche devrait tre normalis en fonction de chaque domaine. En effet, chaque domaine de recherche a sa propre culture et ses propres pratiques en matire de citations; par consquent, les niveaux de rfrence des citations varient dun domaine lautre (Garfield, 1979; Moed et al., 1985; Butler, 2007). titre dexemple, les articles publis en recherche biomdicale citent gnralement beaucoup plus de sources que ceux qui sont publis en mathmatiques (Leydesdorff et Opthof, 2010). Il serait donc trompeur de comparer des dcomptes bruts de citations dun domaine lautre. Les indicateurs fonds sur les citations doivent plutt tre construits de manire prendre en considration le niveau de rfrence des citations dans un domaine donn. Lexemple le plus frappant de cela est le facteur relatif des citations (parfois appel impact relatif des citations), qui permet de comparer le niveau moyen de citations dans un domaine particulier, dans un pays donn, au niveau moyen des citations dans ce domaine lchelle mondiale. Deuximement, tout indicateur de la qualit fond sur les citations devrait couvrir une priode de citations suffisamment longue (la priode de temps pour laquelle les citations dune publication ou dun ensemble de publications sont comptes). Il faut du temps avant que les citations ne saccumulent. Il faut parfois des mois, voire des annes, avant que la publication dun article nait un impact concret sous la forme de citations. Des tudes montrent que, en sciences naturelles et
76
en gnie, la priode de citations approprie est gnralement de trois cinq ans (REPP, 2005; Van Raan, 1993; Moed et al., 1985). Des donnes factuelles plus rcentes semblent cependant indiquer quune priode de citations aussi courte que deux ans est approprie dans certains cas (voir, par exemple, Van Raan et al., 2007). Cela veut dire que les indicateurs fonds sur les citations devraient se limiter valuer la recherche publie au moins deux ans plus tt. Toute tentative dutiliser des indicateurs fonds sur les citations pour des travaux de recherche plus rcents pourrait produire des rsultats errons ou trompeurs. Troisimement, un nombre suffisant des travaux de recherche pertinents dans un domaine doit tre inclus dans les sources de donnes pour appuyer lanalyse. Gnralement, les indicateurs de citations sont construits partir des citations parues dans des revues savantes examines par les pairs, qui sont saisies dans les bases de donnes bibliomtriques existantes, par exemple le Web of Science de Thomson Reuters ou le Scopus dElsevier (voir la section 4.2.5). La validit des indicateurs reposant sur ces donnes dpend donc de la mesure dans laquelle la production totale de la recherche dans un domaine est saisie et reflte dans ces bases de donnes. Si une grande proportion de la production de la recherche dans ce domaine ny figure pas, cela veut dire que lanalyse exclut un grand nombre de citations dautres travaux dans le domaine. Le futur Research Excellence Framework (REF) offre une ligne directrice utile quant lutilisation de donnes bibliomtriques. Une tude exploratoire sur lutilisation de la bibliomtrie dans ce contexte a permis de constater quen gnral, pour que des indicateurs fonds sur les citations soient valides dans un domaine, au moins 40 % des extrants pertinents de la recherche dans ce domaine devraient tre des articles de revues saisis dans les bases de donnes commerciales (HEFCE, 2009; appendice H). tant donn que les articles de revues scientifiques font tat dun grand pourcentage de la recherche en SNG, les bases de donnes existantes couvrent gnralement bien les rsultats de la recherche dans ces domaines (HEFCE, 2009; REPP, 2005). Dans certains domaines, comme les sciences informatiques et certains sous-domaines du gnie, la couverture peut tre moins tendue (voir lencadr 5.1). Plusieurs indicateurs fonds sur les citations rpondent ces trois conditions, y compris lindicateur dimpact relatif moyen des citations (voir la section 4.2.2) et une varit dindicateurs fonds sur la rpartition des citations (p. ex. la proportion des publications dun pays cites dans un domaine particulier figurant dans le premier percentile ou les cinq premiers percentiles). tant donn que diffrents types dindicateurs fonds sur les citations peuvent satisfaire ces conditions, le choix des indicateurs qui seront utiliss dans un contexte dvaluation donn dpend des objectifs particuliers de lvaluation et de linformation qui est la plus pertinente.
77
Encadr 5.1 Variation dans lutilisation des indicateurs par domaine des SNG
En gnral, les indicateurs sont utiliss peu prs de la mme faon dans tous les domaines des sciences naturelles et du gnie. Les articles de revue soumis un examen par les pairs restent le premier mode de diffusion des rsultats de la recherche dans la plupart des domaines des SNG. Bien que la priode de citation soit gnralement la mme, des donnes factuelles indiquent que les citations ont tendance saccumuler plus lentement en mathmatiques et en gnie quen sciences naturelles (HEFCE, 2009). Dans la majorit des domaines des SNG, il est possible de construire des indicateurs bibliomtriques robustes ayant une application tendue, lexception possible de certains secteurs du gnie et des sciences informatiques o la publication darticles dans des revues nest pas le meilleur moyen de diffuser la recherche (Butler et Visser, 2006; Glanzel et al., 2006; Lise et al., 2008). Dans ces secteurs, si la couverture des rsultats de recherche dans les bases de donnes bibliomtriques est insuffisante, les valuateurs de la recherche peuvent envisager dutiliser dautres mesures qui tiennent compte des actes de confrences, des brevets ou des citations dans des brevets, en gardant lesprit que de telles mesures ne sont pas des substituts parfaits aux indicateurs fonds sur les citations et quelles ont donc des consquences diffrentes (Lise et al., 2008).
5.3.2 Indicateurs non valides de la qualit de la recherche au niveau des domaines
Le comit dexperts estime que les quatre autres types dindicateurs quantitatifs prsents au tableau 5.1 ne sont pas valides pour valuer la qualit de la recherche dans lensemble des domaines au niveau national.
Lindice h
Il existe aussi plusieurs types dindicateurs fonds sur les citations et les publications qui ne sont pas valides. Par exemple, lindice h bien connu (Hirsch, 2005) est fond sur des donnes relatives aux publications et aux citations. Lindice h est mentionn ici pour nous permettre de faire une mise en garde devant sa popularit
78
montante. Les spcialistes en bibliomtrie estiment gnralement quil ne sagit pas dun indicateur valide ou utile (Gingras, 2008; Van Leeuwen, 2008). Les indices h sont fortement corrls au nombre total de publications (Van Leeuwen, 2008), ce qui veut dire quils sont tout simplement trs influencs par le nombre darticles publis. Cette mesure a galement t conue pour servir valuer individuellement des chercheurs. Bien quil y ait eu des calculs exprimentaux de lindice h des niveaux suprieurs dagrgation, cette application na pas t valide par des essais rigoureux ni par un exercice national dvaluation de la recherche de vaste porte.
Le soutien externe la recherche
Le soutien externe la recherche sert souvent de base aux mesures quantitatives dans des valuations de la qualit de la recherche. Ces indicateurs sont relativement faciles obtenir partir des donnes sur le financement ou les parts du financement reues et ils peuvent tre regroups selon diffrentes caractristiques, par exemple la source de financement ou la priode de temps. Ils servent souvent de repres pour mesurer la qualit de la recherche, en partant du principe que la capacit dattirer du financement pour la recherche tmoigne du calibre des travaux de recherche antrieurs et de la rputation gnrale du rcipiendaire du financement (quil sagisse dun tablissement, dun groupe de recherche ou dun chercheur) (OCDE, 2010)18. Toutefois, en tant que mesures de la qualit, ces indicateurs comportent des limites importantes. Leur fiabilit dpend des dcisions de financement antrieures et du jugement des experts qui a prsid ces dcisions. Comme il ressort des chapitres 2 et 3, toutes les dcisions en matire de financement sont influences par une srie de facteurs, notamment les priorits nationales, qui peuvent ne pas avoir de corrlation avec les dimensions rcentes ou pertinentes de la qualit de la recherche. De plus, il est difficile de faire des comparaisons entre les domaines ou les tablissements, car les besoins de financement varient dun domaine et dun tablissement lautre. Lorsque ces indicateurs servent prendre des dcisions relatives laffectation des fonds au niveau des domaines, cela veut dire que les nouvelles dcisions risquent tout simplement de reproduire les dcisions passes et de les perptuer. Bien que ces indicateurs ne soient pas valides pour valuer la qualit de la recherche, ils peuvent servir recueillir de linformation utile sur la capacit de recherche (voir le chapitre 7).
18 LExcellence for Research in Australia (ERA) illustre bien lutilisation de telles mesures au niveau des domaines (voir lappendice A).
79
La population tudiante
Les indicateurs mesurant divers aspects de la dynamique des populations tudiantes dans un domaine et entre les domaines constituent un autre groupe dindicateurs quantitatifs facilement disponibles qui servent parfois valuer la qualit de la recherche. Bien que ces mesures se prtent facilement une compilation et une analyse diffrents niveaux dagrgation (p. ex. les groupes ou les laboratoires de recherche, les tablissements, les domaines dtudes, les rgions et les pays) ou dtude (p. ex. premier et second cycle, matrise et doctorat), il permettent difficilement de faire des comparaisons entre les domaines. Ces mesures ne sont pas valides pour valuer la qualit de la recherche au niveau des domaines, car les choix des tudiants sont influencs par de nombreux facteurs autres que la perception de la qualit, par exemple la situation gographique, les centres dintrt personnel et leurs perceptions des dbouchs sur le march du travail. Cest dans le cadre dune valuation de la capacit de recherche que les donnes sur la population tudiante sont les plus instructives (voir la section 7.2.2).
Les mesures fondes sur le mrite
Les honneurs professionnels, tels que les prix, les invitations prononcer des discours douverture, les nominations universitaires prestigieuses et ladhsion des socits savantes, sont des exemples de la reconnaissance dont jouissent certains scientifiques qui se sont distingus par la qualit et limpact de leurs recherches dans leur domaine. Les indicateurs fonds sur le mrite permettent de mesurer ces signes de reconnaissance et ont t utiliss pour dcrire la qualit de la recherche au niveau individuel (p. ex., pour examiner la pertinence dune candidature un poste ou une promotion professionnelle). Une tude pilote ralise en Australie (Donovan et Butler, 2007) a rejet lutilisation des mesures axes sur le mrite dans lvaluation rigoureuse de la qualit de la recherche; cependant, ltude constat que ce genre dindicateurs pouvait avoir une certaine utilit pour fournir des indices secondaires sur la rputation. Le comit dexperts na trouv aucune tude rigoureuse sur lutilisation de ces indicateurs des niveaux suprieurs dagrgation19. Lactualit de ces indicateurs est de loin la contrainte la plus srieuse. tant donn que les honneurs et les prix sont gnralement accords longtemps aprs la conclusion des travaux de recherche, ces indicateurs ne fournissent pas de donnes actuelles (Donovan et Butler, 2007). Le Prix Nobel en est un excellent exemple. Il est souvent accord
19 Il y a des exceptions quant aux valuations nationales de la recherche ciblant les tablissements de recherche. Par exemple, lERA, en Australie, a utilis ces mesures en 2010, et les utilisera encore lors de lexercice de 2012. De son ct, le Royaume-Uni a explor lutilisation de ce type dindicateurs dans le contexte du Research Assessment Exercise (RAE) (voir http://www.inf.ed.ac.uk/admin/rae/esteem.html).
80
plusieurs dcennies aprs que la recherche prime ait t complte et reconnue. De la mme faon, lagrgation des donnes, qui requiert des bases de donnes adaptes, demande beaucoup de ressources et est vulnrable des problmes de qualit des donnes. Enfin, dans certains domaines, il peut ne pas y avoir dquivalents des mesures du mrite, ce qui carte la possibilit de faire des comparaisons entre les domaines (OCDE, 2010).
Les indicateurs webomtriques
Les indicateurs webomtriques reprsentent une nouvelle frontire de la scientomtrie, car ils permettent de mesurer la production ou lusage des travaux scientifiques circulant sur Internet (Thelwall, 2009). Dans cette catgorie, lindicateur le plus courant sert mesurer laccs aux revues en ligne, ou les consultations et les tlchargements darticles de recherche. Lanalyse des hyperliens et de la frquence dutilisation de certains identificateurs dans des moteurs de recherche, et les instruments de mesure fonds sur lusage et laccs certaines plateformes Web axes sur la recherche reprsentent dautres possibilits plus exprimentales20. Les indicateurs webomtriques fournissent toutefois des mesures moins prcises de limpact scientifique de la recherche, car ils saisissent tous les pisodes de consultation ou de tlchargement, ce qui peut tre une source dambigut et exiger une interprtation encore plus attentive. Lun des avantages des indicateurs webomtriques par rapport aux indicateurs bibliomtriques traditionnels est quils permettent de recueillir des donnes plus actuelles (limpact peut tre mesur instantanment partir du nombre de consultations ou de tlchargements) et plus prcises (en thorie, ils permettent de saisir de linformation sur une production plus vaste que de simples articles de revues, notamment des prsentations, des brevets, des logiciels, et dautres sites Web) (Thelwall, 2009). Le comit dexperts na cependant trouv aucune indication probante montrant que les indicateurs webomtriques taient utiliss systmatiquement dans le cadre dexercice dvaluation de la recherche de vaste porte. Ces indicateurs sont prometteurs dans la mesure o ils devraient permettre de rendre compte de limpact plus large des publications de recherche et pourraient donc, lavenir, offrir de nouvelles donnes aux fins des valuations de la recherche scientifique (Van Noorden, 2010). Thelwall (2008) affirme par ailleurs que les indicateurs webomtriques ne sont pas prs de remplacer les
20 titre dexemple, des hyperliens ont t utiliss pour crer et pour analyser les facteurs dimpact du Web, un indicateur analogue aux facteurs dimpact des revues (Ingwersen, 1998).
81
indicateurs bibliomtriques traditionnels, mais quils pourraient tre utiliss plus souvent dans le cadre dtudes prliminaires ou dvaluations ciblant particulirement les travaux scientifiques en ligne.
5.3.3 Le rle des mthodes dlibratives dans lvaluation de la qualit de la recherche
Alors que les indicateurs fonds sur le nombre pondr de publications et les citations reprsentent des mesures utiles de limpact relatif de la recherche scientifique dans tous les domaines, ils ne peuvent saisir toutes les caractristiques dune valuation multidimensionnelle de la qualit de la recherche au niveau des domaines. Certaines caractristiques de la recherche par exemple, la pertinence dun extrant par rapport des objectifs socio-conomiques plus gnraux, loriginalit ou encore le caractre unique dun programme de recherche ne seront pas ncessairement pris en compte avec ce type dindicateurs. Plusieurs tudes exhaustives des mthodes dvaluation de la recherche ont conclu que les indicateurs quantitatifs ne peuvent remplacer les processus dlibratifs comme lexamen par les pairs ou par des experts. titre dexemple, un rapport du NRC (2006) en est arriv la conclusion suivante : Aucune des mthodes analytiques dvaluation de la science nest suffisamment fiable pour justifier son utilisation dans lvaluation de domaines scientifiques, ou leur classement selon un ordre de priorit. Le jugement doit intervenir pour interprter les rsultats obtenus partir de ces mthodes et pour valuer leurs consquences sur les choix en matire de politique. Cette situation ne semble pas prs de changer. [Traduction] Ce rapport affirme que la meilleure faon dvaluer les domaines scientifiques est dadopter une approche dans laquelle les processus dlibratifs (comme lexamen par les experts) sont clairs par des mthodes analytiques, y compris lutilisation dindicateurs quantitatifs. Un examen de la documentation sur le rle des indicateurs quantitatifs dans lvaluation de la recherche, ralis par le Research Evaluation and Policy Project (REPP) en Australie, a aussi fait ressortir quil y avait un large consensus sur le fait que les analyses quantitatives du rendement de la recherche devraient servir renforcer lexamen par les pairs et non le remplacer (REPP, 2005). Butler (2007) et Moed (2007) estiment galement que les indicateurs quantitatifs jouent un rle prcieux dans lvaluation des travaux
82
de recherche des niveaux suprieurs dagrgation, mais que ces indicateurs devraient tre pris en considration dans le contexte dun examen par des experts. Comme la expliqu Butler (2007) : La qualit de la recherche a un caractre complexe et multidimensionnel [] Aucune mesure quantitative, pas mme un ensemble dindicateurs, ne peut traiter de toutes ses facettes, pas plus quun petit comit de pairs ne peut accumuler lui seul suffisamment de connaissances sur le rendement de tous les tablissements dun pays, ni sur celui des chercheurs dun pays, actifs dans leur discipline, pour en arriver un jugement sans faille. Lapproche la plus sense est de conjuguer les deux mthodes, cest--dire de crer un groupe dexperts extrmement qualifis dans la discipline en question, et de les quiper de donnes fiables sur la discipline afin dclairer leurs dlibrations. [Traduction] Ces tudes font valoir que lapproche la plus prometteuse pour valuer la qualit de la recherche au niveau des domaines consiste adopter un modle dexamen clair par les pairs, conjuguant des indicateurs quantitatifs et le jugement dexperts.
5.4 c o n c lus i o ns
Le comit dexperts a conclu que la plupart des types dindicateurs quantitatifs ne conviennent pas lvaluation de la qualit de la recherche ni une comparaison de la qualit entre les domaines. ce niveau dagrgation, seuls certains types dindicateurs fonds sur les citations et le nombre pondr de publications peuvent fournir des donnes valides et utiles sur le niveau global de la qualit de la recherche. Dautres indicateurs quantitatifs peuvent servir dautres fins, mais pas lvaluation de la qualit des diffrents domaines de la science lchelle nationale. Lapproche jumelant les mthodes dlibratives et quantitatives est particulirement robuste. Lors de lvaluation de domaines de la recherche, lutilisation dindicateurs quantitatifs axs sur les citations ou le nombre pondr de publications peut tre un outil prcieux de validation du jugement des experts, tandis que le jugement des experts permet de sassurer que les donnes quantitatives ne sont pas mal interprtes. Par consquent, au moment dvaluer la qualit de la recherche au niveau des domaines, lapproche la plus prometteuse est celle qui fait intervenir la fois des mthodes dlibratives et des indicateurs quantitatifs bien construits. Au chapitre 6, le comit applique son processus dvaluation aux mesures disponibles des tendances de la recherche.
Chapitre 6 Indicateurs pour lvaluation des tendances de la recherche
83
6
indicateurs pour lvaluation des tendances de la recherche
Taxonomie des indicateurs pour lvaluation des tendances de la recherche Examen des indicateurs Approches dlibratives pour lvaluation des tendances de la recherche Conclusions
84
indicateurs pour lvaluation des tendances de la recherche

Points saillants
Les indicateurs quantitatifs servant valuer les tendances de la recherche peuvent tre rpartis en cinq grandes catgories : les demandes de subvention, le financement de la recherche, la population de chercheurs, la population tudiante et les mthodes bibliomtriques. Ces cinq types dindicateurs reprsentent des choix valides et informatifs pour valuer les tendances de la recherche en sciences naturelles et en gnie au niveau des domaines. Le recours un ensemble dindicateurs est lapproche la plus efficace, car elle permet de saisir des donnes sur plusieurs aspects des travaux de recherche, sur diffrents horizons temporels. Les mthodes dlibratives sont valides pour valuer les tendances de la recherche au niveau des domaines. Elles sont aussi essentielles pour sassurer que les renseignements fournis par les indicateurs et servant prendre des dcisions sont interprts correctement, dans le contexte pertinent.
En plus dvaluer la qualit de la recherche, les organismes de financement de la recherche ont besoin de donnes sur les tendances de la recherche ou sur lvolution de la recherche scientifique (domaines dtudes mergents ou en dclin, changements dorientation de la recherche et nouveaux modles de collaboration) afin de prendre des dcisions judicieuses en matire daffectation des fonds. Ce chapitre passe en revue et value les indicateurs quantitatifs et les approches dlibratives utiles lanalyse des tendances de la recherche. Comme dans le chapitre 5, le comit dexperts se concentre ici principalement sur la validit globale de ces types dindicateurs (voir la section 5.1 pour une brve explication de ltude des indicateurs quantitatifs faite par le comit, et lappendice B pour plus de dtails).
6.1 ta xo n o m i e de s i ndi cat e u r s P ou r lvalu ation d e s te n d a nce s de l a r e ch e rc h e
Il faut disposer dune varit dindicateurs (voir la taxonomie prsente dans la figure 6.1) pour saisir sur une longue priode les divers aspects de lvolution des centres dintrt et des travaux de recherche exploratoire. Plusieurs types dindicateurs quantitatifs peuvent servir ce genre dvaluation, y compris i) les demandes de subvention, ii) le financement de la recherche, iii) la population de chercheurs, iv) la population tudiante et v) les tendances cernes laide de mesures bibliomtriques.
Indicateurs quantitatifs servant suivre les tendances de la recherche et reprer les secteurs mergents de la recherche
TENDANCES DE LA RECHERCHE
Demandes de subvention (tendances)

Nombre de chercheurs Taux dinscription Nombre de publications
Financement de la recherche (tendances)
Population de chercheurs (tendances)
Population tudiante (tendances)
Mthodes bibliomtriques (tendances)
Nombre de demandes de subvention
Montant de financement externe de la recherche
Nombre de subventions de recherche externes Taux dobtention de diplmes
Analyse des co-signatures/ des collaborations
Partenariats et collaborations avec lindustrie tudes postdoctorales
Analyse de mots cls
I I
Intrant Extrant
Figure 6.1 Taxonomie des indicateurs pour lvaluation des tendances de la recherche
Cette figure montre les principaux types dindicateurs quantitatifs servant lvaluation des tendances de la recherche. Comme on peut le voir, ces indicateurs peuvent tre rpartis en cinq grandes catgories : i) demandes de subvention; ii) financement de la recherche; iii) population de chercheurs; iv) population tudiante; et v) mthodes bibliomtriques.
85
86
Ces indicateurs, ainsi que les mesures de la qualit de la recherche, peuvent tre classs comme mesures des intrants, des extrants et de limpact, chacune jouant un rle diffrent pour clairer lvaluation de la recherche.
6.2 e xa m e n d e s i ndi c at e u rs
Le comit dexperts a conclu que les cinq catgories dindicateurs quantitatifs dcrits dans la taxonomie se prtent bien lvaluation des tendances de la recherche (voir le tableau 6.1), pourvu quils soient interprts correctement. Les indicateurs permettent de recueillir des donnes significatives et utiles sur le caractre volutif et dynamique des domaines des sciences naturelles et du gnie. Ces mesures saisissent des aspects diffrents et complmentaires des tendances de la recherche en ciblant une varit de facteurs sous-jacents, sur diffrentes chelles temporelles.
Tableau 6.1 Validit des indicateurs des tendances de la recherche
type dindicateurs Mthodes bibliomtriques est-ce que lindicateur est valide pour valuer les tendances de la recherche au niveau des domaines de recherche en SNG? Oui Beaucoup de techniques bibliomtriques avances peuvent servir suivre les tendances de la recherche et reprer les secteurs naissants de la recherche. Le simple suivi des publications par domaine ou par sujet de recherche fournit des renseignements utiles sur le niveau dactivit dans chaque domaine. Dautres mthodes plus avances sont axes sur le regroupement des co-citations, lanalyse de mots cls et la visualisation; ce sont aussi des mthodes valides dans plusieurs cas. Un changement dans la tendance des demandes de subvention fournit un point de repre de lactivit des chercheurs qui est directement li aux dcisions de financement de la recherche. En gnral, ces indicateurs fournissent des renseignements utiles sur les tendances et lorientation globales de la recherche dans un domaine, mais leur interprtation doit reposer sur le jugement dexperts et un examen des caractristiques et des variables propres chaque domaine. Lvolution des tendances du financement de la recherche est un indicateur valide et informatif des changements qui se produisent dans lapport de ressources destines soutenir la recherche dans un secteur particulier des SNG. tant donn que les changements dans les niveaux de financement peuvent constituer une raction des dveloppements scientifiques dans un domaine, il faut faire preuve de prudence dans leur interprtation.
suite la suivante
Demandes de subvention
Oui
Financement de la recherche
Oui
87
Tableau 6.1 (suite) Validit des indicateurs des tendances de la recherche

type dindicateurs Population de chercheurs est-ce que lindicateur est valide pour valuer les tendances de la recherche au niveau des domaines de recherche en SNG? Oui Les indicateurs fonds sur les changements qui se produisent dans la population de chercheurs peuvent constituer une mesure valide et informative des tendances de la recherche. Les secteurs de recherche naissants ou en expansion sont susceptibles dattirer de nouveaux chercheurs au fil du temps. Cependant, les outils de mesure fonds sur les changements qui se produisent dans la population de chercheurs sont davantage perus comme une mesure long terme parce que la population de chercheurs (tributaire de laffiliation dpartementale ou du domaine de formation) volue lentement en raison du temps requis pour former des chercheurs aptes raliser des travaux de recherche avancs. Les indicateurs fonds sur la population tudiante sont des mesures valides des tendances de la recherche. Les domaines de recherche qui comptent un nombre croissant dtudiants de deuxime et troisime cycles sont probablement les secteurs de recherche qui suscitent un intrt grandissant. linstar de la population de chercheurs, il est prfrable de considrer ces indicateurs comme des mesures long terme. Les approches dlibratives sont valides pour valuer les tendances de la recherche et essentielles pour sassurer que les renseignements recueillis partir de mesures quantitatives sont interprts correctement, la lumire du contexte de la recherche dans un domaine.
Population tudiante
Oui
Approches dlibratives
Oui
Les indicateurs permettant de mesurer les changements dans les profils de demandes de subvention par sujet de recherche offrent des repres utiles et actuels pour les organismes et les programmes qui doivent prendre des dcisions en matire de financement. La granularit de ces mesures peut tre limite, selon leur application ou le domaine de recherche administr par le programme de subventions. Les indicateurs permettant de mesurer la population tudiante ou la population de chercheurs sont aussi trs utiles pour suivre lvolution des centres dintrt dans un secteur de recherche et les travaux qui sy font. Toutefois, il sagit davantage dindicateurs long terme puisquil faut du temps avant quun chercheur ne passe un nouveau domaine de recherche et que de nouveaux chercheurs ne soient forms. Lutilit de ces indicateurs peut aussi tre limite dans la mesure o ils reposent sur des classifications standard des domaines ou des programmes dans les facults universitaires.
6.2.1 Mthodes bibliomtriques
Plusieurs variables et mthodes bibliomtriques permettent de recueillir des donnes utiles pour suivre les tendances de la recherche. Il y a un vaste corpus dtudes scientomtriques portant sur ces techniques (voir, par exemple, Upham et Small, 2010; Guo et al., 2011). Le simple dcompte des publications (par domaine ou sujet de recherche) peut donner une indication fiable des changements dans lintensit
88
de la production dans certains secteurs, rvlant une volution des centres dintrt et lmergence possible de nouvelles orientations. La bibliomtrie offre aussi un ventail de possibilits analytiques plus complexes. Les techniques perfectionnes de visualisation (et le travail analytique sous-jacent) peuvent amliorer la valeur des indicateurs bibliomtriques. Elles permettent de prsenter et danalyser autrement les donnes pour faire ressortir des tendances jusque-l indtectables et devraient permettre de reconnatre plus rapidement et plus facilement lmergence de nouveaux secteurs de recherche (voir, par exemple, Small, 2003; Brner et al., 2003; Boyack et Brner, 2003). Pendant plusieurs annes, lanalyse quantitative a t utilise sous plusieurs formes pour suivre la progression des activits de publication ou des axes de recherche (Goffman, 1966; Goffman et Harmon, 1971). Plus rcemment, des cartes scientifiques ont t labores partir de lanalyse de mots-cls pour mieux visualiser les tendances. De mme, lanalyse des co-signatures et des co-citations peuvent tre utiles pour reprer les profils de collaboration scientifique et lmergence de nouvelles grappes de savoir et suivre leur volution (Small, 2006; Upham et Small, 2010).
6.2.2 Tendances des demandes de subvention, de la population de chercheurs et de la population tudiante
Les tendances et les profils des demandes de subvention, de la population de chercheurs et de la population tudiante offrent de linformation hautement pertinente et plus immdiate pour suivre lvolution des centres dintrts et des activits de recherche. Sils sont construits avec soin, ces indicateurs offrent des repres utiles et actuels, mais leur validit peut tre limite par la continuit et la granularit des donnes sur une plus longue priode. La nomenclature administrative, de mme que les classifications types des disciplines employes par les organismes de financement et les programmes denseignement peuvent compromettre lanalyse long terme de la dynamique luvre dans les domaines et entre ceux-ci, ou dans les nouveaux champs de recherche interdisciplinaire. Par consquent, il est gnralement difficile de faire des extrapolations rtrospectives et prospectives par domaine, et il faut connatre le contexte pour procder linterprtation des donnes. Ainsi, les donnes quantitatives ne permettent pas de saisir les facteurs socitaux, politiques ou conomiques des diffrentes administrations, bien quils influent toujours sur le taux de demandes de subvention, la mobilit des chercheurs ou lattrait dun domaine de recherche. Lenvironnement institutionnel de chaque pays (p. ex. la cration ou llimination de programmes de deuxime et troisime cycles ou linvestissement dans les infrastructures et les installations) joue galement un rle important dans lvolution des tendances
89
long terme. Tous ces facteurs ne sont pas synonymes de changements rels dans les travaux scientifiques ou les centres dintrt de la recherche, mais plutt dans la capacit de recherche globale (voir chapitre 7).
6.2.3 Tendances du financement de la recherche
Bien que lanalyse des tendances du niveau de financement de la recherche dans un domaine soit un indicateur important du niveau global des ressources consacres la recherche dans ce domaine, il faut interprter avec prudence ce genre de renseignements, qui peuvent parfois tre trompeurs. Lutilisation des donnes sur le financement pour valuer les tendances de la recherche est principalement justifie par le fait que les nouveaux domaines de recherche sont susceptibles dattirer des niveaux croissants de financement. Mme si cela est gnralement vrai, les dcisions relatives linvestissement en recherche sont souvent influences par des changements externes touchant, par exemple, les politiques et les priorits en matire de financement, ou les marchs et la conjoncture macroconomique mondiale. Ces variables ont forcment un effet sur la disponibilit globale du financement destin la recherche et sur la rpartition des fonds entre les diffrents domaines. Par consquent, il vaut mieux interprter les tendances du financement comme un dterminant de la capacit de recherche (voir le chapitre 7).
6 .3 a P P r och e s d l i b r at i v e s Pou r lvalu ation des te n danc e s de l a re c h e r ch e
Les mthodes dlibratives servent aussi suivre les tendances de la recherche, gnralement dans le but dtablir les priorits. Normalement, un comit dexperts ayant des connaissances approfondies dans un domaine fait une analyse de ltat et de lorientation de la recherche dans ce domaine et, partir des rsultats de cette analyse, dtermine quels sont les domaines prometteurs de recherche. Les tudes dcennales ralises par le Conseil national de recherches aux tats-Unis sont un exemple connu de ce type dinitiative. Ces tudes reposent sur le travail de comits dexperts et sur de vastes concertations avec le milieu scientifique. Elles permettent de recueillir des donnes sur ltat de la recherche dans des domaines particuliers, mais aussi sur les perspectives davenir (voir lencadr 6.1). Ces tudes peuvent faire intervenir dautres formes de concertation, comme celle qui a prcd la parution du rapport du Comit de planification long terme du CRSNG, Perspectives sur la physique subatomique au Canada 2006-2016, produit la suite dune invitation gnrale lance au milieu scientifique et dune rencontre des physiciens uvrant dans ce domaine
90
(CRSNG, 2006b). Lvaluation des tendances de la recherche peut aussi faire appel dautres mthodes reposant essentiellement sur lopinion ou le jugement dexperts, par exemple des enqutes ou des questionnaires ciblant les experts dans un domaine.
Encadr 6.1 tudes dcennales du Conseil national de recherches aux tats-Unis

Les tudes dcennales ralises par le Conseil national de recherches (NRC) aux tats-Unis sont un exemple important du processus employ, du moins en partie, par un comit dexperts pour valuer les tendances de la recherche lchelle nationale. Dans les annes 1960, le NRC a commenc faire des examens priodiques de ltat de la recherche en physique et en astronomie. Ces examens, raliss approximativement 10 ans dintervalle par des comits nomms par le NRC, donnent gnralement lieu une consultation tendue auprs du milieu de la recherche concern. Au cours des dernires annes, dautres disciplines ont adopt le modle des tudes dcennales (voir NRC, 2007a, 2007b, 2010). Un examen de ces tudes effectu en 2007 a conclu quelles permettaient datteindre un certain nombre dobjectifs (NRC, 2007a). Elles sont notamment utiles pour dcrire fidlement les travaux de recherche raliss dans un domaine, pour dfinir un programme de recherche futur convaincant, pour dgager lintention des dcideurs et des gouvernements les priorits en matire de recherche et de financement, et pour dcrire ltat de linfrastructure de recherche et prciser les secteurs o il est ncessaire dinvestir. De plus, elles aident le milieu de la recherche et les organismes de financement de la recherche prendre des dcisions difficiles au regard du mrite relatif des diffrentes orientations et priorits de recherche (NRC, 2007a). De manire gnrale, ces tudes sont vues dun bon il par les chercheurs et les ministres et organismes gouvernementaux. Mais ce modle comporte des difficults; ainsi, la projection des cots et lvaluation des risques peuvent manquer dexactitude. De plus, les recommandations doivent pouvoir rsister des changements imprvus dans lenvironnement politique ou budgtaire (NRC, 2007a). Le modle des tudes dcennales du NRC est dune ampleur telle quil pourrait savrer trop coteux dans certains pays, mais il reste que ses longs antcdents de russites constituent une source dexpriences dont on peut sinspirer.
91
6 .4
c o nc l u s i ons
Ni le vaste corpus des tudes consacres aux indicateurs scientifiques ni les pratiques adoptes par dautres pays ne permettent de conclure que certains types dindicateurs quantitatifs sont clairement suprieurs dautres solutions pour valuer les tendances de la recherche. Les indicateurs disponibles permettent de mesurer diffrents facteurs sous-jacents et conviennent pour diffrents horizons temporels. Par consquent, le choix des indicateurs ou des mthodologies dpend du contexte des objectifs du processus dvaluation en cause, y compris de lunit vise par lanalyse, de la ncessit de dlimiter certains aspects particuliers des travaux et du but de lvaluation (suivre les tendances actuelles ou reprer de nouveaux secteurs de recherche). De plus, tous les indicateurs quantitatifs disponibles sont sujets des erreurs dinterprtation et peuvent susciter des comportements imprvus et improductifs sils sont intgrs machinalement aux modles daffectation des fonds de recherche. Lapproche la plus prudente pour suivre les tendances de la recherche et cerner les secteurs de recherche mergents lappui des dcisions relatives au financement de la recherche consiste combiner des indicateurs au jugement des experts.
92
7
indicateurs pour lvaluation de la capacit de recherche
Taxonomie des indicateurs pour lvaluation de la capacit de recherche Indicateurs de la capacit de recherche Conclusions
Chapitre 7 Indicateurs pour lvaluation de la capacit de recherche
93
indicateurs pour lvaluation de la capacit de recherche

Points saillants
Les indicateurs de la capacit de recherche peuvent tre rpartis en cinq grandes catgories : le financement de la recherche, les personnes (chercheurs et tudiants), linfrastructure de recherche, les modles de collaboration et les caractristiques des domaines. tant donn lhtrognit et la diversit des sources de donnes, il est impossible dvaluer ces indicateurs de la mme manire que les indicateurs servant valuer la qualit et les tendances de la recherche. La validit des indicateurs choisis dpendra la fois de lutilisation laquelle ils sont destins et de la qualit des donnes sous-jacentes. Les approches les plus prometteuses pour valuer la capacit de recherche au niveau dun domaine des sciences naturelles et du gnie reposent sur lutilisation dindicateurs quantitatifs, mais aussi sur le jugement et les dlibrations dexperts.
En plus de disposer de donnes sur la qualit de la recherche et les tendances de la recherche pour prendre des dcisions claires en matire daffectation des fonds au niveau des domaines, il est important davoir une comprhension approfondie de la capacit de recherche. Sans cela, les organismes de financement risquent dinvestir dans des domaines qui nont pas une capacit suffisante pour soutenir une expansion et la poursuite des travaux de recherche en cours. Ce chapitre prsente un aperu des indicateurs pouvant servir valuer la capacit nationale de recherche au niveau des domaines. tant donn lhtrognit de ces indicateurs et de leurs sources de donnes (qui varient sensiblement dun pays lautre), il est impossible dvaluer la validit des indicateurs de la capacit de recherche de la mme manire que la validit des indicateurs de la qualit et des tendances de la recherche. Les principales caractristiques de ces indicateurs sont nanmoins prsentes ci-dessous.
7 .1 ta xonom i e de s i ndi c at e u rs Pou r lvalu ation d e la c aPac i t de re c h e r ch e
Pour favoriser des travaux de recherche de qualit suprieure dans les domaines existants et mergents des sciences naturelles et du gnie, les dcisions en matire de financement doivent tenir compte de la capacit de recherche, qui peut tre dcrite du point de vue des ralisations passes, ou des rsultats obtenus, et des mcanismes employs dans leur dveloppement (c.--d. comment est accord le soutien la recherche). Lorsque la capacit de recherche est value laide dun ensemble complet de mesures, il est
94
plus facile de comprendre de quelle manire lenvironnement favorise la crativit et la qualit de la recherche. tant donn que les indicateurs servant valuer les rsultats de la recherche (p. ex. les mesures valuant la qualit et les tendances de la recherche) doivent gnralement porter sur une plus longue priode, les mesures de la capacit fournissent des renseignements utiles sur lefficacit du processus existant de soutien de la recherche. Cela est important parce que tant les politiques sous-jacentes que les dcisions finales en matire de financement font partie de ce processus. Le processus dynamique visant renforcer la capacit de recherche et lenvironnement dans lequel se droule la recherche exploratoire en SNG peut tre mesur laide dun large ventail dindicateurs. Des tudes ont fait ressortir que de multiples variables influent sur la capacit de recherche, certaines axes sur les dterminants de la
Les indicateurs quantitatifs servant valuer la capacit de recherche par domaine
CAPACIT DE RECHERCHE
Financement
Personnes
Infrastructure de recherche
Collaborations
Caractristiques du domaine
Nombre et montant du financement de la recherche
Nombre de chercheurs
ge des installations
Frais de collaboration
Taille de lquipe
Taux de russite des subventions
ge et sexe des chercheurs
Cot du matriel
Participation des rseaux nationaux et internationaux
Dure de la subvention
Rpartition du revenu des chercheurs par source Pourcentage des chercheurs recevant des subventions
Nombre de postdoctorants
Services dinformation en bibliothque
Partenariats avec lindustrie
Facteur dintensit de lquipement
Taux dinscription des tudiants/ dobtention de diplmes
Frais de fonctionnement
Figure 7.1 Taxonomie des indicateurs pour lvaluation de la capacit de recherche

La figure montre une srie dindicateurs quantitatifs de la recherche pouvant tre pris en considration lors de lvaluation de la capacit de recherche. Ces indicateurs peuvent tre rpartis en cinq grandes catgories : i) le financement ii) les personnes iii) linfrastructure iv) les collaborations v) les caractristiques propres chaque domaine.
95
capacit au niveau macro (c.--d. lensemble du systme de recherche) et dautres au niveau micro (c.--d. les caractristiques dquipes trs performantes)21. Au niveau macro, la capacit en ressources humaines, linfrastructure, le financement et les collaborations sont des aspects importants prendre en considration dans les dcisions portant sur le financement des domaines. Les caractristiques propres chaque domaine dterminent galement les besoins en capacit et viendront nuancer les mesures employes. La figure 7.1 prsente une taxonomie des indicateurs ainsi que des exemples dindicateurs entrant dans cinq grandes catgories : le financement de la recherche, les personnes (chercheurs et tudiants), linfrastructure de recherche, les modles de collaboration et les caractristiques des domaines.
7 .2 i n d i cat e u r s de l a caPac it de r ec h er c h e
En rgle gnrale, un ensemble dindicateurs destin valuer la capacit de recherche devrait non seulement saisir des donnes dans chacune des cinq catgories de la taxonomie (voir la figure 7.1), mais il prendrait aussi en considration les interactions importantes au sein de ces catgories et entre celles-ci. Il peut aussi tre ncessaire de tenir compte de facteurs internationaux pour ancrer les indicateurs utiliss comme points de repre. Les propos qui suivent visent clairer le choix de ces types dindicateurs en faisant ressortir leurs principales caractristiques. Les indicateurs de la capacit de recherche devraient cibler les questions essentielles lies la capacit oprationnelle et la comptitivit mondiale, parce que la recherche grand impact qui vise changer le monde est tributaire de ces deux aspects (Kanter, 1988). Les dcideurs pourraient juger utile de choisir des indicateurs illustrant les possibilits de levier qui soffrent pour multiplier linvestissement dun pays et sa contribution la capacit de recherche mondiale. Bien que des donnes sur les tendances mondiales soient largement accessibles, lutilisation dune source de donnes requiert toujours une certaine prudence et une comprhension approfondie de la faon dont elles sont colliges.
7 .2 .1 le f i nanc e m e nt
En ce qui a trait aux dcisions relatives laffectation de fonds, les donnes sur le financement demeurent la plus importante source dinformation pour les dcideurs non seulement parce quelles sont relativement faciles comprendre et accessibles en temps opportun (les donnes budgtaires sont habituellement disponibles dans un dlai dun deux ans), mais surtout, elles peuvent tre directement relies un organisme ou un programme de financement. Ces donnes permettent aussi de faire assez facilement des comparaisons entre les organismes, les pays, et les catgories
21 Jordan et al. (2001) prsente une revue documentaire utile de la question.
96
de dpenses budgtaires. Donc, sous leur forme la plus simple, les donnes sur les dpenses permettent de dcrire le volume des ressources investies dans le systme de recherche. Elles peuvent aussi tre rvlatrices des caractristiques les plus importantes des excutants de la recherche, des occasions possibles et de la nature des relations qui existent au sein du systme par exemple, lemplacement gographique et le profil dmographique des rcipiendaires, et les rseaux de partenariats et de collaborations ( lchelle nationale et internationale). Lorsquelles sont conjugues diverses mesures du rendement sur linvestissement, les donnes sur le financement peuvent tre utilises pour reprsenter limpact peru de linvestissement (tel quexprim par le choix des variables entrant dans les calculs). Bien quelles soient surtout rtrospectives, les donnes sur le financement demeurent lune des sources internationales de renseignements les plus importantes pour tablir des points de repre sur la comptitivit. Par consquent, ces donnes ont un impact direct sur le financement venir, tant public que priv. Cependant, tant donn ltat actuel des donnes et des outils utiliss pour mesurer le rendement des subventions de
Encadr 7.1 Indicateurs axs sur le financement de la recherche de lERA (Australie)

Linitiative Excellence in Research for Australia (ERA) offre un exemple intressant dutilisation dindicateurs du financement externe de la recherche. Des donnes sur les budgets de la recherche provenant de sources choisies sont utilises pour mesurer les activits de recherche (ARC, 2010). Ces mesures sont fondes sur quatre types de financement externe de la recherche : les fonds provenant dun programme national de subventions (p. ex., le programme Australian Competitive Grants); dautres sources publiques de financement de la recherche; les fonds provenant de lindustrie et de sources internationales; les fonds associs au programme du Centre de recherche coopratif australien. Les indicateurs sont compils partir de donnes sur les revenus dclares par les universits. Le processus dvaluation global de lERA valide ces mesures en les soumettant un examen par des experts. Si les niveaux de financement externe de la recherche sont plus levs, cela est interprt comme le signe dun volume de recherche et dune productivit accrus. Pour plus dinformation, voir ltude de cas prsente lappendice A.
97
recherche obtenues par voie de concours des niveaux suprieurs dagrgation, on ne peut les utiliser pour analyser des programmes ni prendre des dcisions relatives laffectation des fonds (Koizumi, 2011). Par consquent, lorsque les tendances des investissements en recherche et dveloppement et les donnes sur le financement sont utilises comme source dinformation pour dcider de laffectation des fonds diffrents domaines de recherche, il importe de les soumettre lexamen diligent dexperts. LAustralie nous fournit un exemple intressant de lutilisation des donnes sur le financement de la recherche dans le cadre dun processus dvaluation de la recherche fond sur lexamen par des experts (voir lencadr 7.1). Les dcideurs doivent prendre en considration la fois le niveau global de financement disponible pour un domaine de recherche donn et la stabilit et la diversit du financement. Si les valuations de domaines de recherche particuliers traitent souvent du caractre adquat du financement accord un domaine, il est difficile de comparer le cot de la recherche dun domaine lautre, car il nexiste pas dapproche universellement reconnue pour le faire. Le cot du matriel et des installations a t considr comme le plus important dterminant des carts de cots dun domaine lautre, et ces cots peuvent servir de base aux comparaisons. Cependant, de nombreux organismes de financement considrent que les tendances historiques du financement et les demandes courantes de financement tmoignent des cots perus de la recherche dans un domaine. Par consquent, le processus dcisionnel daffectation des fonds au niveau des domaines est rarement clair par une comparaison des variables lies aux cots de la recherche.
7.2.2 Les personnes
La capacit long terme de la recherche scientifique dpend largement des personnes des tudiants et des chercheurs dvous et dun personnel de soutien la recherche comptent (Bland et Ruffin, 1992). La viabilit long terme dpend aussi des programmes de formation permettant dacqurir des comptences en recherche et favorisant la vulgarisation et la diffusion du savoir (entre les domaines et lchelle mondiale). Investir dans les personnes la formation dtudiants et le perfectionnement de chercheurs de calibre mondial est souvent un critre explicite du financement public de la recherche, et il est facile davoir accs des statistiques sur cet aspect. Le Canada administre divers programmes de calibre mondial offrant du financement des chercheurs chevronns. titre dexemple, le Programme des chaires dexcellence en recherche du Canada et le Programme des chaires de recherche du Canada ciblent des chefs de file de la recherche de partout dans le monde. Les deux programmes reconnaissent que, pour maintenir son leadership et sa comptitivit en recherche scientifique, le Canada doit appuyer le perfectionnement de chercheurs de calibre mondial et les rseaux de recherche quils attirent et construisent (CRC, 2011).
98
tant donn la grande varit dindicateurs utiliss pour suivre la capacit en ressources humaines des systmes de recherche nationaux, il est important de slectionner un ensemble de mesures qui saisissent de linformation sur les excutants de la recherche exploratoire, notamment les chercheurs, les tudiants, le personnel de soutien et la capacit de gestion des organismes de financement (FES, 2009). Les mesures axes sur la population offrent des donnes prcieuses sur lemplacement et la comptitivit de la recherche (dans la mesure o elles permettent de saisir de linformation sur la capacit dattirer des ressources de haut calibre) (OCDE, 2010). Il peut cependant tre difficile de faire des comparaisons entre les domaines, car la capacit de produire de nouveaux diplms et des chercheurs dpend de nombreux facteurs qui conjuguent certains aspects propres au domaine et des lments plus gnraux (quoique souvent importants) du contexte dun pays ou dune rgion. Ainsi, lvolution des besoins industriels et des besoins conomiques rgionaux peut entraner de brusques hausses de la demande de comptences, qui se traduit par une augmentation des taux dinscription des tudiants aux programmes dtudes suprieures.
7.2.3 Linfrastructure
Des infrastructures, du matriel et des installations adquats, ainsi que des provisions pour lentretien sont depuis longtemps considrs comme des dterminants critiques de la capacit de recherche. Pour la recherche scientifique, linfrastructure du savoir est particulirement importante, ce qui veut dire laccs des collaborations de calibre mondial et dautres types dinitiatives (rseaux, partenariats, ou projets comportant une plateforme ouverte) pouvant offrir aux chercheurs des occasions dacqurir de lexprience en participant des tudes de grande envergure dutiliser des technologies de pointe et des approches interdisciplinaires, et de parfaire leurs connaissances et leurs comptences dans leur domaine dexpertise. Limportance de linfrastructure de la recherche varie dun domaine lautre, mais elle peut influer sur le dveloppement des ressources humaines et de rseaux de collaboration et, par consquent, nuire la capacit de recherche long terme dans un domaine. Ltat de linfrastructure est donc un point central des politiques et priorits dinvestissement en recherche ( lchelle rgionale, nationale et mondiale) (NRC, 1996b). Ainsi, une tude comparative ralise en 1985 a montr que si le rendement scientifique dans le domaine de la physique des hautes nergies tait moins lev dans les pays de lEst que dans les pays occidentaux, ctait parce que (mises part les mthodes de gestion) le bloc de lEst avait des ressources plus limites et que ses installations de recherche et ses instruments scientifiques taient de moindre qualit (Irvine et Martin, 1985). La cyberinfrastrucuture est galement un dterminant de plus en plus important de la capacit de R et D dans presque tous les domaines (voir lencadr 7.2).
99
Encadr 7.2 Mesurer la cyberinfrastructure

Plusieurs types de recherche doivent aujourdhui compter sur des installations de calcul intensif et de rseaux haut dbit. Laccessibilit de ressources informatiques suffisantes est souvent une contrainte importante dans des domaines o les travaux de recherche comportent une modlisation informatique complexe ou dautres processus de calcul exigeants (comme en cologie, en pidmiologie, en protomique, en gnomique et en climatologie ocanique). Les travaux scientifiques ncessitant la manipulation dinstruments distance ou le transfert dimportants volumes de donnes doivent galement pouvoir compter sur des installations de calcul de pointe et sur dimportantes capacits de travail en rseau. Heureusement, il sagit dun aspect de la capacit de recherche qui peut tre facilement mesur par des indicateurs quantitatifs. Conscients de limportance croissante de la cyberinfrastructure pour la capacit de recherche, certains organismes de financement et des organismes connexes prennent dautres moyens pour suivre ces mesures. Un rapport rcent intitul Science and Engineering Indicators, publi par la National Science Foundation des tats-Unis, fournit un exemple instructif (National Science Board, 2012). Le rapport renferme des donnes pour les tablissements de recherche amricains sur la bande passante du rseau interne et externe, sur le nombre de connexions Internet et sur ltendue de la couverture du rseau sans fil sur les campus universitaires. mesure que les installations de calcul avances et les technologies de rseautage envahissent la recherche scientifique, ce type de mesures va devenir de plus en plus important dans lavenir.
7.2.4
Les collaborations
Les autres formes de partenariats et de collaborations qui ont foisonn au cours des dernires annes ont pris le dessus sur les forteresses de la recherche des disciplines traditionnelles et des mcanismes institutionnels, tendant la capacit de recherche lchelle mondiale (National Science Board, 2010). Il est maintenant frquemment exig ou fortement recommand de prsenter des propositions de recherche dans le cadre de collaborations ou dquipes interdisciplinaires. Les collaborations devenant plus courantes, lchange de renseignements va au-del des limites institutionnelles, organisationnelles et nationales, et donnent accs des plateformes technologiques partages, dotes de donnes robustes. Bien que lon ait dmontr que les collaborations stimulent la production de la recherche (selon le nombre de publications), il nexiste pas de solution facile pour mesurer et rendre compte de la capacit de la recherche.
Institut national doptique
100
2,0 11,0 6,0 2,0 5,0
Universit de Sherbrooke
Centre de sant et services sociaux de Chicoutimi
Collge Franois-Xavier-Garneau
2,0 5,0
Collge de Shawinigan Cgep de Sherbrooke Cgep de Jonquire

4,0 5,0
Hpital Saint-Luc Cgep de Rimouski Universit du Qubec Chicoutimi

2,0
2,0
Collge douard-Montpetit
2,0 3,0 1,0 9,0 2,0 5,0
Collge de Rosemont cole Polytechnique de Montral

5,0 5,0
Cgep de Sainte-Foy Universit du Qubec Trois-Rivires 4,0 Universit Laval Cgep de Chicoutimi Cgep de la Pocatire
4,0
Cgep Andr-Laurendeau Cgep de Sept-les Institut de technologie agroalimentaire Collge rgional Champlain
2,0 79,0 3,0 2,0 3,0 2,0 5,0 2,0 33,0 2,0 5,0 24,0 4,0 2,0 27,0 1,0 40,0 8,0 1,0 5,0 42,0
2,0
2,0
Universit du Qubec Montral Universit de Montral Universit McGill Collge Dawson

2,0
Collge de Boisde-Boulogne Collge de Maisonneuve Universit de Moncton
2,0
2,0
Universit McGill Campus Macdonald Universit Brock Hpital de Montral pour Enfants Hpital Mont-Sina Montral
Cgep du Vieux Montral
Universit de Toronto Universit Concordia

2,0 2,0
5,0
Universit dOttawa
14,0
2,0
Collge Vanier Collge John Abbott

2,0
Universit Western Ontario
2,0 1,0
Institut maritime du Qubec

1,0
2,0
Institut canadien de recherches sur les ptes et papiers Hpital gnral juif
Complexe de sant Reine lizabeth Universit Queens
Centre hospitalier rgional de Rimouski
Hpital Sainte-Justine
(Observatoire des sciences et des technologies, source extraite de Pich et Lapostolle, 2009)
Figure 7.2a Collaborations de recherche entre collges et universits au Qubec, 19722005
Cette figure offre une illustration de la recherche ralise en collaboration entre (et avec) des universits et des collges du Qubec (o au moins un des tablissements collaborant se trouve dans la province de Qubec). Les lignes qui vont dun tablissement lautre reprsentent le nombre de collaborations de recherche. Les cercles verts indiquent une universit ou un hpital denseignement et les carrs pourpres, un collge.
Sant et Bien-tre social Canada Universit Simon Fraser Universit de Victoria Pches et Ocans Canada
UQAM Universit Carleton Universit Dalhousie Universit dOttawa Universit de la Colombie-Britannique Universit de Montral Universit de lAlberta Universit de la Saskatchewan Conseil national de recherches Canada Ministre de la Sant de la Colombie-Britannique Ressources naturelles Canada
Institut national de la recherche scientifique
Universit de Sherbrooke Universit McGill Universit McMaster Universit Western Ontario Agriculture et Agroalimentaire Canada Universit de Calgary Universit York Universit de Toronto Universit du Manitoba
Universit Concordia
Universit Laval
Socit canadienne de la Croix-Rouge Foothills Provincial General Hospital Universit de Guelph Universit de Waterloo Muse royal de lOntario
Hpital Shriners pour les enfants infirmes Universit Queens
Institut canadien de recherches sur les ptes et papiers
(Larivire et al., 2006)
Figure 7.2b Activits de collaboration intertablissements des chercheurs canadiens

101
Cette figure offre une illustration de la recherche ralise en collaboration entre (et avec) des universits, des collges et des tablissements de recherche canadiens, mesure en fonction des publications scientifiques signes par plusieurs auteurs. Les lignes qui vont dun tablissement lautre signifient quil y a eu 250 publications conjointes ou plus en SNG entre 1990 et 2002. Les puces noires reprsentent les tablissements anglophones et/ou bilingues, et les puces grises, les tablissements francophones.
102
I I I I I I
Sciences agricoles Sciences cologiques Gosciences Science et technologie environnementales Chimie Science des matriaux
I I I I I I
Gnie Physique Sciences informatiques conomie, politique et gographie Affaires et gestion tudes sociales
I I I I I I
Questions de sant et questions sociales Psychologie Sciences cognitives Sciences biomdicales Mdecine clinique Maladies infectieuses (Rafols et al., 2010)
Figure 7.3 Carte globale de la science par domaine

Cette figure fait voir la complexit interdisciplinaire de la recherche scientifique actuelle, et les liens qui unissent les diffrents domaines fonds sur les citations parues dans des revues en 2007.
Au Canada, on peut observer des profils de collaboration lchelle nationale et mondiale. La figure 7.2a illustre les collaborations entre les collges et les universits au Qubec, et la figure 7.2b, les collaborations entre les universits canadiennes. Lorsque la science contemporaine est envisage comme un systme social, elle prsente un certain nombre de paradoxes. Cela est vident lorsquon tente dvaluer et de mesurer la recherche interdisciplinaire la recherche qui englobe les perspectives de plusieurs disciplines ou qui permet de dvelopper de nouveaux domaines interdisciplinaires [Traduction] (Powell et al., 2011). Au moment de prendre des dcisions relatives
103
laffectation de fonds au niveau des domaines, les dcideurs sont mis devant le choix de soutenir la nouveaut et linnovation en recherche ou de consolider ce qui est dj en place. Ce paradoxe dcoule du fait que les domaines bien tablis sont le fondement de la crativit et de synergies possibles qui profitent aux initiatives interdisciplinaires (voir la figure 7.3), lesquelles naissent souvent de la ncessit de traiter des problmes socitaux plus larges, par exemple les changements climatiques, le dveloppement durable ou la scurit internationale (Jacobs et Frickel, 2009). Par consquent, le mrite des travaux interdisciplinaires se manifeste souvent en relation avec les cultures pistmiques de disciplines bien tablies (Mansilla, 2006). La prvalence croissante de grandes quipes de collaborateurs offre des occasions nouvelles de dvelopper des plateformes et des rseaux interdisciplinaires de recherche permettant notamment de partager le savoir, les mthodes et les outils de recherche. Il reste cependant difficile de mesurer la recherche interdisciplinaire. Des initiatives rcentes ont cherch combler cette lacune dans nos connaissances (voir, par exemple, Paletz et al., 2010), perue par certains comme tant de nature temporaire et dcoulant de faits anecdotiques (Porter et Rafols, 2009). Il importe de mettre au point des outils qui permettent de mesurer la recherche interdisciplinaire, et ce, afin de mieux comprendre son rle et ses contributions et de mettre en lumire les changements quil faudrait apporter aux instruments de politique et aux programmes de financement.
7.2.5 Caractristiques des domaines
Il existe aussi divers indicateurs susceptibles de mesurer les caractristiques de base de lactivit de recherche par domaine, par exemple la taille moyenne des quipes, la dure moyenne des subventions et limportance des quipements (c.--d. le cot des quipements et des installations de recherche par rapport au cot total de la recherche). Ces indicateurs, qui mettent en vidence des diffrences importantes dans la nature de lactivit de recherche dun domaine lautre, sont souvent associs des programmes de financement particuliers et calculs laide de donnes tires des demandes de subvention. Les organismes de financement ont lhabitude dutiliser ce type dindicateurs pour suivre lvolution gnrale des programmes de financement de la recherche. Toutefois, ces donnes peuvent aussi servir clairer des analyses plus nuances du rendement de la recherche. titre dexemple, une tude portant sur des chercheurs financs par des subventions des National Institutes of Health des tats-Unis a montr que les laboratoires de taille moyenne (ceux qui ont un financement annuel de lordre de 750 000 $.-U.), affichaient les niveaux les plus levs de productivit et dimpact de la recherche, en termes de production darticles et de facteur dimpact moyen (Wadman, 2010). En gnral, ces types de caractristiques fournissent des renseignements utiles sur les changements qui se produisent au fil du temps dans la capacit de recherche des divers domaines.
104
7.3
c o n c lus i o ns
Comme pour lvaluation de la qualit de la recherche et des tendances de la recherche, il ny a pas dindicateur qui, lui seul, permette de saisir toutes les dimensions et tous les aspects pertinents de la capacit de recherche. Cela tant dit, il est gnralement admis que la capacit de recherche englobe les dimensions suivantes : les ressources humaines, le financement, les collaborations, linfrastructure et les principales caractristiques des activits de recherche dans un domaine particulier. Comme dans le cas des indicateurs quantitatifs servant mesurer les tendances de la recherche, lutilisation dun large bassin de donnes soulve le risque dune mauvaise interprtation ou dune mauvaise utilisation des donnes, moins quelles ne soient soumises lexamen dexperts spcialiss ayant une connaissance contextuelle du domaine. Dans bien des cas, il ny a pas de rponse simple la question de savoir comment slectionner les indicateurs de la capacit de recherche. Plusieurs sources de donnes accessibles au public bas cot offrent de vastes ensembles dindicateurs quantitatifs normaliss qui permettent de faire des comparaisons utiles entre les domaines et avec dautres pays. L encore, les processus dlibratifs peuvent fournir des stratgies efficaces et efficientes pour valider la slection et lexamen des donnes (voir, par exemple, Harnad, 2008). Les indicateurs de la capacit de recherche servent un double objectif dans les dcisions relatives laffectation des fonds la recherche scientifique. Premirement, tant donn que le financement public de la recherche fondamentale vise dvelopper une capacit viable long terme dans un large ventail de domaines de recherche existants et mergents, il faut rgulirement vrifier si cet objectif est atteint. Deuximement, tant donn que la qualit de la recherche passe par une capacit de recherche de calibre international dans les domaines existants et mergents, il faut disposer dune varit dindicateurs bien choisis pour cerner les difficults prsentes et futures. De cette manire, les dcisions en matire daffectation budgtaire peuvent tre orientes pour cibler le dveloppement des capacits au sein des divers domaines et parmi ceux-ci (p. ex. le financement du matriel et dinstallations informatiques de pointe, ou le maintien du niveau de financement dans un domaine lorsquil ny a pas dautres sources de financement pour le moment). Ces indicateurs doivent cependant tenir compte des diffrences qui existent dun domaine lautre. En outre, comme le cot de la capacit de recherche varie dun domaine lautre, le cot du maintien dune certaine capacit en vue dobtenir la qualit voulue varie galement selon le domaine.
Chapter 8 Conclusions
105
8
conclusions
Rpondre au mandat Rponse aux sous-questions Conclusions finales
106
conclusions
Points saillants
De nombreux indicateurs scientifiques quantitatifs sont suffisamment rigoureux pour offrir de linformation utile sur la recherche dans lensemble des domaines de recherche au niveau national. Dans presque tous les contextes, il faut cependant avoir recours plusieurs indicateurs pour obtenir de linformation sur diffrents aspects du rendement de la recherche en sciences naturelles et en gnie. Lutilisation efficace dun indicateur dpend du contexte. Les pratiques exemplaires dautres pays ont donc peu offrir quant lutilisation des indicateurs scientifiques et des stratgies dvaluation. Le fait quun indicateur soit fiable ou informatif dpend souvent autant du contexte de lvaluation que de la construction de lindicateur. Les indicateurs quantitatifs devraient servir clairer plutt qu remplacer le jugement des experts. En ce qui a trait lvaluation de la recherche en SNG lchelle nationale dans le contexte de laffectation des fonds, le poids de la preuve semble indiquer que lapproche la plus quilibre est celle qui allie des donnes quantitatives au jugement des experts. Il serait beaucoup trop simpliste de lier directement laffectation des fonds de recherche des indicateurs quantitatifs; une telle stratgie nest pas raliste. Les indicateurs peuvent donner des renseignements utiles sur le rendement scientifique, mais les dcisions en matire daffectation des fonds sont complexes. Par consquent, tout indicateur ou tout processus dvaluation, quelle que soit sa rigueur, ncarte pas le besoin pour les organismes de financement de la recherche de faire une planification attentive et stratgique et dagir avec discernement.
Pour rpondre son mandat, le comit dexperts a men des dlibrations approfondies. Il a pris en considration le contexte dans lequel se droulent les processus daffectation des fonds de recherche et la faon dont il influe sur le choix des indicateurs et des stratgies dvaluation. Il a aussi pass en revue les indicateurs scientifiques et les diffrents scnarios dvaluation disponibles, ainsi que la faon dont les autres pays utilisent ces indicateurs aux fins de laffectation de fonds la recherche. Ce chapitre rsume les principaux constats faits par le comit dexperts au cours de ses dlibrations.
107
8 .1
r P ondre au m andat
Question principale
Que peut-on apprendre des donnes scientifiques et des approches employes par dautres organismes de financement de par le monde sur le plan des indicateurs de rendement et des pratiques exemplaires relatives leur utilisation, dans le contexte de la recherche en sciences naturelles et en gnie qui se droule dans les universits, les collges et les coles polytechniques?
La question principale adresse au comit dexperts comporte deux volets. Le premier volet lui demande dexaminer les donnes scientifiques disponibles pour dterminer quelles leons il est possible de tirer sur lutilisation dindicateurs scientifiques dans le contexte de laffectation de fonds la recherche en sciences naturelles et en gnie (SNG). Le second volet lui demande dexaminer ce quil est possible dapprendre des pratiques adoptes par dautres organismes de financement dans le monde quant lutilisation de tels indicateurs et mthodes dvaluation. Pour rpondre au premier volet de la question, le comit dexperts a procd un examen exhaustif de la littrature scientifique pertinente, qui englobe un large ventail de donnes factuelles. Bien que les chercheurs ne soient pas tous arrivs aux mmes conclusions, plusieurs constats ressortent clairement de cet examen.
De nombreux indicateurs scientifiques et mthodes dvaluation sont suffisamment robustes pour servir valuer le rendement scientifique dans les SNG dans les divers domaines agrgs au niveau national.
Ainsi, au niveau des outils bibliomtriques, les indicateurs fonds sur le nombre pondr de publications et les citations correctement normaliss par domaine de recherche et couvrant une priode de citations suffisamment longue peuvent fournir des mesures utiles pour valuer limpact scientifique global de la recherche dans un domaine donn au niveau national. Beaucoup dautres types dindicateurs quantitatifs par exemple la population tudiante ou la population de chercheurs, les niveaux de financement de la recherche, ainsi que ltat et la qualit de linfrastructure et du matriel scientifiques disponibles peuvent tre utiles pour cerner les tendances de la recherche ou la capacit de recherche nationale dans certains cadres dvaluation. Cependant, il est essentiel de faire des distinctions en ce qui a trait au niveau dagrgation. Beaucoup dindicateurs bibliomtriques comportent dimportantes marges derreur lorsquils sont appliqus des scientifiques au niveau individuel. Par consquent, lapplication dindicateurs bibliomtriques (et de nombreux autres outils scientomtriques) des chercheurs ou de petites quipes de recherche dans un cadre dvaluation (surtout lorsque celui-ci
108
est li laffectation des fonds) doit se faire avec beaucoup de prudence. Dans bien des cas, ces questions mthodologiques sont toutefois beaucoup moins srieuses lorsque les indicateurs sont agrgs au niveau des domaines de recherche nationaux.
Les indicateurs quantitatifs devraient tre utiliss afin dclairer plutt que de remplacer le jugement dexperts dans le cadre dune valuation scientifique axe sur laffectation de fonds la recherche.
Bien que plusieurs types dindicateurs quantitatifs puissent tre une source dinformation fiable et instructive dans le cadre dvaluations scientifiques de domaines de recherche au niveau national, ils ne devraient pas tre utiliss pour guider laffectation de fonds de recherche sans dabord tre soumis au jugement dexperts. Il y a plusieurs raisons cela. En premier lieu, certaines dimensions de la recherche ne peuvent facilement se prter une quantification, par exemple loriginalit ou la crativit dun programme de recherche ou la qualit des mthodes employes. Pour interprter correctement linformation fournie par les indicateurs, il faut souvent avoir une connaissance approfondie du contexte de la recherche ou des dveloppements rcents dans un secteur. En outre, lemploi dindicateurs scientifiques quantitatifs dans une formule dvaluation de la recherche, sans leffet modrateur du jugement dexperts, augmente le risque de rpercussions ngatives sur les comportements des chercheurs. Ainsi, les indicateurs fonds sur le nombre de publications peuvent inciter des chercheurs accrotre leur production de publications au dtriment de la qualit. Dans le pass, les tudes traitant de lutilisation dindicateurs quantitatifs pour lvaluation scientifique prsentaient souvent ces dcisions comme tant exclusivement fondes soit sur des indicateurs quantitatifs soit sur des mthodes dlibratives traditionnelles, notamment lexamen par les pairs ou lexamen par des experts. Ce nest plus le cas. Les donnes disponibles indiquent que les stratgies les plus prometteuses, notamment aux niveaux plus levs dagrgation, reposent sur une combinaison quilibre dindicateurs quantitatifs et du jugement dexperts (voir, par exemple, Moed, 2007; Butler, 2007).
Il serait beaucoup trop simpliste de lier directement laffectation des fonds de recherche des indicateurs quantitatifs; une telle stratgie nest pas raliste.
Lvolution de la recherche est essentiellement imprvisible et, en consquence, le rendement pass peut parfois tre un mauvais prdicteur du rendement futur en recherche exploratoire. Dans la plupart des domaines de la science, rien ne laisse penser que les russites passes conduiront dautres russites, ni que des checs annoncent dautres checs. Ainsi, un indicateur scientifique qui mesure essentiellement le rendement pass ne donne pas une indication fiable sur les perspectives davenir. Par consquent, les organismes de financement de la recherche devraient faire preuve de
109
prudence lorsquils utilisent ces indicateurs pour affecter des fonds la recherche. La faon dont linformation fournie par les indicateurs scientifiques devrait tre utilise pour clairer le processus daffectation des fonds de recherche est loin dtre simple. plusieurs gards, ni les donnes factuelles disponibles ni lexprience dorganismes de financement trangers ne justifie ladoption dune formule unique daffectation des fonds ou une rponse uniforme aux donnes dcoulant dun indicateur donn. titre dexemple, des organismes de financement pourraient dcider daccrotre les ressources accordes un secteur de la recherche qui, selon certains indicateurs, accuse des dficiences, prcisment pour amliorer son rendement. Ils pourraient par contre dcider de ne pas investir dans les secteurs de la recherche qui accusent des faiblesses pour se concentrer sur les secteurs plus performants. Ces choix sont dtermins par la stratgie de lorganisme ou du programme de financement, ainsi que par les priorits tablies par les dcideurs et les bailleurs de fonds dans un contexte de financement de la recherche donn. Dans lensemble, le comit dexperts na fait aucune observation qui justifierait le recours un modle unique de financement de la recherche en raction aux rsultats dvaluation. En ce qui concerne le deuxime volet de la question, ltude des pratiques et de lexprience dorganismes de financement ailleurs dans le monde vient corroborer les principaux constats prsents ci-dessus. Le comit dexperts a procd des tudes de cas approfondies des pratiques nationales dvaluation de la recherche dans 10 pays, en plus dexaminer un large ventail de donnes probantes sur lexprience dautres pays. Aux fins de lvaluation de la recherche au niveau national, de nombreux pays montrent une prfrence de plus en plus marque pour une approche mixte, misant la fois sur des mthodes dlibratives et sur des indicateurs quantitatifs. LAustralie a rcemment adopt un systme national dvaluation de la recherche dans lequel lexamen par des experts est clair par des indicateurs quantitatifs. Le RoyaumeUni a lui-mme explor la possibilit de remplacer le Research Assessment Exercice (RAE) par un systme exclusivement fond sur des indicateurs quantitatifs, mais il a finalement adopt un systme faisant appel au jugement dexperts et lexamen par les pairs, mme si les mesures quantitatives y jouent un rle accru. Bien que les tats-Unis naient pas de systme national analogue dvaluation de la recherche, le NRC a entrepris un exercice dtalonnage international qui fait intervenir un examen par des experts de donnes quantitatives pour clairer lvaluation du rendement de la recherche au niveau national dans des domaines particuliers une approche quil juge prometteuse. La Finlande fonde ses valuations du rendement scientifique la fois sur un examen par des experts et sur des donnes quantitatives. Dautres pays comme les Pays-Bas ont adopt des modles dans lesquels les tablissements ou les quipes de recherche prsentent un rapport renfermant des donnes quantitatives qui entrent dans un examen fait par des experts choisis. Dans tous ces cas, les gouvernements et les organismes de financement de la recherche privilgient une mthode misant la fois sur des indicateurs et sur le jugement dexperts pour valuer la recherche lchelle nationale.
110
lissue de sa recherche, le comit dexperts en est donc arriv une conclusion claire. Ltat actuel des donnes scientifiques et lexamen quil a fait des pratiques internationales lincitent conclure que les indicateurs scientifiques peuvent tre utiles et informatifs de plusieurs faons dans le cadre du processus dcisionnel daffectation de fonds au niveau national et au niveau des domaines de recherche. Toutefois, ces indicateurs devraient toujours tre jumels au jugement dexperts pour sassurer, dune part, que les donnes recueillies grce aux indicateurs sont interprtes correctement et que, dautre part, les organismes de financement de la recherche envisagent des choix appropris en matire de financement la lumire de linformation qui sen dgage.
8.2 r P o n s e au x s ou s -qu e s t i ons
Sous-question no 1
Quels indicateurs et outils de mesure qualitatifs et quantitatifs existants sont pertinents laffectation des budgets destins soutenir la recherche en sciences naturelles et en gnie, et comment peut-on les classifier (p. ex. selon la dure de vie utile, la comparabilit dune discipline et dun pays lautre, la pertinence en ce qui concerne la recherche interdisciplinaire ou sectorielle et lapplicabilit aux domaines de recherche nouveaux ou tablis)?
Les indicateurs et les stratgies dvaluation peuvent tre classs de diffrentes faons. Le prsent rapport fait la distinction entre ceux qui font appel des mthodes dlibratives, comme lexamen par les pairs et lexamen par les experts, et ceux qui reposent sur des indicateurs quantitatifs, notamment le nombre de publications et de citations, le nombre de chercheurs ou dtudiants, le montant des fonds allous la recherche et les demandes de subvention. Le comit dexperts a class les indicateurs et les stratgies dvaluation selon la fonction qui leur est dvolue et il sest concentr sur trois grands objectifs des valuations, savoir : la qualit de la recherche, les tendances de la recherche et la capacit de recherche. Pour chacun de ces objectifs, le comit a mis au point une taxonomie des mthodologies et des indicateurs possibles (chapitres 5 7), et a valu la validit de ces indicateurs au regard des objectifs. Tous les types dindicateurs traits par rapport ces objectifs pourraient servir recueillir de linformation utile permettant de dterminer quelles sont les priorits de recherche et de prendre des dcisions relatives laffectation de fonds la recherche dans des contextes donns.
111
Le comit a pris acte de lexistence et de lutilisation dindicateurs et de mthodologies dvaluation pour mesurer les impacts socioconomiques de la recherche, mais il nentrait pas dans son mandat dexplorer et de dcrire en dtail ces types de mthodologies.
Sous-question no 2
Quelles sont les pratiques exemplaires internationales en matire dlaboration, dexamens mthodologiques et dutilisation dindicateurs quantitatifs et qualitatifs pour valuer la recherche et affecter les budgets destins appuyer la recherche en sciences naturelles et en gnie?
Du point de vue du comit dexperts, les pratiques exemplaires internationales offrent peu de repres quant lutilisation des indicateurs scientifiques et des stratgies dvaluation. La construction et lapplication dindicateurs sont tributaires du contexte. Le caractre informatif et fiable dun indicateur dpend tant du contexte dans lequel il est utilis que de la nature et de la construction de lindicateur. lchelle internationale, les pratiques dvaluation de la recherche au niveau des domaines sont appliques dans des contextes varis, tant au regard des programmes de financement et des priorits stratgiques que du type dtablissement de recherche et du systme de financement, ou du type dorganisme de financement de la recherche. Par consquent, aucun indicateur, ensemble dindicateurs ou stratgie dvaluation noffre de solution idale pour tous les contextes dvaluation de la recherche exploratoire en SNG. Dans tous les cas, il faut prendre en considration les circonstances particulires de lvaluation et le contexte du financement de la recherche. Il est toutefois possible dnoncer quelques lignes directrices gnrales en matire de mthodologie. Les indicateurs scientifiques ne devraient jamais tre utiliss de faon isole. En matire dvaluation de la recherche, il y a toujours plusieurs dimensions mesurer, ce qui exige de recourir un ensemble quilibr dindicateurs. Lapproche la plus fiable consiste intgrer ces indicateurs un modle clair dexamen par des experts. Une srie de lignes directrices gnrales pour llaboration dune mthode dvaluation scientifique sont prsentes ci-dessous. Elles ciblent trois types dvaluations scientifiques susceptibles dclairer laffectation des fonds la recherche en SNG. Qualit de la recherche : Le nombre pondr de publications et certains indicateurs axs sur les citations peuvent fournir de linformation utile aux organismes de financement de la recherche pour valuer la qualit de la recherche. Pour ce qui est de lvaluation de limpact scientifique de la recherche mene dans les diffrents domaines lchelle nationale, les indicateurs normaliss en fonction des domaines et fonds sur la moyenne des citations relatives (p. ex. limpact relatif des
112
citations) constituent les meilleurs outils de mesure quantitative disponibles. ce niveau dagrgation, sils sont correctement normaliss en fonction du domaine et sils couvrent une priode de citations suffisamment longue, ces outils de mesure permettent dvaluer de manire dfendable et informative limpact des travaux de recherche en SNG. Tendances de la recherche : Plusieurs indicateurs permettent de recueillir de linformation valide et utile pour valuer les tendances de la recherche. La meilleure approche consiste utiliser des indicateurs fonds sur les tendances qui se dessinent dans les demandes de subvention par sujet de recherche, mais aussi dans la population tudiante, ainsi que sur des variables ou des techniques bibliomtriques de pointe mesurant les tendances en matire de publications et de citations. Capacit de recherche : Plusieurs variables peuvent tre la fois utiles et pertinentes lvaluation de la capacit de recherche. tant donn que ces variables sont nombreuses et que la qualit des sources de donnes de base est ingale, il est impossible de dterminer quelles sont les variables les plus adaptes dans une situation donne. Ici, les bailleurs de fonds de la recherche peuvent envisager dutiliser une combinaison dindicateurs entrant dans cinq grandes catgories : le financement, linfrastructure, la population tudiante et la population de chercheurs, les collaborations et les rseaux et les caractristiques propres chaque domaine, par exemple le cot de la recherche.
Sous-question no 3
tant donn ce qui prcde et la lumire de la stratgie en matire de sciences et de technologie du gouvernement du Canada et des objectifs du CRSNG pour le soutien de la recherche, quels sont les principes et les lments cls (p. ex. les risques, les avantages et les inconvnients, les consquences comportementales et institutionnelles) qui permettent de dterminer une utilisation justifiable dindicateurs de rendement et doutils de mesure, ainsi que leur quilibre et leur pondration, pour laffectation des budgets?
Le comit dexperts navait pas le mandat de formuler des recommandations de politique relativement aux stratgies dvaluation nationales en SNG. Il a plutt t invit examiner les pratiques internationales et les donnes probantes disponibles sur lutilisation dindicateurs scientifiques pour faciliter les processus dcisionnels de financement de la recherche. Il nentrait donc pas dans ses attributions de se prononcer sur les consquences de la stratgie des sciences et de la technologie du Canada ou sur les objectifs de financement du CRSNG qui guident le choix des indicateurs et des mthodes dvaluation dans le cadre de programmes de financement particuliers. Tout organisme de financement qui a recours des indicateurs pour faire des valuations
113
scientifiques devrait ncessairement prendre en considration les priorits nationales en matire de sciences et de technologie, la nature de son mandat et les objectifs du programme de financement directement lis lvaluation. Fondamentalement, au moment de slectionner des indicateurs des fins dvaluation scientifique ou autre il faut prendre soigneusement en considration les objectifs immdiats et finaux du programme et de lorganisme de financement concern. Les lignes directrices mthodologiques guidant lutilisation des indicateurs scientifiques dcrites ci-dessus ont une application tendue et devraient contribuer attnuer les risques associs ce genre dvaluation du travail scientifique. Les risques, les avantages et les inconvnients de divers indicateurs et approches servant aux valuations ont t examins tout au long du rapport. Il ne serait pas prudent de la part du comit dexperts daller au-del de ces lignes directrices, la lumire de lune de ses principales observations : lutilisation approprie dun indicateur est tributaire du contexte. Toutefois, au cours de ses dlibrations, le comit dexperts a labor certains principes directeurs pour llaboration dun processus dvaluation de la recherche en SNG dans loptique dclairer les dcisions relatives laffectation des fonds. Le contexte est important : lutilisation efficace dindicateurs ou de stratgies dvaluation dans les domaines de la recherche en SNG dpend du contexte. Par consquent, toute approche devrait tenir compte des objectifs nationaux en science et technologie, ainsi que des buts et des priorits de chaque organisme et programme de financement. Ne pas nuire : toute tentative visant lier directement laffectation des fonds des indicateurs pourrait avoir des consquences imprvues qui toucheront ngativement le milieu de la recherche. Le comit dexperts a dgag des stratgies prometteuses pour attnuer ce risque, notamment recourir un ensemble quilibr dindicateurs et tenir compte du jugement dexperts dans le processus dvaluation. La transparence est essentielle : les mthodes dvaluation et les indicateurs sont plus efficaces lorsquils sont parfaitement transparents pour le milieu scientifique. En fait, le principe de la transparence doit sappliquer aux mthodes dvaluation et aux indicateurs (p. ex., au niveau de la construction et de la validation des indicateurs, des sources de donnes, des critres et de la procdure de slection des examinateurs spcialiss), tout comme la mthode ou au processus par lequel les indicateurs ou les valuations clairent ou influencent les dcisions en matire de financement. Le jugement des experts scientifiques demeure inestimable : beaucoup dindicateurs quantitatifs peuvent fournir des renseignements utiles pour lvaluation de la recherche exploratoire au niveau national et au niveau du domaine scientifique. Toutefois, quand il sagit dclairer les dcisions relatives au financement de la recherche, les indicateurs quantitatifs sont mieux interprts par des experts scientifiques qui ont une connaissance et une exprience approfondies du domaine de recherche en question.
114
8.3
c o n c lus i o ns f i nal e s
Le Programme de subvention la dcouverte est une composante cruciale du financement de la recherche au Canada depuis des dcennies. Les travaux de recherche exploratoire financs par lentremise de ce programme ont dbouch sur de nombreuses perces scientifiques de calibre mondial et les valuations du PSD ont conclu que ce programme avait t exceptionnellement efficace dans la poursuite de ses objectifs. Tout indique que le PSD continuera datteindre ses objectifs, compte tenu dun systme daffectation des fonds qui tmoigne dun quilibre prudent entre le jugement des experts et les indicateurs quantitatifs disponibles. Fondamentalement, le message principal du comit dexperts comporte deux volets. Premirement, de nombreux indicateurs scientifiques sont suffisamment robustes pour permettre de recueillir de linformation utile et fiable sur divers aspects du rendement scientifique et de lenvironnement de la recherche. Bien que ces indicateurs et mthodologies comportent certaines limites, ils sont suffisamment bien dvelopps pour nous renseigner sur les domaines de la recherche agrgs au niveau national. Deuximement, dcider comment utiliser linformation recueillie laide dindicateurs pour prendre des dcisions en matire daffectation des fonds la recherche est loin dtre simple. Les donnes factuelles incitent penser quil serait beaucoup trop simpliste de lier les dcisions relatives laffectation des fonds des indicateurs et quune telle stratgie serait peu raliste. Par consquent, les indicateurs quantitatifs sont loin dcarter la ncessit de recourir lexpertise et au jugement de spcialistes dans le processus dcisionnel entourant laffectation de fonds la recherche. Les indicateurs devraient servir clairer le jugement des experts plutt que de sy substituer. tant donn lincertitude et la complexit inhrentes aux dcisions touchant au financement des travaux scientifiques, ces choix devraient tre confis des experts bien informs qui possdent une comprhension approfondie et nuance du contexte du financement de la recherche, ainsi que des enjeux, des problmes, des questions et des possibilits qui se prsentent.
Rfrences
115
rfrences
116
rfrences
Acadmie des sciences, 2011 AcAdmie des sciences. Du bon usage de la bibliomtrie pour lvaluation individuelle des chercheurs, Paris, France, Acadmie des sciences. Acadmie finlandaise, 2010 AcAdmie FinlAndAise. The State and Quality of Scientific Research in Finland 2009. Dans Lppnen, P., Lehvo, A., Vaahtera, K. et Nuutinen, A. (d.), Helsinki, Finlande, AcAdmie FinlAndAise, 288 p. Acadmie finlandaise, 2011 AcAdmie FinlAndAise. Chemistry Research in Finland 2005-2009: Evaluation Report, Helsinki, Finlande, Acadmie finlandaise, 137 p. ACSS, 2009 AcAdmie cAnAdienne des sciences de lA sAnt. Crer un impact : Les indicateurs et approches privilgier pour mesurer le rendement des investissements consentis en recherch en sant, Ottawa (ON), ACSS. Adams et Gurney, 2010 AdAms, J. et Gurney, K. Funding Selectivity, Concentration and Excellence How Good is the UKs Research?, Oxford, Angleterre, Higher Education Policy Institute. Aksnes, 2009 Aksnes, D. W. The Use of Bibliometric Indicators in Research Evaluations in Norway. Article prsent dans le cadre du 14th Nordic Workshop on Bibliometrics and Research Policy, Stockholm, Sude. ARC, 2008 AustrAliAn reseArch council. ERA Indicator Descriptors, Canberra, Australie, ARC. ARC, 2010 AustrAliAn reseArch council. ERA Evaluation Guidelines, Canberra, Australie, ARC. ARC, 2011 AustrAliAn reseArch council. ARC Profile. Adresse URL : http://www.arc.gov.au/about_arc/arc_profile.htm (dernire consultation : 9 mai 2011). Archambault et al., 2009 ArchAmbAult, ., cAmpbell, d., GinGrAs, Y. et lArivire, V Comparing bibliometric statistics obtainted from the Web of Science and . Scopus , Journal of the American Society for Information Science and Technology, vol. 60, no 7, p. 1320-1326. Archambault et al., 2006 ArchAmbAult, ., viGnolA-GAGn, ., ct, G., lArivire, V et GinGrAs, Y. Benchmarking scientific output in the social . sciences and humanities: The limits of existing databases. , Scientometrics, vol. 68, no 3, p. 329-342. Bernanke, 2011 bernAnke, B. S. Promoting Research and Development: The Governments Role. Article prsent dans le cadre du New Building Blocks for Jobs and Economic Growth, Washington (D.C.). Bland et Ruffin, 1992 blAnd, C. J. et ruFFin, M.T. Characteristics of a productive research environment: Literature review , Academic Medicine, vol. 67, no 6, p. 385-397.
Rfrences
117
Bonaccorsi et al., 2007 bonAccorsi, A., dArAio, c., lepori, B. et sliperster , S. Indicators on individual higher education institutions: addressing data problems and comparability issues , Research Evaluation, vol. 16, no 2, p. 66-78. Brner et al., 2003 brner, k., chen, C. et boyAck, K. Visualizing knowledge domains , Annual Review of Information Science and Technology, vol. 37, no 1, p. 179-255. Boyack et Brner, 2003 boyAck, K. et brner, K. Indicator-assisted evaluation and funding of research: Visualizing the influence of grants on the number and citation counts of research papers , Journal of the American Society for Information Science and Technology, vol. 54, no 5, p. 447-461. Bozeman et Sarewitz, 2011 bozemAn, B. et sArewitz, D. Public value mapping and science policy evaluation , Minerva, vol. 49, no 1, p. 1-23. Bush, 1945 bush, V Science The Endless Frontier, Washington (D.C.), U.S. Office . of Scientific Research and Development. Butler, 2003 butler, L. Explaining Australias increased share of ISI publications The effects of a funding formula based on publication counts , Research Policy, vol. 32, no 1, p. 143-155. Butler, 2007 butler, L. Assessing university research: A plea for a balanced approach , Science and Public Policy, vol. 34, no 8, p. 565-574. Butler et Visser, 2006 butler, L. et visser, M. Extending citation analysis to non-source items , Scientometrics, vol. 66, no 2, p. 327-343. CAC, 2006 conseil des AcAdmies cAnAdiennes. Ltat de la science et de la technologie au Canada, Ottawa (ON), CAC. CAC, 2009 conseil des AcAdmies cAnAdiennes. Innovation et stratgies dentreprise : pourquoi le Canada nest pas la hauteur, Ottawa (ON), CAC. Chubin et Hackett, 1990 chubin, D. E. et hAckett, E. J. Peerless Science: Peer Review and U.S. Science Policy, Albany (NY), State University of New York Press. Commission europenne, 2010 commission europenne. Assessing Europes University-Based Research, Bruxelles, Belgique, Commission europenne. Cooper et al., 2012 cooper, r. G., edGett, S. J. et kleinschmidt, E. J. Portfolio Management: Fundamental for New Product Success , Product Innovation Best Practices Series, Stage-Gate International and Product Development Institute Inc. Cozzens, 1999 cozzens, S. E. Are new accountability rules bad for science? , Issues in Science and Technology, vol. 16, no 4, p. 59-66. CRC, 2011 chAires de recherche du cAnAdA. Adresse URL : http://www.chairschaires.gc.ca/home-accueil-eng.aspx (dernire consultation : 16 dcembre 2011). CRSHC, 2008 conseil de recherches en sciences humAines du cAnAdA. Promouvoir lexcellence en recherche Examen men par un groupe dexperts international lgard des pratiques dvaluation par les pairs du Conseil de recherches en sciences humaines du Canada, CRSHC.
118
CRSNG, 2006a conseil de recherches en sciences nAturelles et en Gnie. Examen international du Programme de subventions la dcouverte, Ottawa (ON), CRSNG. CRSNG, 2006b conseil de recherches en sciences nAturelles et en Gnie. Perspectives sur la physique subatomique au Canada 2006-2016, Ottawa (ON), Comit de planification long terme du CRSNG. CRSNG, 2008 conseil de recherches en sciences nAturelles et en Gnie. Rapport de lexamen international du Programme de subventions la dcouverte, Ottawa (ON), CRSNG. CRSNG, 2011a conseil de recherches en sciences nAturelles et en Gnie. Rapport sur les plans et priorits Budget des dpenses 2011-2012, Ottawa (ON), CRSNG. CRSNG, 2011b conseil de recherches en sciences nAturelles et en Gnie. Programme de subventions la dcouverte. Adresse URL : http://www. nserc-crsng.gc.ca/professors-professeurs/grants-subs/dgigp-psigp_fra.asp (dernire consultation : 15 janvier 2012). CRSNG, 2012 conseil de recherches en sciences nAturelles et en Gnie. Tableaux dtaills. Adresse URL : http://www.nserc-crsng.gc.ca/_doc/ FactsFigures-TableauxDetailles/2010-2011Tables_f.pdf (dernire consultation : 7 mars 2012). CSTI, 2009 conseil des sciences, de lA technoloGie et de linnovAtion. Ltat des lieux en 2008 Le systme des sciences, de la technologie et de linnovation au Canada, Ottawa (ON), CSTI. CSTI, 2011 conseil des sciences, de lA technoloGie et de linnovAtion. Ltat des lieux en 2011 Le systme des sciences, de la technologie et de linnovation au Canada, Ottawa (ON), CSTI, 76 p. De Bellis, 2009 de bellis, N. Bibliometrics and Citation Analysis: From the Science Citation Index to Cybermetrics (d. illustre), Lanham (MD), Scarecrow Press. DIISR, 2011a depArtment oF innovAtion, industry, science And reseArch. Research Block Grants. Adresse URL : http://www.innovation.gov.au/Research/ ResearchBlockGrants/Pages/default.aspx (dernire consultation : 9 mai 2011). DIISR, 2011b depArtment oF innovAtion, industry, science And reseArch. The Process for Determining Joint Research Engagement (JRE) Scheme Grant Amounts, Canberra, Australie, DIISR. Donovan et Butler, 2007 donovAn, C. et butler, L. Testing novel quantitative indicators of research quality, esteem and user engagement: An economics pilot study , Research Evaluation, vol. 16, no 4, p. 231-242. Dutton et Crowe, 1988 dutton, J. A. et crowe, L. Setting priorities among scientific initiatives , American Scientist, vol. 76, no 6, p. 599-603. EPSRC, 2011 enGineerinG And physicAl sciences reseArch council. International Review Reports. Adresse URL : http://www.epsrc.ac.uk/newsevents/pubs/ reports/Pages/internationalreviews.aspx (dernire consultation : 7 mars 2012).
Rfrences
119
Evaluation Associates Ltd., 1999 evAluAtion AssociAtes ltd. Interdisciplinary Research and the Research Assessment Exercise, Bristol, Royaume-Uni, HEFCE. Fealing et al., 2011 FeAlinG, k. h., lAne, J. i., mArburGer iii, J. h. et shipp, S. S. The Science of Science Policy: A Handbook, Stanford (CA), Stanford Business Books. FES, 2009 FondAtion europenne de lA science. Evaluation in National Research Funding Agencies: Approaches, Experiences and Case Studies, A Report of the ESF Member Organisation Forum on Ex-Post Evaluation of Funding Schemes and Research Programmes, Strasbourg, France, 96 p. Freeman et Van Reenen, 2009 FreemAn, R. et vAn reenen, J. What if congress doubled R&D spending on the physical sciences? , Innovation Policy and the Economy, vol. 9, p. 1-38. Garfield, E., 1979 GArField, E. Is citation analysis a legitimate evaluation tool? , Scientometrics, vol. 1, no 4, p. 359-375. Georghiou et Roessner, 2000 GeorGhiou, L. et roessner, D. Evaluating technology programs: Tools and methods , Research Policy, vol. 29, p. 657-678. Geuna et Martin, 2003 GeunA, A. et mArtin, B. R. University research evaluation and funding: An international comparison , Minerva, vol. 41, no 4, p. 277-304. Gingras, 1987 GinGrAs, Y. La rception des rayons X au Qubec : Radiographie des pratiques scientifiques . Dans Fournier, M., Gingras, Y. et Keel, O. (d.), Sciences et mdecine au Qubec, perspectives sociohistoriques, Qubec, Institut qubcois de recherche sur la culture, p.69-86, Gingras, 2008 GinGrAs, Y. Du mauvais usage de faux indicateurs , Revue dhistoire moderne et contemporaine, vol. 5, no 4, p. 67-79. Glnzel et al., 2006 Glnzel, w., debAckere, k., thiJs, b. et schubert, A. A concise review on the role of author self-citations in information science, bibliometrics and science policy , Scientometrics, vol. 67, no 2, p. 263-277. Godin, 2002 Godin, B. Outline for a history of science measurement , Science, Technology, and Human Values, vol. 27, no 1, p. 3-27. Goffman, 1966 GoFFmAn, W. Mathematical approach to the spread of scientific ideas the history of mast cell research , Nature, vol. 212, no 5061, p. 449-452. Goffman et Harmon, 1971 GoFFmAn, W. et hArmon, G. Mathematical approach to prediction of scientific discovery , Nature, vol. 229, no 5280, p.103-104. Gouvernement de lAustralie, 2011 G ouvernement de l A ustrAlie . Improvements to Excellence in Research for Australia. Adresse URL : http://minister.innovation.gov.au/carr/mediareleases/pages/ improvementstoexcellenceinresearchforaustralia.aspx (dernire consultation : 15 dcembre 2011). Gouvernement du Royaume-Uni, 2006 Gouvernement du royAume-uni. Science and Innovation Investment Framework 2004-2014, Londres, RoyaumeUni, gouvernement du Royaume-Uni.
120
Gouvernement du Royaume-Uni, 2010 Gouvernement du royAume-uni. Government Response to the House of Lords Science and Technology Select Committee Report: Setting Priorities for Publicly Funded Research , Londres, Royaume-Uni, gouvernement du Royaume-Uni. Gray, 2009 GrAy, G. W. Introduction and Historical Development . Dans Demus, D., Gray, G. W., Spiess, H.-W. et Vill, B. (d.). Physical Properties of Liquid Crystals, New York (NY), John Wiley and Sons, premire dition, 522 p. Guo et al., 2011 Guo, h., weinGArt, S. et brner, K. Mixed-indicators model for identifying emerging research areas , Scientometrics, vol. 89, no 1, p. 421-435. Harnad, 2008 hArnAd, S. Validating research performance metrics against peer rankings , Ethics in Science and Environmental Politics, vol. 8, p. 103-107. HEFCE, 1997 hiGher educAtion FundinG council oF enGlAnd. The Impact of the 1992 Research Assessment Exercise on Higher Education Institutions in England, Londres, Royaume-Uni, HEFCE. HEFCE, 2009 hiGher educAtion FundinG council oF enGlAnd. Report on the Pilot Exercise to Develop Bibliometric Indicators for the Research Excellence Framework, Londres, Royaume-Uni, HEFCE. HEFCE, 2010 hiGher educAtion FundinG council oF enGlAnd. Research Excellence Framework Impact Pilot Exercise: Findings of the Expert Panels, Londres, Royaume-Uni, HEFCE. HEFCE, 2011a hiGher educAtion FundinG council oF enGlAnd. Assessment Framework and Guidance on Submissions, Londres, Royaume-Uni, HEFCE. HEFCE, 2011b hiGher educAtion FundinG council oF enGlAnd. REF2014: Research Excellence Framework. Adresse URL : http://www.hefce.ac.uk/ research/ref/ (dernire consultation : 13 avril 2011). Herbertz et Mller-Hill, 1995 herbertz, H. et mller-hill, B. Quality and efficiency of basic research in molecular biology: A bibliometric analysis of thirteen excellent research institutes , Research Policy, vol. 24, no 6, p. 959-979. Hicks, 2004 hicks, D. M. The Four Literatures of Social Science . Dans Moed, H. (d.), Handbook of Quantitative Science and Technology Studies, PaysBas, Kluwer Academic. Hirsch, 2005 hirsch, J. E. An index to quantify an individuals scientific research output , Proceedings of the National Academy of Sciences of the United States of America, vol. 102, no 46, p. 16569-16572. Industrie Canada, 2007 industrie cAnAdA. Raliser le potentiel des sciences et de la technologie au profit du Canada, Ottawa (ON), Industrie Canada. Ingwersen, 1998 inGwersen, P. The calculation of web impact factors , Journal of Documentation, vol. 54, no 2, p. 236-243. Irvine et Martin, 1985 irvine, J. et mArtin, B. R. Basic research in the East and West: A comparison of the scientific performance of high-energy physics accelerators , Social Studies of Science, vol. 15, no 2, p. 293-341.
Rfrences
121
ISQ , 2011 institut de lA stAtistique du qubec. Compendium dindicateurs de lactivit scientifique et technologique du Qubec , Science, Technologie et Innovation, Montral (QC), Institut de la statistique du Qubec. Jacobs et Frickel, 2009 JAcobs, J. A. et Frickel, S. Interdisciplinarity: A critical assessment , Annual Review of Sociology, vol. 35, p. 43-65. Jordan, 2010 JordAn, G. B. A theory-based logic model for innovation policy and evaluation, Research Evaluation, vol. 19, no 4, p. 263-273. Jordan et Malone, 2001 JordAn, G. B. et mAlone, E. L. Performance Assessment . Dans U.S. Department of Energy Office of Science and Office of Planning and Analysis (d.), Management Benchmark Study, Washington (D.C.), U.S. Department of Energy. Jordan et al., 2001 JordAn, G. B., streit, L. D. et mAtiAsek, J. Attributes in the Research Environment that Foster Excellent Research: An Annotated Bibliography. Albuquerque (NM); Livermore (CA), Sandia National Laboratories. Kanter, 1988 kAnter, R. M. When a thousand flowers bloom: Structural, collective, and social conditions for innovation in organizations , Research in Organizational Behavior, vol. 10, p. 169-211. King, 2004 kinG, D. A. The scientific impact of nations: What different countries get for their research spending , Nature, vol. 430, no 6997, p. 311-316. Klavans et Boyack, 2010 klAvAns, R. et boyAck, K. W. Toward an objective, reliable and accurate method for measuring research leadership , Scientometrics, vol. 82, no 3, p. 539-553. Koizumi, 2011 koizumi, K. Science Policy: A Federal Budgeting View . Dans Fealing, K. H., Lane, J. I., Marburger III, J. H. et Shipp, S. S. (d.). The Science of Science Policy: A Handbook, Stanford (CA), Stanford Business Books, p. 289-301. Langfeldt, 2001 lAnGFeld, L. The decision-making constraints and processes of grant peer review, and their effects on the review outcome , Social Studies of Science, vol. 31, no 6, p. 820-841. Larivire et Gingras, 2010 lArivire, V et GinGrAs, Y. On the relationship . between interdisciplinarity and scientific impact , Journal of the American Society for Information Science and Technology, vol. 61, no 1, p. 126-131. Larivire et al., 2006 lArivire, V GinGrAs, Y. et ArchAmbAult, . Canadian ., collaboration networks: A comparative analysis of the natural sciences, social sciences and the humanities , Scientometrics, vol. 68, no 3, p. 519-533. Laudel, 2006 lAudel, G. Conclave in the Tower of Babel: How peers review interdisciplinary research proposals , Research Evaluation, vol. 15, no 1, p. 57-68. Leydesdorff et Opthof, 2010 leydesdorFF, L. et opthoF, T. Scopuss source normalized impact per paper (SNIP) versus the journal impact factor based on fractional counting of citations , Journal of the American Society for Information Science and Technology, vol. 61, no 11, p. 2365-2369.
122
Lise et al., 2008 lise, c., lArivire, V et ArchAmbAult, . Conference . proceedings as a source of scientific information: a bibliometric analysis , Journal of the American Society for Information Science and Technology, vol. 59, no 11, p. 1776-1784. Magoun, 2007 mAGoun, A. B. Television: The life story of a technology, Greenwood Publishing Group. Mansilla, 2006 mAnsillA, V. B. Symptoms of quality: Assessing expert interdisciplinary work at the frontier , Research Evaluation, vol. 15, no 1, p. 17-29. Marburger, 2005 mArburGer III, J. H. Wanted: Better benchmarks . (ditorial), Science, vol. 308, no 5725, p. 1087. Martin, 1996 mArtin, B. R. The use of multiple indicators in the assessment of basic research , Scientometrics, vol. 36, no 3, p. 343-362. Martin et Irvine, 1983 mArtin, B. R. et irvine, J. Assessing basic research: Some partial indicators of scientific progress in radio astronomy , Research Policy, vol. 12, no 2, p. 61-93. McNay, 1998 mcnAy, I. The research assessment exercise (RAE) and after: You never know how it will all turn out , Perspectives: Policy and Practice in Higher Education, vol. 2, no 1, p. 19-22. Meek et van der Lee, 2005 meek, V L. et vAn der lee, J. J. Performance Indicators . for Assessing and Benchmarking Research Capacities in Universities , Bangkok Occasional Paper Series, vol. 2, Bangkok, Thalande, APEID, UNESCO. Meho et Yang, 2007 meho, L. I. et yAnG, K. Impact of data sources on citation counts and rankings of LIS faculty: Web of Science versus Scopus and Google Scholar , Journal of the American Society for Information Science and Technology, vol. 58, no 13, p. 2105-2125. Meyer, 2011 meyer, R., The public values failures of climate science in the U.S. , Minerva, vol. 49, no 1, p. 47-70. Ministre de lemploi et de lconomie de la Finlande, 2009 ministre de lemploi et de lconomie de lA FinlAnde. Evaluation of the Finnish National Innovation System Full Report, Helsinki, Finlande, Ministre de lemploi et de lconomie. Moed, 2005 moed, H. F. Citation Analysis in Research Evaluation, vol. 9, Dordrecht, Pays-Bas, Springer. Moed, 2007 moed, H. F. The future of research evaluation rests with an intelligent combination of advanced metrics and transparent peer review , Science and Public Policy, vol. 34, no 8, p. 575-583. Moed, 2008 moed, H. F. UK research assessment exercises: Informed judgments on research quality or quantity? , Scientometrics, vol. 74, no 1, p. 153-161. Moed, 2010 moed, H. F. Measuring contextual citation impact of scientific journals. Journal of Informetrics, vol. 4, no 3, p. 265-277.
Rfrences
123
Moed et al., 1985 moed, H. F., Burger, W. J. M., Frankfort, J. G. et Van Raan, A. F. J. The application of bibliometric indicators: Important field- and timedependent factors to be considered , Scientometrics, vol. 8, no 3-4, p. 177-203. Morgan, 2011 morGAn, M. G. Technically Focused Policy Analysis . Dans Fealing, K. H., Lane, J. I., Marburger III, J. H. et Shipp, S. S. (d.), The Science of Science Policy: A Handbook, Stanford (CA), Stanford Business Books, p. 120-130. Narin, 1976 nArin, F. Evaluative Bibliometrics: The Use of Publication and Citation Analysis in the Evaluation of Scientific Activity, Cherry Hill (NJ), Computer Horizons Inc. National Science Board, 2010 nAtionAl science boArd. Globalization of Science and Engineering Research: A Companion to Science and Engineering Indicators 2010, Arlington (VA), National Science Foundation. National Science Board, 2012 nAtionAl science boArd. Science and Engineering Indicators 2012, Arlington (VA), National Science Foundation. Nature Editorial, 2010 Nature Editorial. Assessing assessment , Nature, vol. 465, no 7300, p. 845. Nederhof et Van Raan, 1987 nederhoF, A. J. et vAn rAAn, A. F. J. Peer review and bibliometric indicators of scientific performance: A comparison of cum laude doctorates with ordinary doctorates in physics , Scientometrics, vol. 11, no 5-6, p. 333-350. Nightingale et Scott, 2007 niGhtinGAle, P. et scott, A. Peer review and the relevance gap: Ten suggestions for policy-makers , Science and Public Policy, vol. 34, no 8, p. 543-553. Nobelprize.org, 2012 nobelprize.orG. Liquid Crystals. Adresse URL : http:// www.nobelprize.org/educational/physics/liquid_crystals/history/index.html (dernire consultation : 27 fvrier 2012). NOWT, 2010 netherlAnds observAtory oF science And technoloGy. Science and Technology Indicators 2010: A Summary Report on the Netherlands, La Haye, Pays-Bas, NOWT, 44 p. NRC, 1996a nAtionAl reseArch council. Understanding Risk: Informing Decisions in a Democratic Society . Dans Stern, P. C. et Fineberg, H. V (d.), . Washington (D.C.), NRC. NRC, 1996b nAtionAl reseArch council. World Class Research and Development: Characteristics for an Army Research, Development, and Engineering Organization, Washington (D.C.), NRC, 72 p. NRC, 2000 nAtionAl reseArch council. Experiments in International Benchmarking of U.S. Research Fields, Washington (D.C.), NRC. NRC, 2006 nAtionAl reseArch council. A Strategy for Assessing Science: Behavioral and Social Research on Aging Dans Feller, I. et Stern, p. C., (d.), Washington (D.C.), NRC, 176 p.
124
NRC, 2007a nAtionAl reseArch council, Decadal Science Strategy Surveys: Report of a Workshop, Washington (D.C.), NRC. NRC, 2007b nAtionAl reseArch council. Earth Science and Applications from Space: National Imperatives for the Next Decade and Beyond, Washington (D.C.), NRC, 456 p. NRC, 2010 nAtionAl reseArch council. New Worlds, New Horizons in Astronomy and Astrophysics, Washington (D.C.), NRC. OCDE, 1997 orGAnisAtion de cooprAtion et de dveloppement conomiques. Policy Evaluation in Innovation and Technology: Towards Best Practices. Article prsent lors de la confrence Policy Evaluation in Innovation and Technology, Paris, France. OCDE, 2002 orGAnisAtion de cooprAtion et de dveloppement conomiques. Manuel de Frascati : Mthode type propose pour les enqutes sur la recherche et le dveloppement exprimental (6e d.), Paris, France, OCDE, 266 p. OCDE, 2008 orGAnisAtion de cooprAtion et de dveloppement conomiques. The Role of Expert Review in the Evaluation of Science and Technology: Issues and Suggestions for Advanced Practices, Paris, France, OCDE. OCDE, 2010 orGAnisAtion de cooprAtion et de dveloppement conomiques. Performance-based Funding for Public Research in Tertiary Education Institutions: Workshop Proceedings (OCDE, transcription), Paris, France, OCDE. OCDE, 2011 orGAnisAtion de cooprAtion et de dveloppement conomiques. Science, technologie et industrie : Tableau de bord de lOCDE 2011, Paris, France, OCDE. Paletz et al., 2010 pAletz, s., smith-doerr, L. et vArdi, I. National Science Foundation Workshop Report: Interdisciplinary Collaboration in Innovative Science and Engineering Fields . NSF Workshop on Interdisciplinary Collaboration in Innovative Science and Engineering Fields, Boston (MA), National Science Foundation. Pich et Lapostolle, 2009 pich, S. et lApostolle, L. Passons la recherche 2.0! , Pdagogie collgiale, vol. 22, n 4, p. 9-13. Pontille, 2004 pontille, D. La Signature scientifique : Une sociologie pragmatique de lattribution, Paris, France, Centre National de la Recherche Scientifique. Popper et al., 2000 popper, s. w., wAGner, c. s., Fossum, D. L. et stiles, W. S. Setting Priorities and Coordinating Federal R&D Across Fields of Science: A Literature Review , Washington (D.C.), RAND Science and Policy Institute, 30 p. Porter et Rafols, 2009 porter, A. L., et rAFols, I. Is science becoming more interdisciplinary? Measuring and mapping six research fields over time , Scientometrics, vol. 81, no 3, p. 719-745. Porter et Rossini, 1985 porter, A. L. et rossini, F. A. Peer review of interdisciplinary research proposals , Science, Technology, and Human Values, vol. 10, no 3, p. 33-38.
Rfrences
125
Powell et al., 2011 powell, W. W., owen-smith, J. et smith-doerr, L. Sociology and the Science of Science Policy . Dans Fealing, K. H., Lane, J. I., Marburger III, J. H. et Shipp, S. S. (d.), The Science of Science Policy: A Handbook, Stanford (CA), Stanford Business Books, p. 56-84. Press, 1988 press, F. The dilemma of the golden age , Science, Technology, and Human Values, vol. 13, no 3-4, p. 224-231. Qiu, 2010 qiu, J. Publish or perish in China , Nature, vol. 463, p. 142-143. Rafols et al., 2012 rAFols, i., leydesdorFF, l., ohAre, A., niGhtinGAle, P. et stirlinG, A. How journal rankings can suppress interdisciplinarity. A comparison of innovation studies in business and management , Research Policy (sous presse). Rayleigh, 1942 rAyleiGh, L. R. J. S. The life of Sir J.J. Thomson, Cambridge, Cambridge University Press. Reinhart, 2010 reinhArt, M. Peer review practices: a content analysis of external reviews in science funding , Research Evaluation, vol. 19, no 5, p. 317-331. REPP, 2005 reseArch evAluAtion And policy proJect. Quantitative Indicators for Research Assessment A Literature Review, Canberra, Australie, Universit nationale dAustralie. Research Council U.K., 2006 reseArch council U.K. Report of the Research Councils U.K. Efficiency and Effectiveness of Peer Review Project. Rigden, 2000 riGden, J. S. Rabi: Scientist and Citizen, Boston (MA), Harvard University Press. RIN, 2009 reseArch inFormAtion network. Communicating Knowledge: How and Why Researchers Publish and Disseminate their Findings. Londres, Royaume-Uni, RIN. Rip, 2000 rip, A. Societal Challenges to Evaluation. Article prsent au U.S.European Workshop on S&T Policy Evaluation, Bad Herrenalb, Allemagne. Roberts, 2003 roberts, G. Review of Research Assessment, Londres, RoyaumeUni, Rapport des organismes de financement du Royaume-Uni. Royal Society, 2010 royAl society. The Scientific Century: Securing our Future Prosperity. Londres, Royaume-Uni, The Royal Society. Royal Society, 2011 royAl society. Knowledge, Networks and Nations, Londres, Royaume-Uni, The Royal Society. Sarewitz, 2011 sArewitz, D. Institutional Ecology and the Social Outcomes of Scientific Research . Dans Fealing, K. H., Lane, J. I., Marburger III, J. H. et Shipp, S. S. (d.), The Science of Science Policy: A Handbook, Stanford (CA), Stanford Business Books, p. 337-348. Schneider, 2009 schneider, J. W. An Outline of the Bibliometric Indicator Used for Performance-Based Funding of Research Institutions in Norway , European Political Science, vol. 8, no 3, p. 364-378.
126
Shao et Shen, 2011 shAo, J. et shen, H. The outflow of academic papers from China: Why is it happening and can it be stemmed? , Learned Publishing, vol. 24, no 2, p. 95-97. Sivertsen, G., 2009 sivertsen, G. A Bibliometric Funding Model Based on a National Research Information System. Adresse URL : http://www. issi2009.org/agendas/issiprogram/activity.php?lang=en&id=108 (dernire consultation : 15 mars 2012). Slade, 2011 slAde, C. P. Public Value Mapping of Equity in Emerging Nanomedicine , Minerva, vol. 49, no 1, p. 71-86. Small, 2003 smAll, H. Paradigms, citations, and maps of science: a personal history , Journal of the American Society for Information Science and Technology, vol. 54, no 5, p. 394-399. Small, 2006 smAll, H. Tracking and predicting growth areas in science , Scientometrics, vol. 68, no 3, p. 595-610. Stewart, 1995 stewArt, J. Models of priority-setting for public sector research , Research Policy, vol. 24, no 1, p. 115-126. Sullivan, 2011 sullivAn, P. J. Seeing the bones of things: A scan of x-rays early history , Canadian Family Physician, vol. 57, no 10, p. 1174-1175. Thelwall, 2008 thelwAll, M. Bibliometrics to webometrics , Journal of Information Science, vol. 34, no 4, p. 605-621. Thelwall, 2009 thelwAll, M. Introduction to Webometrics: Quantitative Web Research for the Social Sciences, vol. 1, San Rafael (CA), Morgan and Claypool. Thomas et Mohrman, 2011 thomAs, J. et mohrmAn, S. A. A Vision of Data and Analytics for the Science of Science Policy . Dans Fealing, K. H., Lane, J. I., Marburger III, J. H. et Shipp, S. S. (d.), The Science of Science Policy: A Handbook, Stanford (CA), Stanford Business Books, p. 258-281. Travis et Collins, 1991 trAvis, G. D. L. et collins, H. M. New light on old boys: cognitive and institutional particularism in the peer review system , Science, Technology, and Human Values, vol. 16, no 3, p. 322-341. Tukey, 1962 tukey, J. W. The future of data analysis , Annals of Mathematical Statistics, vol. 33, no 1, p.1-67. Upham et Small, 2010 uphAm, S. P. et smAll, H. Emerging research fronts in science and technology: patterns of new knowledge development , Scientometrics, vol. 83, no 1, p. 15-38. Van Leeuwen, 2008 vAn leeuwen, T. N. Testing the validity of the Hirsch-index for research assessment purposes , Research Evaluation, vol. 17, no 2, p. 157-160. Van Leeuwen et al., 2003 vAn leeuwen, T.N., Visser, M. S., Moed, H. F., Nederhof, T. J. et Van Raan, A. F. J. The Holy Grail of science policy: Exploring and combining bibliometric tools in search of scientific excellence , Scientometrics, vol. 57, no 2, p. 257-280. Van Noorden, 2010 vAn noorden, R. Metrics: A profusion of measures , Nature, vol. 465, no 7300, p. 864-866.
Rfrences
127
Van Raan, 2004 vAn rAAn, A. F. J. Measuring Science . Dans Moed, H. F., Glnzel, W. et Schmoch, U. (d.), Handbook of Quantitative Science and Technology Research: The Use of Publication and Patent Statistics in Studies of S&T Systems. Dordrecht, Pays-Bas, Kluwer Academic Publishers, p. 19-50. Van Raan, 1993 vAn rAAn, A. F. J. Advanced bibliometric methods to assess research performance and scientific development: Basic principles and recent practical applications , Research Evaluation, vol. 3, no 3, p. 151-166. Van Raan, 1996 vAn rAAn, A. F. J. Advanced bibliometric methods as quantitative core of peer review based evaluation and foresight exercises , Scientometrics, vol. 36, no 3, p. 397-420. Van Raan et al., 2007 vAn rAAn, A. F. J., moed, H. F. et vAn leeuwen, T. N. Scoping Study on the Use of Bibliometric Analysis to Measure the Quality of Research in the UK Higher Education Institutions, Londres, Royaume-Uni, Rapport pour le HEFCE par le Centre for Science and Technology Studies, Universit de Leiden. Wadman, 2010 wAdmAn, M. Study says middle sized labs do best , Nature, vol. 468, p. 356-357. Weinberg, 1963 weinberG, A. M. Criteria for scientific choice , Minerva, vol. 1, p. 159-171. Werner et Souder, 1997 werner, B. M. et souder, W. E. Measuring R&D performance -- state of the art , Research-Technology Management, vol. 40, no 2, p. 34-42. Wooding et al., 2011 woodinG, s., hAnney, s., pollitt, A., buxton, m., GrAnt, J. et Project Retrosight Team. Project Retrosight: Understanding the Returns from Cardiovascular and Stroke Research, Cambridge, Royaume-Uni, RAND Europe. WR, 2004 GermAn council oF science And humAnities. Recommendations for Rankings in the System of Higher Education and Research; Part 1: Research, Hambourg, Allemagne, WR. WR, 2008a GermAn council oF science And humAnities. Research Performance of German Universities and Non-University Institutions in Chemistry, Cologne, Allemagne, WR. WR, 2008b GermAn council oF science And humAnities. Steering Group Report on the Pilot Study Research Rating in Chemistry and Sociology, Cologne, Allemagne, WR, 48 p.
128
appendice a tudes de cas internationales : sommaires des cas

Lappendice A renferme les sommaires des tudes de cas internationales faites par le comit dexperts sur le rendement scientifique et le financement de la recherche. Lappendice B renferme les versions compltes de ces tudes de cas et peut tre consulte sur le site www.sciencepourlepublic.ca. Lappendice C prsente lexamen qua fait le comit dexperts des indicateurs quantitatifs des tendances et de la qualit de la recherche et peut aussi tre consult sur le site www.sciencepourlepublic.ca.
Appendice A
129
australie
Statistiques cls
Dpenses brutes en R et D (DBRD), 2007 ($PPA*) : DBRD en pourcentage du PIB : Nombre total de chercheurs (quivalent temps plein, 2007) : Nombre de chercheurs par million dhabitants (2007) : Nombre de publications scientifiques (2008) : Source : UNESCO, Rapport sur la science, 2010 15,3 milliards de $ 2,06 % 87 140 4 224 28 313
s o m m a i r e du cas
LAustralie a une exprience considrable en matire dvaluation nationale de la recherche et dutilisation dindicateurs quantitatifs dans laffectation des fonds de recherche. linstar de nombreux pays, lAustralie possde un systme de financement de la recherche deux volets. Un soutien la recherche institutionnelle est fourni aux universits au moyen dune srie de subventions globales administres par le ministre de lIndustrie, de lInnovation, de la Science et de la Recherche (DIISR)1. Les formules dattribution de plusieurs de ces subventions ont des composantes lies au rendement et intgrent des indicateurs tels que le nombre dtudiants et de publications de recherche. Du financement est aussi accord des projets de recherche par le biais de subventions du Australian Research Council (ARC); les demandes de subventions sont values dans le cadre dun processus dexamen par les pairs. Lutilisation dindicateurs lis aux publications en Australie dans la rpartition du financement de la recherche institutionnelle (enveloppes globales) semble avoir suscit une augmentation marque de la production de publications de recherche dans les universits australiennes. Toutefois, cette hausse sest peut-tre faite au prix dune baisse de la qualit et de limpact de la recherche (tels que mesurs par les citations). En rponse aux proccupations selon lesquelles le systme australien de subventions globales axes sur le rendement favoriserait la quantit au dtriment de la qualit, le gouvernement a lanc un nouvel exercice national dvaluation de la recherche en 2004. Abandonn en 2007 aprs un changement de gouvernement, ce systme a t remplac par linitiative Excellence in Research in Australia (ERA). LERA sappuie
* 1
Les valeurs sont exprimes en $.-U. et rajustes la parit du pouvoir dachat. Le 15 dcembre 2011, le ministre de lIndustrie, de lInnovation, de la Science, de la Recherche et de lEnseignement suprieur a remplac le DIISR.
130
sur un examen par des experts clair par une srie dindicateurs quantitatifs. Il utilise la fois lanalyse fonde sur les citations et lexamen par les pairs, en fonction de la discipline value. Les valuations finales de lERA sont exprimes sur une chelle de notation normalise cinq niveaux. Le premier cycle dvaluation de lERA a eu lieu en 2010 et ses rsultats ont t publis au dbut de 2011. Bien quil soit encore trop tt pour tirer des leons probantes, les premires indications montrent que le milieu de la recherche en Australie a gnralement bien reu les valuations de lERA. Deux aspects de lexprience de lERA pourraient se rvler utiles pour les pays qui envisagent des initiatives semblables : i) la diffrenciation des indicateurs utiliss par les disciplines de recherche et ii) lutilisation dune solide base de donnes quantitatives pour clairer les valuations finales reposant sur le jugement dexperts.
Appendice A
131
chine
Statistiques cls
Dpenses brutes en R et D (DBRD), 2007 ($PPA*) : DBRD en pourcentage du PIB : Nombre total de chercheurs (quivalent temps plein, 2007) : Nombre de chercheurs par million dhabitants (2007) : Nombre de publications scientifiques (2008) : Part mondiale des exportations de produits de haute technologie (2007) : Source : UNESCO, Rapport sur la science, 2010 102.4 milliards de $ 1,44 % 1 423 380 1 071 104 968 18 %
La Chine est sans quivoque devenue lun des plus importants bailleurs de fonds et excutants de la recherche scientifique dans le monde2. Ce pays est actuellement lorigine denviron 10 % de linvestissement total en R et D dans le monde et de 10 % de la production annuelle de publications scientifiques et il vient au deuxime rang derrire les tats-Unis selon ces deux mesures. Les dpenses du gouvernement chinois en sciences ont progress un taux annuel de plus de 20 % ces dernires annes pour atteindre 29,6 milliards de $.-U. en 2011. Les investissements grande chelle de la Chine en R et D sont guids par le Medium to Long Term Plan for the Development of Science and Technology (MLP) (20062020) du gouvernement. Le MLP dfinit les priorits de la recherche et les grands projets de recherche qui seront financs. Il prcise galement plusieurs grands objectifs de politique, notamment hausser le ratio des dpenses de R et D au PIB 2,5 % en 2020, et faire de la Chine lun des cinq premiers pays au monde au chapitre des citations de demandes de brevets dans des travaux de recherche. Llaboration du MLP a constitu un gigantesque exercice de recherche, danalyse et de planification, auquel ont particip des milliers de scientifiques, dingnieurs, de chefs dentreprises et de dcideurs.
* 2
Les valeurs sont exprimes en $.-U. et rajustes la parit du pouvoir dachat. Le terme Chine , tel quemploy ici, dsigne la fois la Rpublique populaire de Chine (RPC) et le gouvernement central de la Rpublique populaire de Chine, selon le contexte.
132
Cependant, malgr lampleur actuelle de linvestissement en recherche, les fonctions dvaluation de la recherche semblent encore sous-dveloppes en Chine. Il ny a pas dvaluation nationale connue du rendement de la recherche au niveau des disciplines. Un examen rcent fait par lOrganisation de coopration et de dveloppement conomiques (OCDE) du systme dinnovation chinois a conclu que les mcanismes dvaluation des S et T sont mal intgrs de nombreuses activits de financement des S et T, et que la Chine gagnerait adopter des pratiques plus systmatiques, rigoureuses et transparentes en matire dvaluation de la recherche. Cela ne laisse donc quun corpus limit dexprience en valuation scientifique dont on pourrait tirer des leons. Deux aspects de lexprience de la Chine dans ltablissement des priorits de la recherche et lutilisation dindicateurs scientifiques mritent nanmoins dtre souligns. Premirement, le vaste processus employ pour tablir les priorits de recherche nationales dfinies dans le MLP pourrait tre un modle utile considrer pour dautres pays, mme sil est difficile reproduire en raison de son envergure. Deuximement, plusieurs universits et tablissements de recherche chinois offrent des incitatifs financiers aux chercheurs en fonction des publications quils produisent. Bien que ces politiques puissent avoir contribu laugmentation rapide du nombre darticles scientifiques au cours de la dernire dcennie, les donnes disponibles semblent indiquer quelles ont suscit des pratiques telles que la falsification de travaux de recherche, des marchs en ligne illicites offrant des services de plagiat et de rdaction de recherches fictives, de mme que de nombreux cas dinconduite parmi les chercheurs. Ces effets non intentionnels sur la collectivit des chercheurs, qui ont donn lieu des appels en faveur dune rforme des politiques dans le systme denseignement suprieur ces dernires annes, incitent la prudence dans lutilisation de rtributions financires fondes sur les indicateurs des rsultats de la recherche.
Appendice A
133
finlande
Statistiques cls
En Finlande, les indicateurs quantitatifs sont systmatiquement utiliss pour clairer les dcisions relatives laffectation de fonds la recherche institutionnelle, qui est administre par le ministre de lducation. Environ le tiers du financement de la recherche universitaire est li au rendement de la recherche tel quvalu par des indicateurs. Les trois quarts de ce montant sont attribus en fonction dindicateurs qui mesurent ltendue des activits dans les universits (par exemple, le nombre de diplmes de doctorat dcerns, le nombre dannes-personnes affectes lenseignement et la recherche), tandis quun quart est allou en fonction des indicateurs de qualit et defficacit (par exemple, le montant de financement externe obtenu, le nombre de publications scientifiques). Un examen international du systme dinnovation finlandais ralis en 2009 a dbouch sur plusieurs recommandations visant apporter des changements au systme de financement de la recherche institutionnelle, y compris des enveloppes rserves aux disciplines et un accent accru sur la qualit de la recherche, en se fondant sur des mesures quantitatives de la production et un examen international lger par des pairs. Un groupe de travail mis sur pied par le ministre de lducation examine prsentement la mesure dans laquelle ces recommandations seront mises en uvre. Le ministre doit prendre une dcision finale en 2012. LAcadmie finlandaise, la plus importante source de financement des projets de recherche pour les universits finlandaises, rpartit le financement selon un systme de concours. La qualit scientifique est le critre le plus important, et il ny a pas de partage prtabli entre les domaines de recherche. Aprs avoir recueilli un ensemble
Les valeurs sont exprimes en $.-U. et rajustes la parit du pouvoir dachat.
134
de propositions de haute qualit, les dcisions relatives laffectation des fonds sont indirectement claires par plusieurs facteurs, y compris deux types dvaluations au niveau des domaines (effectues par lAcadmie finlandaise). Premirement, intervalles de trois ans, le systme de recherche finlandais fait lobjet dune valuation globale (la dernire valuation a eu lieu en 2009), qui saccompagne dune valuation approfondie des domaines de recherche fonde la fois sur lopinion dexperts et une analyse bibliomtrique. Deuximement, des valuations nationales plus cibles des domaines sont ralises la lumire des priorits des conseils de recherche concerns; deux ou trois de ces valuations sont habituellement publies chaque anne. Des experts internationaux sont chargs de faire ces valuations, qui sont claires par les donnes recueillies, lauto-valuation des units de recherche vises (dont le rapport renferme des renseignements quantitatifs et qualitatifs) et des entrevues en personne avec les units de recherche.
Appendice A
135
allemagne
Statistiques cls
Dpenses brutes en R et D (DBRD), 2007 ($PPA*) : DBRD en pourcentage du PIB : Nombre total de chercheurs (quivalent temps plein, 2007) : Nombre de chercheurs par million dhabitants (2007) : Nombre de publications scientifiques (2008) : Part mondiale des exportations de produits de haute technologie (2007) : Source : UNESCO, Rapport sur la science, 2010 72,2 milliards de $ 2,54 % 290 853 3 532 76 368 9,1 %
LAllemagne est constitue en fdration et les 16 tats fdrs ont la responsabilit du financement institutionnel de base de la recherche universitaire, ce qui donne lieu une diversit de mcanismes de financement de la recherche. De nombreux tats intgrent une formule daffectation des fonds tenant compte du rendement (parfois li spcifiquement au sujet), qui fait gnralement appel des indicateurs mesurant le financement provenant de tiers et les doctorats dcerns. Le principal bailleur de fonds indpendant de la recherche fondamentale au niveau fdral est la Fondation allemande pour la recherche (DFG). Le programme ascendant de financement concurrentiel de la DFG le Programme des subventions individuelles se compare au Programme de subventions la dcouverte (PSD) du Conseil de recherches en sciences naturelles et en gnie, notamment pour ce qui est de la rpartition prliminaire du financement entre les domaines de recherche. La forme dominante dvaluation des domaines de recherche consiste en un classement par sujets spcifiques et des valuations visant comparer le rendement de la recherche effectue dans les tablissements denseignement suprieur. Le Centre pour le dveloppement de lenseignement suprieur (CHE), un groupe de rflexion indpendant, est responsable des classements qui reoivent le plus dattention. Les organismes financs par le gouvernement procdent aussi des classements, notamment la DFG, qui tablit un classement aux fins du financement, et le Conseil allemand des sciences et des sciences humaines (WR), qui a rcemment mis au point un classement
136
pour les travaux de recherche. Les cotes accordes par le WR sont tablies au terme dun examen par les pairs clair par des indicateurs quantitatifs et qualitatifs, tandis que les classements de la DFG et du CHE reposent uniquement sur des indicateurs quantitatifs. Bien que lon puisse tirer de nombreuses leons potentielles de ces activits, en particulier des travaux du WR, qui a tudi les meilleures pratiques dans ce domaine, ces valuations ne sont pas destines clairer directement les dcisions en matire de financement, et lon vite dlibrment de faire des comparaisons entre les domaines. Deux autres valuations spcifiques au niveau des domaines se droulent en Allemagne. Premirement, le WR effectue des analyses structurelles de certains domaines de recherche dans le milieu universitaire allemand, et il peut faire des recommandations aux organismes fdraux et dtat et aux universits sur lutilisation des fonds pour faire avancer ces domaines. Les indicateurs ne semblent pas jouer un rle majeur dans ce contexte. Deuximement, ltat de Basse-Saxe procde des valuations des domaines en recourant des examens par les pairs qui sappuient sur des donnes pertinentes, en partie pour guider llaboration des critres qui prsideront laffectation du financement li au rendement.
Appendice A
137
Pays-bas
Statistiques cls
Les Pays-Bas possdent deux processus nationaux dvaluation de la recherche dignes de mention. Premirement, le Netherlands Observatory of Science and Technology (NOWT), qui fait un examen semi-annuel du systme national de S et T laide dindicateurs quantitatifs existants des intrants et des extrants de la recherche. Bien que lobjectif vis soit de prsenter une vue densemble du systme national de recherche, ces rapports comprennent galement des valuations des rsultats de la recherche au niveau des domaines et des tablissements (fondes principalement sur la bibliomtrie). Deuximement, les Pays-Bas ont mis au point un systme unique dvaluation de la recherche dans les universits qui repose sur une combinaison dauto-valuation et dexamen par les pairs au sein de comits dvaluation externes. La forme que prend prsentement ce processus, dont llaboration se poursuit depuis les annes 1990, est le Netherlands Standard Evaluation Protocol (SEP) 2009-2015, publi par la Royal Netherlands Academy of Arts and Sciences (KNAW). Les valuations du NOWT et le processus du SEP ne sont pas directement lis des mcanismes de financement de la recherche particuliers, mais on peut raisonnablement supposer quils influent sur ltablissement des priorits et la gestion de la recherche aux niveaux national et institutionnel. Labsence relative de donnes sur les impacts de lapproche en matire dvaluation de la recherche aux Pays-Bas limite les conclusions que lon peut en tirer. Le processus du SEP est maintenant bien ancr et semble tre largement accept par le milieu de la recherche. Il a rcemment t renouvel pour six ans. Rien nindique que lon envisage, au sein du gouvernement, de sorienter vers un systme dvaluation de la
138
recherche misant davantage sur des mesures quantitatives, ou de crer des liens directs plus troits entre les rsultats de lvaluation de la recherche et les dcisions relatives laffectation des fonds. La combinaison dun examen national de haut niveau des indicateurs quantitatifs (les rapports du NOWT) et dvaluations priodiques de la recherche plus dtailles et fondes sur lauto-valuation et un examen externe confi des experts (le processus dvaluation du SEP) semble fournir aux chercheurs et aux dcideurs une solide base de connaissances pour faciliter la planification stratgique et ltablissement des priorits de recherche. Toutefois, cette hypothse sappuie principalement sur labsence de preuve de toute critique gnralise du systme actuel.
Appendice A
139
norvge
Statistiques cls
En Norvge, des indicateurs quantitatifs de la qualit et de la quantit de la recherche (par exemple, la production de publications pondre en fonction de la qualit, le nombre de titulaires de doctorats, le montant de financement externe obtenu) sont utiliss pour dterminer la tranche du financement de la recherche dans les tablissements denseignement suprieur qui est lie au rendement (10 %). Le financement de la recherche institutionnelle reprsente environ 70 % du financement total des tablissements denseignement suprieur en Norvge, tandis que le financement par voie de concours de projets de recherche compte pour seulement 18 %. Labsence de contrle qualitatif (p. ex. dans le cadre dun examen par les pairs ou dun examen par des experts) dans le processus dcisionnel entourant la partie du financement de la recherche institutionnelle lie au rendement a t une source de controverse et de dbat en Norvge. La plus grande partie du financement accord en rgime de concurrence par le Conseil de recherche de la Norvge (RCN) le principal organisme de financement public de la recherche scientifique suit une approche descendante et saligne souvent sur les stratgies et les priorits nationales. Une enveloppe relativement modeste est rserve des projets dirigs par lutilisateur dans le cadre du Programme de subventions indpendantes (FRIPRO). Le budget du FRIPRO est rparti entre sept grands domaines en tenant compte de la rpartition passe; toute augmentation du budget est ainsi rpartie au prorata du montant total de financement reu par chaque domaine.
140
Le RCN procde des valuations dtailles au niveau des disciplines qui clairent les dcisions de financement plusieurs niveaux, y compris au sein du gouvernement, au RCN, dans les universits et dans les dpartements universitaires. Ces valuations sont similaires celles menes par lAcadmie finlandaise : le RCN forme des comits internationaux dexperts dont lanalyse est claire par plusieurs sources de donnes qualitatives et quantitatives, y compris des auto-valuations dtailles faites par les groupes de recherche viss, des entrevues en personne et des analyses bibliomtriques commandes cette fin prcise. Lutilisation de la bibliomtrie en complment de lexamen par les pairs semble accepte et apprcie par toutes les parties prenantes ces valuations.
Appendice A
141
singapour
Statistiques cls
Souvent prsent comme un cas de russite en Asie , Singapour considre le financement de la S et T comme un pilier essentiel de son conomie. lindpendance, en 1965, Singapour tait un pays du Tiers-Monde o la scolarit ntait pas obligatoire. Au cours des 50 dernires annes, Singapour est rapidement pass dune conomie de main-duvre une conomie axe sur le savoir et est devenu un pays dvelopp, favorable aux affaires et orient vers lconomie mondiale. Entre 1990 et 2009, le PIB de Singapour a presque quadrupl (A*STAR, 2009). Malgr sa petite taille, le pays est un acteur de premier plan dans certains secteurs; ainsi, il dtient la plus grande part (8 %) de la R et D pharmaceutique dans le monde, ce qui est deux fois celle de la Chine, son plus proche concurrent (4 %). Bien que Singapour investisse massivement en S et T, les renseignements quil peut fournir sur lutilisation dindicateurs pour clairer laffectation des ressources budgtaires la recherche au niveau des domaines semblent limits. Dans le but de soutenir la concurrence sur le march mondial, Singapour a dfini des grappes dexcellence relativement troites en orientant le financement vers des initiatives de recherche descendantes et encadres qui sharmonisent avec les priorits nationales. Mme si le ministre de lducation (par lintermdiaire du Fonds pour la recherche acadmique) fournit un certain soutien la recherche fondamentale, il na pas trouv de faon satisfaisante de mesurer la qualit de la recherche dans lensemble
142
des disciplines, et il adopte donc une approche galitaire en cherchant assurer des taux de russite comparables dans toutes les grappes de disciplines. Des exercices prospectifs nationaux permettent de reprer les domaines mergents, mais il nexiste pas de systme comparable dvaluation nationale des domaines de recherche. Les indicateurs quantitatifs sont utiliss pour mesurer les progrs et dfinir des objectifs pour les S et T au niveau national et celui des organismes, ce qui peut ou non servir clairer les dcisions de financement futures. Ces examens comprennent une analyse au niveau des domaines, mais ils sont loin dtre exhaustifs.
Appendice A
143
core du sud
Statistiques cls
La Core du Sud (Rpublique de Core) tablit depuis longtemps des priorits pour ses investissements en S et T, et cela constitue une composante critique de sa stratgie nationale de dveloppement industriel et conomique. Dans les annes 1960, la Core du Sud tait lun des pays les plus pauvres de la plante. Aujourdhui, son conomie occupe le 15e rang mondial, et linvestissement national en R et D (par rapport au PIB) est le quatrime plus lev aprs la Sude, la Finlande et le Japon (OCDE, 2010). Aucune valuation systmatique nationale des domaines de recherche nclaire directement laffectation des fonds en Core du Sud. Cependant deux valuations des processus de recherche lies au financement public de la R et D mritent dtre mentionnes. Premirement, le gouvernement procde des examens rguliers du rendement global de ses programmes de R et D. Ceux-ci sont fonds sur un modle dexamen par des experts, dans le cadre duquel un comit indpendant attribue une cote chaque programme gouvernemental de R et D en fonction dun ensemble normalis de critres qualitatifs. Ces valuations des programmes entrent ensuite directement dans le processus daffectation par le gouvernement de crdits budgtaires aux programmes de R et D et aux ministres pour lanne venir. Deuximement, la Core du Sud a traditionnellement labor des feuilles de route technologiques trs dtailles et tabli les priorits en matire de dveloppement des technologies industrielles un niveau lev de spcificit. Ces priorits clairent la fois la politique
144
gnrale de S et T et les programmes de financement de la R et D, et peuvent aussi servir reprer les secteurs de la recherche fondamentale qui sont importants pour la ralisation de ces technologies. Il est difficile de tirer des leons concrtes de lexprience sud-corenne en matire dvaluation de la recherche et dtablissement des priorits au niveau des domaines de recherche. Le systme de financement public de la recherche est actuellement en transition. En 2009, plusieurs organismes de R et D ont uni leurs efforts pour crer la National Research Foundation of Korea (NRF). tant donn que la capacit de recherche fondamentale du pays a longtemps t perue comme sous-dveloppe par rapport sa capacit de recherche applique, le gouvernement prend des mesures pour renforcer la recherche fondamentale et fournir un soutien accru la recherche universitaire. Ces changements, qui sont en cours dapplication, viennent compliquer les leons que lon pourrait tirer de lexprience corenne, en particulier sur la question de lvaluation des investissements en recherche fondamentale. Les valuateurs corens semblent toutefois considrer que le modle des examens priodiques des programmes de R et D fond sur des groupes dexperts (comits) et lutilisation de feuilles de route de dveloppement technologique dtailles et de priorits sont des outils efficaces qui ont contribu au succs de la Core dans le dveloppement dune capacit nationale de R et D.
Appendice A
145
royaume-uni
Statistiques cls
Le Royaume-Uni possde lun des programmes nationaux dvaluation de la recherche les plus anciens et les plus abondamment tudis le Research Assessment Exercise (RAE). Le RAE est entrepris priodiquement dans le but dvaluer le rendement de la recherche au niveau des domaines et des tablissements dans les universits du Royaume-Uni. Lvaluation repose sur un modle dexamen par les pairs clair par des donnes, auquel sajoutent des comits dexamen indpendants chargs dvaluer les propositions soumises par des groupes de recherche affilis aux tablissements participants. Les valuations de la qualit faites par le RAE sont directement lies laffectation denviron 1 milliard de en financement lie la qualit pour la recherche institutionnelle provenant du Higher Education Funding Council of England (HEFCE). Dans lattribution du financement, la prfrence va aux tablissements et aux ministres qui font de la recherche de calibre mondial. Le RAE, entrepris pour la premire fois en 1986 et, plus rcemment, en 2008, sera remplac en 2014 par le Research Excellence Framework (REF), un exercice dvaluation similaire, mais modifi. En plus de la RAE, le Royaume-Uni procde des analyses approfondies de domaines de recherche spcifiques, en faisant appel des comits dexamen internationaux parrains par ses conseils de recherche. La plupart des tudes ont confirm que le RAE a largement russi atteindre ses objectifs, qui sont dencourager et de dvelopper la recherche de haut calibre et de renomme mondiale au Royaume-Uni. Les donnes bibliomtriques indiquent que
146
le RAE a rehauss la fois la productivit et limpact de la recherche (comme en tmoigne les citations) au Royaume-Uni. Bien que les revues de la mthodologie dvaluation aient entran des changements dans le processus au fil des ans, elles ont systmatiquement valid le fait que le modle utilise lexamen par les pairs clair par des donnes comme fondement de lvaluation de la recherche nationale. Cependant, le RAE a aussi eu des effets inattendus sur les chercheurs et les universits. Les universits rivalisent de plus en plus pour recruter des chercheurs de premier plan lavance des valuations, et lautonomie, le moral et la satisfaction au travail des chercheurs en ont souffert dans certains cas. Le RAE a galement influenc le choix des lieux de recherche et les profils de publication des auteurs, et il pourrait favoriser le financement de la recherche tablie au dtriment de la recherche plus risque. linstar du RAE, le REF sera fond sur un modle dexamen par les pairs clair par des donnes, mais il tiendra compte galement de limpact de la recherche au moyen dtudes de cas et il pourrait inclure dautres analyses bibliomtriques ( la discrtion des comits dexamen). Dautres renseignements utiles sur lvaluation de la recherche pourraient ressortir des tudes en cours commandes par le HEFCE en prparation du lancement du REF, en 2014.
Appendice A
147
tats-unis
Statistiques cls
Dpenses brutes en R et D (DBRD), 2007 ($PPA*) : DBRD en pourcentage du PIB : Nombre total de chercheurs (quivalent temps plein, 2007) : Nombre de chercheurs par million dhabitants (2007) : Nombre de publications scientifiques (2008) : Part mondiale des exportations de produits de haute technologie (2007) : Source : UNESCO, Rapport sur la science, 2010 398,1 milliards de $ 2,82 % 1 425 550 4 663 272 879 13,2 %
Les tats-Unis ne possdent pas de systme centralis dvaluation nationale du rendement de la recherche au niveau des domaines qui soit directement li aux dcisions relatives laffectation du financement la recherche. La majorit du financement fdral destin la recherche fondamentale en sciences naturelles et en gnie est fournie par les ministres et les organismes selon une formule de financement par projet en rponse des programmes de financement spcifiques. Ces programmes sont eux-mmes constitus dun amalgame dinvitations ouvertes permanentes prsenter des propositions spontanes et dappels de propositions. Les crdits budgtaires des ministres sont fixs annuellement par le Congrs et guids par le projet de budget du Prsident. Une fois les crdits budgtaires reus, les ministres disposent dune grande autonomie dans ltablissement des priorits du financement de la recherche dans lensemble des disciplines, mais ils sont guids par la stratgie dinnovation de ladministration Obama, qui privilgie plusieurs domaines de recherche fondamentale. Les demandes de subventions prsentes aux ministres fdraux sont le plus souvent values dans le cadre dun examen par les pairs ou dun examen du mrite, qui peut prendre en compte explicitement les impacts potentiels plus gnraux de la recherche. Bien que ladministration fdrale ait tent plusieurs reprises dlaborer des critres pour laffectation des fonds aux divers domaines de recherche, il y a peu dindications concrtes que ces efforts aient influ de manire significative sur la rpartition des fonds au sein des organismes, entre les programmes ou parmi les propositions. La
148
National Science Foundation (NSF) publie tous les deux ans dans sa collection bien connue, Science and Engineering Indicators, des renseignements sur tout un ventail de produits de la science par domaine (y compris les personnes hautement qualifies et les publications). la demande du Congrs et des organismes fdraux, les National Academies, de concert avec le National Research Council, ont aussi entrepris une srie dtudes de rfrence internationales portant sur les domaines de recherche aux tats-Unis, ainsi que des enqutes dcennales ciblant les chercheurs qui visent dfinir les priorits futures de la recherche par domaine. Les ministres et organismes fdraux sont eux-mmes soumis une valuation dans le cadre de la Government Performance and Results Act de 1993, et des lignes directrices ont t labores pour aider les ministres qui financent de la recherche assurer un suivi et rendre compte du rendement de leurs activits et de leurs programmes de financement. Enfin, le White House Office of Science and Technology Policy travaille activement llaboration de nouvelles approches en matire dvaluation scientifique. Le gouvernement appuie prsentement plusieurs initiatives (plus particulirement, le projet STAR METRICS) afin dlaborer des approches plus robustes pour lvaluation des rpercussions du financement de la recherche fdrale. De manire gnrale, le paradigme dominant dvaluation de linvestissement fdral en sciences aux tatsUnis demeure celui de lexamen par les pairs ou de lexamen par des experts clair par des donnes.
149
valuations du conseil des acadmies canadiennes

Les rapports dvaluation ci-dessous peuvent tre tlchargs depuis le site Web du CCA (www.sciencepourlepublic.ca) : Nouvelles technologies et valuation de la scurit chimique (2012) Des animaux en sant, un Canada en sant (2011) La taxonomie canadienne : explorer la biodiversit, crer des possibilits (2010) Honntet, responsabilit et confiance : Promouvoir lintgrit en recherche au Canada (2010) Meilleure recherche = Meilleur management (2009) La gestion durable des eaux souterraines au Canada (2009) Innovation et stratgies dentreprise : pourquoi le Canada nest pas la hauteur (2009) Vision pour lInitiative canadienne de recherche dans lArctique valuation des possibilits (2008) La production dnergie partir des hydrates de gaz potentiel et dfis pour le Canada (2008) Petit et diffrent : perspective scientifique sur les dfis rglementaires du monde nanomtrique (2008) La transmission du virus de la grippe et la contribution de lquipement de protection respiratoire individuelle valuation des donnes disponibles (2007) Ltat de la science et de la technologie au Canada (2006) Les valuations suivantes fait prsentement lobjet de dlibrations du comit dexperts : Les femmes dans la recherche universitaire Gestion durable de leau des terres agricoles du Canada Ltat de la science et de la technologie au Canada Ltat de la recherche-dveloppement industrielle au Canada Incidences socio-conomiques des investissements dans linnovation Locanographie au Canada Recherche sur la scurit alimentaire dans le Nord du Canada Crer un Canada plus vert : le potentiel que reclent les applications nouvelles et novatrices des technologies de linformation et des communications (TIC) Les prix nergtiques Incidences et adaptation : valuer ltat de prparation du Canada Les produits thrapeutiques pour les enfants Ltat de la culture scientifique au Canada
150
conseil des gouverneurs du conseil des acadmies canadiennes*

Elizabeth Parr-Johnston, C.M., prsidente Ancienne prsidente de lUniversit du Nouveau-Brunswick et de lUniversit Mount Saint Vincent, Chester Basin, N.-. Henry Friesen, C.C., MSRC, MACSS, vice-prsident Professeur mrite distingu, Membre du Centre pour les progrs de la mdecine, Facult de mdecine de lUniversit du Manitoba, Winnipeg, Man. John Cairns, MACSS Professeur de mdecine, Universit de la Colombie-Britannique, Vancouver, C.-B. Marie DIorio, MSRC Directrice gnrale par interim, Institut national de nanotechnologie, Edmonton, Alb. Richard Drouin, C.C. Avocat, McCarthy Ttrault, Qubec, Qc Claude Jean Premier vice-prsident et directeur gnral, DALSA Semiconducteur, Bromont, Qc John Leggat, MACG Expert-conseil associ, CFN Consultants, Ottawa, Ont. Tom Marrie, MACSS Doyen de la Facult de mdecine, Universit Dalhousie, Halifax, N.-. Jeremy McNeil, MSRC Dpartement de biologie, Universit Western Ontario, London, Ont. Axel Meisen, MACG Prsident de Foresight, Alberta Innovates Technology Futures, Edmonton, Alb.
Toutes les affiliations cites sont en date de juin 2012
151
comit consultatif scientifique du conseil des acadmies canadiennes*

Tom Brzustowski, O.C., MSRC, MACG, prsident Professeur, titulaire de la Chaire RBC Groupe financier en commercialisation de linnovation, cole de gestion Telfer, Universit dOttawa, Ottawa, Ont. Susan A. McDaniel, MSRC, vice-prsidente Professeure de sociologie, Titulaire de la Chaire de recherche Prentice en dmographie et conomie mondiales, Universit de Lethbridge, Lethbridge, Alb. Michel G. Bergeron, C.M., O.Q., MACSS Professeur et directeur du Dpartement de microbiologie et du Centre de recherche en infectiologie Universit Laval, Qubec, Qc Murray S. Campbell Cadre suprieur du programme de recherche en analytique des affaires, Centre de recherche T.J. Watson dIBM, Yorktown Heights, NY Margaret Conrad, O.C., MSRC Professeure mrite et professeure honoraire de recherche, Universit du NouveauBrunswick, Fredericton, N.-B. Marcel Ct Associ fondateur, SECOR inc. , Montral, Qc Jean Gray, C.M., FCAHS Professeur mrite de mdecine, Universit Dalhousie , Halifax, N.-. Judith Hall, O.C., FRSC, FCAHS Professeure de pdiatrie et de gntique mdicale, Universit de la ColombieBritannique, Vancouver, C.-B. John Hepburn, FRSC Vice-recteur la recherche et aux affaires internationales, Universit de la ColombieBritannique, Vancouver, C.-B.
Toutes les affiliations cites sont en date de juin 2012
152
Daniel Krewski Professeur dpidmiologie et de mdecine communautaire et directeur scientifique, Centre R. Samuel McLaughlin dvaluation du risque sur la sant des populations, Universit dOttawa, Ottawa, Ont. Norbert R. Morgenstern, C.M., FSRC, MACG Professeur mrite en gnie civil, Universit de lAlberta, Edmonton, Alb. John P. Smol, MSRC Codirecteur du laboratoire PEARL dvaluation et de recherches palo-cologiques en environnement Universit Queens, Kingston, Ont. Robert Watson Conseiller scientifique en chef au ministre de lEnvironnement, de lAlimentation et des Affaires rurales Londres, Royaume-Uni Joseph D. Wright, FCAE Ancien prsident-directeur gnral, Institut canadien de recherche sur les ptes et papiers, Gibsons, C.-B.

Éclairer Les Choix en Matière de Recherche: Indicateurs Et Décisions

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Éclairer Les Choix en Matière de Recherche: Indicateurs Et Décisions

Transféré par

Droits d'auteur :

Formats disponibles

clairer les choix en matire i ndicateurs et dcisions

Le comit dexperts sur le rendement scientifique et le financement de la recherche

Le savoir au service du public

clairer les choix en matire de recherche : Indicateurs et dcisions

Cette valuation a t rendue possible grce lappui du gouvernement du Canada.

le conseil des acadmies canadiennes

clairer les choix en matire de recherche : Indicateurs et dcisions

comit dexperts sur le rendement scientifique et le financement de la recherche

clairer les choix en matire de recherche : Indicateurs et dcisions

clairer les choix en matire de recherche : Indicateurs et dcisions

Personnel responsable du projet au conseil des acadmies canadiennes

clairer les choix en matire de recherche : Indicateurs et dcisions

Elizabeth Dowdeswell, prsidente-directrice gnrale Conseil des acadmies canadiennes

clairer les choix en matire de recherche : Indicateurs et dcisions

clairer les choix en matire de recherche : Indicateurs et dcisions

li g n e s d i r e ct r i ce s e t P r i nci P e s en matir e d va luat i on s ci e nt i f i qu e

clairer les choix en matire de recherche : Indicateurs et dcisions

Sommaire des lignes directrices mthodologiques

clairer les choix en matire de recherche : Indicateurs et dcisions

Table des matires

table des matires

clairer les choix en matire de recherche : Indicateurs et dcisions

6 6.1 6.2 6.3 6.4

Chapitre 1 Introduction et mandat du comit dexperts

clairer les choix en matire de recherche : Indicateurs et dcisions

introduction et mandat du comit dexperts

Chapitre 1 Introduction et mandat du comit dexperts

clairer les choix en matire de recherche : Indicateurs et dcisions

Chapitre 1 Introduction et mandat du comit dexperts

clairer les choix en matire de recherche : Indicateurs et dcisions

Figure 1.1 Niveaux de lvaluation scientifique

Chapitre 1 Introduction et mandat du comit dexperts

clairer les choix en matire de recherche : Indicateurs et dcisions

Collges et coles polytechniques

p ue in lic a ti q d u tio oli u es str n s a u x p iq l ielle s et p u b

Laboratoires grs par lindustrie et laboratoires publics au service dune mission

Figure 1.2 Chevauchement de la recherche dans les tablissements de recherche du Canada

Chapitre 1 Introduction et mandat du comit dexperts

clairer les choix en matire de recherche : Indicateurs et dcisions

Chapitre 1 Introduction et mandat du comit dexperts

clairer les choix en matire de recherche : Indicateurs et dcisions

Chapitre 2 Financement et valuation de la science : le contexte canadien et lexprience internationale

clairer les choix en matire de recherche : Indicateurs et dcisions

financement et valuation de la science : le contexte canadien et lexprience internationale

Chapitre 2 Financement et valuation de la science : le contexte canadien et lexprience internationale

clairer les choix en matire de recherche : Indicateurs et dcisions

Chapitre 2 Financement et valuation de la science : le contexte canadien et lexprience internationale

clairer les choix en matire de recherche : Indicateurs et dcisions

Chapitre 2 Financement et valuation de la science : le contexte canadien et lexprience internationale

CADRE STRATGIQUE FDRAL POUR LES SCIENCES ET LA TECHNOLOGIE AU CANADA

Reproduit selon Industrie canada, 2007

Figure 2.1 Cadre fdral des S et T au Canada

clairer les choix en matire de recherche : Indicateurs et dcisions

Le CRSNG et le Programme de subventions la dcouverte

Personnes 28 % Dcouverte 37 % Innovation 30 %

Total : 1,080 milliard de $

Figure 2.2 Rpartition du budget du CRSNG par rsultat stratgique, 20102011

Chapitre 2 Financement et valuation de la science : le contexte canadien et lexprience internationale

clairer les choix en matire de recherche : Indicateurs et dcisions

Chapitre 2 Financement et valuation de la science : le contexte canadien et lexprience internationale

clairer les choix en matire de recherche : Indicateurs et dcisions

Chapitre 2 Financement et valuation de la science : le contexte canadien et lexprience internationale

Le financement de la recherche institutionnelle