Sur lusage rcent des indicateurs bibliomtriques comme outil...

http://bms.revues.org/index3353.html

Bulletin of sociological methodology

100 | 2008 :
October
Ongoing Research/Recherche en cours

Sur lusage rcent des

indicateurs bibliomtriques
comme outil dvaluation de la
recherche scientifique
LAURENCE COUTROT
p. 45-50

Texte intgral
1

1 de 5

Pour le meilleur et pour le pire, les grandes manuvres sont lances dans la
recherche franaise sur le front de la bibliomtrie : celle-ci cesse dsormais dtre
un outil rserv aux documentalistes et spcialistes de linformation. Les princes
qui nous gouvernent sen sont empar des fins dvaluation des disciplines, des
laboratoires, des individus. Les personnels de recherche doivent pouvoir sinformer,
rflchir et critiquer, et, ventuellement inventer des usages de la bibliomtrie qui
en limiterait les possibles effets pervers.
Laffaire nest pas neuve : il y a vingt ans dj, la Direction du CNRS, les activits
de construction dindicateurs scientifiques taient la mode. En 2004, une tentative
de classement des revues par le Dpartement SHS du CNRS avait provoqu
quelques ractions1 . Mais cette fois, laffaire est srieuse : dans le document de
caractrisation des UMR pour la vague D de contractualisation du quadriennal,
le facteur h figure en bonne place, aux cts de limpact moyen de la discipline,
etc. On est pass du classement des revues celui des individus, ce qui est toute
autre chose.
Cette courte note na videmment pas pour fonction de balayer lensemble du
problme de la bibliomtrie. Je vais seulement tenter dapporter quelques
informations essentielles concernant les principes et les outils de la bibliomtrie et
de pointer quelques problmes lis son application des fins dvaluation de la
recherche.
A linitiative de Go!doc , rseau de documentalistes CNRS de la rgion

06/01/2013 13:26

Sur lusage rcent des indicateurs bibliomtriques comme outil...

10

2 de 5

http://bms.revues.org/index3353.html

parisienne (http://www.godoc.u-psud.fr/), et avec le concours du service de

formation permanente du CNRS, une runion dinformation sur les indicateurs
bibliomtriques a eu lieu le mardi 23 septembre 2008. Lamphithtre tait plein :
le sujet attire les foules, ITA et CNRS de toutes disciplines. La sance tait prside
par Rmi Barr, professeur au CNAM, ancien prsident de lOST (Observatoire des
sciences et des techniques) et actif la DGRI au Ministre de la recherche. On
pouvait craindre que cette sance ft uniquement un lieu de diffusion de la vulgate
technocratique sur le sujet, cela ne sest pas vrifi : il y eut des exposs critiques et
un vrai dbat, dautres suivront sans aucun doute.
La sance dbute par une prsentation de lun des outils disponibles pour
analyser les priodiques scientifiques, le Web of Science : Emergence et
construction des outils bibliomtriques dans le Web of Science, rpertoire des outils
et leur justification . Lexpos est fait par Guillaume Rivalle et Nicolas Espeche,
tous deux salaris de Thomson Reuters, compagnie qui a repris lInstitute for
Scientific Information (ISI), cr dans les annes 1950 par E. Garfield. Le Web of
Science (WoS) et le Web of Knowledge, entre autres, cest eux. Le logiciel
documentaire trs rpandu, Endnote , cest galement eux. Lentreprise est base
New York et Philadelphie, cest trs amricain et cest Big Money . Ils recensent
lheure actuelle environ 10.000 revues scientifiques (dont 1.865 pour le Social
Science Citation Index) dans 42 langues diffrentes. Ils emploient plus de 50.000
salaris dans le monde entier. Ces deux prsentateurs sont des commerciaux
excellents : ils vantent les mrites de leur outil. Le site de Thomson Reuters vaut la
visite2.
Pour faire vite, on part du principe que la publication est une trace essentielle de
lactivit scientifique et que la notorit , le fait dtre cit, est un indicateur de
linfluence dun auteur. Qui cite qui, qui est cit par qui et combien de fois On
calcule ainsi un facteur dimpact dun auteur ou dun groupe dauteurs, dun
laboratoire, dune institution, etc.
Les revues recenses sont en principe slectionnes en fonction de critres de
srieux .
Chaque article recens fait lobjet dune indexation (par mots-cl), les noms des
auteurs sont rpertoris par leur institution de rattachement. L, les problmes
commencent : linstitution est celle mentionne par la revue et cette information est
trs lacunaire, en France et en SHS en particulier. Do la volont de nautoriser que
deux institutions de rattachement par chercheur affiche dans le projet
Normadresse .
Les principaux outils (accessibles via le portail de lINIST pour les agents CNRS)
sont les suivants : Search History, Analyse Research, Journal Citation report (JCR),
Cited reference search. En outre, le RSG (Research Service Group) offre des
traitements personnaliss, payants. Le JCR fournit un certain nombre dinformation
sur les revues regroupes en catgories : nom du priodique, nombre darticles
publis pour une anne donne, nombre de fois o un article a t cit (par anne
ou cumul), liste des priodiques qui ont cit un article de ce priodique pour une
anne de rfrence (Cited search). On peut ainsi retrouver des articles cits dans des
revues non incorpores dans la base de donnes du WoS. Malheureusement, les
bugs sont nombreux : on trouve ainsi dans la liste des revues qui citent ARSS (Actes
de la recherche en sciences sociales Oeuvres compltes , et Condition Lit
Double , sic).
Toutes ces informations permettent de dterminer le facteur dimpact du
priodique ( Journal Impact Factor ), calcul partir du quotient : nombre de fois
o, en 2007, les articles du priodique X publis en 2005 et 2006 sont cits dans un
ensemble de priodiques de la catgorie, rapport au nombre darticles publis en
2005 et 2006 dans le priodique X. Ainsi, les 77 articles de lAmerican Journal of
Sociology publis en 2005 et 2006 sont rputs avoir t cits 257 fois en 2007, ce

06/01/2013 13:26

Sur lusage rcent des indicateurs bibliomtriques comme outil...

11

12

13

14

15

16

17

18

19

3 de 5

http://bms.revues.org/index3353.html

qui donne un facteur dimpact de 257/77= 3,338.

On peut aussi regarder les choses sous un autre angle (Citing) et regarder dans
quelles revues sont publis les articles cits dans les articles dun priodique donn
pour une anne de rfrence.
Un premier coup dil cette base montre quelle analyse 96 revues sous la
rubrique sociologie , 57 sous Sciences sociales et interdisciplinaires et que,
pour tre prcis, il faudrait aussi considrer dautres catgories, notamment
lanthropologie (ainsi la Revue franaise de sociologie est rpertorie dans la
premire catgorie, mais Actes de la Recherche en sciences sociales dans la seconde).
Limmense majorit de ces revues sont amricaines, il y a quelques grandes revues
franaises et allemandes, mais peu ditaliennes ou despagnoles. En gros, tout ce qui
nest pas anglophone est largement sous-reprsent et souffre de bugs vidents (les
umlaut et autres accents aigus, c cdille, etc. sont royalement ignors).
Un second expos portait sur Indicateurs de positionnement institutionnel
pour laide la dcision : comment les indicateurs bibliomtriques sont lheure
actuelle utiliss pour guider la politique scientifique (G. Filiatreau, Directrice de
lObservatoire des sciences et des techniques, OST). Il a galement t question du
projet Normadresse , do il ressort que la politique de normalisation des
adresses est en fait un levier pour pouvoir appliquer la bibliomtrie des fins de
pilotage de la recherche. Chercheurs et publiants , lordre dans lequel vous
mentionnez vos institutions de rattachement est tout sauf trivial. Par exemple,
modifier lordre dune publication lautre, cest sexposer ne pas tre recens
dans la base bibliomtrique.
Les deux premiers exposs de laprs-midi ont t faits par des chercheurs : Yves
Langevin, Prsident de la section 17 du Comit national (Sciences de la Terre et
Univers lointains) a expos comment en commission 17 les indicateurs
bibliomtriques ont t utiliss, aux cts dautres critres, pour le concours DR2.
Deux points importants : Y. Langevin montre comment la commission a construit
une batterie dindicateurs extrmement complexes (et non pas un simple facteur
h brandi comme une hache) : pas moins de 14 indicateurs bibliomtriques ont t
utiliss. Si cette batterie dindicateurs permet, en gros, de confirmer si les candidats
se trouvent ou non dans la premire moiti du classement final, en revanche la
corrlation avec les positions dans les premiers rangs nest pas bonne. Dautres
indicateurs (jugements par les pairs, positions de responsabilit dans le milieu
scientifique, etc.) sont de poids quand il sagit de dterminer les positions dans les
premiers rangs.
Un dtail amusant : en section 17, toutes les revues scientifiques sont considres
comme tant de rang A. Y. Langevin souligne que lutilisation de la bibliomtrie
pour lvaluation pnalise les chercheurs qui ont une mobilit thmatique (puisquil
faut plusieurs annes pour se refaire une rputation lintrieur dun groupe
thmatique donn).
Enfin, ce systme entrane une srie deffets pervers dont luniformisation des
pratiques scientifiques, la multiplication des publications avec trononnement des
rsultats, etc. Comme Y. Langevin est optimiste, il prdit qu terme ce systme
dvaluation par la bibliomtrie sautodtruira par uniformisation des pratiques.
Luc Segoufin, chercheur et membre de la commission dvaluation de lINRIA a
montr sur un exemple prcis, comment si lon prend des bases diffrentes (Google
scholar, Web of Science, Scopus, Citeseer, DBLP), on obtient des mesures dimpact
diffrentes pour un mme chercheur. Cest irrfutable : tout index a un biais, le
mode de calcul des index est dterminant, ce nest pas pertinent pour les
valuations interdomaines. Enfin, le cot des outils payants est lourd (il semblerait
quon ait du mal savoir le montant exact des contrats passs entre le CNRS et ses
partenaires universitaires avec Thomson Reuters...).
L. Segoufin a repris dans son expos les grandes lignes du rapport labor par la

06/01/2013 13:26

Sur lusage rcent des indicateurs bibliomtriques comme outil...

20

21

22

23

24

25

26

http://bms.revues.org/index3353.html

commission dvaluation de lINRIA sur le sujet. Voir http://www.inria.fr/inria/

organigramme/ce.fr.html puis cliquer sur indicateurs bibliomtriques .
On peut y lire en conclusion : Si les indicateurs peuvent donner des tendances
sur un nombre rduit daspects de la vie scientifique, il convient dtre trs
circonspect dans leur usage en raison de la possibilit dinterprtations errones,
des erreurs de mesure (souvent considrables) et des biais dont ils sont affects. Un
usage abusif des indicateurs est facilit par la nature chiffre du rsultat qui
introduit la possibilit dtablir dans lurgence toutes sortes de statistiques, sans se
proccuper den analyser la qualit et le contenu, et en occultant lexamen dautres
lments de la vie scientifique comme, par exemple, linnovation et le transfert
intellectuel et industriel.
Suivent un certain nombre de recommandations qui invitent la plus grande
prudence dans le maniement dinformations dont le caractre lacunaire et entach
derreurs est constamment soulign. Dans son expos L. Segoufin conclut en
montrant que ces indicateurs bibliomtriques peuvent ventuellement servir
dgager le haut de la pyramide , mais que le jugement par les pairs reste loutil le
plus sr et, paradoxalement, le moins subjectif...
Cette runion a t utile, un certain nombre dobjections ont pu tre exprimes
librement, refltant souvent linquitude par rapport cette question : la notorit
peut-elle tre prise pour un bon indicateur de la qualit scientifique ?
Un dernier point : il faut se garder de croire que les rticences lgard de la
bibliomtrie comme outil dvaluation concernent les seules Sciences de lHomme
et de la Socit. Cette runion le montrait clairement, rejoignant ainsi les rflexions
que lon trouve dans cet excellent rapport produit par un groupe de mathmaticiens
amricains3. Vous trouverez l un rappel des principales notions de bibliomtrie, y
compris le mode de calcul du facteur h 4 . Une lecture complmentaire nous est
fournie par un chercheur canadien, Yves Gingras5. On y trouve un expos clair des
principes de calcul des indicateurs, du facteur h et du classement de Shanga.
Les grandes manuvres actuelles autour de la bibliomtrie me rappellent
trangement les querelles passes autour de la mesure de lintelligence par le
Quotient intellectuel : mesurer rassure, mais lon ne mesure pas ce que lon
croyait ou voulait mesurer.
En tout tat de cause, il faut se garder doublier que les articles cits sont le
rsultat de filtrages successifs : ils ne sont que le dernier niveau, troit, dune fuse
plusieurs tages : les chercheurs produisent dabord des communications ou des
rapports, puis rdigent des articles, quils soumettent des revues ; une fraction
variable de ces manuscrits arrive publication, un sur dix ou un sur vingt, parfois
moins. Enfin, un article publi peut, par une srie de processus sociaux que lon
connat fort mal6, parvenir tre cit. La citation est une mesure raisonnable de la
visibilit dun rsultat scientifique. Quand bien mme lon voudrait dpartager les
chercheurs qui travaillent de ceux qui ne travaillent pas ( supposer que cette
expression ait un sens), le critre de citation est une mesure bien rustique. Sous des
parures dobjectivit, cet indicateur rintroduit en fait ce quil prtendait liminer ;
cest--dire, le jugement par les pairs.
Il est urgent pour la communaut scientifique en SHS de sinformer et dlaborer
une rflexion collective sur le sujet : que nous le voulions ou non, pour de bonnes
ou de mauvaises raisons, ces outils bibliomtriques sont dj utiliss. Certains de
ces usages peuvent tre relativement raisonnables, mais ils ne sont ni neutres ni
sans effet de retours sur les pratiques de recherche. Dautres usages de ces
indicateurs sont illgitimes. Il reste obtenir que des outils qui ont quelque intrt
ne soient pas utiliss en dpit du sens commun.

Notes

4 de 5

06/01/2013 13:26

Sur lusage rcent des indicateurs bibliomtriques comme outil...

5 de 5

http://bms.revues.org/index3353.html

1 Pour une Realpolitik de la recherche au sujet de lenqute du CNRS sur les priodiques
aids par le dpartement des sciences sociales et de la socit, Actes de la recherche en sciences
sociales, 2004/5, n. 155, pp.101-104.
2 http://scientific.thomsonreuters.com/products/wos/
3 Texte intgral : http://www.mathunion.org/fileadmin/IMU/Report/Citation Statistics.pdf
Rsum disponible sur http://www.sauvons larecherche.fr/ spip.php?article2004
4 Voir Hirsch J.E. (2005), An Index to quantify an individuals scientific output, Proceedings
of the National Academy of Sciences, vol. 102, n. 46, pp. 16569-16572.
5 Gingras Y., (2008) La fivre de lvaluation de la recherche. Du mauvais usage de faux
indicateurs. CIRST, UQAM. http://www.cirst.uqpam.ca Voir ci-dessous l Introduction de
ce mme rapport.
6 Il y a vingt ans, Suzanne Cozzens la NSF Washington stait dj penche sur le
problme : Cozzens S. (1989), What do citations count? Scientometrics, vol. 15, n. 5-6, pp.
437-447.

Pour citer cet article

Rfrence lectronique

Laurence Coutrot , Sur lusage rcent des indicateurs bibliomtriques comme outil
dvaluation de la recherche scientifique , Bulletin de mthodologie sociologique,
100 | 2008, [En ligne], Mis en ligne le 01 octobre 2008. URL : http://bms.revues.org
/index3353.html. Consult le 05 janvier 2013.

Auteur

Laurence Coutrot
CMH-CNRS-ENS-EHESS, laurence.coutrot@ens.fr

Droits d'auteur
BMS

06/01/2013 13:26