Vous êtes sur la page 1sur 8

Éditorial

Comment je critique un article scientifique original

G.H. Jr Hoppin

En 2002, l’American Journal of Respiratory and Critical Care Medicine publiait un article consacré aux réflexions d’un expert dans le domaine sur la lecture critique des articles originaux soumis aux revues biomédicales à comité de lecture. Il s’agit d’un sujet d’actualité, le processus d’évaluation « par les pairs » connaissant actuellement tensions et remous, après plusieurs décennies d’immobilité relative. Cet article (Hoppin GH Jr : How I review an original scientific article? Am J Respir Crit Care Med 166 : 1019-23) a semblé intéressant à plus d’un titre au Comité de Rédaction de la Revue des Maladies Respiratoires, qui a obtenu de l’American Thoracic Society, de l’American Journal of Respiratory and Critical Care Medicine par l’aimable entremise de Martin J. Tobin, et de l’auteur lui-même l’autorisation de publier une traduction. Un objectif de cette publication est de susciter des réflexions des lecteurs, auteurs, et experts de la Revue, pour laquelle un processus d’évaluation de qualité est un gage fondamental de crédibilité. Merci aux parties prenantes d’avoir permis cette opération.

Département de Médecine, Memorial Hospital of Rhone Island and Brown University, Pawtucket, Rhode Island, USA.

Tirés à part : Secrétariat de la Revue des Maladies Respiratoires, 66, boulevard Saint-Michel, 75006 Paris, France.

Version originale publiée sous la référence : Hoppin GH Jr : How I review an original scientific article? Am J Respir Crit Care Med 166 :

1019-23.

Traduction française Dr Brigitte Fauroux

Rev Mal Respir 2003 ; 20 : 671-8

Pourquoi écrire ceci ?

La qualité de l’évaluation « par les pairs » des travaux scientifiques publiés dans les publications biomédicales (dites « à comité de lecture ») a suscité récemment un intérêt impor- tant avec plusieurs congrès internationaux [1] et un numéro récent du JAMA [2] entièrement consacrés à ce sujet. La qua- lité de l’évaluation critique 1 des travaux soumis pour publica- tion est très variable [1, 3-5]. Black et coll. ont suggéré que cette qualité peut être améliorée si les journaux mettent en place une formation des lecteurs auxquels ils ont recours [6]. Comment apprend-on ce métier ? Certains l’apprennent sur le tas, en effectuant des critiques demandées par des journaux, en étudiant attentivement les commentaires émis à propos de leurs propres travaux, ou en comparant leurs propres critiques à celles des autres experts sollicités pour un manuscrit donné. Lorsque le processus éditorial d’un article est terminée, le comité de rédaction de la revue transmet en général la totalité de la correspondance aux experts. Personnellement, je l’ana- lyse toujours, car elle révèle souvent des angles nouveaux et me donne un retour utile sur mon analyse personnelle. Certains, qui doivent se considérer chanceux, ont commencé leur « métier » de « lecteurs » par esquisser des critiques pour le compte de leurs patrons (dans les règles strictes de confidenti- alité) ce qui leur a permis de profiter d’un tutorat fructueux quant à la qualité scientifique, la présentation et la critique en soi. La revue générale claire et savante de Lock contient des recommandations très utiles [4] et il y a d’autres publications

1 Note du traducteur : « reviewing » dans le texte original.

© 2003 SPLF, tous droits réservés

671

G.H. Jr Hoppin

pertinentes sur le sujet [3, 5-10]. Mais, à ma connaissance, aucun article sur « comment évaluer un article » n’a été publié. J’espère qu’une partie des leçons que j’ai apprises durant de nombreuses années à la fois en tant que critique et en tant que Rédacteur Adjoint, et que les règles que j’applique pourront aider le novice dans cette tâche aussi délicate que fondamen- tale, et apporter plus d’assurance, ou un ou deux « tuyaux », au lecteur expérimenté.

Qu’est ce qui est nécessaire à une bonne critique d’article ?

La motivation

Dans mon expérience, les bons « lecteurs » ont un sens déterminé de leur responsabilité envers leurs collègues et la forte conviction que les publications scientifiques, avec l’exi- gence d’une relecture de bon niveau, sont un élément critique pour le progrès scientifique [6, 8]. Les meilleurs parmi les critiques apprécient également les opportunités d’enseigne- ment et trouvent l’analyse d’un article scientifique aussi infor- matif et enthousiasmant que la participation à un stimulant séminaire de recherche. Par ailleurs, la qualité de leurs critiques est dotée d’une « contagiosité » importante.

La crédibilité scientifique

Le défi principal auquel est confronté l’expert est de voir ce que les auteurs eux-mêmes n’ont pas vu. Ceci est une tâche décourageante. Elle requiert une excellence scientifique sur deux plans qui sont :

– une excellente connaissance de la littérature, ce qui signifie non seulement être à jour, mais, et ceci est plus souvent un problème dans mon cas, connaître les articles plus anciens ; – la maîtrise du sujet, c’est à la capacité d’appliquer et de corréler des principes et des résultats scientifiques aux nouvel- les découvertes. Des compétences différentes peuvent être pertinentes pour un article donné. Un article qui m’est adressé peut conte- nir par exemple des éléments scientifiques cliniques ou appli- qués, de la physiologie pulmonaire générale, de la mécanique pulmonaire ou de la cage thoracique, des modèles mathémati- ques, ou de la stéréologie. Bien que mon degré de compétence soit inégal dans ces différents domaines, et qu’un article requière souvent une expertise conséquente dans des domaines que je ne peux pas couvrir dans leur totalité, il est du rôle du Rédacteur Adjoint de sélectionner leurs experts de telle façon à ce que les domaines principaux abordés par l’article qu’il leur propose fassent partie de leur domaine de compétence.

Une attitude constructive

Beaucoup de critiques d’article ne sont pas très utiles. Pourquoi ? Une bonne critique nécessite un temps et un inves-

672 Rev Mal Respir 2003 ; 20 : 671-8

tissement intellectuel conséquents. Or, cet investissement n’est guère reconnu ni valorisé par l’institution académique et les collègues [11]. En effet, la satisfaction de l’auteur est davan- tage associée à l’acceptation de son travail par la revue qu’à la qualité du travail d’évaluation effectué, ce du moins pour les soumissions à des journaux médicaux généraux [12]. Des auteurs insatisfaits peuvent considérer les experts comme pointilleux, pressés, arbitraires, dogmatiques, de parti-pris, superficiels, faux, arrogants, injustes, jaloux ou malhonnêtes. De tels sentiments sont prévisibles, au regard de l’importance des enjeux pour les auteurs, et du très grand pouvoir des experts, qui leur est en grande partie conféré par leur anony- mat. Occasionnellement, ces accusations sont, à un certain niveau, justifiées. Toutefois, une critique perspicace et argumentée peut améliorer de manière substantielle la qualité scientifique et la clarté d’un travail soumis [8] et peut améliorer les connaissan- ces des auteurs et leur capacité à conduire et présenter un travail scientifique. Le lecteur peut ainsi être aussi utile qu’un collaborateur de recherche ou qu’un professeur invité. Mon approche personnelle des travaux qui me sont sou- mis est résolument respectueuse. Ceci ne signifie en aucun cas faire des concessions, omettre de demander une justification, une explication, et des éclaircissements, ou éviter une recom- mandation claire. Ceci signifie (même tard le soir, après une journée chargée, avec un article marginal) lire patiemment, en toute objectivité, et ouvert à de nouvelles idées et approches, et faire un rapport totalement clair sans clore le débat de manière hâtive. Cela signifie aussi être attentif à ne pas laisser libre cours à mes instincts de compétition.

Le temps

Je passe souvent à côté d’éléments importants lors de ma première lecture et je dois souvent « ruminer » avant d’avoir une perspective complète et articulée d’un problème. Le temps nécessaire est très variable. Des techniques, méthodes ou ana- lyses nouvelles ou complexes requièrent plus de temps que celles plus standardisées. Des présentations maladroites obs- curcissent et désavantagent un nombre conséquent de travaux autrement méritoires sur le plan scientifique [13], rendant difficile pour le critique de comprendre ce qui a été fait, ce qui a été conclu, comment leur auteurs sont parvenus à leurs conclusions et ce qui fait défaut. Il a été affirmé que la qualité d’une critique d’article augmente avec le temps consacré jus- qu’à, mais pas au delà, de 3 heures [6]. Pour beaucoup de textes qui atterrissent sur mon bureau, 3 heures ne suffisent pas pour une lecture attentive et constructive. Cette expérience est par- tagée par nombre de mes collègues, comme cela ressort de façon évidente du niveau de soin et d’attention que je constate dans les commentaires réalisés par mes collègues et que j’ai l’occasion de lire. Un article complexe et potentiellement important peut nécessiter une journée complète de travail [9].

Etonnamment, les critiques faites par des seniors tendent à être moins bonnes que celles effectuées par les jeunes colla- borateurs [7]. Ceci peut être du au fait que les séniors consa- crent moins de temps à ce type de tâche [7] ! Une autre expli- cation est que les seniors ont plus facilement tendance à rejeter un article lorsqu’ils estiment que le travail comporte claire- ment de sérieux et irréparables manquements scientifiques et qu’il pensent qu’il est inutile de détailler toutes ces lacunes. Toutefois, les experts qui évaluent des articles doivent se sou- venir de la maxime « le temps est l’essence » qui signifie « pre- nez votre temps, ne vous pressez pas », et qui s’applique même si vous êtes senior. Un élément critique du principe même de l’évaluation par les pairs qui prévaut à la publication scientifique de nos jours (et qui en garantit la crédibilité) est exposé par la question suivante : « comment un universitaire – et en particulier s’il a charge clinique – peut-il trouver le temps d’effectuer des exper- tises de qualité ? ». Bien que cette activité présente certaine- ment beaucoup d’intérêts importants et intangibles (élargir sa connaissance scientifique, apprécier l’échange et le débat scien- tifique, assumer son sens des responsabilités) les bénéfices tan- gibles sont limités à la possibilité que l’acquisition du respect et de la considération des Rédacteurs puisse conduire à des invi- tations pour participer à des sociétés nationales, un comité de rédaction, ou à un groupe de travail. Par ailleurs, l’activité de lecture critique entre en compétition avec d’autres activités qui ont des retombées plus directes et immédiates comme l’ensei- gnement, la demande de subventions, la recherche et la prise en charge des patients. Une reconnaissance plus directe par l’université de cette activité serait très utile [11].

Comment je procède

L’acceptation

J’accepte l’invitation à analyser un article si le sujet m’intéresse, s’il entre dans mon domaine de compétence scien- tifique et si j’ai, au moment où on me le propose, une disponi- bilité suffisante. Je contacte le Rédacteur Adjoint au préalable s’il s’avère que j’ai déjà vu l’article avant sa soumission ou si je l’ai évalué pour un autre journal. Avant de commencer ma lecture, je demande toujours un article « sous presse » ou « compagnon » en cours de travail éditorial par des collègues au sein du même comité de rédaction ou d’un autre.

La première lecture

Je passe du temps sur le résumé pour me préparer à la lecture, c’est à dire pour décider ce qui est important dans le protocole expérimental, les méthodes, les résultats et les bases de la conclusion, et particulièrement pour noter ce que les auteurs pensent qu’il est important dans leur travail. Je prends également un moment, avant d’être séduit par le papier et distrait par les détails, pour poser quelques questions générales,

Comment je critique un article scientifique original

comme par exemple : « Est-ce que c’est un papier méthodolo- gique ? » ou « Qu’apporte ce travail de nouveau par rapport à leurs travaux plus anciens ? ». Je fais la liste de ces questions

préliminaires sur la première page et habituellement, je rajoute, je retire ou révise cette liste au fur et à mesure que je parcours le texte. Ensuite, je lis attentivement le texte, en essayant tout d’abord de comprendre le message scientifique. Je m’arrête quand je ne cerne pas complètement ce qui est écrit, là où certains aspects sont confus, et là où je pense que les auteurs n’ont pas réussi à transmettre un message clair et complet. J’essaie de caractériser ces différents problèmes lors d’une lec- ture préliminaire. Je ne regarde pas des erreurs spécifiques, comme dans un inventaire. Le processus va dans une autre direction, c’est-à-dire je me pose une question scientifique, et

je ne trouve pas la réponse, et c’est mon rôle de savoir pour-

quoi. Cette tâche n’est pas toujours aisée ou rapide. Je dois vérifier la littérature, consulter un collègue, ou faire des efforts de réflexion. Des erreurs de présentation se repèrent plus faci- lement que des erreurs scientifiques, mais il est souvent difficile de savoir si un problème est lié à une présentation ou un raisonnement imprécis, ou les deux [8]. Quelle sorte de problèmes puis-je rencontrer ? Je vous citerai quelques catégories, descriptions et quelques exemples

ci dessous. Mon intention, de nouveau, n’est pas de fournir un

inventaire mais plutôt d’aider le lecteur à identifier les problè- mes qu’il ou qu’elle peut rencontrer.

Problèmes scientifiques

Nombre de problèmes requièrent une analyse attentive mais finalement s’avèrent être des violations de logique ou de bon sens (i.e. contradiction interne, conclusion erronée à par-

tir de résultats exacts, attribution erronée d’une valeur causale

à une corrélation statistique, extrapolation inappropriée, rai-

sonnement circulaire, poursuite d’une question insignifiante). Deux exemples brefs concernent l’utilisation des statistiques. 1) Plus d’une fois, j’ai été surpris de trouver des valeurs extrê- mement faibles (et totalement fausses) de l’erreur standard, pour constater que les auteurs avaient utilisé pour calculer l’erreur standard le nombre d’échantillons utilisés au lieu du nombre des animaux à partir desquels les échantillons étaient obtenus. 2) Plus d’une fois, j’ai vu l’affirmation que le traite- ment A était différent du traitement B, non pas parce qu’une comparaison directe entre les effets des deux traitements a été réalisée mais parce que l’effet du traitement A était statistique-

ment significatif alors que celui du traitement B ne l’était pas. Ces deux exemples constituent des violations de bon sens qui apparaissent lors d’une lecture attentive et non lors de l’appli- cation directe des règles statistiques. Beaucoup de problèmes proviennent de l’application erronée d’une connaissance spécifique. Les auteurs n’ont pas appliqué des principes scientifiques élémentaires, ils n’ont pas pris en compte une probable incertitude méthodologique, ils ont omis de reconnaître un facteur de confusion ou ils n’ont

© 2003 SPLF, tous droits réservés

673

G.H. Jr Hoppin

pas considéré la puissance statistique adéquate [14]. Par exem- ple, j’ai vu plus d’une étude dans laquelle les auteurs ont rap- porté des mesures qui dépendent de la configuration de la cage thoracique évaluée à la capacité pulmonaire totale (CPT), sans spécifier si la CPT était maintenue de manière active glotte ouverte, ou passive lors d’une relaxation glotte fermée. Je devais supposer, à défaut, que les auteurs, non conscients de la différence substantielle de configuration ou de ses implica- tions, n’avaient pas réussi à contrôler un facteur de confusion potentiel.

Problèmes éthiques

Je n’ai pas encore eu l’occasion d’identifier de fraudes dans une étude ; toutes les incohérences dans des résultats que j’ai mis en évidence avaient toujours des explications plus pro- saïque. Et je n’ai pas non plus été confronté à des pratiques inappropriées vis-à-vis de sujets ou d’animaux. L’avalisation d’une étude par un comité d’éthique ne dédouane pas le lec- teur de sa responsabilité sur ce point. Pour cette raison, par exemple, je demande souvent aux auteurs de spécifier que la paralysie de l’animal dans leur protocole ne masque pas une diminution du niveau d’anesthésie.

Problèmes de présentation

Il est fréquent que je n’arrive pas à être certain de l’inten- tion exacte des auteurs, en général ou quant à un point précis, bien que j’arrive parfois à deviner ce qu’ils ont voulu dire ou faire. Publier un article demande la capacité d’identifier claire- ment un problème, mais aussi d’écrire clairement à propos de ce problème. Aider les auteurs à améliorer leur travail passe souvent par l’identification et la description claire des problè- mes de présentation. Il existe de nombreux textes abordables et détaillés sur ce sujet [9, 10]. Un bref survol des problèmes que j’ai rencontrés dans mon expérience peut fournir une aide utile à mes collègues critiques. Des redondances, des défauts de pertinence, et des digres- sions inutiles sont des erreurs relativement mineures mais elles entravent la communication en lassant et distrayant le lecteur. Le défaut de définition des termes ou de mots précis consti- tuent des erreurs plus graves car elles conduisent à une inter- prétation erronée. L’utilisation de tournures familières, ce qui est fréquent lorsque les auteurs ne s’expriment pas dans leur langue maternelle, distrait et peut induire en erreur. L’emploi d’un jargon (ce que j’appelle l’emploi d’un mot, d’une idée, ou même d’un argument non standard, qui est devenu tellement familier aux auteurs qu’ils négligent son explication et ses limi- tes), est un problème courant et insidieux. A une échelle mineure, le jargon irrite le lecteur et le décourage de s’investir dans la lecture « scientifique » de l’article. Ceci explique pour- quoi, par exemple, des abréviations non standardisées sont strictement limitées par certains journaux. Pire, le jargon peut induire en erreur. Par exemple, la phrase « point d’inflexion » est utilisé dans nombre d’études cliniques sur les ventilateurs pour désigner la déflection ascendante ou « genou » sur la

674 Rev Mal Respir 2003 ; 20 : 671-8

courbe d’inflation sur la courbe pression-volume pulmonaire. Toutefois, pour la grande majorité des scientifiques et tous les lexicographes, ce mot désigne un point très différent sur la courbe, effectivement celui où elle se modifie d’une forme concave à une forme convexe ou vice versa. Les pièges du

jargon peuvent être aussi subtils que l’emploi dans un article de deux mots ou phrases très proches que les auteurs peuvent ou ne peuvent pas considérer comme équivalents, par exemple

« fonction respiratoire » et « explorations fonctionnelles respi- ratoires ». Des termes très courants peuvent devenir du jargon lorsqu’ils ne sont pas clairement définis pour les besoins de l’article : par exemple, la capacité résiduelle fonctionnelle (CRF) peut être substantiellement différente selon le choix des diverses définitions tout à fait acceptables :

– une définition mécanistique – le volume pulmonaire où la

force de rétraction pulmonaire et la force d’expansion thoraci-

que sont égales et de sens opposé, d’où une pression alvéolaire égale à la pression atmosphérique ;

– une définition fonctionnelle – le volume pulmonaire à la fin d’une expiration prolongée, relaxée ;

– une autre définition fonctionnelle – le volume pulmonaire à

la fin d’une série d’expirations lors d’un quelconque protocole spécifique. Je suis souvent perplexe devant des erreurs très prosaïques et matérielles. Par exemple, une absence de virgules peut modi-

fier le sens de la phrase, interrompant le lecteur qui doit essayer d’en trouver la signification. Ceci est particulièrement problé- matique lors de l’écriture scientifique, qui tends à utiliser des

termes composés longs comme «

» 2 . Un autre exemple, comparant

les affirmations « Il a été conclu que

» – l’identité des auteurs qui arrivent à ces

conclusions (et la distinction peut être importante) est évi- dente à la forme active mais prête à confusion à la forme passive. Même des fautes d’orthographe ne sont pas toujours anodines. Un contrôleur d’orthographe informatisé ne va jamais rejeter « ever » qui aurait du être « never » et un éditeur technique peut ne pas avoir l’expertise scientifique pour repé- rer l’erreur.

hospital outpatient weight

control program standards

» et « Nos résultats

montrent que

Beaucoup d’articles ne sont pas assez focalisés. Le sens d’un paragraphe, par exemple, doit être clairement précisé dès le début, i.e. avec une phrase introduisant le sujet. Un autre exemple : je vois souvent des données dans la section Résultats

sous la forme d’une liste de moyennes, déviations standards, et

« n ». Si le message dérive de la comparaison de données, cette

pratique entrave le texte et est moins accessible qu’une figure ou un tableau qui permet au lecteur de faire aisément les comparaisons nécessaires, et facilite une présentation explicite du message que les auteurs souhaitent faire passer. Il est telle-

2 note du traducteur : ce problème des noms composés à rallonge est très spécifique de l’anglais, langue « conceptuelle » où la construction d’expression adaptée à un usage contextuel donné est une technique commune.

ment plus ciblé, concis et informatif de dire simplement, « la variable A augmente de manière linéaire avec la variable B ». Il est surprenant de constater le nombre de fois où les auteurs n’arrivent pas à développer leurs idées de manière

systématique, i.e. à faire suivre au lecteur le fil de leur réflexion. Par exemple, le lecteur a besoin de connaître les bases du protocole expérimental dès le début. Souvent, je constate qu’une idée importante pour le protocole expérimental n’est précisée que dans la Discussion (peut être dans un souci d’évi- ter les répétitions), où elle est pleinement développée. Ces aspects peuvent être abordés dès l’Introduction, en signalant avec une phrase appropriée que « ceci sera développé plus en détail dans la Discussion ». Pire, un nombre étonnant de tra- vaux soumis manquent de précisions quant à la structure logi- que de l’étude, par exemple en oubliant les buts spécifiques, les hypothèses, les prédictions vérifiables des hypothèses, et les conclusions, peut être avec l’illusion que la structure logique de l’article est tellement évidente que cela « va de soi ». Lorsque je lis un article, je ne confronte pas son contenu

à un inventaire théorique de ce qui est indispensable dans un article. Au lieu de cela, me pose toujours et continuellement la question « qu’est ce qui manque ? ». Voici quelques exemples :

Est-ce que les auteurs soulèvent d’autres hypothèses plausibles que la leur ? Pour un argument donné, ont-ils spécifié, exa- miné et évalué l’impact de toutes les hypothèses possibles ? Ont-ils considéré les limites méthodologiques ? Est-ce que toutes les concordances et discordances entre les résultats observées et ceux d’autres équipes sont discutées dans la Dis- cussion ? Cette approche est avant tout personnelle. Des erreurs grossières, comme des pourcentages dont le total n’égale pas 100 %, sont relativement communes et faciles

à détecter. Je regarde rapidement toutes les données (dans un

article potentiellement acceptable), mais je ne prends le temps de vérifier les calculs que lorsque quelque chose me paraît très aberrant. Concernant la bibliographie, je trouve régulièrement de mauvaises interprétations ou des fausses affirmations à pro- pos de certaines citations – parfois je connais la citation, parfois je la vérifie parce que l’interprétation paraît absurde ou est particulièrement importante dans le contexte scientifique en question.

Annotations

Pendant cette première lecture, j’effectue des annotations dans le texte, dans les marges, ou sur le dos des pages précéden- tes. Celles-ci portent à la fois sur des notions larges et des notions précises, sont parfois substantielles et parfois margina- les, portent souvent sur des citations que je veux. Je pose des questions même si je pense qu’elles seront résolues ultérieure- ment dans le texte. J’ai appris à inclure suffisamment de détails dans ces annotations pour que leur lecture rafraîchissent ensuite avec succès ma mémoire. Par exemple, une annotation récente était : « v [4] (témoin) pour ? protocole V/P compara- ble », ce qui signifie que je veux contrôler la référence [4], qui a fourni en effet les données témoin pour l’étude en question, les

Comment je critique un article scientifique original

auteurs ayant omis de préciser les différences éventuelles entre les deux études, ne sachant peut être pas qu’une différence de protocole dans la mesure de la relation pression-volume peut constituer un problème majeur. Finalement, je retourne à la première page pour lister les éléments principaux. Ceci est alors une liste ordonnée, facilitée par les grandes questions que j’ai déjà notées, les annotations plus substantielles tout au long du texte, et le résumé, que je considère comme ce que les auteurs pensent être important. Je mets ensuite le manuscrit de côté pour un jour ou deux car des idées et perspectives importantes me viennent souvent quand je suis occupé à autre chose et car y retourner renforce une vue initiale de « 40 000 pieds ».

La seconde lecture

Lorsque je reviens à l’article, je relis ma liste sur la pre- mière page, mes annotations, et les parties pertinentes du texte. Je procède ensuite à l’élaboration et à la rédaction du juge- ment. Bien qu’il me soit naturellement difficile de porter un jugement, je sais que cela doit être fait et que je possède le bagage scientifique et l’expertise requis dans certains domai- nes. Je décris certains critères ci-dessous, non pas comme une liste, mais pour illustrer et fournir un cadre pour comprendre et évaluer certains problèmes que je rencontre.

Critères de jugement de la valeur scientifique

Des années peuvent être nécessaires pour qu’il devienne évident que les conclusions d’un article sont correctes ou non. Prévoir est risqué, et si ce que je suppose maintenant est pro- bablement faux plus tard, il est important que cela soit publié maintenant ! Je ne juge donc pas une hypothétique « valeur scientifique absolue », mais au lieu de cela, je juge l’intégrité scientifique, et particulièrement la qualité du raisonnement et l’application des principes et des connaissances scientifiques. Je désire également savoir si l’article est important. Par- fois, un article semble fournir une réponse convaincante à une question d’intérêt général. Toutefois, l’absence d’une telle connexion n’exclut pas une importance éventuelle du travail, qui ne se révélera que plus tard. Ceci vient du rôle majeur des découvertes « heureuses », plus ou moins liées au hasard, dans le progrès. Ce point a été démontré élégamment par Comroe et Dripps [15]. Ils ont sélectionné les 10 progrès cliniques les plus importants en médecine et chirurgie cardiopulmonaire au cours des 30 dernières années. Ils ont identifié puis analysé 529 articles qui avaient eu des effets importants sur la direction de la recherche et du développement ultérieur, ce qui en retour s’est avéré important pour une seule de ces 10 avancées clini- ques. Étonnamment, 41 % de ces articles reportaient des tra- vaux « qui, au moment où ils ont été réalisés, n’avaient pas de lien quelconque avec la maladie, alors que plus tard, ils ont servi à prévenir, diagnostiquer, traiter ou améliorer ». Ainsi je recherche plutôt la nouveauté d’une idée, d’une conclusion, de données ou d’une méthodologie. Ces critères sont relative-

© 2003 SPLF, tous droits réservés

675

G.H. Jr Hoppin

ment faciles à appliquer. Un article qui est à la fois nouveau et qui a une intégrité scientifique a une chance d’être important.

J’évite de porter un jugement sur le fait qu’une étude donnée n’est qu’une application d’une étude princeps. Des études appliquées possèdent l’attrait de l’application pratique, et des études fondamentales l’attrait d’une application plus large, mais il existe des études de référence dans tous les domai- nes, de la recherche appliquée à la recherche fondamentale. Je ne tiens évidemment pas compte de considérations politiques, ni de la réputation ou du niveau académique des auteurs. L’anonymat du lecteur peut, incidemment, protéger

le Rédacteur Adjoint de ce point de vue. Hésiter à souligner la

faiblesse d’un article provenant d’amis ou de scientifiques res- pectés ne fait que les desservir, tout comme d’ailleurs le journal auquel ils ont soumis leur travail.

Les critères pour juger la présentation

Je ne fais preuve d’aucune timidité dans l’identification et la stigmatisation d’un manque de clarté, de précision ou d’exhaustivité. Je fais en effet l’hypothèse que si j’ai des diffi- cultés à comprendre un article après une lecture attentive, d’autres lecteurs seront dans le même cas. J’évite toutefois de porter un jugement sur la présentation en soi – bien que je puisse avoir des choix différents, je ne suis pas l’auteur.

Recommandations

Mes recommandations au Rédacteur adjoint reflètent ce que j’envisage comme décision finale, c’est à dire l’acceptation ou le refus, et toutes les étapes éventuelles qui doivent être franchies pour y arriver. Je n’ai pas d’échelle simple pour éva- luer les qualités d’un article, mais je peux montrer quelques exemples. Qu’est ce que je recommande lorsqu’un article soulève une question relativement importante, ou avance une idée intrigante, mais le fait d’une manière scientifiquement criti- quable ? Je transmets aux auteurs ce qui pourrait être amélioré sur le plan scientifique, et je rapporte les pour et contre au Rédacteur Adjoint qui a alors une décision difficile à prendre.

A ce propos, une perspective malicieuse est donnée sur ce sujet

par Julius Comroe, dans un article de sa délicieuse série

« Retrospectroscope » dans ce journal. Il souligne la manière

brève, informelle et presque accidentelle avec laquelle un nom-

bre de grandes avancées scientifiques ont été introduites pour

la première fois [16]. Dans un exemple, il cite les 267 mots avec

lesquels Korotkoff a décrit et expliqué les bases de mesure de la

pression artérielle, devenu depuis la méthode clinique de réfé- rence. Comroe conclut avec la facétie suivante :

« Cher Dr Korotkoff :

Nous vous remercions de nous avoir permis de lire votre intéressant manuscrit. Nous regrettons de ne pas pouvoir le publier dans sa présentation actuelle. Vous pourrez resoumettre votre tra- vail après avoir comparé vos résultats obtenus avec ceux obtenus sur des bras de circonférences différentes et vérifié la validité de

676 Rev Mal Respir 2003 ; 20 : 671-8

votre méthode en la comparant à des mesures directes de pression systolique et diastolique chez des animaux et avec la méthode Riva-Ricci chez un grand nombre de sujets d’âge différent et 3) réalisé l’analyse statistique des données.

Sincèrement

Les Rédacteurs »

Personnellement, je doute que j’aurais eu l’intuition de recommander la publication du travail de Korotkoff.

Que fais-je lorsque l’article offre seulement un avancée mineure ? Les auteurs semblent plus pressés de publier actuel- lement qu’il y a quelques années, peut être à cause 1) de la compétition avec un plus grand nombre d’investigateurs, 2) de la notion, malheureusement régulièrement vérifiée en prati- que, que les comités de promotion académique ou autres se montrent plus aptes à compter les publications qu’à en évaluer la qualité intrinsèque, et 3) des exigences en termes de publi- cations que fixent les organismes de financement. Je trouve qu’il est souvent utile, pour évaluer la pertinence d’un article que l’on expertise, de regarder les autres publications sur le même sujet par la même équipe. Ceci peut montrer que le travail contribue soit à une évolution ordonnée et productive de certaines idées soit à une répétition stérile et bruyante de données et d’idées. Si cette petite enquête conclue plutôt à la seconde « ambiance », je recommande de demander aux auteurs de spécifier et défendre exactement ce qui est nouveau dans leur travail ; la charge de convaincre leur revient alors.

Comment est-ce que la présentation pèse sur ma recom- mandation ? Plutôt comme un seuil absolu, en d’autres termes que le lecteur doit pouvoir être capable de porter un jugement indépendant quant à la force et la faiblesse des données rappor- tées par les auteurs et les conclusions qui en découlent.

Comment équilibrer la balance entre les exigences de qualité et les buts de la littérature prosaïque, qui permet aux scientifiques de communiquer ? Comment éviter d’être un méchant bougre ou une pâte molle ? Le Rédacteur Adjoint apporte sa propre contribution à mon évaluation de l’article. Toutefois, je reste attentif à la sévérité et au contenu des com- mentaires des autres experts sur les mêmes articles et garde en mémoire que plus de 70 % des articles soumis par exemple à l’American Journal of Respiratory and Critical Care Medicine, ne sont pas acceptés.

Ma recommandation reflète souvent un jugement dif- féré, en attendant une réponse des auteurs. Je suis particulière- ment attentif à leur donner la possibilité de répondre en cas d’erreur fatale ; parfois ils peuvent rectifier le tir, parfois pas. Une fois et seulement une fois, après une rumination prolon- gée, je suis arrivé à la conclusion que le raisonnement central d’un article était circulaire. Ceci a été transmis aux auteurs qui ont répondu, « Vous avez raison. Merci. Nous retirons l’arti- cle »

La rédaction

Les commentaires aux rédacteurs

Je recommande trois paragraphes concis, comme détaillé ci-dessous, ne dépassant pas 200 mots. Mon expérience comme Rédacteur Adjoint est claire à ce propos : les descrip- tions m’ont toujours été plus utiles que des recommandations brutes ou des listes de remarques numérotées [8]. Le résumé, en trois ou quatre phrases, identifie le sujet de l’article, indique l’approche globale, sélectionne les principaux résultats, et paraphrase les conclusions principales des auteurs. Cet exercice de synthèse m’est important pour distiller mes pensées, et il fournit au Rédacteur Adjoint les bases pour les principales critiques et questions qui suivent. Ensuite j’énumère plusieurs critiques/questions majeures dans un ordre d’importance décroissant. Celles-ci sont sélec- tionnées parmi la liste figurant sur la page de couverture. Pour chacune d’entre elles, je fais un résumé, pour fournir ensuite un commentaire détaillé dans les « Commentaires aux auteurs ». J’indique également ce que je pense être important pour chaque item et ce pourquoi je présume que les auteurs peuvent fournir des réponses. Finalement, j’indique et caractérise mes recommanda- tions, i.g., « Ceci est une idée nouvelle, ce qui vaut la peine de proposer une révision majeure (voir les Commentaires aux Auteurs) ». J’indique également mon niveau de confiance dans mes recommandations, e.g. « Je suppose que les auteurs vont avoir des difficultés pour répondre de manière satisfaisante à la question 1 ». J’avoue toute aide majeure que j’ai pu recevoir – non pas pour me soustraire à toute responsabilité dans mes commen- taires mais pour faire crédit à ceux qui le mérite, et pour attirer l’attention du Rédacteur Adjoint sur des individus qui pour- raient lui être utiles comme experts dans le futur. Une fois, j’ai informé le Rédacteur Adjoint d’un potentiel conflit d’intérêt lorsque j’ai expertisé un article qui relatait les caractéristiques d’un dispositif dans lequel l’auteur avait un intérêt commercial personnel.

Les commentaires aux auteurs

Ceux-ci peuvent faire 1 500 mots ou plus, bien que les meilleures critiques que j’ai vues étaient plus courtes, compre- nant quelques phrases qui posaient des questions claires, per- tinentes et ciblées. Quelques règles de base :

– mes observations et analyses doivent être claires pour les auteurs. Toutefois, les recommandations elles-mêmes sont personnelles, et ne doivent pas couper l’herbe sous le pied Rédacteur Adjoint ni le mettre en difficulté ; – je me garde de faire des compliments. Si l’article est accepté, les auteurs seront suffisamment satisfaits, indépendamment de tout compliment. Si j’avais fait des compliments et que l’article

Comment je critique un article scientifique original

est refusé, le Rédacteur Adjoint aura un échange inconfortable avec les auteurs au prochain congrès national ; – j’évite toujours la critique pour la critique, car elle est inutile, humiliante, et présomptueuse. Chaque soumission d’un arti- cle représente au moins une année de travail d’un étudiant chercheur et que l’enjeu est important pour lui comme pour son équipe. Le premier paragraphe est une copie directe de mon résumé du début des « Commentaires aux rédacteurs ». De ce texte, les auteurs peuvent apprendre ce que j’ai tiré de leur présentation (ce qui peut être une surprise pour eux), et ceci peut les aider pour cibler et préparer leur réponse et deuxième version. S’il y a des aspects de l’étude que je n’ai pas évalué, je le dis explicitement, par exemple « J’ai analysé attentivement les applications mathématiques qui ont été effectuées du point de vue des hypothèses sous-jacentes et des implications physiolo- giques, mais je n’ai pas la compétence pour évaluer la perti- nence ou l’exactitude des mathématiques fondamentales en causes ». Cette partie est suivie par les « Commentaires majeurs », numérotés, et qui débutent avec les points principaux précisés dans les « Commentaires aux Rédacteurs ». Chaque critique/ question doit être expliquée aux auteurs et ne doit jamais être laissée comme une affirmation qualitative, non fondée, tel que

« témoins inappropriés » – il doit toujours y avoir un « car

Il m’est arrivé à l’occasion d’indiquer aux auteurs d’autres approches, soit pour expliquer une critique ou une question, ou pour permettre aux auteurs de profiter d’une suggestion utile. Cette attitude présente le risque que cette alternative reflète mon propre style scientifique ou un choix arbitraire plutôt qu’une évaluation scientifique objective. En ce qui concerne la présentation, j’ai souvent entendu dire que les lecteurs ont des responsabilités limitées du fait du peu de temps dont ils disposent, et que les auteurs sont respon- sables des défauts de présentations, qu’il est présomptueux pour des auteurs de soumettre un article avant d’obtenir préa- lablement une lecture critique et méticuleuse de collègues pro- ches ou moins proches, que les soumissions doivent toujours être relues par quelqu’un pour qui l’anglais est la langue mater- nelle, et que toute conséquence négative d’une présentation faible et bâclée est bien méritée. J’ai une profonde sympathie pour ces arguments, mais ils ne doivent pas faire oublier la considération essentielle du processus d’évaluation par les pairs, qui est que de la « bonne » science doit être publiée. On peut stigmatiser les insuffisances de préparation technique d’un manuscrit en signalant aux auteurs quelques exemples précis puis en généralisant le propos. Il faut noter qu’il est plus difficile d’aider les auteurs à améliorer leur travail sur le fond quand leur présentation est bâclée : en effet, il est difficile d’expliquer pourquoi on ne comprends pas ce qu’on ne com- prends pas ! Le meilleur moyen est d’expliquer aux auteurs ce que l’on a compris de ce qu’ils ont écrit, par exemple « ceci

»

© 2003 SPLF, tous droits réservés

677

G.H. Jr Hoppin

» ou dire où l’on est perdu, par exemple « à

». Une fois, exaspéré par un

« bâcleur » chronique, qui sabotait manière récurrente la pré-

sentation de données scientifiques nouvelles, j’ai suggéré pré- cisément une révision rigoureuse, ligne par ligne par son co-auteur sénior. Une fois, après avoir travaillé dur pour découvrir un argument dans un papier par ailleurs méritant, j’ai écrit, « Est-ce ceci que vous voulez dire ? » avant de donner ma version. Les auteurs ont complètement accepté. Et avec des remerciements (selon leur dire). Toutefois, il ne m’est jamais arrivé de faire ce que Jere Mead a fait une fois, c’est-à-dire ré-écrire totalement un papier étranger, ne pensant que sinon, une excellente idée scientifique aurait été perdue. Pour beaucoup de problèmes liées spécifiquement à la présentation, il peut être utile de conseiller les auteurs de consulter les sites en ligne [17]. Les « commentaires mineurs » représentent la section finale de ma critique. Elle dérive de mes annotations dans le texte (i.e. les répétitions, les symboles inappropriés, et la suite) listés dans l’ordre dans lequel elles apparaissent dans le texte, et identifiés par page, paragraphe et ligne. L’anonymat de l’expert est actuellement l’objet de controverses. La plupart des journaux font l’hypothèse que le lecteur préfère l’anonymat et que ceci peut contribuer à garan- tir une certaine objectivité. Nombre d’entre nous, toutefois, signent leurs critiques, lorsque nous pensons que les auteurs pourraient apprécier un dialogue ultérieur.

ce point je me demande

semble signifier

Commentaire final

J’ai demandé récemment à un collègue comment s’était passée sa plus récente soumission. « Un bon lecteur, et un

mauvais », a-t-il répondu. Et il a poursuivi « le mauvais lecteur

a aimé l’article, mais c’était vraiment superficiel – je pense qu’il

n’a pas tout compris ; le bon lecteur n’a pas beaucoup aimé le travail, mais sa critique était tout bonnement merveilleuse », ce qui signifiait pour lui que cette critique avait été pour lui utile et constructive pour l’amélioration de sa recherche.

Remerciements

Les avis francs et libres de mes collègues Robert Banzett et James Butler sur une version précoce de ce manuscrit m’ont été très utiles et je les ai chaleureusement appréciées.

Références

1 Rennie D : Fourth international congress on peer review in biomedical publication. JAMA 2002 ; 287 : 2759-60.

2 Journal of the American Medical Association 2002 ;287. Issue 21.

3 Siegelman SS : Assassins and zealots: variations in peer review: special report. Radiology 1991 ; 178 : 637-42.

4 Lock S : A difficult balance: editorial review in medicine. 1st ed. London: Nuffield Provincial Hospitals Trust, 1985.

5 Kassirer JP, Campion EW : Peer review: crude and understudied, but indispensable. JAMA 1994 ; 272 : 96-7.

6 Black N, van Rooyen S, Godlee F et al. : What makes a good reviewer and a good review for a medical journal? JAMA 1998 ; 280 : 231-3.

7 Evans AT : The characteristics of peer reviewers who produce good- quality reviews. J Gen Intern Med 1993 ; 8 : 422-8.

8 Goodman SN, Berlin J, Fletcher SW et al. : Manuscript quality before and after peer review and editing at Annals of Internal Medicine. Ann Intern Med 1994 ; 121 : 11-21.

9 Day RA : How to write and publish a scientific paper. 4rd ed. Phoenix, AZ: Oryx Press, 1994.

10 Huth E : How to write and publish papers in the medical sciences. 2nd ed. Baltimore: Williams and Wilkins, Co., 1990.

11 GodleeF:Making reviewers visible: openess, accountability, and credit. JAMA 2002 ; 287 : 2762-93.

12 Weber EJ, Katz PP, Waeckerle JF et al. : Author perception of peer review: impact of review quality and acceptance on satisfaction. JAMA 2002 ; 287 : 2790-3.

13 Altman DG : Poor-quality medical research: what can journals do? JAMA 2002 ; 287 : 2765-7.

14 Altman DG, Goodman SN, Schroter S : How statistical expertise is used in medical research. JAMA 2002 ; 287 : 2817-20.

15 Comroe JHJ, Dripps RD : Scientific basis for the support of biomedical science. Science 1976 ; 192 : 105-11.

16 Comroe JHJ : The soul of wit. Am Rev Respir Dis 1975 ; 112 : 861-6.

17 www.atsjournals.manuscriptcentral.com.

678 Rev Mal Respir 2003 ; 20 : 671-8