Évaluation ouverte par les pairs : polysémie et problématiques. 2/2

Seconde partie de l’article présentant la recherche exploratoire menée au préalable de la mise en place d’une expérience d’évaluation ouverte par les pairs et de commentaires ouverts sur le carnet de recherche de la revue VertigO.
La première partie est consultable à l’adresse : http://lab.hypotheses.org/1453

Problèmes posés par l’évaluation ouverte par les pairs

Les raisons qui poussent certains à s’opposer à l’évaluation ouverte par les pairs sont récurrentes, on les retrouve mentionnées dans tous les articles abordant la question. Tentons ici de les synthétiser. Les jeunes discutants/évaluateurs prennent le risque de nuire à leurs perspectives professionnelles en critiquant frontalement des scientifiques de renom. A contrario, ils peuvent hésiter à évaluer trop favorablement un papier par peur de laisser paraître une quelconque complaisance. Des tensions peuvent apparaître dans des discussions ouvertes entre chercheurs, nuisant aux relations professionnelles. Les discutants/évaluateurs pourraient se faire moins critiques, pour ne pas vexer les susceptibilités, ce qui ferait baisser le niveau général de la recherche scientifique¹. Il est significatif de noter que ces remarques ont été formulées en ces termes dans un article datant de 2000, et qu’elles restent les mêmes quinze ans plus tard dans la littérature consacrée à l’évaluation ouverte par les pairs. Stevan Harnad résume bien la problématique dans un article déjà cité plus haut² :

Will I say publicly about someone who might be refereeing my next grant application or tenure review what I really think are the flaws of his latest raw manuscript? (Should we then be publishing our names alongside our votes in civic elections too, without fear or favour?) Will I put into a public commentary – alongside who knows how many other such commentaries, to be put to who knows what use by who knows whom – the time and effort that I would put into a referee report for an editor I know to be turning specifically to me and a few other specialists for our expertise on a specific paper?

Au fond, chacune de ces questions pose donc celle de l’intégration professionnelle. Mais rien ne prouve qu’un système classique d’évaluation par les pairs permette une meilleure intégration. Elle ne fait que maintenir un statu quo qui montre ses limites (délais très longs et manque d’intérêt des discutants/évaluateurs en particulier). Mais reposant les questions d’intégration professionnelle, l’évaluation ouverte par les pairs peut être un pas en avant pour admettre que la communauté scientifique est une communauté humaine comme les autres, faite bien-sûr d’émulation intellectuelle, mais aussi de sympathies et d’inimitiés, d’affinités et de rejets. Or, cette question anthropologique de communauté amène celle de médiation. Dans le débat ouvert par la revue Nature sur l’évaluation ouverte par les pairs, Tom DeCoursey professeur de biophysique moléculaire et plutôt sceptique quant à un changement des modalités d’évaluation, insiste sur le rôle de médiation qui doit revenir à l’éditeur, quel que soit le mode d’évaluation choisi. Il semble en effet que c’est avant tout une médiation adéquate – et humaine, c’est-à-dire au-delà de l’outil technique – par un tiers qui assure la meilleure discussion possible, et partant la garantie d’un niveau intellectuel toujours élevé :

A half-way house would be more realistic, in which reviewers make open constructive suggestions for revision or additional work only after the manuscript is provisionally accepted for publication. This is similar to the member/editor system used by the Proceedings of the National Academy of Sciences. The member reviewing a manuscript is identified to the authors only if and when the paper is accepted for publication. For rejected manuscripts, blind review allows the reviewers to remain hidden in anonymity and the editors to hide behind the reviewers’ judgment in their decision to reject. Maybe this is for the best. Publishing reviewers’ names alongside accepted papers still seems worthwhile. The responsibility for publication is then shared among the authors, the journal and the reviewers³.

Besoin de médiation humaine, d’incitation et de facilitation

Si cette dernière solution proposée rejette finalement l’évaluation ouverte par les pairs, ces remarques attirent notre attention sur les ressources humaines nécessaires à la mise en place d’un tel protocole. L’évaluation ouverte par les pairs reste marginale dans l’espace francophone et mieux admises dans certains champs disciplinaires que d’autres. La mise en place d’un tel protocole dans le cadre d’une revue qui l’expérimente doit donc être accompagné et suivi avec attention, et une médiation doit pouvoir accompagner – et peut-être même inciter – les discussions entre auteurs et discutants/évaluateurs. La seule possibilité technique de discuter/évaluer des publications en ligne ne suffit pas à engager une dynamique qui serait réellement bénéfique pour les lecteurs, les auteurs et la recherche scientifique en général. Hadas Shema, spécialiste en sciences de l’information et blogueuse scientifique, nous rappelle que la mise en place d’un protocole d’évaluation ouverte par les pairs n’est pas toujours une réussite :

In 2006, Nature undertook an OPR trial lasting four months. In addition to traditional peer review, authors of each article submitted to Nature that wasn’t rejected outright (about 60% of the articles sent to Nature are rejected without review) were able to choose whether, in addition to traditional peer review, they wanted their article to be displayed online for the public’s comments. Out of the 1,369 articles Nature reviewed during that time, authors of 71 (5%) chose to undergo the OPR. The trial was well-publicized ahead of time by Nature, but comments were rather scarce. The most-commented upon article received ten comments, and 33 articles received no comments. As Nature put it: “Despite enthusiasm for the concept, open peer review was not widely popular, either among authors or by scientists invited to comment.” Although the Nature experiment was considered a failure, other OPR experiments have proven to be more successful.⁴

En naviguant sur les sites des revues mettant en place des systèmes de commentaires quels qu’ils soient, on remarque en effet qu’il n’y a que peu de réactions autour des articles. C’est ce que note également Antoine Blanchard, sociologue des sciences et blogueur scientifique⁵, partisan de l’évaluation ouverte par les pairs, qui relève par exemple qu’un des articles les plus commentés du British Medical Journal⁶ atteint 39 commentaires (en 2006, 49 en 2015). Il est ici question de commentaire par les pairs, peer commentary.

Mais dans la plupart des cas, si les commentaires sont intéressants, ils ne suscitent pas des réactions passionnées et il n’y a pas de vrai débat autour de l’article. Le cas est différent avec un article publié dans le British Medical Journal dont vous avez peut-être entendu parler, qui montre que « googler » les symptômes d’une maladie mène au bon diagnostic dans 58% des cas ! Or, depuis le 11 novembre, il y a déjà eu 39 commentaires, la plupart de médecins, venant critiquer ou approuver l’étude. C’est ainsi que sont critiqués l’intervalle de confiance de 38% à 77%, les biais liés à la manière dont les maladies testées ont été sélectionnées, la démarche assez limitée où les symptômes sont empruntés exactement au vocabulaire médical ou la notion qui a souvent transparu de « Google comme fournisseur de contenu »; à l’inverse, des lecteurs constatent qu’eux-mêmes pratiquent le googling de symptômes, conseillent d’autres bases de données que Google comme Google Health ou d’ajouter « emedecine » à la syntaxe de recherche pour augmenter la probabilité d’avoir des réponses pertinentes, voire posent d’autres questions pour les études à  venir.

Pour moi, le contrat est rempli : le peer commentary permet d’enrichir l’article immédiatement après sa publication et d’apporter des éléments supplémentaires, entraînant même la réponse des auteurs ! Le tout disponible en ligne en accès libre, de quoi éclairer aussi la lecture d’un profane qui aurait voulu en savoir plus sur un article repris en masse par la presse grand public, pas souvent de manière rigoureuse⁷.

Si il n’est plus question ici à proprement parler d’évaluation ouverte par les pairs, mais de commentaire par les pairs, on comprend bien qu’une fois la discussion lancée, les systèmes de commentaires permettent des échanges importants à l’intérieur de la communauté scientifique, mais aussi entre la communauté et son en-dehors. A ce titre, on doit ici encore remarquer que les définitions distendues de ces protocoles impliquent une certaine imperfection des termes employés pour définir les différents protocoles. Dans le cas du British Medical Journal on parle de peer commentary, alors même que l’on nous explique que des non-spécialistes interviennent dans la discussion par commentaires interposés. Quoiqu’il en soit, l’exemple cité par A. Blanchard démontre la pertinence du protocole mis en place par cette revue, et sûrement que certaines publications sont amenées, de par leur objet, à être plus commentées que d’autres.

Remarques, perspectives… et utopie numérique

La question de l’évaluation ouverte pas les pairs, prise dans la perspective de l’Open Access, est sans aucun doute une dynamique qui tendra à se développer dans l’édition scientifique. On sait que la première expérience de ce type fut celle d’arXiv, développée par Paul Ginsparg dès 1991, d’abord dans le domaine de la physique. Cette expérience est à contextualiser avec le mode de communication particulier de la recherche en physique, où les chercheurs ont toujours partagé leurs papiers pour qu’ils soient discutés. Avant l’apparition de l’Internet, c’est des versions papiers qui circulaient dans la communauté pour que les résultats soient commentés⁸. Ce qui n’est pas sans rappeler les remarques que nous faisions plus haut quant à l’intérêt de contextualiser historiquement l’évolution des démarches scientifiques. Aujourd’hui, arXiv s’est ouvert à d’autres champs disciplinaires – mais restant dans les sciences dures – et le nombre de pre-publications disponibles sur cette archive ouverte dépasse le million. Si les pre-publications y sont commentées inégalement en termes de quantité, on peut considérer que cette réalisation est un succès et a inauguré un mouvement plus large, aux problématiques multiformes. Celles-ci, comme nous l’avons suggéré, ne doivent pas s’enfermer dans de simples propositions techniques, mais trouver les médiations adéquates pour encourager une dynamique bénéfique à tous les protagonistes.

Cela nous mène à un autre point. Comme la Déclaration de Berlin, citée plus haut, le problématisait, l’Open Access doit pouvoir servir la communauté scientifique mais aussi encourager les relations entre la recherche et la société. En ce sens, certaines modalités de l’évaluation ouverte par les pairs offrent des perspectives stimulantes et réactivent une pensée de la publicité. On sait qu’Habermas décrit l’espace public comme la sphère où s’exerce la critique. Une grande partie de l’argumentation de L’espace public⁹, repose sur la description des mécanismes qui au XVIIIe siècle contestaient le pouvoir de l’Etat : salons, cafés, clubs, appuyés par les formes modernes naissantes des médias. On connaît également la conclusion d’Habermas, déplorant la fermeture de cet espace public raisonné, où la critique laisse place à la manipulation. Ces réflexions sur la publicité replacées dans le contexte de l’édition scientifique, les différents protocoles d’évaluation ouverte par les pairs – et je pense ici en particulier aux formes les plus ouvertes telles que le commentaire par les pairs – pourraient nous démontrer le contraire. Ces modèles peuvent en effet encourager une critique, permettre à la critique de se déployer et de porter ses fruits, c’est-à-dire tendre vers un plus grand partage et appropriation des idées. Cela nécessite bien-sûr de donner à ces protocoles les moyens de le faire et de continuer à expérimenter différents modèles. Selon le survol de la littérature présenté ici, l’accompagnement par les éditeurs et les comités de rédaction s’avère être un élément essentiel. Loin de la contrition de l’espace public redoutée par Habermas, on serait alors témoins d’ouvertures d’espaces publics oppositionnels dans le dialogue entre la communauté scientifique et le reste de la société – pour reprendre l’expression d’Oskar Negt¹⁰, qui théorise l’importance des subjectivités et une multiplicité d’espaces publics critiques liées aux expériences vécues. Chez Negt, la question est posée du côté du politique, mais rien ne nous empêche de la décliner aux mondes numériques. L’argumentation du sociologue allemand peut être résumée ainsi : une réglementation formelle et instrumentale ne suffit pas à « donner une consistance sociale à [un] bien public démocratique » (p. 38), l’existence d’espaces publics indépendants et autonomes est donc nécessaire pour la participation du plus grand nombre.

Nous ne devons pas nous borner à faire participer les masses aux décisions politiques, nous contenter de les informer et de les pousser à s’engager ; il s’agit plutôt de voir que l’enjeu central de la libération de soi nécessite un « espace public prolétarien », autonome, susceptible de porter cette libération et qui serait également une instance de contrôle à l’égard des partis et de l’État, en cas de conflit. Ce que nous nommons « espace public prolétarien » n’est rien d’autre que le domaine public au sein duquel les hommes arrivent à donner une expression politique à leurs intérêts et aspirations existentielles. Le terme « prolétarien » ne doit pas être compris dans un sens restrictif, comme s’il ne désignait que la classe ouvrière, car il renvoie surtout à l’ensemble des dimensions sociales, des expériences, des traits et caractéristiques existentiels qui ont pour spécificité d’être opprimés¹¹.

Mise en perspective avec les – ou déclinée aux – potentialités de l’Open Access et des différents protocoles d’évaluations ouvertes, cette citation nous amène à penser que ces nouveaux dispositifs pourraient permettre le dialogue critique entre la communauté scientifique et son en-dehors. Cela évoque également une reformulation de la distinction entre savant et ignorant, ce qui n’est pas sans nous rappeler la pensée de Jacques Rancière¹². Tout cela peut sembler certes utopique, mais ne nous empêche pas pour autant de fouiller les potentialités propres à cette nouvelle forme de discussion/évaluation. Ces potentialités sont autant de pistes pour continuer à explorer le protocole.

En effet, la diversité des modèles, peut laisser imaginer que les protocoles de commentaires permettent de tisser des liens protéiformes entre la communauté scientifique et la société. C’est ce que montrait l’exemple cité plus haut à propos d’un article médical sur l’auto-diagnostique. On peut aisément imaginer que des objets de recherches qui touchent un grand nombre d’individus seraient ainsi davantage accessibles au plus grand nombre. L’Open Access permettant d’une part la consultation du texte scientifique, le commentaire ouvert permettant d’autre part à l’en-dehors de la communauté de chercher des explications auprès de la communauté scientifique, et/ou de contester des approches et des résultats. En d’autres termes, on peut imaginer qu’à travers de tels protocoles, la communauté scientifique et le reste de la société – dont la première faisant évidemment partie de la seconde – puissent entrer en débat, et que la critique puisse se déployer. Je pense ici en particulier aux sciences sociales, qui traitent forcément de sujets de sociétés, sur lesquels le plus grand nombre peut être directement concerné. Cela n’est pas sans rappeler les développements de Luc Boltanski sur le transfert de connaissances entre la sphère scientifique et la sphère publique dans son L’Amour et la Justice comme compétences. Trois essais de sociologie de l’action¹³. Or, force est de constater que les sciences sociales restent très peu discutées via des protocoles d’évaluation/discussion ouverte, dans le cadre des publications scientifiques ; alors même qu’elles le sont à la marge de la communauté scientifique – je pense ici par exemple à la formation syndicale et à l’engagement protéiforme de la société civile. Reste à trouver les moyens et les expériences permettant d’encourager ces développements, il y a là des perspectives et des enjeux enthousiasmants.

Notes

—

Ressources annexes

Forums et débats

• Forum ouvert sur Openscholar.org.uk : http://www.openscholar.org.uk/an-open-forum-to-discuss-the-future-of-peer-review/
• Débat sur Nature.com : http://www.nature.com/nature/peerreview/debate/index.html

Présentations générales et bibliographies en ligne

• Emily Ford, Defining and Characterizing Open Peer Review: A Review of the Litterature, 2013, http://pdxscholar.library.pdx.edu/ulib_fac/1
• Hadas Shema, Introduction to open peer review, 2014, http://blogs.scientificamerican.com/information-culture/an-introduction-to-open-peer-review/
• Charles W. Bailey Jr., Transforming Peer Review Bibliography, 2014, http://digital-scholarship.org/tpr/tpr.htm
• The Winnower, What’s wrong with peer review ? A roundup, 2014, https://thewinnower.com/posts/what-s-wrong-with-peer-review-a-roundup

Sites consultés pratiquant l’évaluation ouverte par les pairs, un protocole proche ou fournissant des solutions d’évaluation/discussion ouverte par les pairs

• http://axiosreview.org
• http://www.coredemia.com
• http://www.epistemio.com
• http://f1000.com
• http://goodio.com
• https://hypothes.is
• http://openpub.org
• http://openreview.net
• http://www.papercritic.com
• http://paperrater.org
• http://peerevaluation.org
• https://peerlibrary.org
• https://publons.com