Milo
Vie des labos. L’évaluation par les pairs, ou peer review, des études scientifiques est censée assurer leur qualité. Pour chaque article soumis à une revue, une poignée de spécialistes est chargée d’évaluer si le manuscrit est apte à être publié ou non. Dans une étude d’une ampleur inédite, des chercheurs en économie de l’université d’Innsbruck (Autriche) constatent cependant combien les jugements des évaluateurs peuvent être biaisés. Disponible en préprint, cette étude a été présentée, vendredi 9 septembre, à Chicago, au Congrès international sur l’évaluation par les pairs.
Jürgen Huber, professeur de finance et premier auteur de l’étude, reconnaît d’emblée que « le processus de publication scientifique n’est pas parfait ». « Quand on est chercheur, on sait qu’il y a une part d’aléatoire dans l’évaluation par les pairs, qu’il existe des biais, et nous voulions apporter de nouvelles données pour quantifier cela. » Son idée : qu’un article écrit par un lauréat d’un prix Nobel et un chercheur junior soit soumis à évaluation, puis regarder s’il est évalué de manière identique si seul un nom ou l’autre est mentionné.
Coup de chance, Vernon Smith, lauréat du prix Nobel d’économie de 2002, a pu leur fournir un article original écrit avec Sabiou Inoua, jeune chercheur en thèse à la Chapman University (Californie, Etats-Unis). Cet article a été soumis au Journal of Behavioral and Experimental Finance avec la complicité de Stefan Palan, coéditeur en chef de la revue, et le support d’Elsevier, la maison d’édition. Une invitation pour évaluation a été envoyée à 3 300 chercheurs du domaine et plus de 500 rapports d’évaluation ont été récoltés. Un dispositif inédit : l’évaluation dans ce journal se limite, d’ordinaire, à deux spécialistes.
Biais de statut
Chaque évaluateur a reçu une version du manuscrit totalement anonymisée ou citant un seul des auteurs. Chacun a dû apprécier si l’article était acceptable, en l’état ou après corrections, pour être publié ou bien si le journal devait le refuser.
Quand le manuscrit porte le nom du jeune chercheur, 65 % des évaluateurs rejettent l’article, alors qu’ils ne sont que 22 % à prendre cette décision quand le chercheur nobélisé est mentionné. L’article totalement anonymisé est, quant à lui, refusé par 48 % de ses évaluateurs. A l’inverse, 21 % des évaluateurs de l’article portant le nom de Vernon Smith l’acceptent sans demander la moindre correction, contre seulement 2 % des relecteurs ayant reçu un manuscrit anonymisé ou au nom de Sabiou Inoua. Des résultats « sidérants » pour les auteurs, qui s’attendaient à voir des différences mais pas d’une pareille ampleur. De tels écarts ont aussi été constatés dans l’évaluation de la pertinence du travail ou de la qualité d’organisation du manuscrit. Auraient-ils été plus marqués encore si le second signataire avait été une femme ?
Il vous reste 33.71% de cet article à lire. La suite est réservée aux abonnés.
