Mettre en place un système d'échange d'informations ouvert entre les scientifiques qui proposent des publications et ceux qui les acceptent améliorerait la qualité des évaluations. Un système à étendre dans le secteur privé ?

La coopération et la transparence essentielles au monde scientifique

La coopération et la transparence dans le monde scientifique entre les auteurs de travaux et ceux chargés de les accepter ou non améliore la qualité de ces évaluations. C’est le constat auquel sont arrivés des chercheurs de la John Hopkins Bloomberg School of Public Health. Ces évaluations sont au centre du fonctionnement de la communauté puisqu'elles décident de la publication dans les revues universitaires et spécialisées, mais également l'attribution des bourses ou encore les promotions académiques. Pour démontrer les avantages d’un système ouvert et public, les auteurs de l'étude ont mis en place un jeu en ligne au sein de 6 laboratoires de leur université.

Des choix multiples

Chaque groupe, composé de 7 à 10 personnes, devait répondre à des questions à choix multiples mathématiques. Leurs réponses étaient ensuite redistribuées aléatoirement entre les participants qui pouvaient valider ou non la solution trouvée. Chaque individu faisait donc à la fois office de chargé de résolution d'un problème et d’évaluateur. L’expérience durait 40 minutes et chacun pouvait utiliser son temps comme il l'entendait entre les deux activités. Dans la moitié des laboratoires, le système était dit "fermé" : la personne proposant une réponse ne connaissait pas l'identité de celui qui avait été chargé de l'évaluer.

Des évaluateurs plus concernés et plus efficaces

Dans le système "ouvert", cet anonymat était supprimé. En revanche, dans les deux cas, l'évaluateur était au courant du nom de celui chargé de répondre. Les chercheurs se sont ainsi rendus compte que les participants à des évaluations "fermées" avaient tendance à privilégier grandement la résolution de problèmes à l’analyse des réponses de leurs collègues. Dans le mode "ouvert", le temps passé sur chacune des deux activités était équivalent. De plus, dans ce système, les participants coopéraient davantage, c'est-à-dire que deux personnes acceptaient plus volontiers leurs réponses respectives. En outre, la qualité des évaluations était supérieure de 11% (valider une réponse juste ou rejeter une réponse fausse).

Rédigé par Mathieu Paumard