Aujourd’hui, l’évaluation par les pairs est considérée comme une condition indispensable à toute publication officielle. Par conséquent, les revues doivent établir des politiques appropriées d’évaluation par les pairs ainsi que des approches pour recruter des évaluateurs. 

L’évaluation par les pairs vise à déterminer si un article peut être publié. Il est effectué par des experts dans le domaine de la soumission, qui doivent être identifiés par l’équipe éditoriale. Les revues et les rédacteurs en chef ont des attentes différentes quant au rôle des évaluateurs, il est donc essentiel de disposer d’orientations claires. Les auteurs ont notamment tendance à préférer une évaluation rapide par les pairs, car cela signifie que leur travail est publié rapidement. Toutefois, la pression temporelle exercée sur les pairs évaluateurs peut compromettre la qualité de leur contribution. Par conséquent, les revues ont la responsabilité de maintenir un équilibre entre la rapidité et la qualité de l’évaluation par les pairs, afin de garantir que les articles publiés sont de grande qualité.

L’aptitude d’une proposition à être publiée dépend des critères de sélection des articles de la revue ainsi que de la qualité et de l’intégrité de la recherche décrite. Par exemple, il peut être demandé aux pairs évaluateurs de se concentrer sur la rigueur méthodologique, la nouveauté, l’engagement dans les pratiques d’érudition ouverte ou tout autre critère défini par l’équipe éditoriale. 

Approches de l’évaluation par les pairs

L’évaluation par les pairs peut se faire de différentes manières, chacune ayant ses mérites respectifs. Il incombe au comité de rédaction de choisir une approche appropriée, en tenant compte des aspects suivants:

L’utilisation d’outils d’examen automatisés est également possible, mais il faut noter que ces outils ne sont capables de détecter que les problèmes de base (p. ex. le plagiat, les déclarations de partage de données, les identificateurs de réactifs). En utilisant l’intelligence artificielle, ces outils peuvent contribuer à réduire la charge de travail des rédacteurs et des évaluateurs, bien que les recherches en cours aient mis en évidence des préoccupations potentielles concernant les biais informatiques. Par conséquent, les outils d’évaluation automatisés ne devraient pas être utilisés pour prendre automatiquement des décisions sur les soumissions reçues, mais seulement pour informer le processus d’évaluation par les pairs.

Comment choisir les pairs évaluateurs?

L’identification des évaluateurs est un défi complexe, car les chercheurs sont généralement très occupés et le nombre d’articles à évaluer chaque année augmente plus rapidement que le nombre d’évaluateurs disponibles. Les stratégies suivantes peuvent aider à identifier les évaluateurs:

• Demander aux auteurs de faire des suggestions.
• Vérifier les références dans la soumission ou les outils automatisés pour identifier les chercheurs dans des domaines similaires.
• Utiliser des réseaux personnels, notamment auprès des éditeurs, des comités éditoriaux, des auteurs précédents et des éditeurs invités.
• Inviter les anciens pairs évaluateurs.
• Demander aux pairs évaluateurs qui refusent de participer à l’évaluation de proposer d’autres candidats.

Aujourd’hui, il existe des déséquilibres dans l’évaluation par les pairs, qui contribuent à la difficulté de trouver des évaluateurs et à la surcharge d’un petit échantillon d’évaluateurs (Kovanis et al., 2016) . De plus, la diversification des évaluateurs en termes de sexe, de région ou d’autres caractéristiques personnelles peut avoir un impact positif (Murray et al., 2019).

Limites de l’évaluation par les pairs

Actuellement, il n’existe aucune preuve fiable que l’évaluation par les pairs contribue de manière significative à la qualité globale de la littérature scientifique. Toutefois, ce manque de preuves n’indique pas que l’évaluation par les pairs est nuisible ou qu’elle doit être évitée, mais souligne simplement la nécessité de poursuivre les recherches sur les systèmes d’évaluation par les pairs établis et innovants.

L’évaluation par les pairs suscite d’importantes préoccupations, notamment en raison de la faible concordance entre les évaluateurs, de leur susceptibilité aux préjugés et de la durée que peut prendre le processus. 

Enfin, les évaluateurs ne peuvent se prononcer que sur la qualité d’un manuscrit, et non sur celle de la recherche sous-jacente. D’autres méthodes d’assurance qualité, telles que l’évaluation de la reproductibilité ou de la réplicabilité, sont envisagées par certaines revues parallèlement à l’examen par les pairs (p. ex. l’American Economic Association), bien que cette pratique reste limitée. L’exigence d’une déclaration de disponibilité des données et d’un partage des données dans le cadre des politiques éditoriales est un moyen utile de permettre des activités telles que les contrôles de reproductibilité ou de réplicabilité.

Manipulation du processus de publication

Le Comité d’éthique de la publication définit les usines à papier comme des individus, des groupes ou des organisations qui visent à manipuler le processus de publication pour en tirer un bénéfice financier. Ces acteurs poursuivent la soumission frauduleuse, l’examen par les pairs et la publication d’articles qui sont, dans la plupart des cas, incorrects et ne résultent pas de véritables efforts de recherche. L’identification de l’activité des usines à papier est complexe, car ces articles sont conçus pour tromper tous les acteurs impliqués dans le processus de publication ainsi que les lecteurs. Souvent, les articles frauduleux ne sont détectés qu’après leur publication, lorsque des préoccupations exprimées dans plusieurs articles peuvent commencer à se présenter sous la forme d’un modèle cohérent. Dans ce cas, les éditeurs doivent recueillir des informations, de la documentation et des données auprès des auteurs afin d’éclairer les étapes suivantes. 

Les relations avec les usines à papier représentent une charge administrative considérable. Il est donc conseillé aux revues de mettre en place des orientations et des procédures claires, d’agir de manière transparente et de partager les informations avec d’autres éditeurs (et, éventuellement, avec l’institution de l’auteur), le cas échéant. Tout avis de rétractation appliqué à des articles identifiés comme provenant de l’une de ces usines à papier doit également être transparent et clair. Tout au long du processus d’enquête sur ce type d’activités, les revues et les éditeurs doivent respecter une grande confidentialité. Il existe en effet un risque élevé de nuire involontairement à la réputation d’un auteur, même si les réclamations ou les préoccupations peuvent finalement être résolues ou non financées.