diversité du peer review

Les trompettes de la renommée par jrobinss (ça change des petits mickeys)

Je me suis rendu compte lors d'une discussion sur Futura-Sciences, que la façon dont la publication scientifique fonctionne n'est pas claire pour beaucoup de personnes hors de notre tour d'ivoire. Voici donc un petit tour d'horizon, du point de vue d'un bioinformaticien.

Le modèle le plus classique est celui du journal spécialisé visant une certaine qualité. Les étapes sont alors les suivantes :

1. Le manuscrit est reçu par un éditeur, qui est un spécialiste du domaine. Celui-ci juge s'il s'agit du type d'articles que son journal publie (domaine adéquat, écrit en anglais scientifique compréhensible). Si non, tcho. Si oui, étape suivante. Selon les journaux, entre 5% et plus de 50% des articles peuvent être rejetés à cette étape. Surtout que nombre d'éditeurs incluent dans leurs critères que le manuscrit promet de résoudre une question suffisamment importante pour leur super-duper-journal.
2. L'éditeur choisit des experts, auxquels il envoie le manuscrit, sans masquer les auteurs. Les experts renvoient des rapports sur la qualité du manuscrit et son adéquation au journal.
3. L'éditeur se base sur les rapports de experts pour prendre une décision. En général, le choix est : accepté tel quel (rare), accepté après changements mineurs (les experts n'auront pas besoin de re-juger), changements majeurs demandés (les experts devront rejuger, ça peut encore être accepté ou refusé après cela), ou rejeté.
4. Les auteurs reçoivent la décision de l'éditeur accompagné des rapports anonymes des experts. Ils peuvent faire appel.

Plein de problèmes, dont le plus évident est l'asymmétrie entre les experts qui connaissent les auteurs (ce qui peut biaiser leur jugement), et les auteurs qui ne connaissent pas les experts (qui peuvent donc être salauds sans risque). Je suis personnellement favorable au double anonymat, mais c'est très rare que ce soit fait. Autre problème, l'éditeur est finalement seul maître à bord (un peu comme un arbitre dans un stade), et s'il est injuste ou incompétent c'est dommage. Heureusement il existe plein de journaux scientifiques spécialisés, donc généralement à ce niveau-là on peut s'en sortir.

Première variante, le journal méga-super-connu, typiquement Nature ou Science. A toutes les étapes, une évaluation de l'importance de la contribution est plus importante que la qualité du travail lui-même. C'est un peu la première page du Monde. C'est bien si c'est correct, mais il faut aussi que ça intéresse beaucoup de monde tout en respectant l'image plus ou moins sérieuse du journal. Le problème, c'est que les critères sont très discutables. De plus, les problèmes classiques sont amplifiés par l'importance qu'une publication dans ces journaux peut avoir pour une carrière, et le niveau de compétition correspondant. Finalement, une grosse différence est que les éditeurs sont des professionnels qui ont généralement une formation scientifique, mais ne travaillent pas comme chercheurs depuis des années. Alors que les éditeurs des journaux de spécialité sont censés être les meilleurs dans leur domaine, ceux-ci sont plutôt des personnes qui changé de métier parce qu'elles n'aimaient pas la carrière de chercheur.

Ces deux variantes existent depuis longtemps, mais avec Internet d'autres apparaissent.

D'abord, ArXiv, dont on a déjà parlé. Pas d'experts, et des éditeurs qui s'assurent juste que c'est plus ou moins scientifique. Le problème, c'est qu'on n'a aucun critère de qualité. Le bon grain et l'ivraie se couchent avec l'agneau et le lion. Ou quelque chose comme ça.

Ensuite, Biology Direct. Les auteurs reçoivent les rapports des experts non anonymes. Ce sont les auteurs qui décident de la suite à donner (changements ou pas, publier ou pas). Si les auteurs décident de publier, c'est fait, accompagné des commentaires (toujours non anonymes) des experts. Une idée qui paraît attirante, mais marche très mal en pratique. Les bons auteurs auront des scrupules à publier leur papier, les mauvais, non. Les chercheurs connus feront des critiques fortes, les chercheurs en début de carrière seront beaucoup plus hésitants.

Un modèle qui a un très fort succès, exemplifié par PLoS One, est de supprimer totalement les critères de pertinence et de significativité de l'avancée scientifique. Tout ce qui est correct et n'est pas totalement redondant avec des résultats précédemment publiés doit être publié. PLoS One est devenu le journal qui publie le plus d'articles scientifique par an, et a notamment une bonne réputation en recherche médicale. Curieusement, de nombreux collègues restent persuadés qu'il n'y a pas d'experts (il y en a, pareil que dans la formule classique), et que c'est un journal poubelle. C'est vrai que beaucoup d'articles de faible intérêt y sont publiés, mais aussi de très bons articles, parfois parce les auteurs voulaient publier vite sans s'embéter à se battre avec les éditeurs de grands journaux, parfois parce qu'il n'existait pas de journal de spécialité correspondant (pour de la recherche interdisciplinaire).

Le modèle le plus récent à ma connaissance est celui de Frontiers, une nouvelle série de journaux sur internet. Les experts et les auteurs dialoguent à travers un système anonyme, jusqu'à trouver un accord sur la publication ou pas de l'article, éventuellement après modifications. Cela rappelle un système qui existe pour certaines conférences d'informatique, mais où ce sont seulement les experts qui doivent discuter entre eux, de manière non anynome ; ça évite au moins l'éditeur seul maître après Dieu (et quand on connaît le rôle de Dieu en science...).

Après ce tour d'horizon des mille et une recettes, qui vous valent à coup sûr les honneurs des gazettes...

Mise à jour : remarque intéressante lue dans les commentaires de Slashdot :

The peer review process isn't about catching fabricated data, but about editorial quality. It may not be obvious that the two are different, but they are. 

L'expertise ne vise pas à déterminer les données falsifiées, mais à vérifier la qualité éditoriale. La différence peut paraître minime, mais elle existe.

En effet, les experts sauf accident (genre les données ont l'air très suspectes) doivent donner le bénéfice du doute aux auteurs, et supposer que le travail a été fait honnêtement. La question principale est donc de savoir si le travail a été fait de manière compétente ou non. La fraude peut être détectée, mais rarement par l'expertise par les pairs.