Cliquez sur l'image[/caption]Dans un commentaire sur la conclusion récente (ici et ici) de l'affaire de la bactérie à l'arsenic (voir ici, ici et ici pour quelques rapports de blog sur la découverte à l'époque, ici pour ma réaction), dans Libé, il y a des citations de Phlippe Marlière, qui est apparemment un spécialiste de la biologie synthétique (quelques refs trouvées sur internet : CNRS, Libé, article récent) (j'aimerais bien que les chercheurs français aient des pages web, mais bon). Je ne suis carrément pas d'accord avec ce qu'il dit. Vu que j'ai trouvé l'article en question un peu tard, et que mon commentaire est relativement long, je vais commenter ici et non sur le site de Libé.
Je cite des morcaux choisis :
"la saga de l’arsenic nous donne comme une démonstration par l’absurde de ce que la solennité de l’évaluation par les pairs et le prestige de certaines revues peuvent n’être d’aucun secours dans la recherche de la vérité scientifique. J’irai jusqu’à dire que le processus de publication est devenu l’obstacle majeur à la recherche" ... "Manifestement, l’évaluation des manuscrits par les pairs, cette tradition venue du fond des âges ecclésiastiques, ne garantit plus la qualité ni l’intérêt des publications dans les revues de haut niveau. Elle s’est allégée de sa puissance purificatrice et alourdie de toutes les nuisances de la peopolisation, du conformisme intellectuel et du marketing. La science doit dorénavant faire appel aux subversifs venus des autres domaines culturels pour libérer la publication de ses découvertes."
Premièrement, merci de s'exprimer clairement quand on parle de science.
Deuxièmement, l'évaluation par les pairs ne vient ni du fond des âges, ni de l'Eglise (histoire dans Wikipedia anglophone). Elle s'est imposée au cours du 20ème siècle comme le moyen le plus efficace de trier les articles scientifiques, souvent les améliorer au passage, en minimisant le copinage (oui ça n'est pas parfait, mais c'est mieux qu'être copain de l'éditeur en chef). Bien sûr, on peut imaginer des améliorations, et plusieurs sont en discussion, voire testées (voir ce billet).
Troisièment, cette évaluation n'a jamais prétendue garantir la vérité, mais aider autant que possible à publier des articles pertinents, nouveaux, lisibles et comprenant les contrôles nécessaires. Oui le journal Science s'est planté pour le papier sur les bactéries à l'arsenic, mais si vous avez une solution qui fait 0% d'erreurs, merci d'appeler l'industrie aéronautique, ils sont intéressés.
Quatrièmement, obstacle majeur à la recherche ? A l'heure où on peut tous déposer des résultats non évalués sur ArXiv, voire sur un blog, où des journaux comme PLoS One publient sans critère d'impact (déclaration de conflit d'intérêts : je suis membre du comité éditorial bénévole) ? Sérieux ?
Ce qui est grave avec des interviews comme celle-ci, c'est qu'elle présente dans un grand média un point de vue extrême et non justifié sur le fonctionnement de la science comme factuel. Ceci ne peut que nourir les incompréhensions existant déjà sur le fonctionnement de la science (voir les commentaires en anglais ici par exemple). Comment expliquer que le refus des médecines alternatives de se soumettre à la revue est un problème, quand on vient de dire que c'est cette revue qui est le problème ? Comment distinguer une hypothèse farfelue (les sirènes existent ! voir aussi ici) d'une vraie découverte scientifique (un ancien fossile hominidé vu par scanner ) ? On peut aussi comparer cette discussion surréaliste sur la page Facebook de créationistes (archivée sur Panda's Thumb) à la réponse sur un blog par un journaliste scientifique sérieux... basée sur des articles "revus par les pairs".
Alors oui, la revue par les pairs n'est pas parfaite (je me répète), oui il se publie des erreurs, mais non il n'y a pas une clique de grands prêtres scientifiques qui décident de manière arbitraire de mettre un imprimatur "scientifique" sur certaines choses et pas d'autres au gré de leurs envies (voire des complots auxquels ils participent bien entendu). Et oui, dans le cas général l'évaluation par les pairs trie efficacement le bon grain de l'ivriae, et améliore significativement les articles scientifiques, en amont (on fait des contrôles parce qu'on
Articles
Je suis carrément pas d’accord avec toi... L’évaluation est faite n’importe comment, pas besoin d’aller piocher dans les nombreux cas de fraudes scientifique, je peux citer des dizaines de papiers qui n’auraient pas dû être publiés — je viens d’en bouler un à PLoS One, ce qui prouve que parfois les rapporteurs font leur boulot (l’autre rapporteur avec recommander d’accepter le papier avec révision mineure !), mais mon argument principal pour le bouler (et qui a convaincu un éditeur associé connaissant bien le domaine, ce qui n’est pas toujours évident) implique qu’une tripotée d’autres de la même équipe (plus de 10), certains parus dans des revues prestigieuses, n’auraient jamais dû être acceptés (donc les rapporteurs se sont fait bluffer) ; une autre fois j’ai été rapporteur simultanément pour deux papiers d’une même équipe (une autre), dont l’un était un extrait de l’autre ! J’ai recommandé le rejet du papier le plus court, j’ai signalé le fait aux éditeurs, l’associate editor m’a suivi et a recommandé le rejet, mais l’éditeur en chef est passé outre ! et a accepté le papier — cet éditeur est un bon copain du dernier auteur...
RépondreSupprimerBref des exemples comme ça j’en ai à la pelle, d’ailleurs j’ai fait passer moi-même des papiers médiocres dans de bons journaux (grâce à la présence de co-auteurs prestigieux et, eux, très contents du papier...) je l’admets, et des histoires de rapporteurs qui pinaillent sans raison sur des bons voire très bons papiers tu en as sans doute toi même des brouettes sans que j’ai besoin d’en rajouter.
Bref, ce système est peut-être ce qu’on de mieux, mais on ne peut pas minimiser ses défauts comme tu le fais : ça ne marche pas, ça ne marche plus, le volume de publications est devenu trop important, la pression pour publier aussi, la communauté scientifique est devenue trop grosse. Quand je vois les frères Reshef passer dans Science un papier de stats plein de paillettes qui n’aurait pas été accepté par les bonnes revues de stats, je me tape le cul par terre sur du verre pilé !
L’évaluation post publication, avec des rapports publics, aurait beaucoup plus de sens.
Je suis carrément pas d’accord avec toi... L’évaluation est faite n’importe comment, pas besoin d’aller piocher dans les nombreux cas de fraudes scientifique, je peux citer des dizaines de papiers qui n’auraient pas dû être publiés — je viens d’en bouler un à PLoS One, ce qui prouve que parfois les rapporteurs font leur boulot (l’autre rapporteur avec recommander d’accepter le papier avec révision mineure !), mais mon argument principal pour le bouler (et qui a convaincu un éditeur associé connaissant bien le domaine, ce qui n’est pas toujours évident) implique qu’une tripotée d’autres de la même équipe (plus de 10), certains parus dans des revues prestigieuses, n’auraient jamais dû être acceptés (donc les rapporteurs se sont fait bluffer) ; une autre fois j’ai été rapporteur simultanément pour deux papiers d’une même équipe (une autre), dont l’un était un extrait de l’autre ! J’ai recommandé le rejet du papier le plus court, j’ai signalé le fait aux éditeurs, l’associate editor m’a suivi et a recommandé le rejet, mais l’éditeur en chef est passé outre ! et a accepté le papier — cet éditeur est un bon copain du dernier auteur...
RépondreSupprimerAh putain le site a bouffé la fin de mon commentaire...
RépondreSupprimerBon j’ai pas envie de tout retaper, je disais que ce système est peut-être ce qu’on a trouvé de mieux, mais ça ne marche pas, ça ne marche plus, le volume de publis est devenu trop grand, la communauté trop grosse, la pression pour publier trop importante ; et que l’évaluation post publication avec des rapports publics aurait sûrement plus de sens.
Les trois commentaires étaient bloqués par le filtre anti-spam, désolé.
RépondreSupprimerSur le fonds, bin on n'est pas d'accord, c'est la vie. Ton argumentation fait en tous cas beaucoup plus sens que celle du Monsieur sur le blog de Libé. C'est une bonne base de discussion.
[...] aux remarques de H sur mon post il y a quelques temps, et à une série de posts intéressants de Mike Taylor (posts [...]
RépondreSupprimer[...] à jour 2 : je ne suis pas toujours d’accord avec le traitement de l’info scientifique par Sylvestre Huet, mais là elle fait plein dans [...]
RépondreSupprimer[...] rejeté dans tous les journaux scientifiques contactés (de l’utilité de l’expertise par les pairs), les auteurs ont créé leur « journal« , qui est une page web moche qui [...]
RépondreSupprimer[…] tout comme elle se montre parfois défaillante dans de nombreux journaux (dont Science, cf les bactéries à l’arsenic), en accès libre ou […]
RépondreSupprimer[…] Ces journaux sont aussi plus intransigeants sur la qualité des analyses effectuées (malgré quelques couacs comme les bactéries à l’arsenic). Mais peut être les auteurs préféraient viser les […]
RépondreSupprimer