Cliquez sur l'image[/caption]Un billet forcément trop court pour rendre compte d'un débat important et très animé qui a eu lieu ces deux dernières semaines, sur le blog de Lior Pachter, le même qui avait déclenché le débat sur les méthodes utilisées en bioinformatiques en fin d'année dernière. Dans une série de trois billets (The network nonsense of Albert-László Barabási ; The network nonsense of Manolis Kellis ; Why I read the network nonsense papers ; plus une explication de texte finale : Number deconvolution), Lior a démonté des articles par des scientifiques très connus, dans des journaux très reconnus, sur les méthodes d'analyse de réseaux, y compris les réseaux de gènes ou de protéines (quel gène interagit avec quel gène, ou régule quel gène, etc).
Je ne vais pas rentrer dans les détails, il faut lire les billets et les commentaires si vous vous intéressez à la biologie computationnelle. Mais je vais insister ici sur les tensions que ces billets ont cristalisé :
- Tension entre méthodologistes, souvent énervés par des papiers par forcément 100% satisfaisants publiés dans de grandes revues, et scientifiques qui produisent ces papiers à haute visibilité, que les critiques des méthodologistes qui ne produisent pas les résultats biologiques énervent souvent.
- Tension plus générale entre les scientifiques qui réussissent bien, même très bien dans le système actuel, de revues à fort impact très sélectives, et scientifiques qui réussissent moins bien dans ce système, et qui jusque récemment avaient peu l'occasion d'exprimer leurs critiques (à-peu-près toujours rejetées par les grands journaux "par manque de place" ou "trop technique"), mais s'expriment de plus en plus dans les blogs et sur les serveurs de preprints du type ArXiv.
- Tension, enfin, entre la nécessité de parler franchement des problèmes éventuels de méthodes ou de résultats scientifiques, et la nécessité d'avoir un dialogue constructif entre scientifiques. Tension donc entre le fonds (y compris dire que c'est faux quand c'est faux) et la forme (ne pas accuser les collègues de fraude ou de malversations à la légère en public).
Le dernier point a donné lieu à la plus grande discussion, parce que le mot fraude, justement, a été employé. C'est un mot très chargé en science. Accuser quelqu'un de fraude, c'est très grave. Lior a accusé Manolis Kellis de fraude, parce qu'il a modifié une figure après expertise, et parce que des paramètres de la méthode n'étaient pas explicités. (C'est un prof de Berkeley qui accuse un prof du MIT, y a pas de petit joueur ici.)
Ma position sur ce débat, je l'ai donnée en commentaire du troisième billet, ici et ici. En bref, je pense que (1) le débat sur la forme a lieu d'être, et Lior a probablement eu tort d'utiliser le mot fraude, mais que (2) ce débat a été employé pour détourner de ce qui doit rester l'essentiel, à savoir la véracité et l'honnêteté du travail scientfique. Si Lior a raison, alors il a rendu un service important à la communauté. S'il a tort, il faut le montrer, pas juste pousser des cris sur le ton.
Je reiviens sur ce que j'avais écrit après le précédent billet à scandale de Lior :
grâce aux blogs et à Twitter ces gros projets se font sous la supervision de plus en plus proche et réactive d’une communauté qui n’a pas peur de faire connaître ses critiques, et que ces mêmes plateformes permettent aux scientifiques des gros projets de répondre, créant un dialogue constructif. Et ça c’est une très bonne nouvelle pour le progrès de la recherche en biologie et en sciences en général.
Je pense vraiment que la vigilance de personnes telles que Lior, ou "expertise post-publication", peut améliorer la science. Quelque part, ses motivations me challent peu : vengeance, jalousie, passion pure et brulante pour la science ? Si les auteurs et les journaux savent qu'ils courent le risque d'être critiqués sur la place publique en cas d'erreurs ou de manquements graves, tout le monde sera un peu plus prudent, peut-être un peu plus rigoureux, et ce sera pour le mieux. Voir aussi le débat post-publication en cours sur les cellules souches miraculeuses.
(A propos de l'image ci-dessus, je l'ai twittée du coup à Lior et à Dan Graur, également spécialiste de la critique malpolie :
Today’s XKCD is specially dedicated to @lpachter & @DanGraur: Slippery slope towards being nice http://t.co/Kv4HFAjsDf :-)
— Marc RobinsonRechavi (@marc_rr) February 19, 2014
)
----
Mise à jour : certains des débateurs opposés s'échangent des tuyaux gentils sur Twitter, c'est pas cool ?
@lpachter Interesting talk Lior (saw it at livesteram). Though not RNAseq do yuo know this dataset? http://t.co/6EgDFvvw9o
— Manolis Dermitzakis (@dermitzakis) February 21, 2014
@dermitzakis Thanks Manolis! I hadn't thought to examine that data and will take a look. Seems very useful.
— Lior Pachter (@lpachter) February 21, 2014
Articles
Pour moi les aspects intéressants de cette histoire (que j'ai seulement survolé, j'ai du louper quelques épisodes):
RépondreSupprimer- les problèmes de peer review. Si les allégations de Lior sont exactes (je n'ai pas le background suffisant pour en juger) cela montre une fois de plus que ce système doit être changé car il se montre souvent inefficaces. Les review post-publications (quelqu'en soit la forme) sont une alternative mais d'autres solutions peuvent venir les complémenter.
- Les politiques de publication des grands journaux: mieux vaut avoir un nom connu proposer quelque chose qui semble tenir la route à première vue et qui est sexy pour y publier.
- Enfin, le plus important, l'importance des maths et stats pour les bioinformaticiens de nos jours. Il semble de plus en plus "challenging" de développer des méthodes d'analyses nouvelles, poussées et robustes en étant simplement un biologiste devenu bioinformaticien. Ces bioinformaticiens là pêcheront souvent par omission et développeront des méthodes pas assez robustes car ils ignorent certaines règles ou théories. Il est alors indispensable d'avoir un bon background en math/stat pour ne pas faire trop de conneries. Ou bien de se faire aider et faire réviser ses méthodes par un vrai mathématicien/statisticien. L'accent doit aussi être mis sur les formations (avant ou pendant le doctorat) pour que les bioinformaticiens souhaitant s'attaquer à ce genre de problématiques aient un bagage suffisant. Sans quoi on risque de se trouver dans quelques années avec de nombreux papiers invalidés ce qui représentera beaucoup de temps et d'argent perdu. Il y aura toujorus des articles dans cette situation (c'est inhérent au processus scientifique) mais il est toujours mieux d'en réduire la proportion.
[…] Cliquez sur l'image Un billet forcément trop court pour rendre compte d'un débat important et très animé qui a eu lieu ces deux dernières semaines, sur le b […]
RépondreSupprimerConcernant le dernier point, je pense que cela dépend vraiment des cas. Dans certains cas, des maths très simples suffisent. Dans d'autres, non. Le piège est de sous-estimer le niveau de maths nécessaire dans certains cas. Mais il faut aussi se méfier du risque inverse, qui interdirait à des biologistes d'utiliser des maths simples quand elles sont efficaces. Beaucoup d'innovations positives en bioinformatique viennent de biologistes ou biochimistes relativement amateurs en maths ou informatique.
RépondreSupprimerLe point le plus important pour moi, et il est d'autant plus critique en recherche inter-disciplinaire, est d'accepter la critique argumentée, et de reconnaître quand on a tort.
[…] Cliquez sur l’image Un billet forcément trop court pour rendre compte d’un débat important et très animé qui a eu lieu ces deux dernières semaines, sur le blog de Lior Pachter, le même qui avait déclenché le débat sur les méthodes utilisées en... […]
RépondreSupprimer[…] Un billet forcément trop court pour rendre compte d’un débat important et très animé qui a eu lieu ces deux dernières semaines, sur le blog de Lior Pachter, le même qui avait déclenché le débat sur les méthodes utilisées en bioinformatiques en fin... […]
RépondreSupprimerJ'ai peut être été un peu général effectivement et parlais avant tout des cas où un problème biologique demande énormément de maths pour être approché (comme les papiers discutés dans cette affaire). Dans un tel cas le plus raisonnable et de se faire aider et être ouvert aux critiques comme énoncé.
RépondreSupprimerIl reste après évidemment beaucoup que l'on puisse faire sans une maitrise des maths, cela doit représenter la vaste majorité des bioinformaticiens (ou biologistes computationels comme je préfère même si ça sonne super mal en français), y compris moi même. Mais même ceux ci devraient s'ouvrir plus aux maths/stats (y compris moi même encore =)).