cliquez sur l'image[/caption]Une petite suite à mon billet récent sur les critiques Twitter d'un article prestigieux. Aujourd'hui Lior Pachter (dont on a déjà parlé sur ce blog : les méthodes comptent, rififi chez les bioinformaticiens, écrire un mauvais article) a publié un nouveau billet. Dedans, il part d'un article publié récemment en preprint (version publique non encore publiée officiellement, voir ici), pour critiquer un article de 2004, de Kellis et al dans Nature (depuis Manolis Kellis est devenu un des poids lourds de la génomique). Dans Kellis et al 2004, les auteurs donnent une proportion de 95% de gènes dupliqués où seul l'un des deux évolue rapidement, et disent que c'est frappant ("striking") et que ça soutient une hypothèse classique d'évolution des gènes dupliqués.
Lior met au défi ses lecteurs de déterminer la probabilité d'observer ce résultat : est-ce réellement frappant, ou au contraire attendu même si l'hypothèse est fausse ?
Et ce qui me frappe, moi, c'est un commentaire où Lior publie un email qu'il vient de recevoir. Un collègue anonyme lui envoie la lettre qu'il avait écrite au journal Nature à l'époque, en 2004. Laquelle lettre détaille le calcul de la probabilié associée, et montre que loin d'être frappant, le résultat invalide même légèrement l'hypothèse classique. Lettre que Nature a refusé de publier. Donc que personne n'a vu entre 2004 et 2015.
Pourquoi est-ce que ça me frappe ? Parce que ça montre une fois de plus qu'en l'absence de la communication scientifique informelle par les blogs et Twitter, le système a été vérouillé par quelques-uns, qui n'ont pas permis à la discussion scientifique d'avancer comme elle le devrait. Cette discussion ouverte, à laquelle participe également la publication open access / libre accès, est essentielle. Nous vivons une révolution pacifique et très positive, et il faut en être conscient et la soutenir.
Mise à jour : grosse discussion générée sur Twitter, avec intervention de l'excellent Alan Drummond entre autres (cliquez sur le Tweet pour voir les réponses). Et vive les médias sociaux en science.
11 years after Kellis et al 2004 a rebuttal is published… as comment on @lpachter's blog: https://t.co/70bXum5raJ (we need blogs in science)
— Marc RobinsonRechavi (@marc_rr) May 26, 2015
Articles
Je vais prendre un point de vue volontairement conservateur: est-ce que ça change vraiment grand chose au fond ? Mon impression c'est que dans chaque domaine, il y a des papiers dont tout le monde sait qu'ils sont un peu faux, voire beaucoup survendus. Surtout dans Nature & Science. En quoi ce papier spécifiquement est-il différent ? Si je comprends bien, des rebuttal ont été publiés, mais pas dans Nature. Donc la science avait déjà fait son boulot d'auto-correction non ?
RépondreSupprimerEnfin, le plus gros problème dans ce genre de situation, c'est pas que ce genre de trucs soit publié (après tout les erreurs ça arrive, et manifestement ici c'est assez visible pour que quelqu'un qui étudie le sujet un peu sérieusement voit immédiatement le problème). Le problème n'est même pas que ce soit publié dans Nature. Le vrai problème est qu'une publication dans Nature donne un immense avantage comparatif pour tout un tas de goodies académiques (postes, financements, etc....) et que c'est largement autocatalytique. Je ne sais pas quelle est la solution, mais je suis sûr que plus on va concentrer les moyens, les chances des uns et des autres de monter, etc... , plus on va renforcer cette tendance. "Se payer" quelques big shots ne va pas tellement changer la situation je pense, c'est un problème fondamentalement structurel et le système sélectionne certains profils plus que d'autres. Enfin c'est mon impression (peut-être fausse).
Ce qui a été publié n'est pas vraiment des rebutal à mon sens, mais des analyses différentes. Ce que ça change c'est que une analyse qui dit quelque chose d'un peu différent n'est ni vue par les instances qui évaluent les scientifiques (donc Kellis et al continuent à bénéficier de l'aura de leur article, alors que s'il y a rebutal un peu moins je pense), ni par les non spécialistes qui vont citer ce papier en passant. A nouveau, s'il y a rebutal, ça se voit. S'il faut comprendre la figure 1b de Drummond et al, ça ne se voit pas.
RépondreSupprimerPar rapport au fait que ce soit une erreur : un biologiste quantitatif qui dit qu'une proportion est frappante sans s'être posé la question de la proportion attendue au hasard, je n'y crois pas trop. L'autre hypothèse est malheureusement d'avoir caché cela en espérant que ça ne se verrait pas.
Après je suis d'accord sur le rôle biaisé des grosses revues, qui ne diminue pas tellement.
Mais je vais être optimiste : si les articles de ces revues sont davantage ciblées par la communauté, et que ça se sait, alors avoir un papier dans Nature qui n'a pas été démonté dans PubPeer etc sera un badge d'honneur qui aura du sens. :-)
Ce que tu dis sur le fait que ça attire l'attention est vrai, mais je suis assez pessimiste: pour moi "le mal est fait", et depuis longtemps. Nature, science and co ne vont pas se dédire. En attendant il y a des effets de cliques de communautés entières bien établies (y compris jusque dans les éditeurs des revues en question). Je pense que c'est comme certaines idées scientifiques: il faudra attendre une ou deux générations pour que ça disparaisse. Et les différentes communautés évoluent à des vitesses différentes : les physiciens et les bio informaticiens sont peut être ok avec l'arXiv et le post peer review, mais la bio plus expérimentale est encore très à la traîne. Bref, on n'a pas fini de parler de et déplorer tout ça ;) (écrit depuis mon téléphone donc rapidement et fautes de frappes incluses !)
RépondreSupprimerIllustration amusante, ce tweet de Dimitri Petrov, prof de génomique évolutive très connu à Stanford :
RépondreSupprimerI was told this AM that work from my lab was featured in Lior Pachter's blog. My heart skipped a beat. https://t.co/DWxMEEVB2I— Dmitri Petrov (@PetrovADmitri) May 26, 2015
Si les scientifiques ont peur de ce qu'on va écrire sur nos papiers, espérons que ça nous incite à faire mieux.
[…] cliquez sur l'image Une petite suite à mon billet récent sur les critiques Twitter d'un article prestigieux. Aujourd'hui Lior Pachter (dont on a déjà parlé […]
RépondreSupprimer[…] Une petite suite à mon billet récent sur les critiques Twitter d’un article prestigieux. […]
RépondreSupprimer