Ciel ! On critique un article scientifique sur Twitter !

[caption id="attachment_2666" align="aligncenter" width="332"] cliquez sur l'image[/caption]

Après une longue pause, ce blog redémarre. Je reviendrais sur mes réflexions sur les blogs et la communication scientifique prochainement, mais commençons par un billet sur un petit évènement qui agite mon landerneau, celui de la génomique et la bioinformatique de l'évolution. Et qui éclaire l'évolution de la publication et du débat scientifique à l'heure des réseaux sociaux.

Mes plus fidèles lecteurs se rappeleront du projet ENCODE (billet ENCODE, billets sur critiques d’ENCODE 1 et 2, billet Big Science). L'original concernait l'humain, il y a eu ensuite un ENCODE souris, et un modENCODE mouche drosophile et vers nématode. Tous ces projets mènent à de nombreux articles scientifiques, certains décrivant les données, d'autres les utilisant pour diverses études. Fin 2014, une analyse publiée en coordination avec ENCODE souris (Lin et al 2014 ; voir aussi Figure 2 dans Yue et al 2014) montrait un résultat surprenant :

[caption id="" align="aligncenter" width="532"] comparaison d'expression de gènes humain-souris, par analyse multivariée présentée bizarrement[/caption]

Si vous trouvez la figure ci-dessus difficile à comprendre, vous êtes pardonné. En bref, les auteurs ont pris la mesure du niveau d'expression des gènes (leur niveau d'activité en première approximation) dans différents tissus (de testicules à estomac) de souris et d'humain. Pour chaque tissu humain ou souris, on a environ 20'000 mesures, pour autant de gènes. On peut réduire cela aux 2 ou 3 dimensions qui expliquent le mieux la variation, ce qu'ils ont fait. D'habitude on représente cela par des graphes 2D, qui sont lisibles au moins, mais ici ce sont des graphes 3D où la troisième dimension est très difficile à comprendre. Mais ceci est un péché véniel.

Ce qui est frappant pour le spécialiste dans ces figures, c'est que les tissus de regroupent par espèce (souris ensemble, humain ensemble) plutôt que par type de tissu (estomacs ensemble, reins ensemble). Ce qui revient à dire que les gènes exprimés dans un estomac de souris sont davantage similaires à ceux exprimés dans un rein de souris que dans un estomac humain. Ce qui est très surprenant : on s'attends plutôt à l'inverse, et d'ailleurs cela a été publié de manière répétée (même par mon labo). Et comme le fait remarquer l'inénarable Dan Graur (voir ici à son propos), si c'est vrai ça veut dire que l'étude des gènes de souris ne sert à rien pour étudier l'humain, et que donc ENCODE souris est un gaspillage d'argent. Ce que les auteurs d'ENCODE souris ne relèvent curieusement pas.

Ce résultat a paru bizarre a beaucoup de monde, et une analyse rapide dans mon labo semblait indiquer qu'il était du à ce que les expériences de souris et d'humain ont été faites différemment, et donc ce que l'on verrait serait le biais expérimental plutôt que le signal biologique. Mais montrer publiquement qu'un collègue a tort, c'est du boulot (cf ici), qu'on n'avait pas envie de poursuivre dans ce cas-ci.

Heureusement, un collègue de Chicago, Yoav Gilad, a décidé de le faire, et il a lancé un Tweet tonitruant :

We reanalyzed the data from http://t.co/Fv7z9WwLJ4 and found the following: pic.twitter.com/37eVs8Kln9

— Yoav Gilad (@Y_Gilad) April 28, 2015

Bon tonitruant sur l'échelle des débats feutrés en science hein. L'important c'est qu'il a montré que les résultats publiés ne tenaient pas, mais qu'en enlevant les biais expérimentaux on retrouvait bien un regroupement par tissus. Il a ensuite mis son article sous forme non encore expertisée sur le site de F1000, qui permet de rendre publique toutes les versions d'un papier, avant pendant après expertise, ainsi que les expertises elles-mêmes, afin que tous puissent discuter librement :

A reanalysis of mouse ENCODE comparative gene expression data. Yoav Gilad, Orna Mizrahi-Man F1000

A noter que les commentaires sous cet article "brouillon" sont très constructifs, et comprennent deux réponses détaillées des auteurs d'origine du consortium ENCODE.

Le tweet d'origine a fait beaucoup réagir dans le microcosme des biologistes des génomes, et a donné lieu a un compte-rendu dans le magazine Nature, où notamment l'auteur sénior (le chef quoi) de l'article d'origine, Michael Snyder, a déclaré que Gilad avait "brisé les normes sociales de la science en postant initialement sa critique sur Twitter" :

Michael Snyder, a geneticist at Stanford University in California and co-author of the original paper, stands by his team’s study and its conclusions and says that Gilad broke the “social norms” of science by initially posting the critique on Twitter. Gilad says that he took to social media to highlight his work, which might otherwise have been overlooked.

Cette réaction de Snyder a provoqué pas mal de réactions sarcastiques sur Twitter et blogs. Le ton général était qu'une publication scientifique est, bin, publique, et doit être critiquée publiquement. Et que la norme sociale de la science, ça doit être de faire les meilleures analyses et d'accepter la critique. Certains collègues pensent toutefois que Twitter est trop brutal, une appréciation que je ne partage toutefois pas. Si on reçoit énormément d'argent des contribuables pour faire de grosses études, qu'on les publie à grande fanfare dans les journaux les plus réputés, on doit s'attendre à être jugé et critiqué à l'échelle de cet investissement et de ce retentissement. A vrai dire, certains collègues éminents (Ewan Birney, Lior Pachter) ont dit que si l'analyse de Gilad était confirmée, l'article de Snyder devrait être rétracté, ce qui est très brutal. Et je pense que l'analyse va être confirmée. Le statisticien renomé en génomique Rafael Izarry a publié un billet sur son blog où il affirme que la mise en place de l'expérience était tellement faussée du départ que les auteurs ne pouvaient simplement rien trouver, et que donc toute l'analyse est forcément invalide. En fait, dans la discussion beaucoup de personnes disent que soit on enlève et le biais expérimental et l'effet (potentiel) espèce-spécifique, soit on confond les deux, mais ils ne sont pas démélables en l'état (voir à ce propos un excellent billet de Lior Pachter qui référence un billet du cafe-sciences dans les commentaires).

On revient à un point déjà traité précédemment sur ce blog, à propos des gros projets de génomique et autre "big science". Les scientifiques très connus et très établis, qui obtiennent de très gros budgets et publient fréquemment dans les plus grandes revues, ne sont plus à l'abri des critiques. Avant, elles existaient, mais ils pouvaient les ignorer, et surtout compter que les personnes les finançant et les jugeant les ignoraient. Maintenant, c'est public et c'est très rapide, et ces scientifiques et ces revues prestigieuses doivent s'habituer à une discussion beaucoup plus animée et critique qu'avant. C'est pour le mieux pour la science et c'est ça qui compte.

Anecdote personnelle : maintenant quand j'expertise ou j'édite un article (voir les rôles dans ce billet), je réfléchis avant de soumettre mon avis : que penserais-je si cet article était publiquement critiqué ? Serait-je fier ou honteux de mon rôle dans la publication. Et peut-être que je suis un peu plus prudent qu'avant, et c'est bien.