Les méthodes bioinformatiques utilisées en génomique sont importantes #methodsmatter #BigScience

[caption id="attachment_1620" align="aligncenter" width="137"] cliquez sur l'image[/caption]

A l'occasion du projet ENCODE, j'ai déjà évoqué les avantages et inconvénients de la Big Science en biologie (billet ENCODE, billets sur critiques d'ENCODE 1 et 2, billet Big Science). Il y a en ce moment un débat très animé sur blogs et Twitter, concernant une question importante sur ces gros projets : les méthodes bioinformatiques utilisées.

Cela a commencé par ce billet de Lior Pachter, suivi de ce commentaire de Jeff Leek, et ce droit de réponse sur le blog de Lior. Si la question vous intéresse, je vous conseille fortement de lire non seulement les billets mais les commentaires. Il y a également une discussion Twitter intense, avec notamment les tweets de Lior, de Manolis Dermitzakis, et de Tuuli Lappalainen, et les hashtags #GTEx et #methodsmatter. La discussion comprend du beau monde en génomique et en bioinformatique. Quel est le débat ?

La discussion porte sur l'analyse de données de RNA-seq. Les gènes s'expriment (sont actifs) en étant transcrits en ARN. Plus un gène est actif, plus il y a d'ARN. Dans le RNA-seq, on séquence (on lit) des tas de petits morceaux d'ARN. On a davantage de morceaux lus pour les ARN correspondant aux gènes plus exprimés. Bon résumé de la méthode dans deux billets du site Bioinfo-fr : Analyse des données de séquençage à ARN et L'analyse de données RNA-seq: mode d'emploi. Ce deuxième fait aussi apparaître certains des soucis qu'on peut avoir.

Lior Pachter a remarqué que plusieurs gros projets, certains publiés comme ENCODE, d'autre encore en cours comme GTEx, utilisent une méthode bioinformatique de traitement du RNA-seq qui n'a jamais été publiée en tant que telle, donc n'est pas décrite formellement, n'a pas été évaluée, et n'a jamais été utilisée hors dédits consortiums (les auteurs de la méthode sont membres des consortiums Big Science en question). Il a essayé de comprendre la méthode (et Lior n'est pas un nul, il est notamment auteur de la méthode la plus utilisée, CuffLinks), sans grand succès, puis il l'a testée empiriquement sur les données de GTEx, parce que c'est ça qui l'intéressait. Et d'après ses tests, la méthode n'a que 10% du pouvoir statistique des méthodes plus habituellement utilisées dont il est l'auteur. Ce qui l'a conduit à écrire un billet de blog au titre provocateur "GTEx jette 90% de ses données".

Dans la discussion qui s'en est suivie, il y a plusieurs éléments. L'un est une défense spécifique de GTEx. Manolis fait remarquer à juste titre qu'ils n'ont pas encore publié leurs résultats, donc qu'il est un peu tôt pour critiquer leurs choix méthodologiques, et note aussi que (1) ayant beaucoup beaucoup de données, ils ont du prendre en compte l'efficacité computationnelle des méthodes (à savoir que CuffLinks plantait leurs ordinateurs apparemment), et (2) ils avaient contacté la bande à Lior pour avoir de l'aide, sans succès.

Un élément plus important pour moi est le rôle en effet des méthodes bioinformatiques dans de tels projets. Cela implique plusieurs niveaux. Le projet Big Science est sensé fournir des resources (des données réutilisables) et des conclusions biologiques. Si on ne comprend pas les méthodes, si elles ne sont pas connues et reconnues par ailleurs, alors (1) cela limite la réutilisation, et (2) cela diminue notre confiance dans leurs résultats. Ainsi dans mon labo on essaye d'utiliser les données RNA-seq d'ENCODE, mais ils ont utilisé la même méthode dont discute Lior, et cela nous gène pour faire confiance dans les données prétraitées qu'ils nous fournissent, sans compter que des membres de l'équipe ont perdu pas mal de temps à essayer de comprendre quelque chose qui n'était juste pas bien expliqué. Et du coup, on a du mal à reproduire des résultats sur lesquels on aimerait construire.

A  noter que Lior avait aussi écrit une critique d'ENCODE, disponible sur ArXiv seulement.

Certains ont répondu à la discussion que peu importe, nous embêtent les bioinformaticiens, toutes les méthodes donnent les mêmes résultats. D'où le hashtag #methodsmatter de Lior, et sa réponse ironique "toutes les données me donnent les mêmes résultats" (vu d'avion, c'est presque vrai). Et là je suis complètement d'accord avec Lior. Bien sûr, pour trouver que la myosine est exprimée dans le muscle, peu importe la méthode. Mais pour associer des formes différences de l'ARN d'un même gène à des variations inter-individuelles dans l'ADN régulateur proche du gène, et autres subtilités qui sont l'essentiel du message biologique que l'on cherche avec ces très gros jeux de données, oui cent fois oui les méthodes comptent, et c'est limite irresponsable de suggérer autrement. Il faut rappeler que (1) les gros jeux de données coutent cher, donc on veut en tirer le signal maximum, d'où l'importance de méthodes statistiques puissantes, et (2) la définition d'un biais c'est une méthode qui converge avec une confiance croissante vers un résultat faux lorsqu'on a plus de données. Donc gros jeux de données = importance de faire attention aux biais.

Finalement un point important à retenir de cette discussion, comme celle qui a suivi la publication d'ENCODE, c'est que grâce aux blogs et à Twitter ces gros projets se font sous la supervision de plus en plus proche et réactive d'une communauté qui n'a pas peur de faire connaître ses critiques, et que ces mêmes plateformes permettent aux scientifiques des gros projets de répondre, créant un dialogue constructif. Et ça c'est une très bonne nouvelle pour le progrès de la recherche en biologie et en sciences en général.

Note de dernière minute : il vient de sortir une grosse évaluation des méthodes RNA-seq, que je n'ai pas encore lue (communiqué de presse avec liens vers papiers - accès fermés), mais qui semble trouver que CuffLinks (de Lior) marche bien.

Mise à jour : de manière suprenante, les papiers de l'équipe GTEx, ENCODE, et ces évaluation de méthodes RNA-seq sont affichés comme reliés par l'EBI (voir communiqué de presse ci-dessus), pourtant l'évaluation n'inclut pas la méthode Flux Capacitor utilisée par ENCODE et GTEx. Cela semble moyennement cohérent a priori, mais je continue à suivre la discussion. A noter aussi qu'à la lecture, CuffLinks ne semble pas forcément en effet la meilleure méthode.