vendredi 11 janvier 2013

Rions un peu avec les méthodes scientifiques et Twitter

[caption id="attachment_727" align="aligncenter" width="289"]twitteradict Cliquez sur l'image pour faire un quizz[/caption]

Ces derniers jours il y a eu une floraison de tweets humouristiques de scientifiques, sur le thème, "les vraies méthodes utilisées en science qu'on n'ose jamais écrire". C'est sous le hashtag (mot-clé Twitter) #overlyhonestmethods. Y en a plein de hilarants, je vous conseille de lire ça tant que c'est disponible. Ca a été lancé par un neuropharmacologue apparemment. Y a des résumés et des best-of ici, ici, ici, et surement ailleurs. (Mise à jour : voir aussi liens dans commentaires.)

Quelques-un de mes favoris (parmi ceux que j'ai réussi à retrouver ou me rappeler), en traduction approximative, avec commentaire dessous des fois :
J'ai utilisé des étudiants comme sujets, parce que les rats coutent cher et on s'y attache.

Mon préféré !
Quand on a fait tomber un échantillon à terre, on a totalement respecté la règle des 5 secondes

"Règle" que si quelque chose est resté à terre moins de 5 secondes (3 selon certains) ça n'est pas contaminé. Je ne l'ai jamais vu appliqué à autre chose qu'un biscuit pour de vrai.
On a fait tourner les échantillons à 1300 rpm, parce qu'après la machine fait un bruit inquiétant.

Ah vous voulez des méthodes que vous pouvez suivre ? Pff, regardez la couverture du journal, c'est Nature ici

Dans les journaux très prestigieux comme Nature et Science, il n'y a presque pas de place pour les méthodes, qui sont généralement peu détaillées et incompréhensibles.
On voulait voir ce qui se passerait si on faisait X, juste pour s'amuser. Super explosion ! On a trouvé une hypothèse plus tard.

On a laissé incuber pour la durée du repas.

Y a beaucoup de variantes sur le thème "on a choisi un temps d'expérience correspondant au repas, à la pause café, à rentrer dormir une bonne nuit, à avoir un week-end peinard".
Le pH du tampon a été ajusté avec du HCl, puis dans l'autre sens avec du NaOH... puis encore un peu de HCl...

On a utilisé ce programme, parce que tout le monde le fait, non ?

Vous pouvez télécharger notre code à l'URL fournie. Bonne chance pour télécharger la seule personne qui arrive à le faire fonctionner.

Les données sont anciennes parce qu'entre la première version du papier et la finale, j'ai eu un bébé.

Et ceux que j'ai écrit moi-même :
Nous avons utilisé une méthode que nous ne connaissons ni ne comprenons parce que le reviewer 2 nous l'a demandé et les résultats ne nous dérangent pas de toutes façons.

Je n'ai jamais fait ça ! Mais j'ai été tenté, et j'ai parfois utilisé une méthode dont je pense qu'elle n'apporte rien parce qu'on me l'a demandé et qu'en effet ça ne contredisait pas mes résultats (mais je comprenais pourquoi - je crois). Ma contribution la plus retweetée à ce bazar.
Nous n'avons pas utilisé la parsimonie parce que les cladistes étaient tellement arrogants dans les années 90.

Très technique, et d'ailleurs pas retweeté. Les intéressés se reconaitront.
Les calculs ont été effectués sur un super-ordinateur, un cluster, un grid et le cloud pour justifier nos financements. Résultats montrés : viennent de mon PC.

Alors c'est une grosse exagération, mais ça arrive qu'on doive justifier de l'usage d'une resource informatique alors qu'on n'a pas encore l'application pertinente, et qu'on fasse un calcul qui aurait pu se faire ailleurs. Normalement, c'est parce qu'on va vraiment utiliser la resource bientôt et qu'il faut mettre au point. Mais j'ai expertisé des papiers où j'ai vraiment l'impression qu'ils ont fait ça.
On a utilisé Uniprot pour la Figure 1 et Ensembl pour la Figure 2 parce qu'ils ont été faits par des postdocs différents à 2 ans d'écart.

Un peu simplifié pour le tweet, mais il m'est arrivé en gros ça : des sources de données différentes utilisées à différents endroits du papier parce qu'il a été tellement long à préparer. Dans ces cas-là, on ajoute normalement un contrôle pour vérifier que ça ne biaise pas le résultat.

Moi j'ai trouvé beaucoup de ces tweets hilarants. Un truc auquel on pourrait s'attendre c'est que des anti-science ou anti-intellectuels se précipitent dessus pour dire "voilà la face noire et cachée de la science, voilà à quoi ils dépensent nos sous, j'avais bien dit qu'on ne pouvait pas leur faire confiance". Plus inatendu pour moi, des scientifiques s'inquiètent de ce que ces tweets montrent des pratiques scientifiques douteuses (par exemple ici). A quoi je répond, détendez-vous les gars.

Et à tout seigneur tout honneur, il faut noter que PhD Comics avait anticipé cet humour :

[caption id="attachment_729" align="aligncenter" width="508"]phdcomicsmethods cliquez dessus[/caption]

 

15 commentaires:

  1. Dans le même genre, il y a aussi ça http://www.astro.rug.nl/~terlouw/glossary.html

    RépondreSupprimer
  2. Salut :) J'avais fait un Storify rapide : http://storify.com/MaliciaRogue/overlyhonestmethods-how-we-are-doing-science

    Amuse-toi bien !

    RépondreSupprimer
  3. J'adore, mais comme je suis emmerdant je vais quand meme faire une remarque :
    je trouve dommage que ça brouille la frontière entre la réalité et la blague. Je m'explique : certaines de ces phrases sont de vrais cas un peu caricaturés, mais vrais quand même. D'autres sont exagérés au point d'être faux (tes exemples). D'autres sont des blagues.

    Perso, en bon puriste de la caricature, je trouve plus marrantes les choses vraies caricaturées, dès que c'est faux, ben, il vaut mieux que ça soit super drôle passque sinon c'est pas intéressant.

    Dans mon cas, je bosse dans une grande boite, et les Dilbert m'amusent beaucoup soit quand ils sont tres drôles, excessifs, faux, soit quand ils sont vrais mais qu'ils révèlent une réalité que finalement on n'avais pas vu sous cet angle, ce qui est le charme de la caricature.

    Enfin, toi tu dis que presque tout est faux, mais pour ce que j'ai lu, je pense que pas mal de ces choses sont pratiquées par ci par là, sans exagération (comme dans Dilbert d'ailleurs). Mais je suis peut-être un peu cynique.
    (ou alors je t'ai mal compris)

    RépondreSupprimer
  4. Je pense que c'est un biais de sélection de ceux que j'ai trouvé drôles, qui sont les faux exagérés. Il y a d'autres tweets qui sonnent très vrai.
    La comparaison avec Dilbert me paraît pertinente, parfois c'est "tel que" d'une vraie boîte, des fois c'est complètement invraisemblable. Les deux ont leur place.
    Ah puis un autre biais : moi je tweete et je blogue sous mon vrai nom ; il est plus probable de voir des vrais problèmes tweetés sous pseudo...

    RépondreSupprimer
  5. Très drôle !
    (petite remarque : parSimonie c'est un peu vieux et rare, on écrit plutôt parCimonie, non ?)

    RépondreSupprimer
  6. Je suis moi aussi vieux et rare. En effet je vois que parcimonie domine (mais on trouve les deux dans Wikipedia francophone !).

    RépondreSupprimer
  7. Génial, un mot à deux orthographes ! :-)

    Un vieux bouquin, trouvé par google books, nous dit les deux: http://goo.gl/8SOhT

    Le dico de l'académie française nous bavote
    uniquement "parcimonie".

    Et le TLF en ligne (http://atilf.atilf.fr), dont je ne peux pas copier coller l'URL de la ressource ououh, nous dit "parcimonie" mais en précisant toutefois "Ac. 1718-1762: parsimonie; dep. 1798: -ci"

    Bref, qu'avant 1798 on pouvait hésiter, mais que mon cher Marc tu a écris ces lignes sans doute entre 1718 et 1762. Précis non? :-)

    RépondreSupprimer
  8. [...] Ces derniers jours il y a eu une floraison de tweets humouristiques de scientifiques, sur le thème, « les vraies méthodes utilisées en science qu’on n’ose jamais écrire ». C’est sous le hashtag (mot-clé Twitter) #overlyhonestmethods.  [...]

    RépondreSupprimer
  9. Je m'y essaie: "Nous avons corrélé plein de variables entre elles jusqu'à ce qu'une p-value soit inférieure à 5%. Nous ne rapportons que ce test dans le papier par souci de brièveté".

    RépondreSupprimer
  10. Waouh, un article avec plein de réactions, il faut tout lire et tout est là, le sérieux comme le rigolo, bien exprimé et rien à jeter (surtout les réponses, hein!):
    http://blogs.plos.org/blog/2013/01/11/overly-honest-methods-or-phd-madness/
    Malheureusement c'est en anglais, mais j'ose le poster quand meme. Pis ça vient de... ton Twitter! :-)

    Le seul truc qui n'a pas été dit à mon avis, si on veut causer sérieusement des scientifiques qui sont des humains ou manipulent vaguement leurs procédures pour le financement, c'est le pouvoir (bénéfique) que ça donne aux pouvoirs publics : au lieu de devoir convaincre des scientifiques 100% rationnels que tel ou tel probleme est important, ce qui serait long, difficile et incertain, les pouvoirs publics peuvent influer la recherche via le financement, la communication, les cadeaux-primes etc.
    (j'aurais bien écrit ce commentaire là-bas, mais l'homo-internetus est un animal qui a ses habitudes, et moi je poste ici)

    RépondreSupprimer
  11. Un grand classique ... mais toujours d'actualité !
    Illustration : http://www.lirmm.fr/~gambette/xkcd/index.php?id=882

    RépondreSupprimer
  12. [...] "Ces derniers jours il y a eu une floraison de tweets humouristiques de scientifiques, sur le thème, « les vraies méthodes utilisées en science qu’on n’ose jamais écrire ». C’est sous le hashtag (mot-clé Twitter) #overlyhonestmethods. Y en a plein de hilarants, je vous conseille de lire ça tant que c’est disponible. Ca a été lancé par un neuropharmacologue apparemment. Y a des résumés et des best-of ici, ici, ici, et surement ailleurs."  [...]

    RépondreSupprimer
  13. [...] terme gnagnagna, vous souci premier est toujours d’obtenir le résultat. Alors on revient à #overlyhonestmethods, on fait souvent ce qu’il faut pour avancer, à coups de rubban adhésif. Mais publier son [...]

    RépondreSupprimer
  14. [...] après la disparition des dinosaures. Ensuite pour reconstruire l’ancêtre ils utilisent la parcimonie, à savoir que si deux espèces partagent un trait, leur ancêtre l’avait (en [...]

    RépondreSupprimer
  15. […] Cliquez sur l'image pour faire un quizz Ces derniers jours il y a eu une floraison de tweets humouristiques de scientifiques, sur le thème, "les vraies (Le :) du matin «J’ai utilisé des étudiants comme sujets parce que les...  […]

    RépondreSupprimer