Cliquez sur l'image[/caption]En septembre, Pierre Barthélémy a publié un billet sur son blog Passeur de sciences : Comment décrypter une étude scientifique, dans lequel il présentait quelques tuyaux sur la manière dont un journaliste scientifique peut juger de la qualité d'un résultat scientifique publié. A l'époque je n'étais pas très à l'aise par rapport aux critères présentés, mais je n'arrivais pas à exprimer mon malaise.
Ce billet m'est revenu à l'esprit en lisant une discussion sur l'excellent blog de Mike Taylor (paléontologue amateur qui publie et grand défenseur du libre accès), dans lequel il discute le fait qu'un article expertisé (peer reviewed) ne garantie pas qu'il soit juste. Jusqu'ici, OK. Le point important est que dans la discussion dans les commentaires, il clarifie mon malaise précédent, et avec son talent habituel pour la clarté met les points sur les i :
The point is that there is no silver bullet. If you want to know whether a published paper is good or not, it’s no good asking “was it peer-reviewed?” or “did it appear in JVP?” or any other such convenient short-cut. There are only two ways to evaluate it. You can either invest serious time (as in hundreds of hours, not two or three) to fully investigate its claims for yourself, replicating observations, experiments and analyses; or you can wait ten or twenty years and see what the community as a whole makes of it. Those are the only options.
Oui ! C'est bien triste mais il n'y a aucun moyen de savoir si un résultat nouveau récent est bon sans faire un travail énorme d'évaluation qui inclut probablement de refaire des expériences, des analyses ou des démonstrations. Sinon il faut attendre que la communauté le fasse : si le résultat résiste à l'épreuve du temps, la confiance augmente. A noter que si un résultat qui semble excitant n'est pas invalidé, mais n'est pas non plus confirmé, et que dix ans plus tard vous ne voyez que peu d'intérêt pour cette idée, ça peut être le signe subtil que personne n'a réussi à le reproduire, mais personne n'a non plus pris la peine de le rapporter, et ils sont juste aller travailler sur autre chose sans faire de bruit. Ca peut aussi être que l'idée était trop en avance sur la technologie de son temps ou quelque chose comme ça, méfiance.
Alors que faire ? Bin rapporter tout nouveau résultat avec plein de conditionnels et de peut-être, se méfier des titres accrocheurs, et chercher à comprendre la technique autant que possible dans chaque cas. Difficile pour les journalistes scientifiques, je l'admets. Ce qui est pourquoi il me paraît important que les scientifiques blogguent, et que les journalistes lisent ces blogs (et souvent ça veut dire les lire en anglais et se taper des discussions techniques, désolé). Au passage je félicite ceux qui essayent de faire du bon boulot malgré l'apparent manque de soutien des patrons de presse. Ce qui ne m'empêchera pas de continuer à me plaindre, les scientifiques c'est comme ça.
Articles
Chercher à comprendre la technique autant que possible n'est effectivement pas forcément évident pour un journaliste scientifique; par contre, "rapporter tout nouveau résultat avec plein de conditionnels" est quelque chose qui est généralement bien fait dans mon expérience. La parodie (réaliste) de journalisme scientifique parue dans le Guardian en 2010 (http://www.guardian.co.uk/science/the-lay-scientist/2010/sep/24/1) est un exemple représentatif, avec des citations typiques telles que:
RépondreSupprimer"The research is useful", they will say, "and gives us new information. However, we need more research before we can say if the conclusions are correct, so I would advise caution for now."
The final paragraph will state that some part of the result is still ambiguous, and that research will continue.
Je pense qu'il ne faut pas confondre la démarche du chercheur, qui aura le temps de décortiquer l'étude, et peut-être même de tenter de la reproduire, de celle du journaliste, qui doit distinguer, entre des millions d'études par mois, lesquelles se dégagent du lot (ou du blogueur, fut-il scientifique). En ce sens, "est-ce que c'est paru dans une revue révisée par les pairs" ne se veut pas, en aucun cas, une façon de distinguer si c'est "bon ou mauvais". Tous les journalistes scientifiques connaissent l'histoire du Dr Hwang Woo Suk. Mais c'est un premier pas important.
RépondreSupprimer[...] En septembre, Pierre Barthélémy a publié un billet sur son blog Passeur de sciences : Comment décrypter une étude scientifique, dans lequel il présentait quelques tuyaux sur la manière dont un journaliste scientifique peut juger de la qualité d’un... [...]
RépondreSupprimerJe suis d'accord sur cette distinction. De même pour les chercheurs, nous devons aussi distinguer les études qui sortent du lot et qui nous paraissent intéressantes, sur le court terme. Je ne vise pas particulièrement les journalistes, c'est un rappel à tous les consommateurs de science. Il faut garder à l'esprit de manière très explicite que tous les outils que l'on a sur le court terme ne sont que des approximations très imparfaites.
RépondreSupprimer[...] En septembre, Pierre Barthélémy a publié un billet sur son blog Passeur de sciences : Comment décrypter une étude scientifique, dans lequel il présentait quelques tuyaux sur la manière dont un jour... [...]
RépondreSupprimerJe suis d'accord avec toi sur le diagnostic (très difficile de savoir si une découverte va résister à l'épreuve du temps ou pas), mais moins pessimiste sur la conclusion. Il me semble que c'est le boulot du journaliste d'expliquer si la découverte en question s'inscrit dans un historique de recherches qui la corrobore (par exemple l'origine africaine de l'homme moderne) ou si au contraire c'est une sorte d'ovni en contradiction avec tous les résultats obtenus jusque-là (les neutrinos supra-luminiques). Dans le premier cas, un bon journaliste/lecteur doit surtout se demander en quoi l'hypothèse est confortée, améliorée, etc. Dans le second, prudence et circonspection s'imposent... Je trouve que ce contexte général est rarement mis en perspective, de sorte qu'on ne sait jamais si on a affaire à un scoop révolutionnaire ou si on a simplement conforté une hypothèse qui fait déjà consensus...
RépondreSupprimerD'accord avec toi, avec le bémol que les journalistes d'après ce que je comprends ont pour mission souvent de rapporter le nouveau : dire "on peut faire confiance, c'est confirmatoire" n'est pas super vendeur.
RépondreSupprimerEh bien ça fout les boules. J'avais bien quelques doutes suite à des remarques d'enseignants chercheurs (MRR en particulier il y a plusieurs années) et surtout surtout depuis l'affaire Séralini. Mais, enfin, il me semblait quand même qu'on pouvait faire confiance aux articles scientifiques, aux publications et que, d'ailleurs, c'était bien la seule chose de vraiment scientifique, de vraiment rigoureux, de vraiment testé et, de plus, approuvé par les fameux pairs (pères ?)...contrairement à l'avis d'un scientifique sur tel ou tel sujet non testé et qui peut sortir de son domaine de compétence. Je pensais que c'était gravé dans le marbre à part qq très rares exceptions. Ben, pas du tout...Je suis vraiment choqué et un peu "assis" suite à ces révélations. Mais au moins, comme je l'ai déjà signalé dans un commentaire sur l'affaire Séralini, ne pourrait-on pas signaler les articles caducs a posteriori : une black list, un erratum que sais-je, quand on a détecté les articles fallacieux ? Cela éviterait, au moins, de tomber sur un articles ripou et de l'utiliser par la suite...Avec le numérique et tous les liens possibles et imaginables, ça doit pas être trop compliqué, en tout cas plus simple que pour les revues imprimées qui trainent depuis longtemps dans les bibliothèques universitaires et ailleurs (que j'utilisais encore il y a pas bien longtemps pour réaliser des articles de vulgarisation sur le comportement des poissons). Je ne suis pas vraiment de la partie et je ne sais pas vraiment comment bossent les chercheurs actuellement, savoir si cette correction est réalisable. Je laisse la parole aux vrais scientifiques, chercheurs et tout et tout.
RépondreSupprimer[…] Tout ceci nous rappelle aussi qu’il n’y a qu’un moyen de savoir si un résultat scientifique publié est bon, c’est le test du temps et de la reproduction par la communauté, comme expliqué dans un précédent billet. […]
RépondreSupprimer