mardi 23 octobre 2012

Critique de deux articles pro-#OGM qu'on m'a signalés

[caption id="attachment_587" align="aligncenter" width="404"] cliquez sur l'image[/caption]

Dans mon dernier billet j'ai répété un "chiche" que j'avais précédemment mis sur Twitter :
chiche, envoyez-moi un lien vers une étude #OGM aussi mal faite que celle de #Seralini. Je la critique volontiers.

tuan kuranes a relevé le gant que je lançais ainsi, et m'a fourni deux liens vers des articles récents, dans la même revue (Food and Chemical Toxicology, pas libre accès), qui concluent tous deux à une absence de risques concernant des OGM après étude de 90 jours sur des rats. Merci à Tuan. (Et si vous avez lu le billet quand il y avait peu de commentaires, retournez le lire, les commentaires sont intéressants.)

Voici donc mes commentaires sur ces deux articles.

Article 1 : Subchronic feeding study of stacked trait genetically-modified soybean (3Ø5423 × 40-3-2) in Sprague–Dawley rats

  • C'est pas super bien écrit, mais dans l'ensemble c'est compréhensible.

  • Ils font des vrais tests statistiques et donnent les résultats. Bin oui.

  • Ils ont mesuré des tonnes de paramètres, et tout comparé avec tout. C'est pas bien, surtout que je ne vois pas de correction pour tests multiples. Ceci dit, comme ils ne trouvent rien de significatif, ça n'est pas très grave : les comparaisons multiples augmentent le risque de trouver un effet quand il n'y en a pas, pas de ne pas trouver d'effet quand il y en a. En d'autres termes, ils se mettent en condition de détecter des effets apparents mais artéfactuels, et ne les trouvent pas. S'ils avaient corrigé pour tests multiples, ils auraient couru le risque d'être très stringeants et de ne rien trouver même s'il y avait des effets, vu leur taille d'échantillon (10 rats de chaque sexe comme chez Séralini et al.). La bonne chose à faire me semble-t-il serait de choisir un nombre plus faible de paramètres basé sur des hypothèses biologiques réalistes (quel effet peut-on attendre de ces modifications génétiques ? ça n'est pas vraiment discuté), puis de les tester de manière stringeante avec de plus gros échantillons.

  • A part le problème de la taille des groupes et du nombre de paramètres, le plan expérimental est bien meilleur que chez Séralini et al. Les auteurs comparent deux à deux des traitements appariés : x% de soja non transgénique - x% de soja transgénique, pour trois valeurs de x (7,5%, 15%, 30%). Plus un contrôle de nouriture de laboratoire standard, sans soja. (Chez Séralini et al., un seul groupe contrôle et neuf traitements, pas équilibrés.) Dans quelques cas, les auteurs trouvent des différences entre soja et contrôle sans soja, mais pas entre soja transgénique et non transgénique. Ce qui explique la phrase que Tuan trouve bizarre : "However the differences were not considered treatment-related and commonly fell within the normal ranges of the control group consuming the commercial diet". En effet, si la différence est due au soja mais pas spécifiquement au soja transgénique, elle n'est pas pertinente à la question du risque OGM (à supposer qu'il y ait un effet significatif après correction pour tests multiples, voir ci-dessus). Un autre point important ici est que les auteurs prennent en compte la variation spontanément observée dans cette souche de rats avec ce type d'alimentation. C'est important parce que vues les faibles tailles des groupes, il faut voir si la différence entre deux groupes peut être due au hasard dans cette souche dans ces conditions. C'est un point bien détaillé dans le rapport de la Haute autorité sur les biotechnologies, qui notent que ce contrôle manque dans l'étude de Séralini et al.

  • Ils présentent de manière détailée tous les résultats numériques : pour chaque mesure, on a la moyenne et l'écart-type. Et de manière importante ils présentent le détail de la composition de l'alimentation, et la mesure détaillée de la quantité d'alimentation, qui peut influer sur la santé des rats.

  • Y a des données supplémentaires, mais ça sont juste des photos de gels d'ADN dans un document MS Word (Aaaaargh dit mon bioinformaticien intérieur), rien de très intéressant.

  • Dans les conclusions et dans le résumé (Abstract), les auteurs écrivent "The results indicated that GM HOA-HT soybean 3Ø5423 × 40-3-2 is as safe as non-GM conventional isogenic line" et "These results demonstrated that the GM soybean 3Ø5423 × 40-3-2 is as safe as non-GM soybeans". Euh oui mais non. Tout ce qu'ils montrent c'est qu'ils ne détectent pas d'effet sur 90 jours sur des rats en élevage. Un peu de prudence dans les conclusions, les gars ? Votre biais se montre carrément là (voir point suivant).

  • Et j'ai gardé le meilleur pour la fin, le gros Mort De Rire : ils déclarent "no conflicts of interest". Un des OGM testés est breveté par Dupont, un des auteurs est affilié à Dupont, Dupont a fourni des échantillons pour l'étude, on y croit à fond là. Légèrement moins flagrant, d'autres auteurs sont affiliés à Supervision, Inspection and Testing Center of Genetically Modified Organisms, Ministry of Agriculture de Chine, qui pourrait avoir un intérêt à montrer qu'un OGM utile à l'agriculture chinoise soit sans danger.


Article 2 : A 90-day subchronic feeding study of genetically modified maize expressing Cry1Ac-M protein in Sprague–Dawley rats

  • C'est par la même équipe à peu de choses prêt, donc je serais bref. Pas d'auteur affilié à Dupont cette fois.

  • Le plan expérimental est très similaire, avec 12,5%, 25% et 50% de maïs OGM et non OGM, mais le contrôle avait aussi du maïs cette fois-ci (33% ; pourquoi ?).

  • Le mean platelet volume varie significativement (à ceci prêt qu'on a à nouveau un gros problème de répétition de tests) entre 50% maïs OGM ou non OGM. Ils écartent ça de manière pas très convaincante ("The difference was not considered to have biological meaning for the reason that the mean MPV value of rats fed with 50% BT-38 maize diet was comparable to that of rats in the control group and fell within the normal range of rats"). Pour être convaincants, ils auraient du admettre que leurs tests ne peuvent rien détecter sauf si c'est super dramatique, étant donné le nombre de rats et le nombre de paramètres testés.

  • Même observation, même problèmes pour plusieurs paramètres de la chimie du sérum. A chaque fois, ils écrivent que OK y a une petite différence significative (sans correction pour tests multiples ; avec des statistiques sérieuses rien ne serait significatif il me semble) entre OGM et non OGM, mais ça rentre dans la variation normale. Alors dans ce cas, ça veut dire qu'ils utilisent le mauvais test statistique depuis le début ! Faire un test et dire que ça ne veut rien dire quand il est significatif, c'est incroyablement mauvais. Il faut choisir le test qui correspond à l'hypothèse à tester et au plan expérimental. Donc si leur raisonnement est correct, il faudrait d'abord tester pour chaque paramètre s'il sort de la variation normale connue (dont il faudrait fixer la détermination de manière très claire), et ensuite ne comparer OGM et non OGM que dans les cas où ça sort de cette variation.

  • Toujours pas de conflit d'intérêt, j'y crois toujours pas malgré l'absence de Dupont.


Au bilan, deux études médiocres, que je me suis bien embêté à lire, avec comme défaut principaux des conclusions trop générales par rapport aux données et des déclarations d'absence de conflits d'intérêts malhonnêtes. C'est pas bien, et après avoir regardé rapidement d'autres articles du même journal je trouve l'état global de ce domaine déprimant.

Mais rien de comparable à Séralini et al au niveau mauvaise science, obfuscation des données, absence de tests, et conclusions abusives.

Mise à jour : il paraît que c'est "signalés" et pas "signalé" dans le titre. Ca doit être pour ça que je suis scientifique et pas journaliste.

15 commentaires:

  1. On ne sait pas apres t'avoir lu s'il faut rire (de ta prose) ou pleurer (de ta conclusion). :-)

    (par contre t'as multiplié les petites fautes d'orthographe, il y a du laisser-aller)

    Bon ben ça c'est fait, et ça confirme que, indépendamment de l'étude par laquelle le scandale arrive, on ne sait rien. Ca rappelle un peu l'industrie pharmaceutique.

    RépondreSupprimer
  2. Ce n'est pas rien de lire et critiquer des papiers.
    Didactique, clair et fouillé, bravo pour le gant relevé.
    (désolé pour le boulot en plus...)

    Cela éclaire effectivement mieux la problématique à mes yeux en tout cas:
    - montrer comparativement les "niveaux" des études l'échelle de la médiocrité
    - montrer tout l'intérêt du "crowd-scientific-independent-peer-reviewing"

    Idéalement, que ce travail soit compris et rémunéré dans la fonction de chercheur serait parfait, en tout cas du point de vue du public. En revanche, du point de vue du chercheur, pas sûr que la dimension " travail long et embêtant" en plus de toutes les autres tâches du chercheur, donnent beaucoup envie de faire du lobbying pour ça...

    RépondreSupprimer
  3. Bravo pour l'effort !

    De manière totalement fortuite, il y a dans le 'Nature' de la semaine dernière un manifeste pour fixer les conditions d'une étude animale bien menée et bien rapportée.

    http://www.nature.com/nature/journal/v490/n7419/full/nature11556.html

    On y retrouve plusieurs de tes points. Je crois que le texte est en libre accès.

    RépondreSupprimer
  4. Conclusion : davantage de chercheurs doivent avoir des blogs.

    RépondreSupprimer
  5. [...] Dans mon dernier billet j’ai répété un « chiche » que j’avais précédemment mis sur Twitter : chiche, envoyez-moi un lien vers une étude #OGM aussi mal faite que celle de #Seralini. Je la critique volontiers.  [...]

    RépondreSupprimer
  6. Intéressant, merci. Mais après vérification, ça n'est malheureusement pas en accès libre.

    RépondreSupprimer
  7. Merci beaucoup de prendre le temps d'expliquer clairement, je suis révolté de la manipulation que nous subissons. Le pire est qu'ils ont gagné, l'opinion est durablement trompée sur ce sujet. Il faut que la communauté scientifique se mobilise pour prévenir l'utilisation de la (mauvaise) science à des fins idéologiques, qu'en pensez vous?
    Merci encore,
    Sincèrement
    Loic

    RépondreSupprimer
  8. A court terme, oui, je pense que les manipulateurs ont gagné. Mais j'espère que plus les scientifiques communiqueront, plus nous serons entendus. L'avantage des blogs est d'enlever les filtres qui font interpréter nos résultats par des journalistes, et biaiser les médias vers quelques scientifiques connus ou bien placés dont ils ont le numéro.

    RépondreSupprimer
  9. Merci à tous les commentaires encourageants, ici et sur Twitter.

    RépondreSupprimer
  10. Encore une fois, bravo pour ce travail d'expert !
    Je reste un peu estomaqué par le manque de rigueur d'articles scientifiques pondus par des scientifiques, relus et critiqués par des scientifiques et publié dans des revues scientifiques. Je m'attendais (naïvement ?) à plus de sérieux et de professionnalisme.
    Question : est-ce que les mauvais articles voire les articles mensongers peuvent être retirés d'une certaine façon des périodiques ? Le principe de l'erratum, ça existe ? Est-il désormais interdit (?) de citer l'article de Seralini (ou tout autre article du même niveau) dans une étude scientifique ?
    Abramis brana

    RépondreSupprimer
  11. Juste une petite remarque:
    Le fait de démontrer qu'un aliment OGM n'a pas d'effet sur des rats, des souris et des hommes, ne fait pas des auteurs de ces articles des militants PRO- #OGM. Par contre essayer par tout les moyens, y compris les plus stupides et les plus malhonnêtes, de démontrer une hypothèse à priori sans fondement (l' #OGM X est dangereux pour la santé) relève d'une attitude militante incontestable.
    De ceux qui lisent le japonais on attends une analyse critique de l'article suivant
    "A 104-week feeding study of genetically modified soybeans in F344 rats"
    disponible sur http://twitdoc.com/1GHM

    RépondreSupprimer
  12. D'accord que de montrer l'absence d'effet d'un aliment OGM ne fait pas des auteurs des pro-OGM. D'ailleurs j'ai hésité à utiliser le terme, n'étant pas convaincu a priori que les pro-OGM existent (contrairement aux anti-OGM). Mais à la lecture de ces deux articles, je pense que dans ce cas précis les auteurs sont bien pro-OGM, dans le sens où leur objectif est de faciliter l'acceptation des OGM. A noter que ce ne sont pas des articles au hasard, mais ceux qu'on m'a fourni quand j'ai demandé de mauvais articles pro-OGM.

    RépondreSupprimer
  13. Réponse : les erratum existent, ainsi que les rétractions, mais ne concernent pas la qualité des papiers. Les erratums concernent généralement de petites erreurs, genre numérotation des figures. Les rétractions concernent normalement des fraudes démontrées. Et rien n'interdit de citer un papier, même rétracté !

    RépondreSupprimer
  14. Hello!

    Je ne pense pas non plus que ces articles soient "pro"-OGM, ni même leurs auteurs. Il se peut que leur travail ait été influencé par leurs relations avec l'industrie, mais cela ne signifie pas qu'ils aient, à l'instar des militants anti-OGM, un agenda politique et économique spécifique vis-à-vis des OGM. En fait, je serais même encline à croire que leurs motivations sont tout à fait ailleurs, vu qu'apparemment les deux études ne sont pas d'une rigueur à toute épreuve et que leur présentation laisse aussi à désirer. Peut-être que cette équipe avait simplement besoin de publier pour maintenir son activité et ses fonds. Comme il sort chaque années des milliers d'articles de ce genre, il est un peu perdu dans la masse, et sa mauvaise qualité se remarque moins. Sans compter qu'il semblerait qu'il s'agisse d'une équipe chinoise travaillant pour le gouvernement chinois. Or, je me suis laissée dire que celui-ci était plutôt très favorable aux OGM. Ces chercheurs n'avaient donc pas vraiment besoin de militer en faveur des OGM au-travers d'articles scientifiques.

    En fait, je crois avoir trouvé un ouvrage pro-OGM, qui cite d'ailleurs l'étude de Lappé et Bailey, mise en avant par Marie-Monique Robin dans son livre sur Monsanto, ce qui est évidemment très ironique: http://onlinelibrary.wiley.com/doi/10.1002/9781405181099.k0201/abstract. Le résumé se conclut sur une note définitivement militante et pro-OGM: "Once biotechnology has gained widespread acceptance, the miracle soybean will fully express its beauty." Presque aussi poétique qu'un slogan de publicité!

    RépondreSupprimer