« Slim par Chocolat! » les gros titres retentissaient. Une équipe de chercheurs allemands avait découvert que les personnes suivant un régime pauvre en glucides perdaient du poids 10% plus rapidement si elles mangeaient une barre de chocolat tous les jours. Il a fait la une de Bild, le plus grand quotidien d’Europe, juste en dessous de leur mise à jour sur le crash de Germanwings. À partir de là, il a ricoché sur Internet et au-delà, faisant des nouvelles dans plus de 20 pays et une demi-douzaine de langues. Il a été discuté dans des émissions de nouvelles télévisées. Il est apparu sur papier glacé, plus récemment dans le numéro de juin du magazine Shape (« Pourquoi vous devez manger du chocolat tous les jours”, page 128). Non seulement le chocolat accélère la perte de poids, a révélé l’étude, mais il conduit à des taux de cholestérol plus sains et à un bien-être global accru. L’article de Bild cite l’auteur principal de l’étude, Johannes Bohannon, Ph.D., directeur de recherche de l’Institut de l’alimentation et de la santé: « La meilleure partie est que vous pouvez acheter du chocolat partout. »

Je suis Johannes Bohannon, Ph.D. Eh bien, en fait, je m’appelle John, et je suis journaliste. J’ai un doctorat, mais c’est dans la biologie moléculaire des bactéries, pas des humains. L’Institut de l’Alimentation et de la Santé? Ce n’est rien de plus qu’un site Web.

En dehors de ces fibs, l’étude était authentique à 100%. Mes collègues et moi avons recruté de vrais sujets humains en Allemagne. Nous avons mené un essai clinique réel, avec des sujets assignés au hasard à différents régimes alimentaires. Et les avantages statistiquement significatifs du chocolat que nous avons rapportés sont basés sur les données réelles. C’était, en fait, une étude assez typique pour le domaine de la recherche sur l’alimentation. C’est-à-dire: C’était une science terrible. Les résultats n’ont aucun sens et les allégations de santé que les médias ont fustigées à des millions de personnes à travers le monde sont totalement infondées.

Voici comment nous l’avons fait.

La configuration

J’ai reçu un appel en décembre de l’année dernière d’un journaliste de télévision allemand nommé Peter Petereken. Lui et sa collaboratrice Diana Löbl travaillaient sur un film documentaire sur l’industrie de l’alimentation scientifique. Ils voulaient que j’aide à démontrer à quel point il est facile de transformer la mauvaise science en gros titres derrière les modes de régime. Et Oneken voulait le faire à la gonzo: Révélez la corruption du complexe recherche-médias sur l’alimentation en participant.

L’appel n’était pas une surprise complète. L’année précédente, j’avais mené une opération d’aiguillage pour la Science sur les revues en libre accès payantes, un nouveau secteur lucratif et en pleine croissance du secteur de l’édition académique. Pour savoir combien de ces éditeurs tiennent leur promesse de faire un examen rigoureux par les pairs, j’ai soumis des articles ridiculement imparfaits et compté combien les ont rejetés. (Réponse: moins de la moitié.)

Oneken et Löbl avaient tout prévu : quelques milliers d’euros pour recruter des sujets de recherche, un médecin allemand pour mener l’étude et un ami statisticien pour masser les données. Oneken a entendu parler de mon journal sting et s’est dit que je saurais comment tout rassembler et le faire publier. Le seul problème était le temps: le film devait être diffusé à la télévision allemande et française à la fin du printemps (il sort la semaine prochaine), donc nous n’avions vraiment que quelques mois pour le réaliser.

Pourrions-nous publier quelque chose? Sûrement. Mais au-delà? Je pensais que ça allait faire long feu. Nous, journalistes scientifiques, aimons nous considérer comme plus intelligents que le hack moyen. Après tout, nous devons comprendre assez bien la recherche scientifique arcanique pour l’expliquer. Et pour les journalistes qui n’ont pas de côtelettes scientifiques, dès qu’ils exploitaient des sources extérieures pour leurs histoires — vraiment n’importe qui ayant un diplôme en sciences, et encore moins un véritable scientifique en nutrition — ils découvriraient que l’étude était risible. fragile. Sans oublier qu’une recherche sur Google n’a donné aucune trace de Johannes Bohannon ou de son prétendu institut. Les journalistes sur le rythme des sciences de la santé allaient sentir ça à un kilomètre. Mais je ne voulais pas paraître pessimiste. « Voyons jusqu’où nous pouvons aller », ai-je dit.

Le Con

Oneken et Löbl n’ont pas perdu de temps. Ils ont utilisé Facebook pour recruter des sujets autour de Francfort, offrant 150 euros à toute personne disposée à suivre un régime pendant 3 semaines. Ils ont clairement indiqué que cela faisait partie d’un film documentaire sur les régimes amaigrissants, mais ils n’ont pas donné plus de détails. Par un froid matin de janvier, 5 hommes et 11 femmes, âgés de 19 à 67 ans, se sont présentés.

Gunter Frank, médecin généraliste dans on the prank, a mené l’essai clinique. Oneken l’avait attiré après avoir lu un livre populaire que Frank a écrit contre la pseudoscience alimentaire. Tester le chocolat amer comme complément alimentaire était son idée. Quand je lui ai demandé pourquoi, Frank a dit que c’était un favori des fanatiques de « whole food”. « Le chocolat amer a mauvais goût, il doit donc être bon pour vous », a-t-il déclaré.  » C’est comme une religion. »

Après une série de questionnaires et de tests sanguins pour s’assurer que personne n’avait de troubles de l’alimentation, de diabète ou d’autres maladies pouvant les mettre en danger , Frank a assigné au hasard les sujets à l’un des trois groupes de régime. Un groupe a suivi un régime pauvre en glucides. Un autre a suivi le même régime à faible teneur en glucides et une dose quotidienne de 1,5 oz. barre de chocolat noir. Et les autres, un groupe témoin, ont reçu l’ordre de ne pas modifier leur régime alimentaire actuel. Ils se sont pesés chaque matin pendant 21 jours, et l’étude s’est terminée par une dernière série de questionnaires et de tests sanguins.

Oneken s’est alors tourné vers son ami Alex Droste-Haars, un analyste financier, pour croquer les chiffres. Un week-end de bière plus tard et… jackpot ! Les deux groupes de traitement ont perdu environ 5 livres au cours de l’étude, tandis que le poids corporel moyen du groupe témoin a fluctué de haut en bas autour de zéro. Mais les gens qui suivent un régime pauvre en glucides et du chocolat? Ils ont perdu du poids 10% plus rapidement. Non seulement cette différence était statistiquement significative, mais le groupe du chocolat avait de meilleures lectures de cholestérol et des scores plus élevés à l’enquête sur le bien-être.

Le crochet

Je sais ce que vous pensez. L’étude a montré une perte de poids accélérée dans le groupe du chocolat — ne devrions-nous pas lui faire confiance? N’est-ce pas ainsi que la science fonctionne ?

Voici un sale petit secret scientifique: Si vous mesurez un grand nombre de choses sur un petit nombre de personnes, vous êtes presque assuré d’obtenir un résultat « statistiquement significatif”. Notre étude comprenait 18 mesures différentes — poids, cholestérol, sodium, taux de protéines sanguines, qualité du sommeil, bien-être, etc.- à partir de 15 personnes. (Un sujet a été abandonné.) Cette conception d’étude est une recette pour les faux positifs.

Considérez les mesures comme des billets de loterie. Chacun a une petite chance de payer sous la forme d’un résultat « significatif” que nous pouvons tourner une histoire et vendre aux médias. Plus vous achetez de billets, plus vous avez de chances de gagner. Nous ne savions pas exactement ce qui se passerait — le titre aurait pu être que le chocolat améliore le sommeil ou abaisse la tension artérielle — mais nous savions que nos chances d’obtenir au moins un résultat « statistiquement significatif” étaient plutôt bonnes.

Chaque fois que vous entendez cette phrase, cela signifie qu’un résultat a une petite valeur p. La lettre p semble avoir un pouvoir totémique, mais c’est juste un moyen d’évaluer le rapport signal sur bruit dans les données. Le seuil conventionnel pour être « significatif » est de 0,05, ce qui signifie qu’il y a seulement 5% de chances que votre résultat soit une fluctuation aléatoire. Plus il y a de billets de loterie, meilleures sont vos chances d’obtenir un faux positif. Alors, combien de billets devez-vous acheter?

P(gagnant) = 1-(1-p)n

Avec nos 18 mesures, nous avions 60% de chances d’obtenir un résultat « significatif” avec p < 0,05. (Les mesures n’étaient pas indépendantes, donc cela pourrait être encore plus élevé.) Le jeu a été empilé en notre faveur.

Cela s’appelle le p-hacking — jouer avec votre conception expérimentale et vos données pour pousser p sous 0,05 — et c’est un gros problème. La plupart des scientifiques sont honnêtes et le font inconsciemment. Ils obtiennent des résultats négatifs, se convainquent qu’ils ont gaffé et répètent l’expérience jusqu’à ce que cela « fonctionne. » Ou ils abandonnent des points de données ”aberrants ».

Mais même si nous avions pris soin d’éviter le piratage p, notre étude était condamnée par le petit nombre de sujets, ce qui amplifie les effets de facteurs incontrôlés. Pour ne prendre qu’un exemple: le poids d’une femme peut fluctuer jusqu’à 5 livres au cours de son cycle menstruel, bien plus que la différence de poids entre nos groupes chocolatés et à faible teneur en glucides. C’est pourquoi vous devez utiliser un grand nombre de personnes et équilibrer l’âge et le sexe entre les groupes de traitement. (Nous n’avons pas pris la peine.)

Vous pourriez aussi bien lire les feuilles de thé que d’essayer d’interpréter nos résultats. Le chocolat peut être un accélérateur de perte de poids, ou bien le contraire. Vous ne pouvez même pas faire confiance à la perte de poids que notre groupe sans chocolat à faible teneur en glucides a connue par rapport au contrôle. Qui sait ce que mangeaient la poignée de personnes du groupe témoin? On ne leur a même pas demandé.

Heureusement, les scientifiques deviennent sages à ces problèmes. Certaines revues tentent d’éliminer complètement les tests de signification de la valeur p pour inciter les scientifiques à adopter de meilleures habitudes. Et presque plus personne ne prend au sérieux les études avec moins de 30 sujets. Les éditeurs de revues réputées les rejettent d’emblée avant de les envoyer à des pairs examinateurs. Mais il y a beaucoup de revues qui se soucient plus de l’argent que de la réputation.

L’Homme intérieur

Il était temps de partager notre percée scientifique avec le monde. Nous devions publier notre étude avant, mais comme c’était une science si mauvaise, nous devions complètement ignorer l’examen par les pairs. Commodément, il existe des listes de faux éditeurs de journaux. (Ceci est ma liste, et en voici une autre.) Comme le temps était compté, j’ai simultanément soumis notre article — « Chocolat à haute teneur en cacao comme accélérateur de perte de poids” – à 20 revues. Puis nous avons croisé les doigts et attendu.

Notre article a été accepté pour publication par plusieurs revues dans les 24 heures. Il va sans dire que nous n’avons fait l’objet d’aucun examen par les pairs. Le prétendant avide que nous avons finalement choisi était les Archives Internationales de médecine. Il était géré par l’éditeur géant BioMedCentral, mais a récemment changé de mains. Le nouveau PDG de l’éditeur, Carlos Vasquez, a envoyé un courriel à Johannes pour lui faire savoir que nous avions produit un « manuscrit exceptionnel » et que pour seulement 600 euros, il « pouvait être accepté directement dans notre premier journal. »

Bien que le rédacteur en chef des Archives affirme que « tous les articles soumis à la revue sont examinés de manière rigoureuse », notre article a été publié moins de 2 semaines après que la carte de crédit d’neeken a été débitée. Pas un seul mot n’a été changé.

Les marques

Avec le papier sorti, il était temps de faire du bruit. J’ai appelé un ami d’un ami qui travaille dans les relations publiques scientifiques. Elle m’a guidé à travers certains des sales tours pour avoir fait la une des journaux. C’était étrange d’entendre l’autre côté de quelque chose que je vis tous les jours.

La clé est d’exploiter l’incroyable paresse des journalistes. Si vous disposez les informations correctement, vous pouvez façonner l’histoire qui émerge dans les médias presque comme si vous écriviez ces histoires vous-même. En fait, c’est littéralement ce que vous faites, puisque de nombreux journalistes ont simplement copié et collé notre texte.

Jetez un coup d’œil au communiqué de presse que j’ai préparé. Il a tout. Dans le jargon des journalistes: une lede sexy, un graf de noix clair, des citations percutantes et un kicker. Et il n’est même pas nécessaire de lire l’article scientifique car les détails clés sont déjà réduits. J’ai pris soin de le garder précis. Plutôt que de tromper les journalistes, l’objectif était de les attirer avec un communiqué de presse tout à fait typique sur un article de recherche. (Bien sûr, ce qui manque, c’est le nombre de sujets et les minuscules différences de poids entre les groupes.)

Mais un bon communiqué de presse ne suffit pas. Les journalistes ont également faim de « l’art », quelque chose de joli à montrer à leurs lecteurs. Alors Oneken et Löbl ont tourné des clips vidéo promotionnels et ont demandé à des artistes indépendants d’écrire une ballade acoustique et même un rap sur le chocolat et la perte de poids. (Il s’avère que vous pouvez embaucher des gens sur Internet pour faire presque n’importe quoi.)

Oneken a écrit un communiqué de presse allemand et a contacté directement les médias allemands. La promesse d’une histoire ”exclusive » est très tentante, même si elle est fausse. Puis il a fustigé le communiqué de presse allemand sur wire service basé en Autriche, et le communiqué anglais est sorti sur NewsWire. Il n’y avait aucun contrôle de qualité. C’était laissé aux journalistes.

J’ai ressenti un mélange de fierté et de dégoût lorsque notre leurre s’est répandu dans le monde.

Le score

Nous avons débarqué de gros poissons avant même de savoir qu’ils mordaient. Bild a précipité leur histoire — « Ceux qui mangent du chocolat restent minces!—- sans me contacter du tout. Bientôt, nous étions dans le Daily Star, l’Irish Examiner, le site allemand de Cosmopolitan, le Times of India, le site allemand et indien du Huffington Post, et même des informations télévisées au Texas et un talk-show matinal australien.

Lorsque les journalistes m’ont contacté, ils m’ont posé des questions superficielles. « Pourquoi pensez-vous que le chocolat accélère la perte de poids? Avez-vous des conseils pour nos lecteurs? »Presque personne n’a demandé combien de sujets nous avons testés, et personne n’a signalé ce nombre. Pas un seul journaliste ne semble avoir contacté un chercheur extérieur. Aucun n’est cité.

Ces publications, bien que beaucoup commandent un large public, ne sont pas exactement des parangons de la vertu journalistique. Il n’est donc pas surprenant qu’ils attrapent simplement un peu de chum numérique pour le titre, récoltent les pages vues et passent à autre chose. Mais même les points de vente soi-disant rigoureux qui ont repris l’étude n’ont pas réussi à repérer les trous.

Le reportage du magazine Shape sur notre étude – passez à la page 128 du numéro de juin – a fait appel aux services d’un vérificateur des faits, mais il était tout aussi lacunaire. Tout ce que le vérificateur a fait, c’est que j’ai exécuté quelques phrases pour vérifier l’exactitude et vérifier l’orthographe de mon nom. La couverture est allée jusqu’à spécifier la teneur en cacao appropriée pour le chocolat amaigrissant (81%) et a même mentionné deux marques spécifiques (« disponible en épicerie et chez amazon.com « ).

Certains ont esquivé la balle. Un journaliste de Men’s Health m’a interviewé par e-mail, posant le même genre de questions non probantes. Elle a dit que l’histoire était prévue pour leur numéro de septembre, donc nous ne le saurons jamais.

Mais le plus décevant? Personne n’a plongé dans notre buffet de vidéos musicales en chocolat. Au lieu de cela, ils ont utilisé des images vaguement pornographiques de femmes mangeant du chocolat. Peut-être que cette musique prendra une vie à part maintenant que la vérité est sortie:

The Knock

Alors pourquoi devriez-vous vous en soucier? Les personnes qui recherchent désespérément des informations fiables sont confrontées à une gamme déconcertante de conseils sur l’alimentation — le sel est mauvais, le sel est bon, les protéines sont bonnes, les protéines sont mauvaises, les graisses sont mauvaises, les graisses sont bonnes — cela change comme le temps. Mais la science va le comprendre, non? Maintenant que nous appelons l’obésité une épidémie, le financement ira aux meilleurs scientifiques et tout ce bruit disparaîtra, nous laissant des réponses claires aux causes et aux traitements.

Ou peut-être pas. Même la recherche sérieuse et bien financée sur la science de la perte de poids est déroutante et peu concluante, déplore Peter Attia, un chirurgien qui a cofondé une organisation à but non lucratif appelée Nutrition Science Initiative. Par exemple, l’Initiative pour la santé des femmes — l’une des plus importantes du genre — n’a donné que peu d’informations claires sur l’alimentation et la santé. ”Les résultats étaient tout simplement déroutants », explique Attia. « Ils ont dépensé 1 milliard de dollars et n’ont même pas pu prouver qu’un régime faible en gras est meilleur ou pire. »L’organisation à but non lucratif d’Attia tente de lever 190 millions de dollars pour répondre à ces questions fondamentales. Mais il est difficile de concentrer l’attention sur la science de l’obésité, dit-il.  » Il y a tellement de bruit. »
Vous pouvez remercier des gens comme moi pour cela. Nous, journalistes, devons nourrir la bête des nouvelles quotidiennes, et la science de l’alimentation est notre corne d’abondance. Les lecteurs ne peuvent tout simplement pas avoir assez d’histoires sur les avantages du vin rouge ou les dangers du fructose. Non seulement c’est universellement pertinent — cela concerne les décisions que nous prenons tous au moins trois fois par jour — mais c’est de la science! Nous n’avons même pas besoin de quitter la maison pour faire un reportage. Nous trempons simplement nos tasses dans le flux quotidien de communiqués de presse scientifiques circulant dans nos boîtes de réception. Tack sur une photo de stock accrocheuse et vous avez terminé.

Le seul problème avec le rythme de la science de l’alimentation est que c’est la science. Vous devez savoir lire un article scientifique — et prendre la peine de le faire. Pendant trop longtemps, les gens qui couvrent ce rythme l’ont traité comme des ragots, faisant écho à ce qu’ils trouvent dans les communiqués de presse. Espérons que notre petite expérience rendra les journalistes et les lecteurs plus sceptiques.
Si une étude ne répertorie même pas le nombre de personnes qui y ont participé, ou fait une affirmation audacieuse de régime qui est « statistiquement significative” mais ne dit pas quelle est la taille de l’effet, vous devriez vous demander pourquoi. Mais pour la plupart, nous ne le faisons pas. Ce qui est dommage, car les journalistes deviennent de facto le système d’évaluation par les pairs. Et quand nous échouons, le monde est inondé de science indésirable.

Il y avait une lueur d’espoir dans cette tragicomédie. Alors que les journalistes venaient de régurgiter nos « conclusions”, de nombreux lecteurs étaient réfléchis et sceptiques. Dans les commentaires en ligne, ils ont posé des questions que les journalistes auraient dû poser.

« Pourquoi les calories ne sont-elles comptées sur aucune des personnes? » a demandé un lecteur sur un forum de musculation. « Le domaine a été enregistré début mars et des dizaines de blogs et de magazines d’information (voir Google) ont diffusé cette étude sans savoir quoi ni qui se tient derrière”, a déclaré un lecteur sous l’histoire en bref, l’un des principaux magazines en ligne allemands.
Ou comme l’a dit un lecteur prémonitoire de l’histoire du 4 avril dans le Daily Express, « Chaque jour est un poisson d’avril en nutrition. »

Correction: L’étude référencée par Peter Attia s’appelait l’Initiative pour la santé des femmes, et non l’Étude sur la santé des femmes, et c’était l’une des plus importantes du genre, et non la plus importante. De plus, lors de sa publication, cet article présentait par erreur une capture d’écran montrant la couverture par le Daily Mail d’une étude sur le chocolat, mais pas celle dont il est question dans cette histoire. Le lendemain de la publication, nous l’avons remplacée par une capture d’écran de la couverture réelle de l’étude par le Daily Mail.

Mise à jour: Le document a été retiré du site Web des Archives internationales de médecine, mais vous pouvez le lire ici.

Image du haut: Art de Jim Cooke