„Schlank durch Schokolade!“ die Schlagzeilen dröhnten. Ein Team deutscher Forscher hatte herausgefunden, dass Menschen mit einer kohlenhydratarmen Diät 10 Prozent schneller abnahmen, wenn sie jeden Tag einen Schokoriegel aßen. Es machte die Titelseite von Bild, Europas größter Tageszeitung, direkt unter ihrem Update über den Germanwings-Absturz. Von dort prallte es im Internet und darüber hinaus ab und machte Nachrichten in mehr als 20 Ländern und einem halben Dutzend Sprachen. Es wurde in Fernsehnachrichtensendungen diskutiert. Es erschien im Hochglanzdruck, zuletzt in der Juni-Ausgabe des Shape Magazine („Warum Sie täglich Schokolade essen müssen“, Seite 128). Schokolade beschleunigt nicht nur den Gewichtsverlust, sondern führt auch zu einem gesünderen Cholesterinspiegel und einem insgesamt erhöhten Wohlbefinden. Die Bild-Story zitiert den Hauptautor der Studie, Johannes Bohannon, Ph.D., Forschungsdirektor des Instituts für Ernährung und Gesundheit: „Das Beste daran ist, dass man Schokolade überall kaufen kann.“

Ich bin Johannes Bohannon, Ph.D. Nun, eigentlich heiße ich John und bin Journalist. Ich habe einen Ph.D., aber es ist in der Molekularbiologie von Bakterien, nicht Menschen. Das Institut für Ernährung und Gesundheit? Das ist nichts anderes als eine Website.

Abgesehen von diesen Fibs war die Studie zu 100 Prozent authentisch. Meine Kollegen und ich haben echte Menschen in Deutschland rekrutiert. Wir führten eine tatsächliche klinische Studie mit Probanden durch, die zufällig verschiedenen Diätregimen zugeordnet wurden. Und die statistisch signifikanten Vorteile von Schokolade, die wir berichtet haben, basieren auf den tatsächlichen Daten. Es war in der Tat eine ziemlich typische Studie für den Bereich der Ernährungsforschung. Das heißt: Es war schreckliche Wissenschaft. Die Ergebnisse sind bedeutungslos, und die gesundheitsbezogenen Angaben, die die Medien Millionen von Menschen auf der ganzen Welt gemacht haben, sind völlig unbegründet.

So haben wir es gemacht.

Das Setup

Im Dezember letzten Jahres bekam ich einen Anruf von einem deutschen Fernsehreporter namens Peter Onneken. Er und seine Mitarbeiterin Diana Löbl arbeiteten an einem Dokumentarfilm über die Junk-Science-Diätindustrie. Sie wollten, dass ich zeige, wie einfach es ist, schlechte Wissenschaft in die großen Schlagzeilen hinter Diät-Modeerscheinungen zu verwandeln. Und Onneken wollte es Gonzo-Stil tun: Enthüllen Sie die Korruption des Diät-Forschungs-Medien-Komplexes, indem Sie teilnehmen.

Der Anruf war keine völlige Überraschung. Im Jahr zuvor hatte ich eine Sting-Operation für die Wissenschaft mit kostenpflichtigen Open-Access-Zeitschriften durchgeführt, einem schnell wachsenden und lukrativen neuen Sektor des akademischen Verlagsgeschäfts. Um herauszufinden, wie viele dieser Verlage ihr Versprechen halten, strenge Peer-Reviews durchzuführen, reichte ich lächerlich fehlerhafte Papiere ein und zählte, wie viele sie ablehnten. (Antwort: weniger als die Hälfte.)

Onneken und Löbl hatten alles im Gepäck: ein paar tausend Euro für die Rekrutierung von Forschungsthemen, einen deutschen Arzt für die Durchführung der Studie und einen befreundeten Statistiker für die Auswertung der Daten. Onneken hörte von meinem Tagebuch Sting und dachte, dass ich wissen würde, wie man alles zusammenzieht und veröffentlicht. Das einzige Problem war die Zeit: Der Film sollte im späten Frühjahr im deutschen und französischen Fernsehen ausgestrahlt werden (Premiere nächste Woche), also hatten wir wirklich nur ein paar Monate Zeit, um das durchzuziehen.

Können wir etwas veröffentlichen? Wahrscheinlich. Aber darüber hinaus? Ich dachte, es würde sicher zischen. Wir Wissenschaftsjournalisten betrachten uns gerne als schlauer als der durchschnittliche Hack. Schließlich müssen wir die arkane wissenschaftliche Forschung gut genug verstehen, um sie zu erklären. Und für Reporter, die keine wissenschaftlichen Kenntnisse haben, sobald sie externe Quellen für ihre Geschichten angezapft haben — wirklich jeden mit einem naturwissenschaftlichen Abschluss, geschweige denn einen tatsächlichen Ernährungswissenschaftler — würden sie feststellen, dass die Studie lächerlich dünn war. Ganz zu schweigen davon, dass eine Google-Suche keine Spur von Johannes Bohannon oder seinem angeblichen Institut ergab. Reporter auf dem Health Science Beat würden das eine Meile entfernt riechen. Aber ich wollte nicht pessimistisch klingen. „Mal sehen, wie weit wir das bringen können“, sagte ich.

Die Con

Onneken und Löbl verschwendeten keine Zeit. Sie rekrutierten über Facebook Probanden in der Umgebung von Frankfurt und boten jedem, der bereit war, 3 Wochen lang Diät zu halten, 150 Euro an. Sie machten deutlich, dass dies Teil eines Dokumentarfilms über Diäten war, aber sie gaben nicht mehr Details. An einem kalten Januarmorgen tauchten 5 Männer und 11 Frauen im Alter von 19 bis 67 Jahren auf.

Gunter Frank, ein Allgemeinmediziner in on the prank, führte die klinische Studie durch. Onneken hatte ihn angezogen, nachdem er ein populäres Buch gelesen hatte, das Frank gegen die Pseudowissenschaft der Ernährung geschrieben hatte. Bitterschokolade als Nahrungsergänzungsmittel zu testen, war seine Idee. Als ich ihn fragte, warum, Frank sagte, es sei ein Favorit der „Whole Food“ -Fanatiker. „Bitterschokolade schmeckt schlecht, deshalb muss es gut für dich sein“, sagte er. „Es ist wie eine Religion.“

Nach einer Runde von Fragebögen und Bluttests, um sicherzustellen, dass niemand Essstörungen, Diabetes oder andere Krankheiten hatte, die sie gefährden könnten, ordnete Frank die Probanden nach dem Zufallsprinzip von drei Diätgruppen. Eine Gruppe folgte einer kohlenhydratarmen Diät. Ein anderer folgte der gleichen kohlenhydratarmen Diät plus einer täglichen 1,5 oz. tafel dunkle Schokolade. Und der Rest, eine Kontrollgruppe, wurden angewiesen, keine Änderungen an ihrer aktuellen Ernährung vorzunehmen. Sie wogen sich jeden Morgen für 21 Tage, und die Studie endete mit einer letzten Runde von Fragebögen und Bluttests.

Onneken wandte sich dann an seinen Freund Alex Droste-Haars, einen Finanzanalysten, um die Zahlen zu knacken. Ein bierbetriebenes Wochenende später und… hauptgewinn! Beide Behandlungsgruppen verloren im Verlauf der Studie etwa 5 Pfund, während das durchschnittliche Körpergewicht der Kontrollgruppe um Null auf und ab schwankte. Aber die Menschen auf der Low-Carb-Diät plus Schokolade? Sie haben 10 Prozent schneller abgenommen. Dieser Unterschied war nicht nur statistisch signifikant, sondern die Schokoladengruppe hatte auch bessere Cholesterinwerte und höhere Werte bei der Umfrage zum Wohlbefinden.

Der Haken

Ich weiß, was du denkst. Die Studie zeigte einen beschleunigten Gewichtsverlust in der Schokoladengruppe – sollten wir ihm nicht vertrauen? Funktioniert Wissenschaft nicht so?

Hier ist ein schmutziges kleines wissenschaftliches Geheimnis: Wenn Sie eine große Anzahl von Dingen an einer kleinen Anzahl von Personen messen, erhalten Sie fast garantiert ein „statistisch signifikantes“ Ergebnis. Unsere Studie umfasste 18 verschiedene Messungen – Gewicht, Cholesterin, Natrium, Blutproteinspiegel, Schlafqualität, Wohlbefinden usw.—ab 15 Personen. (Ein Thema wurde gestrichen.), dass das Studiendesign ein Rezept für falsch positive Ergebnisse ist.

Stellen Sie sich die Messungen als Lottoscheine vor. Jeder hat eine kleine Chance, sich in Form eines „signifikanten“ Ergebnisses auszuzahlen, das wir eine Geschichte drehen und an die Medien verkaufen können. Je mehr Tickets Sie kaufen, desto wahrscheinlicher ist es, dass Sie gewinnen. Wir wussten nicht genau, was herauskommen würde – die Überschrift hätte sein können, dass Schokolade den Schlaf verbessert oder den Blutdruck senkt —, aber wir wussten, dass unsere Chancen, mindestens ein „statistisch signifikantes“ Ergebnis zu erzielen, ziemlich gut waren.

Wenn Sie diesen Satz hören, bedeutet dies, dass ein Ergebnis einen kleinen p-Wert hat. Der Buchstabe p scheint eine totemische Kraft zu haben, aber es ist nur eine Möglichkeit, das Signal-Rausch-Verhältnis in den Daten zu messen. Der herkömmliche Grenzwert für „signifikant“ ist 0,05, was bedeutet, dass es nur eine 5-prozentige Chance gibt, dass Ihr Ergebnis eine zufällige Fluktuation ist. Je mehr Lottoscheine, desto besser sind Ihre Chancen, ein falsch positives Ergebnis zu erzielen. Wie viele Tickets müssen Sie kaufen?

P(winning) = 1 – (1 – p)n

Mit unseren 18 Messungen hatten wir eine 60% ige Chance auf ein“signifikantes“ Ergebnis mit p < 0.05. (Die Messungen waren nicht unabhängig, also könnte es noch höher sein.) Das Spiel war zu unseren Gunsten gestapelt.

Es heißt p-Hacking — mit Ihrem experimentellen Design und Ihren Daten herumspielen, um p unter 0.05 zu bringen — und es ist ein großes Problem. Die meisten Wissenschaftler sind ehrlich und tun es unbewusst. Sie erhalten negative Ergebnisse, überzeugen sich, dass sie vermasselt haben, und wiederholen Sie das Experiment, bis es „funktioniert.“ Oder sie lassen „Ausreißer“ -Datenpunkte fallen.

Aber selbst wenn wir darauf geachtet hätten, p-Hacking zu vermeiden, war unsere Studie durch die winzige Anzahl von Probanden zum Scheitern verurteilt, was die Auswirkungen unkontrollierter Faktoren verstärkt. Nur um ein Beispiel zu nehmen: Das Gewicht einer Frau kann im Laufe ihres Menstruationszyklus bis zu 5 Pfund schwanken, weit mehr als der Gewichtsunterschied zwischen unserer Schokoladen- und kohlenhydratarmen Gruppe. Aus diesem Grund müssen Sie eine große Anzahl von Personen verwenden und Alter und Geschlecht über die Behandlungsgruppen hinweg ausbalancieren. (Wir haben uns nicht darum gekümmert.)

Sie können Teeblätter genauso gut lesen wie versuchen, unsere Ergebnisse zu interpretieren. Schokolade kann ein Gewichtsverlust Beschleuniger sein, oder es könnte das Gegenteil sein. Sie können nicht einmal dem Gewichtsverlust vertrauen, den unsere Nicht-Schokoladen-Low-Carb-Gruppe gegenüber der Kontrolle erlebte. Wer weiß, was die handvoll Leute in der Kontrollgruppe aßen? Wir haben sie nicht einmal gefragt.

Zum Glück sind Wissenschaftler immer weise auf diese Probleme. Einige Zeitschriften versuchen, die p-Wert-Signifikanz-Tests insgesamt auslaufen zu lassen, um Wissenschaftler zu besseren Gewohnheiten zu bewegen. Und fast niemand nimmt Studien mit weniger als 30 Probanden mehr ernst. Redakteure seriöser Zeitschriften lehnen sie sofort ab, bevor sie sie an Peer-Reviewer senden. Aber es gibt viele Zeitschriften, die sich mehr um Geld als um Reputation kümmern.

The Inside Man

Es war an der Zeit, unseren wissenschaftlichen Durchbruch mit der Welt zu teilen. Wir mussten unsere Studie schnell veröffentlichen, aber da es sich um eine so schlechte Wissenschaft handelte, mussten wir die Peer-Review ganz überspringen. Praktischerweise gibt es Listen gefälschter Zeitschriftenverlage. (Dies ist meine Liste, und hier ist eine andere.) Da die Zeit knapp war, reichte ich gleichzeitig unser Papier — „Schokolade mit hohem Kakaogehalt als Gewichtsverlustbeschleuniger“ – bei 20 Zeitschriften ein. Dann drückten wir die Daumen und warteten.

Unser Artikel wurde innerhalb von 24 Stunden von mehreren Zeitschriften zur Veröffentlichung angenommen. Unnötig zu erwähnen, dass wir überhaupt kein Peer Review hatten. Der eifrige Bewerber, den wir letztendlich ausgewählt haben, war das International Archives of Medicine. Es wurde früher vom riesigen Verlag BioMedCentral betrieben, wechselte aber kürzlich den Besitzer. Der CEO des neuen Verlags, Carlos Vasquez, hat uns per E-Mail mitgeteilt, dass wir ein „herausragendes Manuskript“ produziert haben und dass es für nur 600 Euro „direkt in unserer führenden Zeitschrift akzeptiert werden kann.“

Obwohl der Herausgeber des Archivs behauptet, dass „alle Artikel, die der Zeitschrift vorgelegt werden, streng geprüft werden“, wurde unser Artikel weniger als 2 Wochen nach der Belastung von Onnekens Kreditkarte veröffentlicht. Kein einziges Wort wurde geändert.

Die Markierungen

Als das Papier weg war, war es Zeit, etwas Lärm zu machen. Ich rief einen Freund eines Freundes an, der in der wissenschaftlichen PR arbeitet. Sie führte mich durch einige der schmutzigen Tricks, um Schlagzeilen zu machen. Es war unheimlich, die andere Seite von etwas zu hören, was ich jeden Tag erlebe.

Der Schlüssel ist, die unglaubliche Faulheit von Journalisten auszunutzen. Wenn Sie die Informationen genau richtig anordnen, können Sie die Geschichte, die in den Medien auftaucht, fast so gestalten, als würden Sie diese Geschichten selbst schreiben. In der Tat ist das buchstäblich das, was Sie tun, da viele Reporter unseren Text einfach kopiert und eingefügt haben.

Schauen Sie sich die Pressemitteilung an, die ich vorbereitet habe. Es hat alles, was man braucht. Im Reporter-Jargon: eine sexy Lede, eine klare Nuss, einige schlagkräftige Zitate und ein Kicker. Und Sie müssen nicht einmal die wissenschaftliche Arbeit lesen, da die wichtigsten Details bereits eingekocht sind. Ich habe besonders darauf geachtet, es genau zu halten. Anstatt Journalisten auszutricksen, war das Ziel, sie mit einer völlig typischen Pressemitteilung über eine Forschungsarbeit zu locken. (Was natürlich fehlt, ist die Anzahl der Probanden und die winzigen Gewichtsunterschiede zwischen den Gruppen.)

Aber eine gute Pressemitteilung reicht nicht aus. Reporter sind auch hungrig nach „Kunst“, etwas Hübsches, um ihren Lesern zu zeigen. So drehten Onneken und Löbl einige Werbevideos und beauftragten freischaffende Künstler, eine akustische Ballade und sogar einen Rap über Schokolade und Gewichtsverlust zu schreiben. (Es stellt sich heraus, dass Sie Leute im Internet einstellen können, um fast alles zu tun.)

Onneken schrieb eine deutsche Pressemitteilung und wandte sich direkt an deutsche Medien. Das Versprechen einer „exklusiven“ Geschichte ist sehr verlockend, auch wenn es falsch ist. Dann sprengte er die deutsche Pressemitteilung auf Wire Service mit Sitz in Österreich, und die englische ging auf NewsWire. Es gab keine Qualitätskontrolle. Das blieb den Reportern überlassen.

Ich spürte eine seltsame Mischung aus Stolz und Ekel, als unsere Verlockung in die Welt hinausging.

Die Partitur

Wir landeten große Fische, bevor wir überhaupt wussten, dass sie beißen. Bild eilte ihre Geschichte heraus — „Wer Schokolade isst, bleibt schlank!“- ohne mich überhaupt zu kontaktieren. Bald waren wir im Daily Star, im Irish Examiner, auf der deutschen Website von Cosmopolitan, in der Times of India, auf der deutschen und indischen Website der Huffington Post und sogar in den Fernsehnachrichten in Texas und in einer australischen Morgentalkshow.

Als Reporter mich überhaupt kontaktierten, stellten sie oberflächliche Fragen. „Warum glauben Sie, dass Schokolade den Gewichtsverlust beschleunigt? Haben Sie einen Rat für unsere Leser?“ Fast niemand hat gefragt, wie viele Probanden wir getestet haben, und niemand hat diese Zahl gemeldet. Kein einziger Reporter scheint einen externen Forscher kontaktiert zu haben. Keiner wird zitiert.

Diese Veröffentlichungen, obwohl viele ein großes Publikum haben, sind nicht gerade Vorbilder journalistischer Tugend. Es ist also nicht verwunderlich, dass sie sich einfach ein bisschen digitalen Kumpel für die Überschrift schnappen, die Seitenaufrufe ernten und weitermachen. Aber selbst die angeblich strengen Verkaufsstellen, die die Studie aufgriffen, konnten die Löcher nicht erkennen.

Die Berichterstattung des Shape Magazine über unsere Studie — siehe Seite 128 in der Juni—Ausgabe – bediente sich der Dienste eines Faktenprüfers, aber es war genauso lakonisch. Alles, was der Checker tat, war, ein paar Sätze von mir auf Genauigkeit zu überprüfen und die Schreibweise meines Namens zu überprüfen. Die Berichterstattung ging so weit, den geeigneten Kakaogehalt für Schokolade zur Gewichtsreduktion anzugeben (81 Prozent) und erwähnte sogar zwei bestimmte Marken („erhältlich in Lebensmittelgeschäften und bei amazon.com „).

Einige sind der Kugel ausgewichen. Ein Reporter von Men’s Health interviewte mich per E-Mail und stellte die gleichen Fragen. Sie sagte, dass die Geschichte für ihre September-Ausgabe geplant war, Wir werden es also nie erfahren.

Aber am enttäuschendsten? Niemand tauchte in unser Buffet mit Schokoladenmusikvideos ein. Stattdessen verwendeten sie vage pornografische Bilder von Frauen, die Schokolade aßen. Vielleicht wird diese Musik ein Eigenleben annehmen, jetzt wo die Wahrheit raus ist:

The Knock

Also warum sollte es dich interessieren? Menschen, die verzweifelt nach zuverlässigen Informationen suchen, stehen vor einer verwirrenden Reihe von Ernährungsempfehlungen – Salz ist schlecht, Salz ist gut, Protein ist gut, Protein ist schlecht, Fett ist schlecht, Fett ist gut — das ändert sich wie das Wetter. Aber die Wissenschaft wird es herausfinden, oder? Jetzt, da wir Adipositas als Epidemie bezeichnen, wird die Finanzierung an die besten Wissenschaftler fließen, und all dieser Lärm wird nachlassen und uns klare Antworten auf die Ursachen und Behandlungen geben.

Oder vielleicht auch nicht. Sogar die gut finanzierte, ernsthafte Forschung zur Gewichtsabnahme ist verwirrend und nicht schlüssig, beklagt Peter Attia, ein Chirurg, der eine gemeinnützige Organisation namens Nutrition Science Initiative mitbegründet hat. Zum Beispiel lieferte die Frauengesundheitsinitiative — eine der größten ihrer Art — nur wenige klare Erkenntnisse über Ernährung und Gesundheit. „Die Ergebnisse waren einfach verwirrend“, sagt Attia. „Sie gaben 1 Milliarde Dollar aus und konnten nicht einmal beweisen, dass eine fettarme Ernährung besser oder schlechter ist.“ Die gemeinnützige Organisation von Attia versucht, 190 Millionen US-Dollar aufzubringen, um diese grundlegenden Fragen zu beantworten. Aber es ist schwer, die Aufmerksamkeit auf die Wissenschaft der Fettleibigkeit zu lenken, sagt er. „Es gibt einfach so viel Lärm.“
Du kannst Leuten wie mir dafür danken. Wir Journalisten müssen das tägliche Nachrichtentier füttern, und die Ernährungswissenschaft ist unser Füllhorn. Leser können einfach nicht genug Geschichten über die Vorteile von Rotwein oder die Gefahren von Fruktose bekommen. Es ist nicht nur universell relevant — es betrifft Entscheidungen, die wir alle mindestens dreimal am Tag treffen -, sondern es ist auch Wissenschaft! Wir müssen nicht einmal das Haus verlassen, um Berichte zu erstellen. Wir tauchen unsere Tassen einfach in den täglichen Strom wissenschaftlicher Pressemitteilungen, die durch unsere Posteingänge fließen. Tack auf einem bissigen Foto und du bist fertig.

Das einzige Problem mit dem Diet Science Beat ist, dass es Wissenschaft ist. Sie müssen wissen, wie man eine wissenschaftliche Arbeit liest — und sich tatsächlich die Mühe machen, dies zu tun. Viel zu lange haben die Leute, die über diesen Beat berichten, ihn wie Klatsch behandelt und alles wiederholt, was sie in Pressemitteilungen finden. Hoffentlich macht unser kleines Experiment Reporter und Leser skeptischer.Wenn eine Studie nicht einmal auflistet, wie viele Menschen daran teilgenommen haben, oder eine kühne Diät behauptet, die „statistisch signifikant“ ist, aber nicht sagt, wie groß die Effektgröße ist, sollten Sie sich fragen, warum. Aber zum größten Teil tun wir das nicht. Was schade ist, denn Journalisten werden de facto zum Peer-Review-System. Und wenn wir scheitern, ist die Welt in Junk-Wissenschaft überschwemmt.

Es gab einen Hoffnungsschimmer in dieser Tragikomödie. Während die Reporter unsere „Ergebnisse“ gerade wieder aufschlugen,waren viele Leser nachdenklich und skeptisch. In den Online-Kommentaren stellten sie Fragen, die die Reporter hätten stellen sollen.

„Warum werden Kalorien bei keiner der Personen gezählt?“ fragte ein Leser in einem Bodybuilding-Forum. „Die Domain wurde Anfang März registriert, und Dutzende Blogs und Nachrichtenmagazine (siehe Google) verbreiteten diese Studie, ohne zu wissen, was oder wer dahinter steht“, sagte ein Leser der Geschichte im Focus, einem der führenden deutschen Online-Magazine. Oder wie ein vorausschauender Leser der Geschichte vom 4. April im Daily Express es ausdrückte: „Jeder Tag ist Aprilscherz in der Ernährung.“

Korrektur: Die von Peter Attia referenzierte Studie wurde als Frauengesundheitsinitiative bezeichnet, nicht als Frauengesundheitsstudie, und es war eine der größten ihrer Art, nicht die größte. Als es veröffentlicht wurde, enthielt dieser Artikel fälschlicherweise einen Screenshot, der die Berichterstattung der Daily Mail über eine Schokoladenstudie zeigte, aber nicht die in dieser Geschichte besprochene. Am Tag nach der Veröffentlichung ersetzten wir es durch einen Screenshot der tatsächlichen Berichterstattung der Daily Mail über die Studie.

Aktualisieren: Das Papier wurde von der Website des International Archives of Medicine entfernt, aber Sie können es hier lesen.

Top Bild: Kunst von Jim Cooke