de Con

Onneken en Löbl verloren geen tijd. Ze gebruikten Facebook om proefpersonen rond Frankfurt te werven en boden 150 euro aan iedereen die 3 weken op dieet wilde gaan. Ze maakten duidelijk dat dit onderdeel was van een documentaire over diëten, maar ze gaven niet meer details. Op een koude januari ochtend, kwamen 5 mannen en 11 vrouwen opdagen, van 19 tot 67 jaar.

Gunter Frank, een huisarts in on the prank, voerde de klinische proef uit. Onneken had hem naar binnen getrokken na het lezen van een populair boek dat Frank schreef railing against dietary pseudowetenschap. Het testen van bittere chocolade als voedingssupplement was zijn idee. Toen ik hem vroeg waarom, zei Frank dat het een favoriet was van de” whole food ” fanatici. “Bittere chocolade smaakt slecht, daarom moet het goed voor je zijn,” zei hij. “Het is als een religie.”

na een ronde van vragenlijsten en bloedtesten om zeker te zijn dat niemand eetstoornissen, diabetes of andere ziekten had die hen in gevaar zouden kunnen brengen, gaf Frank willekeurig de proefpersonen een van de drie dieetgroepen. Eén groep volgde een koolhydraatarm dieet. Een ander volgde dezelfde low-carb dieet plus een dagelijkse 1,5 oz. reep pure chocolade. En de rest, een controlegroep, werd geïnstrueerd om geen wijzigingen aan te brengen in hun huidige dieet. Ze woog zichzelf elke ochtend gedurende 21 dagen, en de studie eindigde met een laatste ronde van vragenlijsten en bloedtesten.Onneken wendde zich tot zijn vriend Alex Droste-Haars, een financieel analist, om de cijfers te kraken. Een weekend later met bier… jackpot! Beide behandelingsgroepen verloren ongeveer 5 pond in de loop van de studie, terwijl het gemiddelde lichaamsgewicht van de controlegroep op en neer rond nul schommelde. Maar de mensen op het Low-carb dieet plus chocolade? Ze verloren 10 procent sneller gewicht. Niet alleen was dat verschil statistisch significant, maar de chocoladegroep had betere cholesterolwaarden en hogere scores op het welzijnsonderzoek.

de Hook

Ik weet wat u denkt. De studie toonde versneld gewichtsverlies in de chocolade Groep-moeten we het niet vertrouwen? Is dat niet hoe wetenschap werkt?

Hier is een vies wetenschapsgeheim: Als je een groot aantal dingen meet over een klein aantal mensen, krijg je bijna gegarandeerd een “statistisch significant” resultaat. Onze studie omvatte 18 verschillende metingen-gewicht, cholesterol, natrium, eiwitgehalte in het bloed, kwaliteit van de slaap, welzijn, enz.- van 15 mensen. (Een onderwerp werd geschrapt.) Dat studieontwerp is een recept voor valse positieven.

zie de metingen als loten. Elk heeft een kleine kans om te betalen in de vorm van een “significant” resultaat dat we een verhaal rond kunnen draaien en verkopen aan de media. Hoe meer tickets je koopt, hoe groter de kans dat je wint. We wisten niet precies wat zou uitkomen—de kop zou kunnen zijn dat chocolade de slaap verbetert of de bloeddruk verlaagt-maar we wisten dat onze kansen op het krijgen van ten minste één “statistisch significant” resultaat vrij goed waren.

wanneer u die zin hoort, betekent dit dat een resultaat een kleine p-waarde heeft. De letter p lijkt totemkracht te hebben, maar het is gewoon een manier om de signaal-ruisverhouding in de data te meten. De conventionele cutoff voor zijn “significant”is 0,05, wat betekent dat er slechts een 5 procent kans dat uw resultaat is een willekeurige fluctuatie. Hoe meer loten, hoe groter de kans op het krijgen van een vals positief. Hoeveel tickets heb je nodig om te kopen?

P(winning) = 1 – (1 – p)N

met onze 18 metingen hadden we een 60% kans op een”significant” resultaat met p < 0,05. (De metingen waren niet onafhankelijk, dus het zou nog hoger kunnen zijn.) Het spel werd gestapeld in ons voordeel.

het heet p-hacking-fiddling met uw experimentele ontwerp en gegevens om p onder 0,05 te duwen—en het is een groot probleem. De meeste wetenschappers zijn eerlijk en doen het onbewust. Ze krijgen negatieve resultaten, overtuigen zichzelf dat ze goofed, en herhalen het experiment totdat het ” werkt.”Of ze laten “uitschieters” datapunten vallen.

maar zelfs als we zorgvuldig waren geweest om P-hacking te vermijden, was onze studie gedoemd door het kleine aantal proefpersonen, wat de effecten van ongecontroleerde factoren versterkt. Om maar een voorbeeld te nemen: het gewicht van een vrouw kan in de loop van haar menstruatiecyclus tot 5 pond fluctueren, veel groter dan het gewichtsverschil tussen onze chocolade-en low-carb-groepen. Daarom moet je een groot aantal mensen gebruiken, en leeftijd en geslacht in verschillende behandelingsgroepen met elkaar in evenwicht brengen. (We deden geen moeite.)

u kunt net zo goed theebladeren lezen als proberen onze resultaten te interpreteren. Chocolade kan een gewichtsverlies versneller, of het kan het tegenovergestelde zijn. Je kunt niet eens vertrouwen op het gewichtsverlies dat onze niet-chocolade low-carb groep ervaren versus controle. Wie weet wat de handvol mensen in de controlegroep aten? We hebben het ze niet eens gevraagd.

Gelukkig krijgen wetenschappers inzicht in deze problemen. Sommige tijdschriften proberen p waarde significantie testen helemaal uit te faseren om wetenschappers te duwen in betere gewoonten. En bijna niemand neemt studies met minder dan 30 proefpersonen meer serieus. Redacteuren van gerenommeerde tijdschriften wijzen ze van de hand voordat ze naar peer reviewers worden gestuurd. Maar er zijn genoeg tijdschriften die meer geven om geld dan om reputatie.

The Inside Man

het was tijd om onze wetenschappelijke doorbraak met de wereld te delen. We moesten onze studie Snel publiceren, maar omdat het zo ‘ n slechte wetenschap was, moesten we peer review helemaal overslaan. Gunstig, er zijn lijsten van valse tijdschrift uitgevers. (Dit is mijn lijst, en hier is een andere.) Omdat de tijd krap was, heb ik tegelijkertijd ons papier—”chocolade met een hoog cacaogehalte als een gewichtsverlies versneller” -ingediend bij 20 tijdschriften. Toen hebben we onze vingers gekruist en gewacht.

ons papier werd binnen 24 uur voor publicatie door meerdere tijdschriften geaccepteerd. Onnodig te zeggen dat we helemaal geen peer review kregen. De enthousiaste aanbidder die we uiteindelijk kozen was het internationaal medisch archief. Het werd gerund door de gigantische uitgever BioMedCentral, maar is onlangs van eigenaar veranderd. De CEO van de nieuwe uitgever, Carlos Vasquez, e-mailde Johannes om hem te laten weten dat we een “uitstekend manuscript” hadden geproduceerd, en dat het voor slechts 600 euro “direct kon worden geaccepteerd in ons belangrijkste tijdschrift.”

hoewel de Archiefredacteur beweert dat” alle artikelen die aan het tijdschrift worden voorgelegd op een rigoureuze manier worden beoordeeld, “werd onze paper gepubliceerd minder dan twee weken nadat Onneken’ s creditcard werd afgeschreven. Er is geen woord veranderd.

de markeringen

met het papier uit, was het tijd om wat ruis te maken. Ik belde een vriend van een vriend die in wetenschappelijke PR werkt. Ze leidde me door een aantal van de vuile trucs voor het grijpen van de krantenkoppen. Het was griezelig om de andere kant te horen van iets wat ik elke dag ervaar.

de sleutel is om de ongelooflijke luiheid van journalisten te benutten. Als je de informatie precies goed invult, kun je het verhaal vormgeven dat in de media naar voren komt, bijna alsof je die verhalen zelf schreef. In feite is dat letterlijk wat je doet, omdat veel verslaggevers onze tekst hebben gekopieerd en geplakt.

kijk eens naar het persbericht dat ik heb opgesteld. Het heeft alles. In reporter lingo: een sexy lede, een duidelijke noot graf, een aantal pittige citaten, en een kicker. En het is zelfs niet nodig om de wetenschappelijke paper te lezen, omdat de belangrijkste details al zijn samengevat. Ik heb ervoor gezorgd dat het accuraat was. In plaats van journalisten te misleiden, was het doel hen te lokken met een volledig typisch persbericht over een onderzoekspaper. (Natuurlijk, wat ontbreekt is het aantal proefpersonen en de minuscule gewichtsverschillen tussen de groepen.)

maar een goed persbericht is niet genoeg. Verslaggevers zijn ook hongerig naar “kunst”, iets moois om hun lezers te laten zien. Zo maakten Onneken en Löbl enkele promotionele videoclips en gaven freelance artiesten de opdracht om een akoestische ballad te schrijven en zelfs een rap over chocolade en gewichtsverlies. (Het blijkt dat je mensen op het internet kunt inhuren om bijna alles te doen.)

Onneken schreef een Duits persbericht en nam rechtstreeks contact op met de Duitse media. De belofte van een” exclusief ” verhaal is erg verleidelijk, zelfs als het nep is. Toen blies hij het Duitse persbericht uit op telegrafie in Oostenrijk, en het Engelse ging uit op NewsWire. Er was geen kwaliteitscontrole. Dat werd aan de verslaggevers overgelaten.

Ik voelde een queazy mix van trots en walging toen onze lokroep de wereld in zwiepte.

de Score

we landden grote vissen voordat we wisten dat ze aan het bijten waren. Bild haastte hun verhaal uit— ” degenen die chocolade eten blijven slank!”- zonder contact met me op te nemen. Al snel waren we in de Daily Star, de Irish Examiner, de Duitse website van Cosmopolitan, de Times of India, zowel de Duitse als de Indiase site van de Huffington Post, en zelfs tv-nieuws in Texas en een Australische ochtend talkshow.

toen verslaggevers contact met me opnamen, stelden ze flunctorische vragen. “Waarom denk je dat chocolade versnelt gewichtsverlies? Heb je advies voor onze lezers?”Bijna niemand vroeg hoeveel proefpersonen we getest, en niemand meldde dat aantal. Geen enkele verslaggever heeft contact opgenomen met een externe onderzoeker. Er wordt geen enkele Geciteerd.

deze publicaties, hoewel veel grote doelgroepen, zijn niet bepaald toonbeelden van journalistieke deugd. Dus het is niet verwonderlijk dat ze gewoon een beetje van digital chum voor de kop zou grijpen, oogst de pageviews, en verder gaan. Maar zelfs de zogenaamd rigoureuze verkooppunten die de studie oppakten, zagen de gaten niet.in de reportage van Shape magazine over onze studie-pagina 128 in het juninummer-werd gebruik gemaakt van de diensten van een fact-checker, maar het was net zo slap. Alles wat de checker deed was een paar zinnen door mij voor de nauwkeurigheid en controleer de spelling van mijn naam. De dekking ging zo ver dat de juiste cacao-inhoud voor gewichtsverlies inducerende chocolade specificeren (81 procent) en zelfs vermeld twee specifieke merken (“verkrijgbaar in supermarkten en op amazon.com”).

sommigen ontweken de kogel. Een verslaggever van Men ‘ s Health interviewde me per e-mail en stelde dezelfde soort niet-indringende vragen. Ze zei dat het verhaal gepland was voor hun September uitgave, dus we zullen het nooit weten.

maar het meest teleurstellend? Niemand doopte in ons buffet van chocolade Muziekvideo ‘ s. In plaats daarvan gebruikten ze vaag pornografische beelden van vrouwen die chocolade aten. Misschien zal deze muziek een eigen leven beginnen nu de waarheid bekend is:

The Knock

dus waarom zou het je iets kunnen schelen? Mensen die wanhopig op zoek zijn naar betrouwbare informatie worden geconfronteerd met een verbijsterende reeks van dieet begeleiding—zout is slecht, zout is goed, eiwit is goed, eiwit is slecht, vet is slecht, vet is goed—dat verandert als het weer. Maar de wetenschap komt er wel achter, toch? Nu we obesitas een epidemie noemen, zal de financiering naar de beste wetenschappers stromen en al dit lawaai zal afnemen, zodat we duidelijke antwoorden hebben op de oorzaken en behandelingen.

of misschien niet. Zelfs het goed gefinancierde, serieuze onderzoek naar gewichtsverlies wetenschap is verwarrend en niet overtuigend, klaagt Peter Attia, een chirurg die medeoprichter van een non-profit genaamd de Nutrition Science Initiative. Zo leverde het Women ‘ s Health Initiative—een van de grootste in zijn soort—weinig duidelijke inzichten op over voeding en gezondheid. “De resultaten waren gewoon verwarrend”, zegt Attia. “Ze gaven $1 miljard uit en konden niet eens bewijzen dat een vetarm dieet beter of slechter is.”Attia’ s non-profit probeert $190 miljoen op te halen om deze fundamentele vragen te beantwoorden. Maar het is moeilijk om de aandacht te richten op de wetenschap van obesitas, zegt hij. “Er is gewoon zoveel lawaai.daar kun je mensen zoals ik voor bedanken. Wij journalisten moeten het Daily news beast voeden, en dieetwetenschap is onze hoorn des overvloeds. Lezers kunnen gewoon niet genoeg verhalen krijgen over de voordelen van rode wijn of de gevaren van fructose. Niet alleen is het universeel relevant—het heeft betrekking op beslissingen die we allemaal minstens drie keer per dag nemen-maar het is wetenschap! We hoeven niet eens van huis te gaan om verslag uit te brengen. We dompelen onze kopjes gewoon in de dagelijkse stroom van wetenschappelijke persberichten die door onze inboxen stromen. Zet een snelle stockfoto aan en je bent klaar.

het enige probleem met de diet science beat is dat het wetenschap is. Je moet weten hoe je een wetenschappelijk artikel moet lezen – en eigenlijk de moeite nemen om het te doen. Veel te lang hebben de mensen die deze beat verslaan het behandeld als roddel, nagalmend wat ze vinden in persberichten. Hopelijk zal ons kleine experiment verslaggevers en lezers sceptischer maken.
als een studie niet eens een lijst geeft van hoeveel mensen eraan hebben deelgenomen, of een vetgedrukte bewering doet die “statistisch significant” is, maar niet zegt hoe groot het effect is, zou je je moeten afvragen waarom. Maar voor het grootste deel niet, wat jammer is, want journalisten worden het de facto peer review systeem. En als we falen, is de wereld overspoeld met junk science.

Er was een sprankje hoop in deze tragikomedie. Terwijl de verslaggevers gewoon onze “bevindingen” uitbraken, waren veel lezers attent en sceptisch. In de online commentaren stelden ze vragen die de verslaggevers hadden moeten stellen.

” Waarom worden calorieën niet op één van de individuen geteld?”vroeg een lezer op een bodybuilding forum. “Het domein werd begin maart geregistreerd en tientallen blogs en nieuwsbladen (zie Google) verspreiden deze studie zonder te weten wat of wie erachter staat,” zei een lezer onder het verhaal In Focus, een van Duitslands toonaangevende online tijdschriften. of zoals een vooruitziende lezer van het 4 April verhaal in de Daily Express het stelde: “elke dag is April Fool’ s in nutrition.”

Correctie: de studie waarnaar Peter Attia verwijst werd het Women ’s Health Initiative genoemd, niet de Women’ s Health Study, en het was een van de grootste in zijn soort, niet de grootste. Ook, toen het werd gepubliceerd, bevatte dit artikel ten onrechte een screenshot met de dekking van de Daily Mail van een chocolade-studie, maar niet degene die in dit verhaal wordt besproken. De dag na publicatie hebben we het vervangen door een screenshot van de werkelijke dekking van de studie van de Daily Mail.

bijwerken: Het papier is verwijderd uit de website van de International Archives of Medicine, maar u kunt het hier lezen.

Bovenafbeelding: kunst door Jim Cooke