“slim af chokolade!”overskrifterne blottede. Et team af tyske forskere havde fundet ud af, at folk på en diæt med lavt kulhydratindhold tabte sig 10 procent hurtigere, hvis de spiste en chokoladebar hver dag. Det gjorde forsiden af Bild, Europas største dagblad, lige under deres opdatering om Tyskvingens nedbrud. Derfra, det ricocheted rundt på internettet og videre, gør nyheder i mere end 20 lande og et halvt dusin sprog. Det blev diskuteret på tv-nyhedsprogrammer. Det optrådte i blankt tryk, senest i juni-udgaven af Shape-magasinet (“hvorfor skal du spise chokolade dagligt”, side 128). Ikke kun fremskynder chokolade vægttab, undersøgelsen fandt, men det fører til sundere kolesterolniveauer og generelt øget velvære. Bild-historien citerer undersøgelsens hovedforfatter, Johannes Bohannon, Ph. D., forskningsdirektør for Institut for diæt og sundhed: “det bedste er, at du kan købe chokolade overalt.”
denne bro.ser understøtter ikke videoelementet.
Jeg er Johannes Bohannon, Ph. D. nå, faktisk hedder Jeg John, og jeg er journalist. Jeg har en ph. d., men det er i bakteriens molekylærbiologi, ikke mennesker. Institut for kost og sundhed? Det er ikke andet end en hjemmeside.
bortset fra disse fibre var undersøgelsen 100 procent autentisk. Mine kolleger og jeg rekrutterede egentlige mennesker i Tyskland. Vi kørte et faktisk klinisk forsøg, med emner tilfældigt tildelt forskellige diætregimer. Og de statistisk signifikante fordele ved chokolade, som vi rapporterede, er baseret på de faktiske data. Det var faktisk en temmelig typisk undersøgelse inden for diætforskning. Det vil sige: det var forfærdelig videnskab. Resultaterne er meningsløse, og de sundhedsanprisninger, som medierne sprængte ud til millioner af mennesker over hele verden, er fuldstændig ubegrundede.
annonce
Sådan gjorde vi det.
opsætningen
Jeg fik et opkald i December sidste år fra en tysk tv-reporter ved navn Peter Onneken. Han og hans samarbejdspartner Diana L Larsbl arbejdede på en dokumentarfilm om junk-science diet industrien. De ville have mig til at hjælpe med at demonstrere, hvor let det er at gøre dårlig videnskab til de store overskrifter bag diætfade. Og Onneken ønskede at gøre det: Afslør korruptionen af diætforskningskomplekset ved at deltage.
annonce
opkaldet var ikke en komplet overraskelse. Året før, jeg havde kørt en brod operation for Science på gebyr-opladning open access tidsskrifter, en hurtigt voksende og lukrativ ny sektor af den akademiske forlagsvirksomhed. For at finde ud af, hvor mange af disse udgivere der holder deres løfte om at foretage en streng fagfællebedømmelse, sendte jeg latterligt mangelfulde papirer og tællede, hvor mange der afviste dem. (Svar: mindre end halvdelen.)
annonce
Onneken og L Kursbl havde alt opstillet: et par tusinde euro til at rekruttere forskningsemner, en tysk læge til at køre undersøgelsen og en statistiker ven til at massere dataene. Onneken hørte om min journal sting og regnede med, at jeg ville vide, hvordan man trækker det hele sammen og får det offentliggjort. Det eneste problem var tid: filmen var planlagt til at blive sendt på tysk og fransk tv i slutningen af foråret (den har premiere i næste uge), så vi havde virkelig kun et par måneder til at trække dette ud.
kan vi få noget offentliggjort? Sandsynligvis. Men ud over det? Jeg troede, det var sikker på at sprudle. Vi videnskabsjournalister kan lide at tænke på os selv som mere kloge end det gennemsnitlige hack. Når alt kommer til alt er vi nødt til at forstå arcane videnskabelig forskning godt nok til at forklare den. Og for journalister, der ikke har videnskabskoteletter, så snart de tappede eksterne kilder til deres historier—virkelig nogen med en videnskabsgrad, endsige en egentlig ernæringsforsker—ville de opdage, at undersøgelsen var latterligt spinkelt. For ikke at nævne, at en Google-søgning ikke gav spor af Johannes Bohannon eller hans påståede Institut. Journalister på sundhedsvidenskabens beat ville lugte dette en kilometer væk. Men jeg ville ikke lyde pessimistisk. “Lad os se, hvor langt vi kan tage dette,” sagde jeg.
annonce
Con
onneken og L Krisbl spildte ingen tid. De brugte Facebook til at rekruttere emner omkring Frankfurt og tilbød 150 Euro til alle, der var villige til at gå på diæt i 3 uger. De gjorde det klart, at dette var en del af en dokumentarfilm om slankekure, men de gav ikke flere detaljer. På en kold januarmorgen dukkede 5 mænd og 11 kvinder op i alderen 19 Til 67 år.
annonce
Gunter Frank, en praktiserende læge i prank, kørte det kliniske forsøg. Onneken havde trukket ham ind efter at have læst en populær bog Frank skrev railing against dietary pseudovidenskab. Test af bitter chokolade som kosttilskud var hans ide. Da jeg spurgte ham Hvorfor, sagde Frank, at det var en favorit blandt “hele mad” fanatikerne. “Bitter chokolade smager dårligt, derfor må det være godt for dig,” sagde han. “Det er som en religion.”
annonce
efter en runde spørgeskemaer og blodprøver for at sikre, at ingen havde spiseforstyrrelser, diabetes eller andre sygdomme, der kunne true dem, Frank tildelte tilfældigt emnerne til en af tre diætgrupper. En gruppe fulgte en lav-kulhydrat kost. En anden fulgte den samme lav-carb diæt plus en daglig 1,5 ounce. bar af mørk chokolade. Og resten, en kontrolgruppe, blev instrueret om ikke at foretage ændringer i deres nuværende diæt. De vejede sig hver morgen i 21 dage, og undersøgelsen sluttede med en sidste runde spørgeskemaer og blodprøver.
Onneken henvendte sig derefter til sin ven Aleks Droste-Haars, en finansanalytiker, for at knuse tallene. En øl-brændt uge senere og… jackpot! Begge behandlingsgrupper tabte omkring 5 pund i løbet af undersøgelsen, mens kontrolgruppens gennemsnitlige kropsvægt svingede op og ned omkring nul. Men folk på lav-carb diæt plus chokolade? De tabte sig 10 procent hurtigere. Ikke kun var denne forskel statistisk signifikant, men chokoladegruppen havde bedre kolesterolaflæsninger og højere score på trivselsundersøgelsen.
annonce
krogen
Jeg ved hvad du tænker. Undersøgelsen viste accelereret vægttab i chokoladegruppen-bør vi ikke stole på det? Er det ikke sådan videnskaben fungerer?
annonce
Her er en beskidt lille videnskabshemmelighed: Hvis du måler et stort antal ting om et lille antal mennesker, er du næsten garanteret at få et “statistisk signifikant” resultat. Vores undersøgelse omfattede 18 forskellige målinger—vægt, kolesterol, natrium, blodproteinniveauer, søvnkvalitet, velvære osv.- fra 15 personer. (Et emne blev droppet .) At undersøgelsesdesign er en opskrift på falske positive.
annonce
tænk på målingerne som lotteri. Hver enkelt har en lille chance for at betale sig i form af et “signifikant” resultat, som vi kan spinde en historie rundt og sælge til medierne. Jo flere billetter du køber, jo mere sandsynligt er du at vinde. Vi vidste ikke nøjagtigt, hvad der ville panorere—overskriften kunne have været, at chokolade forbedrer søvn eller sænker blodtrykket—men vi vidste, at vores chancer for at få mindst et “statistisk signifikant” resultat var ret gode.
Når du hører denne sætning, betyder det, at et resultat har en lille p-værdi. Bogstavet p ser ud til at have totemisk kraft, men det er bare en måde at måle signal-til-støj-forholdet i dataene. Den konventionelle cutoff for at være” signifikant ” er 0,05, hvilket betyder, at der kun er en 5 procent chance for, at dit resultat er en tilfældig udsving. Jo flere lotteri billetter, jo bedre er dine chancer for at få en falsk positiv. Så hvor mange billetter skal du købe?
annonce
p(vindende) = 1 – (1 – p)n
Med vores 18 målinger havde vi en 60% chance for at få noget”signifikant” resultat med p< 0.05. (Målingerne var ikke uafhængige, så det kunne være endnu højere.) Spillet blev stablet til vores fordel.
annonce
det hedder p-hacking—fiddling med dit eksperimentelle design og data for at skubbe p under 0.05—og det er et stort problem. De fleste forskere er ærlige og gør det ubevidst. De får negative resultater, overbevise sig selv om, at de gik, og gentag eksperimentet, indtil det “fungerer.”Eller de falder” outlier ” datapunkter.
annonce
men selvom vi havde været forsigtige med at undgå p-hacking, blev vores undersøgelse dømt af det lille antal emner, som vi forstærker virkningerne af ukontrollerede faktorer. Bare for at tage et eksempel: en kvindes vægt kan svinge så meget som 5 pund i løbet af hendes menstruationscyklus, langt større end vægtforskellen mellem vores chokolade og lav-carb grupper. Derfor skal du bruge et stort antal mennesker og afbalancere alder og køn på tværs af behandlingsgrupper. (Vi gider ikke .)
Du kan lige så godt læse teblade som forsøge at fortolke vores resultater. Chokolade kan være et vægttab accelerator, eller det kunne være det modsatte. Du kan ikke engang stole på det vægttab, som vores ikke-chokolade lav-carb gruppe oplevede versus kontrol. Hvem ved, hvad den håndfuld mennesker i kontrolgruppen spiste? Vi spurgte dem ikke engang.
annonce
heldigvis bliver forskere kloge til disse problemer. Nogle tidsskrifter forsøger at udfase p-værdi signifikanstest helt for at skubbe forskere til bedre vaner. Og næsten ingen tager studier med færre end 30 fag alvorligt længere. Redaktører af velrenommerede tidsskrifter afviser dem ude af hånden, før de sendes til peer-korrekturlæsere. Men der er masser af tidsskrifter, der bekymrer sig mere om penge end omdømme.
den indvendige mand
det var på tide at dele vores videnskabelige gennembrud med verden. Vi havde brug for at få vores undersøgelse offentliggjort pronto, men da det var så dårlig videnskab, vi havde brug for at springe peer-gennemgang helt over. Bekvemt er der lister over falske tidsskriftudgivere. (Dette er min liste, og her er en anden.) Da tiden var stram, sendte jeg samtidig vores papir-“chokolade med højt kakaoindhold som vægttabsaccelerator” —til 20 tidsskrifter. Så krydsede vi fingrene og ventede.
annonce
vores papir blev accepteret til offentliggørelse af flere tidsskrifter inden for 24 timer. Det er overflødigt at sige, at vi overhovedet ikke stod over for nogen fagfællebedømmelse. Den ivrige frier, vi i sidste ende valgte, var The International Archives of Medicine. Det plejede at blive drevet af den gigantiske udgiver BioMedCentral, men for nylig skiftede hænder. Den nye forlags administrerende direktør, Carlos vask, mailede Johannes for at fortælle ham, at vi havde produceret et “fremragende manuskript”, og at det for kun 600 Euro “kunne accepteres direkte i vores premier journal.”
annonce
selvom arkivets redaktør hævder, at” alle artikler, der er sendt til tidsskriftet, gennemgås på en streng måde, ” blev vores papir offentliggjort mindre end 2 uger efter, at Onnekens kreditkort blev opkrævet. Ikke et eneste ord blev ændret.
mærkerne
med papiret ud var det tid til at lave noget støj. Jeg ringede til en ven af en ven, der arbejder i videnskabelig PR. Hun gik mig gennem nogle af de beskidte tricks for at få fat i overskrifter. Det var uhyggeligt at høre den anden side af noget, jeg oplever hver dag.
annonce
nøglen er at udnytte journalisters utrolige dovenskab. Hvis du lægger Informationen helt rigtigt ud, kan du forme historien, der dukker op i medierne, næsten som om du selv skrev disse historier. Faktisk er det bogstaveligt talt, hvad du laver, da mange journalister lige kopierede og indsatte vores tekst.
Tag et kig på pressemeddelelsen jeg kogte op. Den har ALT. I reporter lingo: en fræk lede, en klar møtrik graf, nogle punchy citater, og en kicker. Og der er ingen grund til selv at læse den videnskabelige artikel, fordi de vigtigste detaljer allerede er kogt ned. Jeg var særlig omhyggelig med at holde det nøjagtigt. I stedet for at narre journalister var målet at lokke dem med en helt typisk pressemeddelelse om et forskningsartikel. (Selvfølgelig mangler antallet af emner og de små vægtforskelle mellem grupperne.)
annonce
men en god pressemeddelelse er ikke nok. Journalister er også sultne efter” kunst”, noget smukt at vise deres læsere. Så onneken og L Larsbl skød nogle salgsfremmende videoklip og bestilte freelance kunstnere til at skrive en akustisk ballade og endda en rap om chokolade og vægttab. (Det viser sig, at du kan ansætte folk på internettet til at gøre næsten alt.)
annonce
Onneken skrev en tysk pressemeddelelse og nåede direkte ud til tyske medier. Løftet om en” eksklusiv ” historie er meget fristende, selvom den er falsk. Derefter sprængte han den tyske pressemeddelelse ud på trådtjeneste med base i Østrig, og den engelske gik ud på Nyhedsledning. Der var ingen kvalitetskontrol. Det blev overladt til journalisterne.
Jeg følte en uhyggelig blanding af stolthed og afsky, da vores lokke sprang ud i verden.
annonce
scoren
vi landede store fisk, før vi selv vidste, at de bider. Bild skyndte deres historie ud— ” de, der spiser chokolade, forbliver slanke!”- uden at kontakte mig overhovedet. Snart var vi i Daily Star, Den Irske eksaminator, Cosmopolitan ‘ S tyske hjemmeside, The Times Of India, både det tyske og indiske sted for Huffington Post, og endda tv-nyheder i Australien og et australsk morgenforedrag.
annonce
da journalister overhovedet kontaktede mig, stillede de perfunctory spørgsmål. “Hvorfor tror du, at chokolade fremskynder vægttab? Har du nogle råd til vores læsere?”Næsten ingen spurgte, hvor mange emner vi testede, og ingen rapporterede det nummer. Ikke en eneste reporter synes at have kontaktet en ekstern forsker. Ingen er citeret.
annonce
disse publikationer, selvom mange kommanderer store målgrupper, er ikke ligefrem paragoner af journalistisk dyd. Så det er ikke overraskende, at de simpelthen ville få fat i en smule digital chum til overskriften, høste sidevisningerne og fortsætte. Men selv de angiveligt strenge afsætningsmuligheder, der hentede undersøgelsen, kunne ikke se hullerne.
Shape magasinets rapportering om vores undersøgelse—vend til side 128 i juni—udgaven-beskæftigede sig med en faktakontrol, men det var lige så mangelfuldt. Alt checker gjorde blev kørt et par sætninger af mig for nøjagtighed og kontrollere stavningen af mit navn. Dækningen gik så langt som at specificere det passende kakaoindhold til vægttabsfremkaldende chokolade (81 procent) og nævnte endda to specifikke mærker (“Fås i købmandsforretninger og på amazon.com”).
annonce
nogle undgik kuglen. En reporter fra mænds sundhed spurgte mig via e-mail og stillede den samme slags ikke-sonderende spørgsmål. Hun sagde, at historien var planlagt til deres septemberudgave, så vi ved det aldrig.
men mest skuffende? Ingen dyppede ind i vores buffet med chokolademusikvideoer. I stedet brugte de vagt pornografiske billeder af kvinder, der spiste chokolade. Måske vil denne musik få sit eget liv nu, hvor sandheden er ude:
knocken
så hvorfor skulle du være ligeglad? Mennesker, der er desperate efter pålidelige oplysninger, står over for en forvirrende række diætvejledning—salt er dårligt, salt er godt, protein er godt, protein er dårligt, fedt er dårligt, fedt er godt—det ændrer sig som vejret. Men videnskaben vil finde ud af det, ikke? Nu hvor vi kalder fedme en epidemi, vil finansieringen strømme til de bedste forskere, og al denne støj vil dø ned og efterlade os med klare svar på årsagerne og behandlingerne.
annonce
eller måske ikke. Selv den velfinansierede, seriøs forskning i vægttabsvidenskab er forvirrende og ufattelig, beklager Peter Attia, en kirurg, der var med til at grundlægge en nonprofit kaldet Nutrition Science Initiative. For eksempel gav Kvinders sundhedsinitiativ—et af de største af sin art—få klare indsigter om kost og sundhed. “Resultaterne var bare forvirrende,” siger Attia. “De brugte 1 milliard dollars og kunne ikke engang bevise, at en fedtfattig kost er bedre eller værre.”Attias nonprofit forsøger at rejse 190 millioner dollars for at besvare disse grundlæggende spørgsmål. Men det er svært at fokusere opmærksomheden på videnskaben om fedme, siger han. “Der er bare så meget støj.”
Du kan takke folk som mig for det. Vi journalister er nødt til at fodre det daglige nyhedsdyr, og diætvidenskab er vores horn af masser. Læsere kan bare ikke få nok historier om fordelene ved rødvin eller farerne ved fruktose. Ikke kun er det universelt relevant – det vedrører beslutninger, vi alle træffer mindst tre gange om dagen—men det er videnskab! Vi behøver ikke engang at forlade hjemmet for at rapportere. Vi dypper bare vores kopper ned i den daglige strøm af videnskabelige pressemeddelelser, der strømmer gennem vores indbakker. Tack på en bidsk stock foto og du er færdig.
annonce
det eneste problem med diet science beat er, at det er videnskab. Du skal vide, hvordan man læser en videnskabelig artikel—og faktisk gider at gøre det. Alt for længe, de mennesker, der dækker dette beat, har behandlet det som sladder, ekko hvad de finder i pressemeddelelser. Forhåbentlig vil vores lille eksperiment gøre både journalister og læsere mere skeptiske.
hvis en undersøgelse ikke engang viser, hvor mange mennesker der deltog i det, eller gør en fed diæt påstand, der er “statistisk signifikant”, men ikke siger, hvor stor effektstørrelsen er, bør du undre dig over hvorfor. Men for det meste gør vi det ikke. hvilket er en skam, fordi journalister bliver de facto peerevalueringssystemet. Og når vi fejler, er verden oversvømmet i junk science.
annonce
der var et glimt af håb i denne tragikomedie. Mens journalisterne bare genoplivede vores” fund”, var mange læsere tankevækkende og skeptiske. I onlinekommentarerne stillede de spørgsmål, som journalisterne burde have stillet.
” hvorfor tælles kalorier ikke på nogen af individerne?”spurgte en læser på en bodybuilding forum. “Domænet blev registreret i begyndelsen af marts, og snesevis af blogs og nyhedsmagasiner (Se Google) spredte denne undersøgelse uden at vide, hvad eller hvem der står bag det,” sagde en læser under the story in Focus, et af Tysklands førende onlinemagasiner.
eller som en forudseende læser af 4 April historie i den daglige udtrykke sætte det, “hver dag er April Fool’ s i ernæring.”
annonce
korrektion: undersøgelsen, der henvises til af Peter Attia, blev kaldt Kvinders sundhedsinitiativ, ikke Kvinders sundhedsundersøgelse, og det var en af de største af sin art, ikke den største. Da den blev offentliggjort, indeholdt denne artikel fejlagtigt et skærmbillede, der viste Daily Mail ‘ s dækning af en chokoladestudie, men ikke den, der blev diskuteret i denne historie. Dagen efter offentliggørelsen erstattede vi det med et skærmbillede af Daily Mail ‘ s faktiske dækning af undersøgelsen.
opdatering: Papiret er blevet fjernet fra International Archives of Medicine hjemmeside, men du kan læse det her.
annonce