Annonse

samtalen var ikke en fullstendig overraskelse. Året før hadde jeg drevet En brodd-operasjon for Vitenskap om avgiftsbelagte open access-tidsskrifter, en raskt voksende og lukrativ ny sektor av akademisk forlagsvirksomhet. For å finne ut hvor mange av disse utgiverne holder sitt løfte om å gjøre streng peer review, sendte jeg latterlig feil papirer og talt hvor mange avviste dem. (Svar: mindre enn halvparten.)

Onneken og Lö hadde alt lined opp: noen få tusen Euro for å rekruttere forsøkspersoner, en tysk lege for å kjøre studien, og en statistiker venn til å massere dataene. Onneken hørt om min journal sting og skjønte at jeg ville vite hvordan å trekke det hele sammen og få det publisert. Det eneste problemet var tid: filmen var planlagt å bli sendt på tysk og fransk fjernsyn i slutten av våren (den premiere neste uke), så vi hadde egentlig bare et par måneder å trekke dette av.

Kan vi få noe publisert? Sannsynligvis. Men utover det? Jeg trodde det var sikkert å fizzle. Vi vitenskapsjournalister liker å tenke på oss selv som smartere enn gjennomsnittet. Tross alt må vi forstå arcane vitenskapelig forskning godt nok til å forklare det. Og for journalister som ikke har vitenskapskoteletter, så snart de tappet utenfor kilder for sine historier—egentlig noen med en vitenskapsgrad, enn si en faktisk ernæringsforsker—ville de oppdage at studien var latterlig spinkel. For ikke å nevne At Et Google-søk ga ingen spor Av Johannes Bohannon eller hans påståtte institutt. Reportere på helsefag beat skulle lukte dette en mil unna. Men jeg ville ikke høres pessimistisk ut. «La oss se hvor langt vi kan ta dette,» sa jeg.

Con

Onneken og Lö bortkastet ingen tid. De brukte Facebook til å rekruttere fag rundt Frankfurt, og tilbyr 150 Euro til alle som er villige til å gå på diett i 3 uker. De gjorde det klart at dette var en del av en dokumentarfilm om slanking, men de ga ikke flere detaljer. På en kald januar morgen, 5 menn og 11 kvinner dukket opp, alderen 19 til 67.

Gunter Frank, en allmennlege i på prank, kjørte den kliniske studien. Onneken hadde trukket ham inn etter å ha lest En populær bok Frank skrev railing against dietary pseudovitenskap. Å teste bitter sjokolade som kosttilskudd var hans ide. Da Jeg spurte Ham hvorfor, Frank sa Det var en favoritt av» hele mat » fanatikere. «Bitter sjokolade smaker dårlig, derfor må det være bra for deg,» sa han. «Det er som en religion.»

her er en skitten liten vitenskapshemmelighet: Hvis du måler et stort antall ting om et lite antall mennesker, er du nesten garantert å få et «statistisk signifikant» resultat. Vår studie inkluderte 18 forskjellige målinger-vekt, kolesterol—natrium, blodprotein nivåer, søvnkvalitet, velvære, etc.- fra 15 personer. (Ett emne ble droppet.) At studiedesign er en oppskrift på falske positiver.

Tenk på målingene som lodd. Hver og en har en liten sjanse til å betale seg i form av et «betydelig» resultat at vi kan snurre en historie rundt og selge til media. Jo flere billetter du kjøper, jo mer sannsynlig er det å vinne. Overskriften kunne ha vært at sjokolade forbedrer søvn eller senker blodtrykket – men vi visste at sjansene våre for å få minst ett «statistisk signifikant» resultat var ganske gode.

når du hører det uttrykket, betyr det at noe resultat har en liten p-verdi. Bokstaven p ser ut til å ha totemisk kraft, men det er bare en måte å måle signal-til-støyforholdet i dataene. Den konvensjonelle cutoff for å være» signifikant » er 0,05, noe som betyr at det bare er 5 prosent sjanse for at resultatet ditt er en tilfeldig svingning. Jo flere lodd, jo bedre sjansene dine for å få en falsk positiv. Så hvor mange billetter trenger du å kjøpe?

p(vinnende) = 1 – (1 – p)n

med våre 18 målinger hadde vi en 60% sjanse for å få noe «signifikant» resultat med p < 0,05. (Målingene var ikke uavhengige, så det kunne være enda høyere .) Spillet ble stablet i vår favør.

det kalles p-hacking—fikle med eksperimentell design og data for å presse p under 0,05—og det er et stort problem. De fleste forskere er ærlige og gjør det ubevisst. De får negative resultater, overbevise seg selv de goofed, og gjenta eksperimentet før det » fungerer.»Eller de slipper «outlier» datapunkter.

forsterker effekten av ukontrollerte faktorer. Bare for å ta et eksempel: en kvinnes vekt kan variere så mye som 5 pounds i løpet av menstruasjonssyklusen, langt større enn vektforskjellen mellom våre sjokolade-og lavkarbo-grupper. Derfor må du bruke et stort antall mennesker, og balansere alder og kjønn på tvers av behandlingsgrupper. (Vi brydde oss ikke .)

du kan like godt lese teblader som prøver å tolke resultatene våre. Sjokolade kan være et vekttap akselerator, eller det kan være motsatt. Du kan ikke engang stole på vekttapet som vår ikke-sjokolade low-carb gruppe opplevde mot kontroll. Hvem vet hva en håndfull mennesker i kontrollgruppen spiste? Vi spurte dem ikke engang.

Annonse

Heldigvis blir forskere klok på disse problemene. Noen tidsskrifter prøver å fase ut p verdi betydning testing helt å dytte forskere til bedre vaner. Og nesten ingen tar studier med færre enn 30 fag alvorlig lenger. Redaktører av anerkjente tidsskrifter avviser dem ut av hånden før de sendes til peer reviewers. Men det er mange tidsskrifter som bryr seg mer om penger enn omdømme.

The Inside Man

Det var på tide å dele vårt vitenskapelige gjennombrudd med verden. Vi trengte å få vår studie publisert pronto, men siden det var så dårlig vitenskap, trengte vi å hoppe over peer review helt. Praktisk er det lister over falske journalutgivere. (Dette er min liste, og her er en annen.) Siden tiden var stram, sendte jeg samtidig vårt papir – «Sjokolade med høyt kakaoinnhold som vekttapakselerator»-til 20 tidsskrifter. Vi krysset fingrene og ventet.

vårt papir ble akseptert for publisering av flere tidsskrifter innen 24 timer. Unødvendig å si, vi møtte ingen peer review i det hele tatt. Den ivrige frier vi til slutt valgte var Den Internasjonale Archives Of Medicine. Det pleide å bli drevet av den gigantiske utgiveren BioMedCentral, men nylig endret hender. Den nye UTGIVERENS ADMINISTRERENDE DIREKTØR, Carlos Vasquez, sendte En e-post Til Johannes for å fortelle Ham at Vi hadde produsert et «fremragende manuskript», og at for bare 600 Euro kunne Det » bli akseptert direkte i vår premier journal.»

Annonse

selv Om Arkivets redaktør hevder at «alle artikler sendt til tidsskriftet blir gjennomgått på en streng måte», ble papiret publisert mindre enn 2 uker etter At Onnekens kredittkort ble belastet. Ikke et eneste ord ble endret.

Merkene

med papiret ut, var det på tide å lage litt støy. Jeg ringte en venn av en venn som jobber i vitenskapelig PR. Hun gikk meg gjennom noen av de skitne triksene for å gripe overskrifter. Det var uhyggelig å høre den andre siden av noe jeg opplever hver dag.

Annonse

nøkkelen er å utnytte journalisters utrolige latskap. Hvis du legger ut informasjonen akkurat, kan du forme historien som dukker opp i media, nesten som om du skrev disse historiene selv. Faktisk er det bokstavelig talt det du gjør, siden mange journalister bare kopierte og limte inn teksten vår.

Ta en titt på pressemeldingen jeg kokte opp. Den har alt. I reporter lingo: en sexy lede, en klar mutter graf, noen punchy sitater, og en kicker. Og det er ikke nødvendig å lese det vitenskapelige papiret fordi nøkkeldetaljene allerede er kokt ned. Jeg var spesielt forsiktig med å holde det nøyaktig. I stedet for å lure journalister, var målet å lokke dem med en helt typisk pressemelding om et forskningspapir. (Selvfølgelig, det som mangler er antall fag og de små vektforskjellene mellom gruppene.)

men en god pressemelding er ikke nok. Journalister er også sulten på «kunst», noe pent å vise sine lesere. Så onneken og Lö skutt noen salgsfremmende videoklipp og bestilte frilansartister til å skrive en akustisk ballad og til og med en rap om sjokolade og vekttap. (Det viser seg at du kan ansette folk på internett for å gjøre nesten alt.)

Annonse

Onneken skrev en tysk pressemelding og nådde ut direkte til tyske medier. Løftet om en «eksklusiv» historie er veldig fristende, selv om den er falsk. Så sprengte han den tyske pressemeldingen ut på wire service basert I Østerrike, og den engelske gikk ut På NewsWire. Det var ingen kvalitetskontroll. Det ble overlatt til journalistene.

jeg følte en queazy blanding av stolthet og avsky som vår lokke zinged ut i verden.

Annonse

Poengsummen

vi landet stor fisk før vi selv visste at de biter. Bild rushed sin historie ut- » De som spiser sjokolade, blir slanke!»- uten å kontakte meg i det hele tatt. Snart var vi i Daily Star, The Irish Examiner, Cosmopolitan tyske nettside, The Times Of India, både den tyske og Indiske stedet For Huffington Post, og selv tv-nyheter I Texas og En Australsk morgen talkshow.

Annonse

når journalister kontaktet meg i det hele tatt, spurte de perfunctory spørsmål. «Hvorfor tror du sjokolade akselererer vekttap? Har du noen råd til våre lesere?»Nesten ingen spurte hvor mange fag vi testet, og ingen rapporterte det nummeret. Ikke en eneste reporter ser ut til å ha kontaktet en ekstern forsker. Ingen er sitert.

Annonse

disse publikasjonene, selv om mange har et stort publikum, er ikke akkurat paragoner av journalistisk dyd. Så det er ikke overraskende at de bare ville ta en bit av digital kompis for overskriften, høste sidevisninger, og gå videre. Men selv de angivelig strenge utsalgssteder som plukket opp studien, klarte ikke å se hullene.

Shape magazines rapportering om vår studie-gå til side 128 i juniutgaven-ansatt tjenestene til en faktasjekker, men det var like lackadaisical. Alle kontrolløren gjorde var å kjøre et par setninger av meg for nøyaktighet og sjekke stavemåten til navnet mitt. Dekningen gikk så langt som å spesifisere riktig kakaoinnhold for vekttap-induserende sjokolade (81 prosent) og nevnte til og med to spesifikke merker («tilgjengelig i dagligvarebutikker og på amazon.com»).

Noen dodged kulen. En reporter Fra Menns Helse intervjuet meg via e-post, spør samme slags ikke-sondering spørsmål. Hun sa at historien ble slated for September-utgaven, så vi får aldri vite det.

men mest skuffende? Ingen dyppet i vår buffet av sjokolade musikkvideoer. I stedet, de brukte vagt pornografiske bilder av kvinner som spiser sjokolade. Kanskje denne musikken vil ta på seg et eget liv nå som sannheten er ute:

Knock

Så hvorfor skal du bry deg? Folk som er desperate etter pålitelig informasjon står overfor et forvirrende utvalg av diettveiledning-salt er dårlig, salt er bra, protein er bra, protein er dårlig, fett er dårlig, fett er bra—det endres som været. Men vitenskapen vil finne ut av det, ikke sant? Nå som vi kaller fedme en epidemi, vil finansieringen strømme til de beste forskerne, og all denne støyen vil dø ned, og gi oss klare svar på årsakene og behandlingene.

Eller kanskje ikke. Selv den velfinansierte, seriøse forskningen på vekttapsvitenskap er forvirrende og ufattelig, beklager Peter Attia, en kirurg som medstiftet Et nonprofit kalt Nutrition Science Initiative. For Eksempel ga Women ‘ S Health Initiative—en av de største i sitt slag—få klare innsikt om kosthold og helse. «Resultatene var bare forvirrende,» sier Attia. «De brukte 1 milliard dollar og kunne ikke engang bevise at et fettfattig kosthold er bedre eller verre.»Attias nonprofit prøver å øke $ 190 millioner for å svare på disse grunnleggende spørsmålene. Men det er vanskelig å fokusere på vitenskapen om fedme, sier han. «Det er så mye støy.»
Du kan takke folk som meg for det. Vi journalister må mate det daglige nyhetsdyret, og diettvitenskap er vårt horn av masse. Leserne kan bare ikke få nok historier om fordelene med rødvin eller farene ved fruktose. Ikke bare er det universelt relevant – det gjelder beslutninger vi alle gjør minst tre ganger om dagen-men det er vitenskap! Vi trenger ikke engang å forlate hjemmet for å gjøre noen rapportering. Vi dypper bare koppene våre i den daglige strømmen av vitenskapelige pressemeldinger som strømmer gjennom innboksene våre. Tack på en irritabel lager bilde og du er ferdig.

Annonse

det eneste problemet med diett vitenskap takt er at det er vitenskap. Du må vite hvordan du leser et vitenskapelig papir-og faktisk bry deg om å gjøre det. For altfor lenge har folkene som dekker denne rytmen behandlet det som sladder, ekko hva de finner i pressemeldinger. Forhåpentligvis vil vårt lille eksperiment gjøre journalister og lesere mer skeptiske.hvis en studie ikke engang viser hvor mange som deltok i det, eller gjør et dristig diettkrav som er «statistisk signifikant», men ikke sier hvor stor effektstørrelsen er, bør du lure på hvorfor. Men for det meste gjør vi det ikke. Noe som er synd, fordi journalister blir de facto peer review system. Og når vi feiler, er verden oversvømt i søppelvitenskap.

Annonse

det var et glimt av håp i denne tragikomedien. Mens reporterne bare regurgiterte våre «funn», var mange lesere gjennomtenkte og skeptiske. I de elektroniske kommentarene stilte de spørsmål som reporterne burde ha spurt.

» Hvorfor teller ikke kalorier på noen av individene?»spurte en leser på et bodybuilding forum . «Domenet ble registrert i Begynnelsen Av Mars, og dusinvis av blogger og nyhetsmagasiner (Se Google) sprer denne studien uten å vite hva eller hvem som står bak det,» sa en leser under the story In Focus, En Av Tysklands ledende nettmagasiner. eller som en prescient leser av 4 April-historien i Daily Express sa det, » Hver dag er April Fool i ernæring.»

Annonse

Korreksjon: studien referert Av Peter Attia ble kalt Women ‘S Health Initiative, ikke Women’ S Health Study, og det var en av de største i sitt slag, ikke den største. Også da den ble publisert, inneholdt denne artikkelen feilaktig et skjermbilde som viser Daily Mails dekning av en sjokoladestudie, men ikke den som ble diskutert i denne historien. Dagen etter publisering erstattet vi Det med et skjermbilde Av Daily Mails faktiske dekning av studien.

Oppdatering: Papiret er fjernet fra International Archives Of Medicine nettside, men du kan lese det her.

Toppbilde: Kunst av Jim Cooke