Så här gjorde vi det.

inställningen

Jag fick ett samtal i December förra året från en tysk tv-reporter som heter Peter Onneken. Han och hans samarbetspartner Diana l Jacobl arbetade med en dokumentärfilm om skräpvetenskaplig dietindustri. De ville att jag skulle hjälpa till att visa hur lätt det är att göra dålig vetenskap till de stora rubrikerna bakom dietmodenycker. Och Onneken ville göra det gonzo stil: Avslöja korruptionen i diet research-media complex genom att delta.

samtalet var inte en fullständig överraskning. Året innan hade jag drivit en sting-operation för Science på avgiftsbelagda open access-tidskrifter, en snabbt växande och lukrativ ny sektor inom den akademiska förlagsbranschen. För att ta reda på hur många av dessa utgivare håller sitt löfte om att göra rigorös peer review, skickade jag löjligt felaktiga papper och räknade hur många som avvisade dem. (Svar: mindre än hälften.)

Onneken och L Jacobl hade allt uppradat: några tusen euro för att rekrytera forskningsämnen, en tysk läkare för att driva studien och en statistikervän för att massera data. Onneken hörde om min tidskrift sting och tänkte att jag skulle veta hur man drar ihop allt och får det publicerat. Det enda problemet var tid: filmen var planerad att sändas på tysk och fransk tv i slutet av våren (den har premiär nästa vecka), så vi hade egentligen bara ett par månader att dra av det här.

kan vi få något publicerat? Förmodligen. Men utöver det? Jag trodde att det var säkert att fizzle. Vi vetenskapsjournalister tycker om att tänka på oss själva som smartare än det genomsnittliga hacket. När allt kommer omkring måste vi förstå arcane vetenskaplig forskning tillräckligt bra för att förklara det. Och för reportrar som inte har vetenskapskoteletter, så snart de knackade utanför källor för sina berättelser—verkligen någon med en vetenskaplig examen, än mindre en verklig näringsforskare—skulle de upptäcka att studien var skrattretande spetsig. För att inte tala om att en Google-sökning inte gav några spår av Johannes Bohannon eller hans påstådda institut. Reportrar på hälsovetenskapsslaget skulle lukta detta en mil bort. Men jag ville inte låta pessimistisk. ”Låt oss se hur långt vi kan ta det här,” sa jag.

The Con

Onneken och L Jacobbl slösade ingen tid. De använde Facebook för att rekrytera ämnen runt Frankfurt och erbjöd 150 euro till alla som var villiga att gå på diet i 3 veckor. De gjorde det klart att detta var en del av en dokumentärfilm om dieting, men de gav inte mer detaljer. En kall januarimorgon dök 5 män och 11 kvinnor upp i åldrarna 19 till 67.

Gunter Frank, en allmänläkare på pranken, körde den kliniska prövningen. Onneken hade dragit honom efter att ha läst en populär bok Frank skrev räcke mot dietary pseudovetenskap. Att testa bitter choklad som kosttillskott var hans ide. När jag frågade honom varför, Frank sa att det var en favorit av” Whole food ” fanatiker. ”Bitter choklad smakar dåligt, därför måste det vara bra för dig”, sa han. ”Det är som en religion.”

Efter en runda frågeformulär och blodprov för att säkerställa att ingen hade ätstörningar, diabetes eller andra sjukdomar som kan äventyra dem, Frank slumpmässigt tilldelade ämnena till en av tre dietgrupper. En grupp följde en lågkolhydratdiet. En annan följde samma lågkolhydratdiet plus en daglig 1,5 oz. bar av mörk choklad. Och resten, en kontrollgrupp, instruerades att inte göra några ändringar i deras nuvarande diet. De vägde sig varje morgon i 21 dagar, och studien avslutades med en sista omgång frågeformulär och blodprov.Onneken vände sig sedan till sin vän Alex Droste-Haars, en finansanalytiker, för att krossa siffrorna. En öldriven helg senare och… jackpot! Båda behandlingsgrupperna förlorade cirka 5 pund under studiens gång, medan kontrollgruppens genomsnittliga kroppsvikt fluktuerade upp och ner runt noll. Men folket på lågkolhydratdiet plus choklad? De gick ner i vikt 10 procent snabbare. Inte bara var den skillnaden statistiskt signifikant, men chokladgruppen hade bättre kolesterolavläsningar och högre poäng på välbefinnande undersökningen.

kroken

Jag vet vad du tänker. Studien visade accelererad viktminskning i chokladgruppen-borde vi inte lita på det? Är det inte så vetenskapen fungerar?

Här är en smutsig liten vetenskapshemlighet: Om du mäter ett stort antal saker om ett litet antal personer, är du nästan garanterad att få ett ”statistiskt signifikant” resultat. Vår studie inkluderade 18 olika mätningar—Vikt, kolesterol, natrium, blodproteinnivåer, sömnkvalitet, välbefinnande etc.- från 15 personer. (Ett ämne togs bort.) Den studiedesignen är ett recept på falska positiva.

Tänk på mätningarna som lotter. Var och en har en liten chans att betala i form av ett ”betydande” resultat som vi kan snurra en historia runt och sälja till media. Ju fler biljetter du köper, desto mer sannolikt är det att du vinner. Vi visste inte exakt vad som skulle panorera ut—rubriken kunde ha varit att choklad förbättrar sömnen eller sänker blodtrycket—men vi visste att våra chanser att få minst ett ”statistiskt signifikant” resultat var ganska bra.

När du hör den frasen betyder det att något resultat har ett litet p-värde. Bokstaven p verkar ha totemisk kraft, men det är bara ett sätt att mäta signal-brusförhållandet i data. Den konventionella avstängningen för att vara ”signifikant” är 0,05, vilket innebär att det bara finns en 5 procent chans att ditt resultat är en slumpmässig fluktuation. Ju fler lotter, desto bättre är dina chanser att få en falsk positiv. Så hur många biljetter behöver du köpa?

p(vinnande)=1 – (1 – p) n

med våra 18 mätningar hade vi 60% chans att få något”signifikant” resultat med p < 0.05. (Mätningarna var inte oberoende, så det kunde vara ännu högre.) Spelet staplades till vår fördel.

det kallas p-hacking-fiddling med din experimentella design och data för att trycka p under 0.05—och det är ett stort problem. De flesta forskare är ärliga och gör det omedvetet. De får negativa resultat, övertyga sig de goofed, och upprepa experimentet tills det ”fungerar.”Eller de släpper” outlier ” datapunkter.

annons

men även om vi hade varit noga med att undvika p-hacking, var vår studie dömd av det lilla antalet försökspersoner, som inte var så mycket förstärker effekterna av okontrollerade faktorer. Bara för att ta ett exempel: en kvinnas vikt kan fluktuera så mycket som 5 pund under hennes menstruationscykel, mycket större än viktskillnaden mellan våra choklad-och lågkolhydratgrupper. Därför måste du använda ett stort antal människor och balansera ålder och kön mellan behandlingsgrupper. (Vi störde inte.)

Du kan lika gärna läsa teblad som försök att tolka våra resultat. Choklad kan vara en viktminskningsaccelerator, eller det kan vara motsatsen. Du kan inte ens lita på den viktminskning som vår icke-choklad lågkolhydratgrupp upplevde kontra kontroll. Vem vet vad de handfulla människorna i kontrollgruppen åt? Vi frågade inte ens dem.

lyckligtvis blir forskare kloka på dessa problem. Vissa tidskrifter försöker fasa ut p värde betydelse testning helt för att knuffa forskare till bättre vanor. Och nästan ingen tar studier med färre än 30 ämnen på allvar längre. Redaktörer av ansedda tidskrifter avvisar dem ur hand innan de skickas till peer reviewers. Men det finns gott om tidskrifter som bryr sig mer om pengar än rykte.

The Inside Man

det var dags att dela vårt vetenskapliga genombrott med världen. Vi behövde få vår studie publicerad pronto, men eftersom det var så dålig vetenskap, behövde vi hoppa över peer review helt och hållet. Bekvämt Finns det listor över falska tidskriftsförlag. (Detta är min lista, och här är en annan.) Eftersom tiden var stram skickade jag samtidigt in vårt papper-”choklad med högt kakaoinnehåll som viktminskningsaccelerator” —till 20 tidskrifter. Sedan korsade vi fingrarna och väntade.

vårt papper accepterades för publicering av flera tidskrifter inom 24 timmar. Naturligtvis stod vi inte inför någon peer review alls. Den ivriga friare vi slutligen valde var International Archives of Medicine. Det brukade drivas av jätteförlaget BioMedCentral, men bytte nyligen händer. Den nya förlagets VD, Carlos Vasquez, mailade Johannes för att låta honom veta att vi hade producerat ett ”enastående manuskript” och att det för bara 600 euro ”kunde accepteras direkt i vår premier journal.”

Även om Arkivredaktören hävdar att” alla artiklar som skickas till tidskriften granskas på ett strikt sätt ” publicerades vårt papper mindre än 2 veckor efter att Onnekens kreditkort debiterades. Inte ett enda ord ändrades.

märkena

med papperet ute var det dags att göra lite ljud. Jag ringde en vän till en vän som arbetar i vetenskaplig PR. Hon gick mig igenom några av de smutsiga knepen för att ta tag i rubriker. Det var kusligt att höra den andra sidan av något jag upplever varje dag.

nyckeln är att utnyttja journalisters otroliga lathet. Om du lägger ut informationen precis rätt kan du forma historien som dyker upp i media nästan som om du själv skrev dessa berättelser. Det är faktiskt bokstavligen vad du gör, eftersom många reportrar bara kopierade och klistrade in vår text.

ta en titt på pressmeddelandet jag kokade upp. Den har allt. I reporter lingo: en sexig lede, en tydlig mutter graf, några kraftfulla citat, och en kicker. Och det finns ingen anledning att ens läsa det vetenskapliga papperet eftersom de viktigaste detaljerna redan är kokta. Jag tog särskild omsorg för att hålla det korrekt. I stället för att lura journalister var målet att locka dem med ett helt typiskt pressmeddelande om ett forskningspapper. (Naturligtvis är det som saknas antalet ämnen och de minsta viktskillnaderna mellan grupperna.)

men ett bra pressmeddelande räcker inte. Reportrar är också hungriga efter” konst”, något vackert att visa sina läsare. Så onneken och L Jacobl sköt några reklamfilmer och beställde frilansartister att skriva en akustisk ballad och till och med en rap om choklad och viktminskning. (Det visar sig att du kan anställa människor på internet för att göra nästan vad som helst.)

Onneken skrev ett tyskt pressmeddelande och nådde ut direkt till tyska medier. Löftet om en” exklusiv ” berättelse är mycket frestande, även om den är falsk. Sedan sprängde han det tyska pressmeddelandet på trådtjänst baserad i Österrike, och den engelska gick ut på NewsWire. Det fanns ingen kvalitetskontroll. Det överlämnades till journalisterna.

jag kände en queazy blandning av stolthet och avsky som vår lure zinged ut i världen.

poängen

vi landade stora fiskar innan vi ens visste att de biter. Bild rusade ut sin berättelse – ” de som äter choklad förblir smala!”- utan att kontakta mig alls. Snart var vi i Daily Star, den irländska examinator, Cosmopolitan tyska hemsida, the Times of India, både den tyska och indiska platsen för Huffington Post, och även tv-nyheter i Texas och en australisk morgon talkshow.

När reportrar kontaktade mig alls frågade de perfekta frågor. ”Varför tror du att choklad accelererar viktminskning? Har du några råd till våra läsare?”Nästan ingen frågade hur många ämnen vi testade, och ingen rapporterade det numret. Inte en enda reporter verkar ha kontaktat en extern forskare. Ingen Citeras.

annons

dessa publikationer, även om många befaller stora publikgrupper, är inte exakt paragoner av journalistisk dygd. Så det är inte förvånande att de helt enkelt skulle ta lite digital chum för rubriken, skörda sidvisningarna och fortsätta. Men även de förmodligen rigorösa uttagen som plockade upp studien misslyckades med att upptäcka hålen.

Shape magazines rapportering om vår studie-vänd dig till sidan 128 i juni—numret-anställde en faktakontrollers tjänster, men det var lika bristfälligt. Alla checker gjorde kördes ett par meningar av mig för noggrannhet och kontrollera stavningen av mitt namn. Täckningen gick så långt som att ange lämpligt kakaoinnehåll för viktminskningsinducerande choklad (81 procent) och nämnde till och med två specifika märken (”finns i livsmedelsbutiker och på amazon.com”).

några dodged kulan. En reporter från Mäns hälsa intervjuade mig via e-post och frågade samma typ av icke-undersökande frågor. Hon sa att historien var slated för deras septemberutgåva, så vi kommer aldrig att veta.

men mest nedslående? Ingen doppade i vår buffet med chokladmusikvideor. Istället använde de vagt pornografiska bilder av kvinnor som äter choklad. Kanske kommer den här musiken att ta ett eget liv nu när sanningen är ute:

knocken

så varför ska du bry dig? Människor som är desperata efter tillförlitlig information står inför en förvirrande mängd dietvägledning-salt är dåligt, salt är bra, protein är bra, protein är dåligt, fett är dåligt, fett är bra—som förändras som vädret. Men vetenskapen kommer att räkna ut det, eller hur? Nu när vi kallar fetma en epidemi, kommer finansieringen att flöda till de bästa forskarna och allt detta ljud kommer att dö ner, vilket ger oss tydliga svar på orsakerna och behandlingarna.

eller kanske inte. Även den välfinansierade, seriösa forskningen om viktminskningsvetenskap är förvirrande och otvetydig, beklagar Peter Attia, en kirurg som grundade en ideell organisation som heter Nutrition Science Initiative. Till exempel gav Women ’ s Health Initiative—en av de största i sitt slag—få tydliga insikter om kost och hälsa. ”Resultaten var bara förvirrande”, säger Attia. ”De spenderade 1 miljard dollar och kunde inte ens bevisa att en fettsnål diet är bättre eller sämre.”Attias ideella organisation försöker samla in 190 miljoner dollar för att svara på dessa grundläggande frågor. Men det är svårt att fokusera uppmärksamhet på vetenskapen om fetma, säger han. ”Det är bara så mycket ljud.”
Du kan tacka människor som mig för det. Vi journalister måste mata daily news beast, och diet science är vårt horn av mycket. Läsarna kan bara inte få tillräckligt med historier om fördelarna med rött vin eller farorna med fruktos. Det är inte bara universellt relevant – det gäller beslut vi alla fattar minst tre gånger om dagen – men det är vetenskap! Vi behöver inte ens lämna hemmet för att göra någon rapportering. Vi doppar bara våra koppar i den dagliga strömmen av vetenskapliga Pressmeddelanden som flyter genom våra inkorgar. Tack på ett snyggt lagerfoto och du är klar.

det enda problemet med diet science beat är att det är vetenskap. Du måste veta hur man läser en vetenskaplig uppsats—och faktiskt bry sig om att göra det. Alltför länge, de människor som täcker detta slag har behandlat det som skvaller, ekande vad de hittar i pressmeddelanden. Förhoppningsvis kommer vårt lilla experiment att göra både journalister och läsare mer skeptiska.om en studie inte ens listar hur många som deltog i det, eller gör ett djärvt dietkrav som är ”statistiskt signifikant” men inte säger hur stor effektstorleken är, borde du undra varför. Men för det mesta gör vi det inte. vilket är synd, för journalister blir de facto peer review-systemet. Och när vi misslyckas är världen överflödig i skräpvetenskap.

det fanns en glimt av hopp i denna tragikomedi. Medan reportrarna bara återupplivade våra” fynd ” var många läsare tankeväckande och skeptiska. I online-kommentarerna ställde de frågor som reportrarna borde ha ställt.

” varför räknas inte kalorier på någon av individerna?”frågade en läsare på ett bodybuilding forum. ”Domänen registrerades i början av mars, och dussintals bloggar och nyhetsmagasin (se Google) sprider denna studie utan att veta vad eller vem som står bakom den”, sa en läsare Under the story in Focus, en av Tysklands ledande online-tidskrifter.
eller som en prescient läsare av 4 April berättelsen i Daily Express uttryckte det, ” varje dag är April Fool i näring.”

korrigering: studien som Peter Attia hänvisade till kallades Women ’s Health Initiative, inte Women’ s Health Study, och den var en av de största i sitt slag, inte den största. När den publicerades innehöll den här artikeln felaktigt en skärmdump som visar Daily Mails täckning av en chokladstudie, men inte den som diskuteras i den här historien. Dagen efter publiceringen ersatte vi den med en skärmdump av Daily Mails faktiska täckning av studien.

uppdatera: Papperet har tagits bort från webbplatsen International Archives of Medicine, men du kan läsa den här.

toppbild: konst av Jim Cooke