„Slim Čokoládou!“titulky křičely. Tým německých vědců zjistil, že lidé na dietě s nízkým obsahem sacharidů zhubli o 10 procent rychleji, pokud jedli čokoládovou tyčinku každý den. To se dostalo na titulní stranu Bildu, největšího evropského deníku, těsně pod jejich aktuální informace o krachu Germanwings. Odtamtud, ricochetoval se po internetu i mimo něj, dělat zprávy ve více než 20 země a půl tuctu jazyků. Diskutovalo se o tom v televizních zpravodajských pořadech. Objevila se v lesklém tisku, naposledy v červnovém čísle časopisu Shape („proč musíte denně jíst čokoládu“, strana 128). Studie zjistila, že čokoláda nejen urychluje hubnutí, ale vede ke zdravější hladině cholesterolu a celkové zvýšené pohodě. Příběh Bild cituje vedoucího autora studie Johannese Bohannona, Ph.D., výzkumného ředitele Ústavu výživy a zdraví: „nejlepší na tom je, že si můžete koupit čokoládu všude.“

jsem Johannes Bohannon, Ph.D. No, vlastně se jmenuji John a jsem novinář. Mám doktorát, ale je to v molekulární biologii bakterií, ne lidí. Ústav výživy a zdraví? To není nic jiného než webová stránka.

Kromě těchto lží byla studie 100% autentická. S kolegy jsme v Německu rekrutovali skutečné lidské subjekty. Provedli jsme skutečné klinické hodnocení, s subjekty náhodně přiřazenými k různým dietním režimům. A statisticky významné přínosy čokolády, které jsme uvedli, jsou založeny na skutečných datech. Byla to ve skutečnosti poměrně typická studie pro oblast výzkumu stravy. Což znamená: Byla to hrozná věda. Výsledky jsou bezvýznamné a zdravotní tvrzení, která média vystřelila milionům lidí po celém světě, jsou naprosto neopodstatněná.

zde je návod, jak jsme to udělali.

nastavení

v prosinci loňského roku mi volal německý televizní reportér Peter Onneken. Se svou spolupracovnicí Dianou Löblovou pracoval na dokumentárním filmu o nezdravotnickém dietním průmyslu. Chtěli, abych pomohl ukázat, jak snadné je proměnit špatnou vědu ve velké titulky za dietními výstřelky. A Onneken to chtěl udělat gonzo styl: Odhalte korupci dietního výzkumu-mediálního komplexu účastí.

volání nebylo úplné překvapení. Rok předtím, provozoval jsem operaci sting pro vědu v časopisech s otevřeným přístupem, rychle rostoucí a lukrativní nový sektor akademického vydavatelství. Zjistit, kolik z těchto vydavatelů jsou udržováním jejich slib, že to přísné přezkoumání, předložil jsem neskutečně chybné papíry a počítala, kolik je odmítl. (Odpověď: méně než polovina.)

Onneken a Löbl měl všechno, co postavili: několik tisíc Eur pro nábor výzkumných subjektů, německý lékař spustit studii a statistik přítel masáž data. Onneken slyšel o mém deníku sting a usoudil, že budu vědět, jak to všechno dát dohromady a zveřejnit. Jediným problémem byl čas: film měl být vysílán v německé a francouzské televizi koncem jara(premiéra příští týden), takže jsme na to měli opravdu jen pár měsíců.

Mohli bychom něco zveřejnit? Pravděpodobně. Ale kromě toho? Myslel jsem, že to určitě vyprchá. My, vědečtí novináři, si o sobě rádi myslíme, že jsme chytřejší než průměrný hack. Koneckonců, musíme pochopit tajemný vědecký výzkum dostatečně dobře, abychom to vysvětlili. A pro reportéry, kteří nemají vědecké kotlety, jakmile poklepali na vnější zdroje svých příběhů-opravdu kdokoli s vědeckým titulem, natož skutečný vědec v oblasti výživy-zjistili By, že studie byla směšně chatrná. Nemluvě o tom, že vyhledávání Google nepřineslo žádné stopy po Johannesovi Bohannonovi nebo jeho údajném institutu. Reportéři z The health science beat to ucítili na míle daleko. Ale nechtěl jsem znít pesimisticky. „Uvidíme, kam až to dotáhneme,“ řekl jsem.

Podvod

Onneken a Löbl neztrácel čas. Použili Facebook k náboru subjektů kolem Frankfurtu a nabídli 150 EUR každému, kdo je ochoten jít na dietu po dobu 3 týdnů. Dali jasně najevo, že se jedná o součást dokumentárního filmu o dietě, ale neposkytli více podrobností. Chladného lednového rána se objevilo 5 mužů a 11 žen ve věku 19 až 67 let.

Gunter Frank, praktický lékař na žert, provedl klinické hodnocení. Onneken ho vytáhl po přečtení populární knihy, kterou Frank napsal proti dietním pseudovědám. Testování hořké čokolády jako doplňku stravy byl jeho nápad. Když jsem se ho zeptal proč, Frank řekl, že je to oblíbený fanatik „celého jídla“. „Hořká čokoláda chutná špatně, proto musí být pro vás dobrá,“ řekl. „Je to jako náboženství.“

Po kole dotazníky a krevní testy, aby zajistily, že nikdo neměl poruchy příjmu potravy, diabetes nebo jiné onemocnění, které by mohlo ohrozit je, Frank náhodně přiřazené předměty do jedné ze tří strava skupin. Jedna skupina sledovala dietu s nízkým obsahem sacharidů. Další následoval stejnou dietu s nízkým obsahem sacharidů plus denní 1,5 oz. tyčinka hořké čokolády. A zbytek, kontrolní skupina, byl instruován, aby neprováděl žádné změny ve své současné stravě. Vážili se každé ráno po dobu 21 dnů a studie skončila závěrečným kolem dotazníků a krevních testů.

Onneken se pak obrátil na svého přítele Alexe Droste-Haarse, finančního analytika, aby čísla zadrhl. O jeden víkend poháněný pivem později a… jackpot! Obě léčebné skupiny ztratily v průběhu studie asi 5 liber, zatímco průměrná tělesná hmotnost kontrolní skupiny kolísala nahoru a dolů kolem nuly. Ale lidé na dietě s nízkým obsahem sacharidů plus čokoláda? Zhubli o 10 procent rychleji. Nejen, že byl tento rozdíl statisticky významný, ale čokoládová skupina měla lepší hodnoty cholesterolu a vyšší skóre v průzkumu pohody.

háček

vím, co si myslíte. Studie ukázala zrychlený úbytek hmotnosti ve skupině čokolády-neměli bychom tomu věřit— Není to tak, jak věda funguje?

Tady je malé špinavé tajemství vědy: Pokud měříte velké množství věcí o malém počtu lidí, máte téměř zaručeno, že získáte „statisticky významný“ výsledek. Naše studie zahrnovala 18 různých měření—hmotnost, cholesterol, sodík, hladiny bílkovin v krvi, kvalita spánku, pohoda atd.- od 15 lidí. (Jeden předmět byl upuštěn.) Tento návrh studie je receptem na falešně pozitivní výsledky.

myslete na měření jako losy. Každý z nich má malou šanci se vyplatit ve formě „významného“ výsledku, který můžeme točit příběhem a prodávat médiím. Čím více vstupenek si koupíte, tím větší je pravděpodobnost, že vyhrajete. Nevěděli jsme přesně, co by pan—titulek by byly, že čokoláda zlepšuje spánek nebo snižuje krevní tlak, ale věděli jsme, že naše šance na získání alespoň jednoho „statisticky významný“, výsledek byl docela dobrý.

kdykoli uslyšíte tuto frázi, znamená to, že nějaký výsledek má malou hodnotu p. Zdá se, že písmeno p má totemickou sílu, ale je to jen způsob, jak měřit poměr signálu k šumu v datech. Konvenční mezní hodnota za to, že je „významná“, je 0,05, což znamená, že existuje pouze 5% šance, že váš výsledek je náhodná fluktuace. Čím více losů, tím lepší jsou vaše šance na získání falešně pozitivního. Kolik lístků si tedy musíte koupit?

P(vítězná) = 1 – (1 – p)n

S 18 naše měření jsme měli 60% šanci na získání některé“významné“ výsledky s p < 0.05. (Měření nebyla nezávislá, takže mohla být ještě vyšší.) Hra byla naskládaná v náš prospěch.

jmenuje se p-hacking—hrát s vaší experimentálního designu a dat, aby se zasadila p pod 0,05—a to je velký problém. Většina vědců je upřímná a dělá to nevědomě. Získají negativní výsledky, přesvědčte se, že se zbláznili, a experiment opakujte, dokud „nefunguje“.“Nebo upustí“ odlehlejší “ datové body.

Ale i když jsme byli opatrní, aby se zabránilo p-hacking, naše studie byla odsouzena k zániku tím, že malý počet subjektů, které zesiluje účinky nekontrolované faktory. Jen jeden příklad: žena váha může kolísat, stejně jako 5 liber v průběhu menstruačního cyklu, je mnohem větší, než rozdíl hmotnosti mezi naše čokolády a low-carb skupin. Proto musíte používat velké množství lidí a vyvážit věk a pohlaví mezi léčebnými skupinami. (Neobtěžovali jsme se.

můžete si také přečíst čajové lístky a pokusit se interpretovat naše výsledky. Čokoláda může být urychlovač hubnutí, nebo by to mohlo být naopak. Nemůžete ani věřit hubnutí, že naše non-chocolate low-carb skupina zažil versus kontrolu. Kdo ví, co jedla hrstka lidí v kontrolní skupině? Ani jsme se jich nezeptali.

naštěstí se vědci k těmto problémům dostávají rozumně. Některé časopisy se snaží postupně vyřazovat testování významnosti hodnoty p, aby vědce přiměly k lepším návykům. A téměř nikdo nebere studium s méně než 30 předměty vážně. Redaktoři renomovaných časopisů je odmítají, než je pošlou recenzentům. Ale existuje spousta časopisů, které se starají více o peníze než o pověst.

vnitřní člověk

nastal čas sdílet náš vědecký průlom se světem. Potřebovali jsme, aby byla naše studie zveřejněna pronto, ale protože to byla tak špatná věda, museli jsme úplně přeskočit peer review. Pohodlně, existují seznamy falešných vydavatelů časopisů. (Toto je můj seznam a tady je další.) Protože čas byl těsný, současně jsem odeslal náš příspěvek – “ čokoláda s vysokým obsahem kakaa jako urychlovač hubnutí— – do 20 časopisů. Pak jsme zkřížili prsty a čekali.

Náš papír byl přijat k publikaci do více časopisů do 24 hodin. Netřeba dodávat, že jsme čelili žádnému vzájemnému hodnocení. Dychtivým nápadníkem, kterého jsme si nakonec vybrali, byl Mezinárodní archiv medicíny. Dříve ji provozoval obří vydavatel BioMedCentral, ale nedávno změnil majitele. Nového vydavatele, generální ŘEDITEL, Carlos Vasquez, e-mailem, Johannes, aby ho nechal vědět, že jsme měly „vynikající rukopis,“ a to za pouhých 600 Eur „by mohla být přijata přímo v naší premier journal.“

i když Archives‘ editor tvrdí, že „všechny předložené články deníku jsou přezkoumávány v přísné způsobem,“ naše kniha byla publikována méně než 2 týdny po Onneken kreditní karty byl obviněn. Nezměnilo se ani jedno slovo.

značky

s papírem ven byl čas udělat nějaký hluk. Zavolal jsem příteli přítele, který pracuje ve vědeckém PR. Provedla mě některými špinavými triky pro chytání titulků. Bylo děsivé slyšet druhou stranu něčeho, co zažívám každý den.

klíčem je využít neuvěřitelnou lenost novinářů. Pokud informace vyložíte správně, můžete utvářet příběh, který se objeví v médiích, téměř jako byste tyto příběhy psali sami. Ve skutečnosti, to je doslova to, co děláte, protože mnoho reportérů právě zkopírovalo a vložilo náš text.

podívejte se na tiskovou zprávu, kterou jsem uvařil. Má všechno. V reportérském žargonu: sexy lede, jasný ořechový graf, některé poutavé citace, a kicker. A není třeba ani číst vědeckou práci, protože klíčové detaily jsou již scvrklé. Věnoval jsem zvláštní pozornost tomu, aby to bylo přesné. Spíše než podvádět novináře, cílem bylo nalákat je zcela typickou tiskovou zprávou o výzkumném dokumentu. (Samozřejmě chybí počet subjektů a nepatrné hmotnostní rozdíly mezi skupinami.)

Ale dobrá tisková zpráva není dost. Novináři jsou také hladoví po „umění“, něco hezkého ukázat svým čtenářům. Takže Onneken a Löbl záběr nějaké propagační video klipy a pověřil umělci na volné noze psát akustické balady a dokonce i rap o čokoládě a hubnutí. (Ukázalo se, že můžete najmout lidi na internetu, aby dělali téměř cokoli.)

Onneken napsal německou tiskovou zprávu a oslovil přímo německá média. Příslib „exkluzivního“ příběhu je velmi lákavý, i když je falešný. Pak vypálil německou tiskovou zprávu na wire service se sídlem v Rakousku a anglická vyšla na NewsWire. Neexistovala žádná kontrola kvality. To bylo ponecháno na reportérech.

cítil jsem podivnou směs hrdosti a znechucení, když naše vábení vyrazilo do světa.

skóre

přistáli jsme velké ryby, než jsme věděli, že kousají. Bild spěchal jejich příběh – “ ti, kteří jedí čokoládu, zůstávají štíhlí!—- aniž byste mě vůbec kontaktovali. Brzy jsme byli v Daily Star, Irský zkoušející, německý web Cosmopolitan, Times of India, německý i indický web The Huffington Post, a dokonce i televizní zprávy v Texasu a Australská ranní talk show.

Když mě reportéři vůbec kontaktovali, kladli povrchní otázky. „Proč si myslíte, že čokoláda urychluje hubnutí? Máte nějakou radu pro naše čtenáře?“Téměř nikdo se neptal, kolik subjektů jsme testovali, a nikdo toto číslo nehlásil. Zdá se, že ani jeden reportér nekontaktoval externího výzkumníka. Žádný není citován.

Tyto publikace, i když mnoho velení velké publikum, nejsou právě vzorem novinářské ctnosti. Není tedy divu, že by prostě popadli trochu digitálního kamaráda za Nadpis, sklízet zobrazení stránek, a jít dál. Ale ani údajně přísné vývody, které studii zvedly, nedokázaly díry odhalit.

časopis Tvar je podávání zpráv o naší studie—na straně 128 v červnovém vydání výdělečně činné služby korektor, ale stejně to bylo lhostejný. Vše, co checker udělal, bylo, že jsem provedl pár vět pro přesnost a zkontroloval pravopis mého jména. Pokrytí šel tak daleko, že stanovit vhodný obsah kakaa pro hubnutí vyvolávající čokolády (81 procent) a dokonce zmínil dvě konkrétní značky („k dispozici v obchodech a na amazon.com“).

Někteří se tomu vyhnul. Reportér z Men ‚ S Health se mnou dotazoval e-mailem a kladl stejné otázky, které nebyly zkoumány. Řekla, že příběh byl navržen pro jejich Zářijové číslo, takže se to nikdy nedozvíme.

ale největší zklamání? Nikdo se ponořil do našeho bufetu čokoládových hudebních videí. Místo toho použili nejasně pornografické obrázky žen, které jedí čokoládu. Možná, že tato hudba bude mít svůj vlastní život nyní, když je pravda venku:

klepání

tak proč by vás to mělo zajímat? Lidé, kteří jsou zoufalí pro spolehlivé informace čelit zarážející dietní pokyny—sůl je špatné, sůl je dobrá, protein je dobrá, protein je špatné, tuk je špatný tuk je dobré, že se mění jako počasí. Ale věda na to přijde, ne? Nyní, když nazýváme obezitu epidemií, bude financování proudit k nejlepším vědcům a veškerý tento hluk zmizí, takže nám zůstanou jasné odpovědi na příčiny a léčby.

Nebo možná ne. Dokonce i dobře-financovaný, vážný výzkum věda hubnutí je matoucí a nejednoznačný, stěžuje si Peter Attia, chirurg, který spoluzaložil neziskovou jmenuje Nutriční Vědy Iniciativy. Například iniciativa pro zdraví žen-jedna z největších svého druhu-přinesla několik jasných poznatků o stravě a zdraví. „Výsledky byly jen matoucí,“ říká Attia. „Strávili 1 miliardu dolarů a nemohli ani dokázat, že nízkotučná strava je lepší nebo horší.“Nezisková organizace Attia se snaží získat 190 milionů dolarů, aby odpověděla na tyto základní otázky. Podle něj je ale těžké zaměřit pozornost na vědu o obezitě. „Je tu jen tolik hluku.“
za to můžete poděkovat lidem, jako jsem já. My novináři musíme krmit denní zpravodajství a věda o stravě je náš roh hojnosti. Čtenáři prostě nemohou získat dostatek příběhů o výhodách červeného vína nebo nebezpečí fruktózy. Nejen, že je všeobecně relevantní-týká se rozhodnutí, která všichni děláme nejméně třikrát denně-ale je to věda! Nemusíme ani odcházet z domova, abychom se mohli hlásit. Jen ponoříme naše šálky do každodenního proudu vědeckých tiskových zpráv protékajících našimi schránkami. Připněte si elegantní fotografii a máte hotovo.

jediný problém s dietou vědy porazit je, že je to věda. Musíte vědět, jak číst vědeckou práci—a ve skutečnosti se obtěžovat. Příliš dlouho, lidé, kteří pokrývají tento rytmus, s ním zacházeli jako s drby, ozvěna všeho, co najdou v tiskových zprávách. Doufejme, že náš malý experiment učiní reportéry i čtenáře skeptičtějšími.
Pokud studie ani neuvádí, kolik lidí se jí zúčastnilo, nebo učiní odvážné tvrzení o stravě, které je „statisticky významné“ , ale neříká, jak velká je velikost efektu, měli byste se divit proč. Což je škoda, protože novináři se de facto stávají systémem vzájemného hodnocení. A když selžeme, svět je zaplaven nevyžádanou vědou.

v této tragikomedii byl jeden záblesk naděje. Zatímco reportéři jen opakovali naše „zjištění“, mnoho čtenářů bylo přemýšlivých a skeptických. V internetových komentářích položili otázky, které měli položit reportéři.

“ proč se kalorie nepočítají s žádným jednotlivcem?“zeptal se čtenář na kulturistickém fóru. „Doména byla zaregistrována na začátku Března, a desítky blogů a časopisů (viz Google) spread tato studie, aniž by věděl, co nebo kdo stojí za to,“ řekl čtenář pod příběh v Zaměření, jedna z Německo je vedoucí on-line časopisy.
nebo jak řekl jeden předvídavý čtenář příběhu ze 4. Dubna v Daily Express: „každý den je aprílový ve výživě.“

Korekce: studie odkazuje Peter Attia byl nazýván Ženské Zdravotní Iniciativy, není Zdraví Žen Studie, a to byl jeden z největších svého druhu, ne největší. Taky, když to bylo publikováno, tento článek chybně představoval screenshot ukazující pokrytí Daily Mail o čokoládové studii, ale ne ten, o kterém se diskutuje v tomto příběhu. Den po zveřejnění jsme jej nahradili snímkem skutečného pokrytí studie Daily Mail.

aktualizace: Příspěvek byl odstraněn z webových stránek International Archives of Medicine, ale můžete si jej přečíst zde.

Top image: Art by Jim Cooke