”Slim by Chocolate!”otsikot pauhasivat. Saksalainen tutkijaryhmä oli havainnut, että vähähiilihydraattista ruokavaliota noudattavat laihtuivat 10 prosenttia nopeammin, jos söivät suklaapatukan joka päivä. Se pääsi Euroopan suurimman päivälehden Bildin etusivulle juuri Germanwingsin turmasta kertovan päivityksensä alle. Sieltä se kimposi ympäri Internetiä ja sen ulkopuolella tehden uutisia yli 20 maassa ja puolella tusinalla kielellä. Asiasta keskusteltiin television uutisohjelmissa. Se ilmestyi kiiltäväpintaisena, Viimeksi Shape-lehden kesäkuun numerossa (”miksi sinun täytyy syödä suklaata päivittäin”, s. 128). Suklaa ei ainoastaan kiihdytä laihtumista, tutkimuksessa todettiin, vaan se johtaa terveellisempiin kolesteroliarvoihin ja yleiseen hyvinvoinnin lisääntymiseen. Bildin jutussa siteerataan tutkimuksen päätekijää, dieetin ja terveyden instituutin tutkimusjohtajaa Johannes Bohannonia: ”parasta on, että suklaata voi ostaa kaikkialta.”

olen Johannes Bohannon, filosofian tohtori No, oikeastaan Nimeni on John, ja olen toimittaja. Minulla on tohtorin tutkinto, mutta se on bakteerien molekyylibiologiassa, ei ihmisten. Ruokavalio – ja terveysinstituutti? Se on pelkkä nettisivu.

muut kuin fibs, tutkimus oli 100-prosenttisen aito. Kollegani ja minä värväsimme oikeita koehenkilöitä Saksasta. Teimme varsinaisen kliinisen tutkimuksen, jossa koehenkilöt satunnaistettiin eri ruokavalioihin. Raportoimamme suklaan tilastollisesti merkittävät hyödyt perustuvat todellisiin tietoihin. Se oli itse asiassa melko tyypillinen tutkimus laihdutustutkimuksen alalle. Eli se oli kamalaa tiedettä. Tulokset ovat merkityksettömiä, ja terveysväitteet, joita tiedotusvälineet ovat esittäneet miljoonille ihmisille ympäri maailmaa, ovat täysin perusteettomia.

näin me sen teimme.

asetelma

sain viime vuoden joulukuussa puhelun saksalaiselta televisiotoimittajalta Peter Onnekenilta. Hän oli työtoverinsa Diana Löblin kanssa tekemässä dokumenttielokuvaa roskatieteellisestä dieettiteollisuudesta. He halusivat minun auttavan osoittamaan, kuinka helppoa on tehdä huonosta tieteestä isoja otsikoita laihdutusvillitysten takana. Onneken halusi tehdä sen gonzo-tyyliin: Paljastaa korruptio ruokavalio tutkimus-media monimutkainen osallistumalla.

soitto ei tullut täytenä yllätyksenä. Toissa vuonna olin tehnyt peiteoperaation tieteelle maksullisilla open access-lehdillä, nopeasti kasvavalla ja tuottoisalla akateemisen julkaisutoiminnan uudella sektorilla. Saadakseni selville, kuinka monet noista julkaisijoista pitävät lupauksensa ankarasta vertaisarvioinnista, lähetin naurettavan virheelliset paperit ja laskin, kuinka moni hylkäsi ne. (Vastaus: alle puolet.)

Onnekenilla ja Löblillä oli kaikki valmiina: muutama tuhat euroa tutkimuskohteiden palkkaamiseen, saksalainen lääkäri johtamaan tutkimusta ja tilastotieteen ystävä hieromaan tietoja. Onneken kuuli päiväkirjani pistosta ja arveli, että osaisin vetää kaiken kasaan ja saada sen julkaistua. Ainoa ongelma oli aika: elokuva oli tarkoitus esittää Saksan ja Ranskan televisiossa loppukeväällä (ensi-ilta ensi viikolla), joten meillä oli oikeastaan vain pari kuukautta aikaa tehdä tämä.

voisimmeko saada jotain julkaistua? Luultavasti. Mutta sen lisäksi? Luulin, että se poreilee. Me tiedetoimittajat pidämme itseämme keskivertohakkuria fiksumpina. Loppujen lopuksi meidän on ymmärrettävä hämärää tieteellistä tutkimusta tarpeeksi hyvin selittääksemme sen. Ja toimittajille, joilla ei ole tiedekykyjä, heti kun he kuuntelisivat ulkopuolisia lähteitä tarinoihinsa-oikeastaan kuka tahansa, jolla on luonnontieteen tutkinto, saati todellinen ravitsemustieteilijä – he huomaisivat, että tutkimus oli naurettavan hatara. Puhumattakaan siitä, että Google-haku ei tuottanut jälkeäkään Johannes Bohannonista tai hänen väitetystä instituutistaan. Terveystieteen toimittajat haistoivat tämän jo kaukaa. En halunnut kuulostaa pessimistiseltä. ”Katsotaan, miten pitkälle voimme viedä tämän”, sanoin.

Con

Onneken ja Löbl eivät tuhlanneet aikaa. He värväsivät koehenkilöitä Facebookilla ympäri Frankfurtia ja tarjosivat 150 euroa kaikille halukkaille, jotka suostuivat dieetille 3 viikoksi. He tekivät selväksi, että tämä oli osa laihduttamisesta kertovaa dokumenttielokuvaa, mutta he eivät kertoneet tarkemmin. Kylmänä tammikuisena aamuna paikalle saapui 5 miestä ja 11 naista, jotka olivat iältään 19-67-vuotiaita.

on the prank-lehden yleislääkäri Gunter Frank johti kliinistä tutkimusta. Onneken oli vetänyt hänet mukaan luettuaan suositun Frankin kirjoittaman kirjan, jossa hän kritisoi ruokavalion näennäistiedettä. Kitkerän suklaan testaaminen ravintolisänä oli hänen ideansa. Kun kysyin miksi, Frank sanoi sen olevan ”whole food” – fanaatikkojen suosikki. ”Karvas suklaa maistuu pahalta, siksi sen täytyy olla sinulle hyväksi”, hän sanoi. ”Se on kuin uskonto.”

kyselykierroksen ja verikokeiden jälkeen varmistettiin, ettei kenelläkään ollut syömishäiriöitä, diabetesta tai muita heitä mahdollisesti vaarantavia sairauksia Frank liitti koehenkilöt sattumanvaraisesti yhteen kolmesta dieettiryhmästä. Yksi ryhmä noudatti vähähiilihydraattista ruokavaliota. Toinen seurasi samaa vähähiilihydraattinen ruokavalio plus päivittäin 1,5 oz. tummaa suklaata. Loput, verrokkiryhmä, ohjeistettiin olemaan tekemättä muutoksia nykyiseen ruokavalioonsa. He punnitsivat itsensä joka aamu 21 päivän ajan, ja tutkimus päättyi viimeiselle kyselykierrokselle ja verikokeisiin.

Onneken kääntyi tämän jälkeen ystävänsä, talousanalyytikko Alex Droste-Haarsin puoleen runnomaan lukuja. Yksi kaljakelluntaviikonloppu myöhemmin ja… täysosuma! Molemmat hoitoryhmät laihtuivat tutkimuksen aikana noin 5 kiloa, kun taas kontrolliryhmän keskivartalopaino vaihteli ylös ja alas nollan tuntumassa. Mutta vähähiilihydraattisella ruokavaliolla ja suklaalla? He laihtuivat 10 prosenttia nopeammin. Ero ei ollut pelkästään tilastollisesti merkittävä, vaan suklaaryhmällä oli hyvinvointitutkimuksessa paremmat kolesterolilukemat ja korkeammat pisteet.

koukku

tiedän mitä ajattelet. Tutkimus osoitti, että suklaaryhmän painonpudotus kiihtyi—eikö siihen pitäisi luottaa? Eikö tiede toimi niin?

tässä on likainen pieni tiedesalaisuus: Jos mittaat suuren määrän asioita pienestä määrästä ihmisiä, saat lähes taatusti” tilastollisesti merkittävän ” tuloksen. Tutkimuksessamme oli mukana 18 erilaista mittausta-paino, kolesteroli, natrium, veren proteiinipitoisuus, unen laatu, hyvinvointi jne.- 15 ihmiseltä. (Yksi aihe jäi pois.) Että tutkimuksen suunnittelu on resepti vääriä positiivisia.

ajattele mittauksia lottokuponkeina. Jokaisella on pieni mahdollisuus maksaa pois muodossa ”merkittävä” tulos, että voimme pyöräyttää tarinan ympäri ja myydä medialle. Mitä enemmän lippuja ostat, sitä todennäköisemmin voitat. Emme tienneet tarkalleen, mitä tapahtuisi—otsikko olisi voinut olla, että suklaa parantaa unta tai alentaa verenpainetta—mutta tiesimme mahdollisuutemme saada ainakin yksi ”tilastollisesti merkittävä” tulos oli melko hyvä.

aina kun kuulet tuon lauseen, se tarkoittaa, että jollakin tuloksella on pieni p-arvo. P-kirjaimella näyttää olevan toteemivoimaa, mutta se on vain tapa mitata signaali-kohina-suhdetta datassa. Tavanomainen raja on ”merkittävä” on 0.05, mikä tarkoittaa, että on vain 5 prosentin mahdollisuus, että tulos on satunnainen vaihtelu. Mitä enemmän lottokuponkeja,sitä paremmat mahdollisuudet sinulla on saada väärä positiivinen. Montako lippua pitää ostaa?

p(winning) = 1 – (1 – p)n

18 mittauksellamme meillä oli 60 prosentin mahdollisuus saada jokin”merkittävä” tulos p <0,05. (Mittaukset eivät olleet riippumattomia, joten se saattoi olla vielä suurempi.) Peli oli meidän eduksemme.

sitä kutsutaan P-hakkeroinniksi—koesuunnittelun ja datan näpräämistä P: n painamiseksi alle 0,05—ja se on iso ongelma. Useimmat tiedemiehet ovat rehellisiä ja tekevät sen tiedostamattaan. He saavat negatiivisia tuloksia, vakuuttavat itsensä he goofed, ja toistaa kokeen, kunnes se ” toimii.”Tai ne pudottavat ”outlier” datapisteitä.

Mainos

voimistaa hallitsemattomien tekijöiden vaikutuksia. Vain yksi esimerkki: naisen paino voi vaihdella jopa 5 kiloa aikana hänen kuukautiskierto, paljon suurempi kuin painoero meidän suklaa ja vähän hiilihydraatteja ryhmien. Siksi sinun täytyy käyttää suuri määrä ihmisiä, ja tasapaino ikä ja sukupuoli eri hoitoryhmissä. (Emme vaivautuneet.)

voit yhtä hyvin lukea teelehtiä kuin yrittää tulkita tuloksiamme. Suklaa voi olla painonpudotuksen kiihdyttäjä, tai sitten se voi olla päinvastoin. Et voi edes luottaa painonpudotukseen, jonka ei-suklainen vähähiilihydraattinen ryhmämme koki verrattuna kontrolliin. Kuka tietää, mitä verrokkiryhmän kourallinen ihmisiä söi? Emme edes kysyneet heiltä.

onneksi tutkijat ovat viisastumassa näihin ongelmiin. Jotkin lehdet yrittävät luopua p-arvon merkityksellisyystesteistä kokonaan saadakseen tiedemiehet omaksumaan parempia tapoja. Eikä juuri kukaan ota enää alle 30 aineen tutkimuksia vakavasti. Hyvämaineisten lehtien toimittajat hylkäävät ne suoralta kädeltä ennen kuin lähettävät ne vertaisarvioijille. Mutta on paljon lehtiä, jotka välittävät enemmän rahasta kuin maineesta.

the Inside Man

oli aika kertoa tieteellinen läpimurtomme maailmalle. Meidän piti saada tutkimuksemme julkaistua nopeasti, mutta koska se oli niin huonoa tiedettä, meidän piti jättää vertaisarviointi kokonaan väliin. Sopivasti löytyy listoja valelehtien julkaisijoista. (Tämä on minun lista, ja tässä on toinen.) Koska aika oli tiukka, toimitin samanaikaisesti paperimme – ”suklaa, jossa on korkea kaakaopitoisuus painonlaskukiihdyttimenä” – 20 lehteen. Sitten pidimme peukkuja ja odotimme.

lehtemme hyväksyttiin julkaistavaksi useissa lehdissä 24 tunnin kuluessa. On sanomattakin selvää, ettemme kohdanneet minkäänlaista vertaisarviointia. Innokas kosija, jonka lopulta valitsimme, oli International Archives of Medicine. Sitä pyöritti aiemmin jättikustantaja BioMedCentral, mutta vaihtoi hiljattain omistajaa. Uuden kustantajan toimitusjohtaja Carlos Vasquez lähetti Johannekselle sähköpostia kertoakseen, että olimme laatineet ”erinomaisen käsikirjoituksen” ja että vain 600 eurolla se ”voitiin hyväksyä suoraan pääjulkaisuumme.”

vaikka Arkistotoimittaja väittää, että ”kaikki lehteen toimitetut artikkelit käydään tarkasti läpi”, lehtemme julkaistiin alle 2 viikkoa sen jälkeen, kun Onnekenin luottokortti oli veloitettu. Sanaakaan ei muutettu.

merkit

kun paperi oli ulkona, oli aika pitää meteliä. Soitin ystävälleni, joka työskentelee tieteellisessä PR: ssä. Hän kertoi minulle likaisista tempuista, kun tartuin otsikoihin. Oli aavemaista kuulla se toinen puoli, jonka koen joka päivä.

avainasemassa on toimittajien uskomattoman laiskuuden hyödyntäminen. Jos asetat tiedot juuri oikein, voit muokata mediassa syntyvää tarinaa melkein kuin olisit kirjoittanut ne tarinat itse. Itse asiassa se on kirjaimellisesti mitä teet, koska monet toimittajat vain kopioivat ja liittivät tekstimme.

Katso koostamaani lehdistötiedotetta. Siinä on kaikkea. Reporter lingo: seksikäs lede, selkeä pähkinä graf, joitakin iskeviä lainauksia, ja potkaisija. Eikä tarvitse edes lukea tieteellistä lehteä, koska keskeiset yksityiskohdat on jo keitetty. Pidin siitä erityisen huolen. Toimittajien huijaamisen sijaan heitä pyrittiin houkuttelemaan täysin tyypillisellä tiedotteella tutkimuspaperista. (Tietenkin, mitä puuttuu on koehenkilöiden määrä ja pienet painoerot ryhmien välillä.)

mutta hyvä tiedote ei riitä. Toimittajat janoavat myös ”taidetta”, jotain kaunista näytettävää lukijoilleen. Niinpä Onneken ja Löbl kuvasivat mainosvideoita ja tilasivat freelance-artisteilta akustisen balladin ja jopa rapin suklaasta ja painonpudotuksesta. (Käy ilmi, että voit palkata ihmisiä Internetissä tekemään lähes mitä tahansa.)

Onneken kirjoitti saksankielisen tiedotteen ja otti yhteyttä suoraan saksalaisiin tiedotusvälineisiin. Lupaus ”eksklusiivisesta” tarinasta on hyvin houkutteleva, vaikka se olisikin tekaistu. Sitten hän räjäytti Saksan lehdistötiedotteen Itävallassa sijaitsevasta wire service-palvelusta, ja englantilainen lähti Newswireen. Laadunvalvontaa ei ollut. Se jätettiin toimittajille.

tunsin ällöttävän sekoituksen ylpeyttä ja inhoa, kun houkuttelimme ulos maailmaan.

pisteet

saimme isot kalat maihin ennen kuin edes tiesimme niiden purevan. Bild kiirehti juttuaan – ” ne, jotka syövät suklaata, pysyvät hoikkina!”- ottamatta yhteyttä minuun lainkaan. Pian olimme Daily Star, Irish Examiner, Cosmopolitanin Saksalainen sivusto, Times of India, sekä Saksan ja Intian sivusto Huffington Post, ja jopa television uutiset Texasissa ja Australian aamu talk show.

kun toimittajat ylipäätään ottivat minuun yhteyttä, he esittivät pinnallisia kysymyksiä. ”Miksi luulet suklaan kiihdyttävän laihtumista? Onko sinulla neuvoja lukijoillemme?”Juuri kukaan ei kysynyt, kuinka monta koehenkilöä testasimme, eikä kukaan ilmoittanut tuota määrää. Yksikään toimittaja ei näytä ottaneen yhteyttä ulkopuoliseen tutkijaan. Mitään ei mainita.

nämä julkaisut eivät ole varsinaisesti journalistisen hyveen esikuvia, vaikka monilla on suuri yleisömäärä. Joten se ei ole yllättävää, että he yksinkertaisesti napata hieman digitaalisen chum otsikko, harvest sivun katselut, ja siirtyä eteenpäin. Mutta edes tiukoiksi väitetyt ulostulot, jotka poimivat tutkimuksen, eivät havainneet reikiä.

Shape—lehden raportointi tutkimuksestamme—kesäkuun numerossa sivu 128-työllisti faktantarkistajan palveluja, mutta se oli aivan yhtä latteaa. Tarkistin vain pari lausetta minulta tarkkuudesta ja tarkistin nimeni kirjoitusasun. Uutisointi meni niin pitkälle, että siinä määriteltiin painonpudotusta edistävän suklaan asianmukainen kaakaopitoisuus (81 prosenttia), ja siinä mainittiin jopa kaksi tiettyä tuotemerkkiä (”saatavilla päivittäistavarakaupoista ja amazon.com”).

jotkut väistivät luodin. Men ’ s Healthin toimittaja haastatteli minua sähköpostitse ja esitti samantyyppisiä ei-utelevia kysymyksiä. Hän sanoi, että juttu on tilattu syyskuun numeroa varten, joten emme saa koskaan tietää.

mutta suurin pettymys? Kukaan ei kastunut suklaamusiikkivideoiden buffettiin. Sen sijaan he käyttivät epämääräisesti pornografisia kuvia naisista syömässä suklaata. Ehkä tämä musiikki alkaa elää omaa elämäänsä nyt, kun totuus on julki:

kolaus

joten miksi sinun pitäisi välittää? Ihmiset, jotka kaipaavat epätoivoisesti luotettavaa tietoa, kohtaavat hämmentävän määrän ruokavalio—ohjeita—suola on huono, suola on hyvä, proteiini on hyvä, proteiini on huono, rasva on huono, rasva on hyvä-jotka muuttuvat kuin sää. Mutta tiede selvittää sen, eikö? Nyt kun me kutsumme liikalihavuutta epidemiaksi, rahoitus virtaa parhaille tutkijoille ja kaikki tämä melu laantuu, jättäen meille selvät vastaukset syihin ja hoitoihin.

tai ehkä ei. Jopa hyvin rahoitettu, vakava painonlaskutiedettä koskeva tutkimus on hämmentävää ja tuloksetonta, valittaa Peter Attia, kirurgi, joka oli mukana perustamassa voittoa tavoittelematonta ravitsemustieteen aloitetta (Nutrition Science Initiative). Esimerkiksi Women ’ s Health Initiative—yksi lajinsa suurimmista—antoi vain vähän selkeitä näkemyksiä ruokavaliosta ja terveydestä. ”Tulokset olivat vain hämmentäviä”, Attia sanoo. ”He käyttivät miljardi dollaria eivätkä pystyneet edes todistamaan, että vähärasvainen ruokavalio on parempi tai huonompi.”Attian voittoa tavoittelematon järjestö yrittää kerätä 190 miljoonaa dollaria vastatakseen näihin peruskysymyksiin. Mutta lihavuuden tieteeseen on vaikea kiinnittää huomiota, hän sanoo. ”Täällä on niin paljon melua.”
You can thank people like me for that. Meidän toimittajien on ruokittava daily news beast, ja diet science on meidän runsauden sarvi. Lukijat eivät vain saa tarpeeksi tarinoita punaviinin hyödyistä tai fruktoosin vaaroista. Se ei ole vain yleismaailmallisesti relevantti-se koskee päätöksiä, joita me kaikki teemme vähintään kolme kertaa päivässä-vaan se on tiedettä! Meidän ei tarvitse edes lähteä kotoa raportoimaan. Kastamme vain kuppimme päivittäisiin tieteellisiin lehdistötiedotteisiin, jotka virtaavat lokeroidemme läpi. Ota napakka osakekuva ja olet valmis.

diet science Beatin ainoa ongelma on se, että se on tiedettä. Pitää osata lukea tieteellistä tutkielmaa-ja oikeasti vaivautua tekemään sitä. Aivan liian kauan ihmiset, jotka käsittelevät tätä biittiä, ovat käsitelleet sitä kuin juoruja, toistaen mitä tahansa he löytävät lehdistötiedotteista. Toivottavasti kokeilumme saa toimittajat ja lukijat epäileväisemmiksi.
Jos tutkimuksessa ei edes listata, kuinka monta ihmistä siihen osallistui, tai esittää rohkean laihdutusväitteen, joka on ”tilastollisesti merkittävä”, mutta ei kerro, kuinka suuri vaikutuskoko on, kannattaa ihmetellä miksi. Mutta suurimmaksi osaksi emme, mikä on sääli, koska toimittajista on tulossa vertaisarviointijärjestelmä. Kun epäonnistumme, maailma on täynnä roskatiedettä.

tässä tragikomediassa oli yksi toivon pilkahdus. Vaikka toimittajat vain toistivat ”havaintojamme”, monet lukijat olivat harkitsevia ja epäileviä. Verkkokommenteissa he esittivät kysymyksiä, joita toimittajien olisi pitänyt esittää.

”miksi kaloreita ei lasketa kenellekään yksilölle?”kysyi eräs lukija kehonrakennusfoorumilla. ”Verkkotunnus rekisteröitiin maaliskuun alussa, ja kymmenet blogit ja uutislehdet (katso Google) levittävät tätä tutkimusta tietämättä, mitä tai kuka seisoo sen takana”, sanoi lukija jutun alla Focus, yksi Saksan johtavista verkkolehdistä.
tai kuten eräs Daily Expressin huhtikuun 4. päivän tarinan ennakkonäkijä asian ilmaisi: ”jokainen päivä on aprillipäivä ravitsemuksessa.”

korjaus: Peter Attian viittaama tutkimus oli nimeltään Women ’s Health Initiative, Ei Women’ s Health Study, ja se oli lajissaan yksi suurimmista, ei suurin. Myös, kun se julkaistiin, tässä artikkelissa oli virheellisesti kuvakaappaus, jossa Daily Mail uutisoi suklaatutkimuksesta, mutta ei siitä, jota tässä jutussa käsiteltiin. Julkaisua seuraavana päivänä korvasimme sen kuvakaappauksella Daily Mailin varsinaisesta uutisoinnista.

päivitys: Paperi on poistettu International Archives of Medicinen sivuilta, mutta voit lukea sen täältä.

Top image: Art by Jim Cooke