“vékony csokoládé!”a főcímek harsogtak. Egy német kutatócsoport azt találta, hogy az alacsony szénhidráttartalmú étrendben szenvedők 10 százalékkal gyorsabban fogytak, ha minden nap csokoládét ettek. A Bild címlapjára került, Európa legnagyobb napilapja, közvetlenül a Germanwings összeomlásáról szóló frissítésük alatt. Onnan, gellert kapott az interneten és azon túl, több mint 20 országban és fél tucat nyelven készített híreket. A televíziós hírműsorokban megvitatták. Fényes nyomtatásban jelent meg, legutóbb a Shape magazin júniusi számában (“miért kell naponta csokoládét enni”, 128.oldal). A csokoládé nemcsak felgyorsítja a fogyást, de egészségesebb koleszterinszintet és általános jólétet eredményez. A Bild története idézi a tanulmány vezető szerzőjét, Johannes Bohannont, Ph.D. – t, az Institute of Diet and Health kutatási igazgatóját: “a legjobb az egészben, hogy mindenhol csokoládét lehet vásárolni.”
Ez a böngésző nem támogatja a videó elemet.
Johannes Bohannon vagyok, Ph.D. Nos, valójában a nevem John, és újságíró vagyok. PhD-m van, de a baktériumok molekuláris biológiájáról van szó, nem az emberekről. Az étrend és egészség Intézet? Ez nem más, mint egy weboldal.
A fib-k kivételével a tanulmány 100% – ban hiteles volt. A kollégáimmal valódi emberi alanyokat toboroztunk Németországban. Lefuttattunk egy tényleges klinikai vizsgálatot, az alanyokat véletlenszerűen különböző étrendekhez rendeltük. A csokoládé statisztikailag szignifikáns előnyei, amelyekről beszámoltunk, a tényleges adatokon alapulnak. Valójában meglehetősen tipikus tanulmány volt az étrend-kutatás területén. Ami azt jelenti: szörnyű tudomány volt. Az eredmények értelmetlenek, és az egészségre vonatkozó állítások, amelyeket a média világszerte emberek millióinak robbantott ki, teljesen megalapozatlanok.
hirdetés
így csináltuk.
A beállítás
tavaly decemberben felhívott egy német televíziós riporter, Peter Onneken. Munkatársával, Diana L. A. B.-vel egy dokumentumfilmen dolgoztak a szemét-tudományi étrend-iparról. Azt akarták, hogy segítsek bemutatni, milyen könnyű a rossz tudományt a diétás divatok mögött álló nagy címsorokba fordítani. Onneken akartam csinálni gonzo stílus: Fedezze fel a diet research-media komplexum korrupcióját azáltal, hogy részt vesz.
hirdetés
a hívás nem volt teljes meglepetés. Az előző évben a tudomány számára egy titkos műveletet hajtottam végre a díjköteles nyílt hozzáférésű folyóiratokkal kapcsolatban, amely az akadémiai kiadói üzletág gyorsan növekvő és jövedelmező új ágazata. Hogy megtudjam, hány kiadó tartja be a szigorú szakértői értékelésre vonatkozó ígéretét, nevetségesen hibás dolgozatokat küldtem be, és megszámoltam, hányan utasították el őket. (Válasz: kevesebb, mint a fele.)
hirdetés
az Onneken és az L. A. B. A. mindent felsorakoztatott: néhány ezer eurót kutatási alanyok toborzására, egy német orvos a vizsgálat vezetésére, és egy statisztikus barát az adatok masszírozására. Onneken hallott a naplómról, stingről, és úgy gondolta, hogy tudom, hogyan szedjem össze és publikáljam. Az egyetlen probléma az idő volt: a filmet a tervek szerint késő tavasszal vetítették volna le a német és a francia televízióban (premierje a jövő héten lesz), így valójában csak néhány hónapunk volt erre.
kiadhatnánk valamit? Valószínűleg. De azon túl? Azt hittem, biztos, hogy pezsdül. Mi, tudományos újságírók, szeretünk okosabbnak gondolni magunkat, mint egy átlagos hack. Végül is elég jól meg kell értenünk az misztikus tudományos kutatást, hogy megmagyarázzuk. És azoknak a riportereknek, akiknek nincs tudományos karajuk, amint külső forrásokat keresnek a történeteikhez – valóban bárki, aki tudományos végzettséggel rendelkezik, nem is beszélve egy tényleges táplálkozási tudósról—rájönnek, hogy a tanulmány nevetségesen gyenge. Nem is beszélve arról, hogy a Google-keresés nem hagyott nyomot Johannes Bohannonról vagy állítólagos intézetéről. A riporterek a health science beat – ben egy mérföldnyire érezték ezt. De nem akartam pesszimistának tűnni. “Lássuk, milyen messzire tudunk menni” – mondtam.
hirdetés
a Con
az Onneken és az L ++ BL nem vesztegette az időt. A Facebook segítségével toborozták az alanyokat Frankfurt környékén, 150 eurót kínálva mindenkinek, aki hajlandó 3 hétig diétázni. Világossá tették, hogy ez egy fogyókúráról szóló dokumentumfilm része, de nem adtak további részleteket. Egy hideg januári reggelen 5 férfi és 11 nő jelent meg, 19 és 67 év közöttiek.
hirdetés
Gunter Frank, a tréfa háziorvosa vezette a klinikai vizsgálatot. Onneken húzta be, miután elolvasta egy népszerű könyvet, amelyet Frank írt korlát az étrendi áltudomány ellen. Az ő ötlete volt a keserű csokoládé étrend-kiegészítőként történő tesztelése. Amikor megkérdeztem tőle, hogy miért, Frank azt mondta, hogy a “whole food” fanatikusok kedvence. “A keserű csokoládé rossz ízű, ezért jónak kell lennie neked” – mondta. “Olyan, mint egy vallás.”
hirdetés
kérdőívek és vérvizsgálatok után, hogy senki sem volt étkezési rendellenesség, cukorbetegség vagy más olyan betegség, amely veszélyeztetheti őket, frank véletlenszerűen rendelte az alanyokat a három diétás csoport egyikébe. Az egyik csoport alacsony szénhidráttartalmú étrendet követett. Egy másik követte ugyanazt az alacsony szénhidráttartalmú étrend plusz napi 1,5 oz. bár sötét csokoládé. A többieket, egy kontrollcsoportot pedig arra utasították, hogy ne változtassanak jelenlegi étrendjükön. Minden reggel 21 napon át mérlegelték magukat, és a vizsgálat egy utolsó kérdőíves és vérvizsgálati körrel zárult.
Onneken ezután barátjához, Alex Droste-Haarshoz, pénzügyi elemzőhöz fordult, hogy összeroppantsa a számokat. Egy sörrel töltött hétvége később… főnyeremény! Mindkét kezelési csoport körülbelül 5 fontot fogyott a vizsgálat során,míg a kontrollcsoport átlagos testtömege nulla körül ingadozott. De az emberek az alacsony szénhidráttartalmú diéta plusz csokoládé? 10 százalékkal gyorsabban fogytak. Nem csak ez a különbség statisztikailag szignifikáns volt, de a csokoládé csoport jobb koleszterin-értékeket és magasabb pontszámokat mutatott a jóléti felmérésben.
hirdetés
a horog
tudom, mit gondolsz. A tanulmány gyorsított fogyást mutatott a csokoládé csoportban—nem kellene bíznunk benne? Nem így működik a tudomány?
hirdetés
itt van egy piszkos kis tudományos titok: Ha nagyszámú dolgot mér egy kis számú emberről, akkor szinte garantáltan “statisztikailag szignifikáns” eredményt kap. Tanulmányunk 18 különböző mérést tartalmazott-súly, koleszterin, nátrium, vérfehérje szint, alvásminőség, jólét stb.- 15 embertől. (Egy témát elvetettek.) Ez a tanulmányterv a hamis pozitív eredmények receptje.
hirdetés
gondoljon a mérésekre sorsjegyként. Mindegyiknek van egy kis esélye arra, hogy megtérüljön egy “jelentős” eredmény formájában, amelyet egy történetet forgathatunk és eladhatunk a médiának. Minél több jegyet vásárol, annál valószínűbb, hogy nyer. Nem tudtuk pontosan, mi fog megjelenni—a címsor az lehetett, hogy a csokoládé javítja az alvást vagy csökkenti a vérnyomást—, de tudtuk, hogy esélyünk van legalább egy “statisztikailag szignifikáns” eredmény elérésére.
amikor ezt a kifejezést hallja, ez azt jelenti, hogy néhány eredménynek kis p értéke van. Úgy tűnik, hogy a P betű totemikus erővel rendelkezik, de ez csak egy módja annak, hogy felmérjük a jel-zaj arányt az adatokban. A ” szignifikáns “hagyományos határérték 0,05, ami azt jelenti, hogy csak 5% esély van arra, hogy az eredmény véletlenszerű ingadozás legyen. Minél több sorsjegy, annál nagyobb az esélye, hogy hamis pozitív eredményt kapjon. Szóval hány jegyet kell vásárolni?
hirdetés
p (nyerő) = 1 – (1 – p)n
18 mérésünkkel 60% esélyünk volt arra, hogy”jelentős” eredményt érjünk el p < 0.05. (A mérések nem voltak függetlenek, így még magasabb is lehet.) A játék a mi javunkra halmozott.
reklám
Ez az úgynevezett p-hacking-babrál a kísérleti tervezés és az adatok nyomja p alatt 0,05-és ez egy nagy probléma. A legtöbb tudós őszinte, és öntudatlanul teszi. Negatív eredményeket kapnak, meggyőzik magukat, hogy elcseszték, és addig ismételik a kísérletet, amíg “működik”.”Vagy eldobják a “kiugró” adatpontokat.
reklám
de még akkor is, ha vigyáztunk volna a p-hackelés elkerülésére, tanulmányunkat az a kis számú alany ítélte el, amely felerősíti az ellenőrizetlen tényezők hatásait. Csak hogy egy példát vegyünk: egy nő súlya akár 5 fontot is ingadozhat a menstruációs ciklusa során, sokkal nagyobb, mint a csokoládé és az alacsony szénhidráttartalmú csoportok közötti súlykülönbség. Ezért kell nagyszámú embert használni, és egyensúlyba hozni az életkorot és a nemet a kezelési csoportok között. (Nem zavartuk.)
akár tealeveleket is olvashatsz, mint megpróbálhatod értelmezni az eredményeinket. Csokoládé lehet egy fogyás gyorsító, vagy lehet az ellenkezője. Nem is bízhat abban a fogyásban, amelyet nem csokoládé alacsony szénhidráttartalmú csoportunk tapasztalt a kontroll ellen. Ki tudja, mit evett a kontrollcsoport maroknyi embere? Meg sem kérdeztük őket.
hirdetés
szerencsére a tudósok egyre bölcsebbek ezekre a problémákra. Egyes folyóiratok megpróbálják fokozatosan megszüntetni a p érték szignifikancia tesztelését, hogy a tudósokat jobb szokásokra ösztönözzék. És szinte senki sem veszi komolyan a 30-nál kevesebb tantárgyat. A neves folyóiratok szerkesztői kézből elutasítják őket, mielőtt elküldenék őket a szakértői értékelőknek. De rengeteg olyan folyóirat van, amely jobban törődik a pénzzel, mint a hírnévvel.
A belső ember
ideje volt megosztani tudományos áttörésünket a világgal. Azonnal közzé kellett tennünk a tanulmányunkat, de mivel olyan rossz tudomány volt, teljesen ki kellett hagynunk a szakértői értékelést. Kényelmesen vannak hamis folyóiratkiadók listái. (Ez az én listám, és itt egy másik.) Mivel az idő szűk volt, egyidejűleg 20 folyóiratba nyújtottam be papírunkat—”magas kakaótartalmú csokoládé, mint súlycsökkentő gyorsító”. Aztán keresztbe tettük az ujjainkat és vártunk.
hirdetés
cikkünket több folyóirat 24 órán belül elfogadta közzétételre. Mondanom sem kell, hogy egyáltalán nem néztünk szembe szakértői értékeléssel. A lelkes udvarló, akit végül választottunk, a The International Archives of Medicine volt. Korábban a biomedcentral óriás kiadó vezette, de nemrégiben gazdát cserélt. Az új kiadó vezérigazgatója, Carlos Vasquez e-mailt küldött Johannes-nak, hogy tudassa vele, hogy “kiváló kéziratot” készítettünk, és hogy mindössze 600 euróért “közvetlenül el lehet fogadni a premier folyóiratunkban.”
reklám
bár az archívum szerkesztője azt állítja, hogy” a folyóirathoz benyújtott összes cikket szigorú módon vizsgálják felül”, cikkünket kevesebb, mint 2 héttel az Onneken hitelkártyájának megterhelése után tették közzé. Egyetlen szó sem változott.
A jelek
a papír ki, itt volt az ideje, hogy némi zajt. Felhívtam egy barátom barátját, aki a Tudományos PR-ben dolgozik. Végigvezetett néhány piszkos trükköt a címsorok megragadásához. Félelmetes volt hallani valaminek a másik oldalát, amit minden nap tapasztalok.
hirdetés
a kulcs az újságírók hihetetlen lustaságának kihasználása. Ha helyesen rakja ki az információkat, akkor szinte úgy alakíthatja a médiában megjelenő történetet, mintha maga írta volna ezeket a történeteket. Valójában szó szerint ezt csinálod, mivel sok riporter csak lemásolta és beillesztette a szövegünket.
nézd meg a sajtóközleményt, amit szakács. Minden benne van. A riporteri szakzsargonban: egy szexi lede, egy tiszta dió graf, néhány ütős idézet és egy rúgó. És még a tudományos dolgozatot sem kell elolvasni, mert a legfontosabb részletek már megfőttek. Különös gondot fordítottam arra, hogy pontos legyen. Az újságírók becsapása helyett a cél az volt, hogy egy teljesen tipikus sajtóközleményt csalogassanak egy kutatási cikkről. (Természetesen hiányzik az alanyok száma és a csoportok közötti csekély súlykülönbség.)
hirdetés
de egy jó sajtóközlemény nem elég. A riporterek is éhesek a” művészetre”, valami szépre, hogy megmutassák olvasóiknak. Szóval Onneken, s Löbl lelőtt egy promóciós videó klipek valamint a megrendelt szabadúszó művészek írni egy akusztikus ballada is a rap szó csoki meg a fogyás. (Kiderül, hogy az interneten szinte bármit felvehet.)
hirdetés
Onneken írt egy német sajtóközleményt, és közvetlenül a német médiumokhoz fordult. Az “exkluzív” történet ígérete nagyon csábító, még akkor is, ha hamis. Aztán felrobbantotta a német sajtóközleményt az ausztriai székhelyű wire service-en, az angol pedig a NewsWire-en. Nem volt minőségellenőrzés. Ezt a riporterekre bízták.
a büszkeség és az undor queazy keverékét éreztem, amikor a csábításunk a világba zingelt.
reklám
a pontszám
mi leszállt nagy hal, mielőtt még tudtuk, hogy harapnak. Bild kirohanta a történetüket— ” azok, akik csokoládét esznek, karcsúak maradnak!”- anélkül, hogy egyáltalán kapcsolatba lépne velem. Hamarosan a Daily Star, az Irish Examiner, a Cosmopolitan német weboldala, a The Times of India, a Huffington Post német és indiai oldala, sőt a Texasi televíziós hírek és egy ausztrál reggeli talk show-ban is szerepeltünk.
hirdetés
amikor az újságírók egyáltalán kapcsolatba léptek velem, bonyolult kérdéseket tettek fel. “Miért gondolja, hogy a csokoládé felgyorsítja a fogyást? Van valami tanácsod olvasóinknak?”Szinte senki sem kérdezte, hogy hány alanyt teszteltünk, és senki sem jelentette ezt a számot. Úgy tűnik, egyetlen riporter sem lépett kapcsolatba külső kutatóval. Egyik sem idézett.
reklám
ezek a kiadványok, bár sok parancs nagy közönség, nem éppen paragons újságírói erény. Tehát nem meglepő, hogy egyszerűen megragadnak egy kis digitális cimborát a címsorhoz, betakarítják az oldalmegtekintéseket, és továbblépnek. De még az állítólag szigorú üzletek, amelyek felvették a tanulmányt, nem tudták észrevenni a lyukakat.
A Shape magazin jelentése a tanulmányunkról—lapozzunk a 128.oldalra a júniusi számban—egy tényellenőrző szolgáltatásait alkalmazta, de ugyanolyan hiányos volt. Az ellenőrző csak lefuttatott néhány mondatot a pontosságom érdekében, és ellenőrizte a nevem helyesírását. A lefedettség odáig ment, hogy meghatározta a súlycsökkentő csokoládé megfelelő kakaótartalmát (81 százalék), sőt két konkrét márkát is megemlített(” elérhető az élelmiszerboltokban és a amazon.com”).
hirdetés
néhányan elkerülték a golyót. A férfi egészség riportere e-mailben interjút készített velem, ugyanazokat a nem szondázó kérdéseket tette fel. Azt mondta, hogy a történetet a szeptemberi számukhoz tervezték, így soha nem fogjuk megtudni.
de leginkább kiábrándító? Senki sem mártott bele a csokoládé Zenei videók büféjébe. Ehelyett homályosan pornográf képeket használtak a csokoládét fogyasztó nőkről. Talán ez a zene önálló életet fog élni most, hogy az igazság kiderült:
A kopogás
akkor miért érdekelne? Azok az emberek, akik kétségbeesetten keresik a megbízható információkat, zavarba ejtő étrend-útmutatással szembesülnek—a só rossz, a só jó, a fehérje jó, a fehérje rossz, a zsír rossz, a zsír jó—ez változik, mint az időjárás. De a tudomány ki fogja találni, igaz? Most, hogy az elhízást járványnak nevezzük, a finanszírozás a legjobb tudósokhoz fog folyni, és ez a zaj el fog tűnni, így világos válaszokat kapunk az okokra és a kezelésekre.
hirdetés
vagy talán nem. Még a jól finanszírozott, komoly kutatás súlycsökkentő tudomány zavaró és meggyőző, sajnálja Peter Attia, a sebész, aki társalapítója nonprofit nevű Nutrition Science Initiative. Például a Women ‘ s Health Initiative—az egyik legnagyobb a maga nemében-kevés egyértelmű betekintést adott az étrendről és az egészségről. “Az eredmények csak zavaróak voltak” – mondja Attia. “1 milliárd dollárt költöttek, és még azt sem tudták bizonyítani, hogy az alacsony zsírtartalmú étrend jobb vagy rosszabb.”Az Attia nonprofit szervezete 190 millió dollárt próbál összegyűjteni ezen alapvető kérdések megválaszolására. De nehéz összpontosítani a figyelmet az elhízás tudományára, mondja. “Csak annyi zaj van.”
köszönetet mondhatsz az olyan embereknek, mint én. Nekünk, újságíróknak meg kell etetnünk a daily news fenevadat, és az étrend-tudomány a bőség szarva. Az olvasók egyszerűen nem tudnak elegendő történetet szerezni a vörösbor előnyeiről vagy a fruktóz veszélyeiről. Nem csak egyetemesen releváns-olyan döntésekre vonatkozik, amelyeket mindannyian naponta legalább háromszor hozunk—, hanem tudomány! Nem is kell elmennünk otthonról, hogy tudósítsunk. Csak belemártjuk a csészéinket a beérkező leveleinken átfolyó tudományos sajtóközlemények napi áramlásába. Tack egy szellemes stock fotó, és kész.
reklám
Az egyetlen probléma a diéta tudomány beat, hogy ez a tudomány. Tudnia kell, hogyan kell olvasni egy tudományos cikket—és valójában foglalkoznia kell vele. Túl sokáig, az emberek, akik ezt az ütemet fedezik, pletykaként kezelték, visszhangozva bármit is találnak a sajtóközleményekben. Remélhetőleg a kis kísérletünk szkeptikusabbá teszi az újságírókat és az olvasókat egyaránt.
Ha egy tanulmány még azt sem sorolja fel, hogy hány ember vett részt benne, vagy merész étrendi állítást tesz, amely “statisztikailag szignifikáns”, de nem mondja meg, hogy mekkora a hatás mérete, akkor csodálkoznia kell, miért. De a legtöbb esetben nem, ami sajnálatos, mert az újságírók a de facto szakértői értékelési rendszerré válnak. És ha elbukunk, a világot elárasztja a szemét tudomány.
hirdetés
ebben a tragikomédiában volt egy reménysugár. Míg a riporterek csak visszaöklendezték az “eredményeinket”, sok olvasó elgondolkodott és szkeptikus volt. Az online megjegyzésekben olyan kérdéseket tettek fel, amelyeket az újságíróknak fel kellett volna tenniük.
” miért nem számolják a kalóriákat az egyének egyikén sem?”- kérdezte egy olvasó egy testépítő fórumon. “A domaint március elején regisztrálták, és több tucat blog és hírmagazin (lásd a Google-t) terjesztette ezt a tanulmányt anélkül, hogy tudta volna, mi vagy ki áll mögötte” – mondta egy olvasó A Story in Focus alatt, Németország egyik vezető online magazinja.
vagy ahogy az április 4-i történet egyik előrelátó olvasója a Daily Express-ben megfogalmazta: “minden nap április bolondja a táplálkozásban.”
reklám
javítás: a Peter Attia által hivatkozott tanulmányt a Women ‘s Health Initiative-nek hívták, nem pedig a Women’ s Health Study-nak, és ez volt az egyik legnagyobb a maga nemében, nem a legnagyobb. Szintén, amikor megjelent, ez a cikk tévesen tartalmazott egy képernyőképet, amely a Daily Mail csokoládé-tanulmányának lefedettségét mutatja, de nem az ebben a történetben tárgyalt. A közzétételt követő napon kicseréltük egy képernyőképre a Daily Mail tényleges tudósításáról a tanulmányról.
frissítés: A cikket eltávolították a nemzetközi Orvostudományi Levéltár weboldaláról, de itt elolvashatja.
hirdetés