„Slim de ciocolată!”titlurile tinteau. O echipă de cercetători germani a descoperit că persoanele care au o dietă cu conținut scăzut de carbohidrați au pierdut în greutate cu 10% mai repede dacă au mâncat o bară de ciocolată în fiecare zi. A ajuns pe prima pagină a Bild, cel mai mare cotidian din Europa, chiar sub actualizarea lor despre prăbușirea Germanwings. De acolo, a ricoșat în jurul internetului și nu numai, făcând știri în peste 20 de țări și o jumătate de duzină de limbi. A fost discutat în emisiunile de știri de televiziune. A apărut cu imprimare lucioasă, cel mai recent în numărul din iunie al revistei Shape („De ce trebuie să mănânci ciocolată zilnic”, pagina 128). Nu numai că ciocolata accelerează pierderea în greutate, a constatat studiul, dar duce la niveluri mai sănătoase ale colesterolului și la o bunăstare generală crescută. Povestea Bild îl citează pe autorul principal al studiului, Johannes Bohannon, Ph.D., Director de cercetare al Institutului de dietă și sănătate: „cea mai bună parte este că poți cumpăra ciocolată peste tot.”

sunt Johannes Bohannon, Ph.D. Ei bine, de fapt, numele meu este John și sunt jurnalist. Am un doctorat, dar e în biologia moleculară a bacteriilor, nu a oamenilor. Institutul de dietă și sănătate? Nu este altceva decât un site web.

în afară de aceste fibre, studiul a fost 100% autentic. Colegii mei și cu mine am recrutat subiecți umani reali în Germania. Am efectuat un studiu clinic real, cu subiecți repartizați aleatoriu la diferite regimuri de dietă. Iar beneficiile semnificative statistic ale ciocolatei pe care le-am raportat se bazează pe datele reale. A fost, de fapt, un studiu destul de tipic pentru domeniul cercetării dietei. Adică: a fost o știință teribilă. Rezultatele sunt lipsite de sens, iar afirmațiile de sănătate pe care mass-media le-a aruncat în fața a milioane de oameni din întreaga lume sunt complet nefondate.

Iată cum am făcut-o.

Configurarea

am primit un telefon în decembrie anul trecut de la un reporter de televiziune German pe nume Peter Onneken. El și colaboratorul său, Diana L. L., lucrau la un film documentar despre industria dietelor junk-science. Au vrut să ajut să demonstrez cât de ușor este să transformi știința proastă în titlurile mari din spatele capriciilor dietei. Și Onneken a vrut să o facă în stil gonzo: Dezvăluie corupția complexului de cercetare-media dieta prin participarea.

apelul nu a fost o surpriză completă. Cu un an înainte, am condus o operațiune sting pentru știință pe reviste cu acces deschis cu taxă, un nou sector în creștere rapidă și profitabil al activității de publicare academică. Pentru a afla câți dintre acești editori își țin promisiunea de a face o evaluare riguroasă de la egal la egal, am trimis lucrări ridicol de eronate și am numărat câți le-au respins. (Răspuns: mai puțin de jumătate.)

Onneken și l Oktibbl au aliniat totul: câteva mii de euro pentru a recruta subiecți de cercetare, un medic German pentru a conduce studiul și un prieten statistician pentru a masa datele. Onneken auzit despre jurnalul meu sting și a dat seama că aș ști cum să-l trage împreună și să-l publicate. Singura problemă a fost timpul: filmul era programat să fie difuzat la televiziunea germană și franceză la sfârșitul primăverii (are premiera săptămâna viitoare), așa că am avut doar câteva luni pentru a realiza acest lucru.

putem publica ceva? Probabil. Dar dincolo de asta? Am crezut că a fost sigur de a fizzle. Noi, jurnaliștii de știință, ne gândim la noi înșine ca fiind mai deștepți decât hack-ul mediu. La urma urmei, trebuie să înțelegem cercetarea științifică arcană suficient de bine pentru a o explica. Și pentru reporterii care nu au cotlet de știință, de îndată ce au exploatat surse externe pentru poveștile lor—într—adevăr oricine cu o diplomă în știință, să nu mai vorbim de un om de știință în nutriție-ar descoperi că studiul a fost ridicol de subțire. Ca să nu mai vorbim că o căutare Google nu a dat nici o urmă de Johannes Bohannon sau presupusul său institut. Reporterii de pe beat știință de sănătate au fost de gând să miros acest lucru o milă distanță. Dar nu am vrut să par pesimist. „Să vedem cât de departe putem lua acest lucru”, am spus.

Con

Onneken și L nu au pierdut timpul. Au folosit Facebook pentru a recruta subiecți în jurul orașului Frankfurt, oferind 150 de euro oricui dorește să urmeze o dietă timp de 3 săptămâni. Au precizat că aceasta face parte dintr-un film documentar despre dietă, dar nu au oferit mai multe detalii. Într-o dimineață rece de ianuarie, au apărut 5 bărbați și 11 femei, cu vârste cuprinse între 19 și 67 de ani.

Gunter Frank, un medic generalist în pe glumă, a fugit studiul clinic. Onneken l-a tras după ce a citit o carte populară pe care Frank a scris-o balustradă împotriva pseudoștiinței dietetice. Testarea ciocolatei amare ca supliment alimentar a fost ideea lui. Când l-am întrebat De ce, Frank a spus că este un favorit al fanaticilor „whole food”. „Ciocolata amara are un gust rau, de aceea trebuie sa fie buna pentru tine”, a spus el. „Este ca o religie.”

după o rundă de chestionare și teste de sânge pentru a se asigura că nimeni nu a avut tulburări de alimentație, diabet, sau alte boli care le-ar putea pune în pericol, Frank a repartizat aleatoriu subiecții la unul din cele trei grupuri de dietă. Un grup a urmat o dietă cu conținut scăzut de carbohidrați. Un altul a urmat aceeași dietă cu conținut scăzut de carbohidrați, plus o dietă zilnică de 1,5 oz. bar de ciocolată neagră. Iar restul, un grup de control, au fost instruiți să nu facă modificări în dieta lor actuală. Ei s-au cântărit în fiecare dimineață timp de 21 de zile, iar studiul s-a încheiat cu o rundă finală de chestionare și teste de sânge.

Onneken s-a adresat apoi prietenului său Alex Droste-Haars, analist financiar, pentru a analiza cifrele. Un weekend alimentat cu bere mai târziu și… potul cel Mare! Ambele grupuri de tratament au pierdut aproximativ 5 kilograme pe parcursul studiului, în timp ce greutatea corporală medie a grupului de control a fluctuat în sus și în jos în jurul valorii de zero. Dar oamenii de pe dieta low-carb, plus ciocolata? Au pierdut greutatea cu 10% mai repede. Nu numai că această diferență a fost semnificativă statistic, dar grupul de ciocolată a avut citiri mai bune ale colesterolului și scoruri mai mari la sondajul de bunăstare.

cârligul

știu la ce te gândești. Studiul a arătat o pierdere accelerată în greutate în grupul de ciocolată—nu ar trebui să avem încredere în ea? Nu așa funcționează știința?

Iată un mic secret științific murdar: Dacă măsurați un număr mare de lucruri despre un număr mic de persoane, sunteți aproape garantat că veți obține un rezultat „semnificativ statistic”. Studiul nostru a inclus 18 măsurători diferite-greutate, colesterol, sodiu, niveluri de proteine din sânge, calitatea somnului, bunăstare etc.- de la 15 persoane. (Un subiect a fost abandonat.) Acest design de studiu este o rețetă pentru fals pozitive.

gândiți-vă la măsurătorile ca bilete de loterie. Fiecare are o mică șansă de a plăti sub forma unui rezultat „semnificativ” pe care îl putem învârti o poveste și vinde mass-media. Cu cât cumpărați mai multe bilete, cu atât este mai probabil să câștigați. Nu știam exact ce se va întâmpla—titlul ar fi putut fi că ciocolata îmbunătățește somnul sau scade tensiunea arterială—dar știam că șansele noastre de a obține cel puțin un rezultat „semnificativ statistic” erau destul de bune.

ori de câte ori auziți acea frază, înseamnă că un rezultat are o valoare p mică. Litera p pare să aibă putere totemică, dar este doar o modalitate de a măsura raportul semnal-zgomot din date. Limita convențională pentru a fi „semnificativă” este de 0,05, ceea ce înseamnă că există doar o șansă de 5% ca rezultatul dvs. să fie o fluctuație aleatorie. Cu cât sunt mai multe bilete de loterie, cu atât sunt mai mari șansele de a obține un fals pozitiv. Deci, câte bilete trebuie să cumperi?

P(câștigătoare) = 1 – (1 – p)N

cu cele 18 măsurători, am avut o șansă de 60% de a obține un rezultat”semnificativ” cu p< 0.05. (Măsurătorile nu au fost independente, deci ar putea fi și mai mari.) Jocul a fost stivuit în favoarea noastră.

se numește p-hacking—se ține de fleacuri cu design—ul experimental și datele pentru a împinge p sub 0,05-și este o mare problemă. Majoritatea oamenilor de știință sunt cinstiți și o fac inconștient. Ei obțin rezultate negative, se conving că au greșit și repetă experimentul până când ” funcționează.”Sau aruncă puncte de date „outlier”.

dar chiar dacă am fi fost atenți pentru a evita p-hacking, studiul nostru a fost sortit de numărul mic de subiecți, care amplifică efectele factorilor necontrolați. Doar pentru a lua un exemplu: greutatea unei femei poate fluctua până la 5 kilograme pe parcursul ciclului menstrual, mult mai mare decât diferența de greutate dintre grupurile noastre de ciocolată și cele cu conținut scăzut de carbohidrați. De aceea, trebuie să utilizați un număr mare de persoane și să echilibrați vârsta și sexul între grupurile de tratament. (Nu ne-am deranjat.)

s-ar putea citi la fel de bine frunze de ceai ca încerca să interpreteze rezultatele noastre. Ciocolata poate fi un accelerator de pierdere în greutate, sau ar putea fi opusul. Nici măcar nu puteți avea încredere în pierderea în greutate pe care grupul nostru non-ciocolată cu conținut scăzut de carbohidrați a experimentat-o față de control. Cine știe ce mănâncă o mână de oameni din grupul de control? Nici măcar nu i-am întrebat.

Din fericire, oamenii de stiinta sunt obtinerea înțelept la aceste probleme. Unele reviste încearcă să elimine treptat testarea semnificației valorii p pentru a-i împinge pe oamenii de știință în obiceiuri mai bune. Și aproape nimeni nu mai ia studii cu mai puțin de 30 de subiecți în serios. Editorii revistelor de renume le resping din mână înainte de a le trimite evaluatorilor inter pares. Dar există o mulțime de reviste cărora le pasă mai mult de bani decât de reputație.

omul din interior

era timpul să împărtășim progresul nostru științific cu lumea. Trebuia să ne publicăm studiul imediat, dar din moment ce era o știință atât de proastă, trebuia să omitem cu totul evaluarea inter pares. În mod convenabil, există liste de editori de reviste false. (Aceasta este lista mea, și aici este un alt.) Din moment ce timpul a fost strâns, am trimis simultan lucrarea noastră—”ciocolată cu conținut ridicat de cacao ca accelerator de pierdere în greutate”-la 20 de reviste. Apoi ne-am încrucișat degetele și am așteptat.

lucrarea noastră a fost acceptată pentru publicare de mai multe reviste în termen de 24 de ore. Inutil să spun că nu ne-am confruntat deloc cu o evaluare inter pares. Pretendentul dornic pe care l-am ales în cele din urmă a fost Arhivele internaționale de Medicină. A fost condusă de gigantul editor BioMedCentral, dar recent a schimbat mâinile. CEO-ul noului editor, Carlos Vasquez, i-a trimis un e-mail lui Johannes pentru a-l anunța că am produs un „manuscris remarcabil” și că pentru doar 600 de euro „ar putea fi acceptat direct în jurnalul nostru premier.”

deși editorul Arhivelor susține că” toate articolele trimise revistei sunt revizuite într-un mod riguros”, lucrarea noastră a fost publicată la mai puțin de 2 săptămâni după ce cardul de credit Onneken a fost taxat. Nici un cuvânt nu a fost schimbat.

semnele

cu hârtia afară, era timpul să facem zgomot. Am sunat un prieten al unui prieten care lucrează în PR științific. Ea mi-a mers prin unele dintre trucuri murdare pentru hapsân titluri. A fost ciudat să aud cealaltă parte a ceva ce experimentez în fiecare zi.

cheia este de a exploata Lene incredibil jurnaliștilor. Dacă expuneți informațiile corect, puteți modela povestea care apare în mass-media aproape ca și cum ați scrie singuri acele povești. De fapt, asta este literalmente ceea ce faceți, deoarece mulți reporteri tocmai au copiat și lipit textul nostru.

uitați-vă la comunicatul de presă pe care l-am pregătit. Are de toate. În reporter jargon: o Lede sexy, un graf clar nuci, unele citate punchy, și un kicker. Și nu este nevoie să citiți nici măcar lucrarea științifică, deoarece detaliile cheie sunt deja fierte. Am avut grijă deosebită să-l păstrați exacte. În loc să păcălească jurnaliștii, scopul a fost să-i ademenească cu un comunicat de presă complet tipic despre o lucrare de cercetare. (Desigur, ceea ce lipsește este numărul de subiecți și diferențele minuscule de greutate dintre grupuri.)

dar un comunicat de presă bun nu este suficient. Reporterii sunt, de asemenea, foame pentru „artă”, ceva destul de a arăta cititorilor lor. Așadar, Onneken și l Oktibbl au filmat câteva videoclipuri promoționale și au comandat artiști independenți să scrie o baladă acustică și chiar un rap despre ciocolată și pierderea în greutate. (Se pare că puteți angaja oameni pe internet pentru a face aproape orice.)

Onneken a scris un comunicat de presă German și a ajuns direct la mass-media germane. Promisiunea unei povești „exclusive” este foarte tentantă, chiar dacă este falsă. Apoi a aruncat comunicatul de presă German pe serviciul de sârmă cu sediul în Austria, iar cel englez a ieșit pe NewsWire. Nu a existat niciun control al calității. Asta a fost lăsată la latitudinea reporterilor.

am simțit un amestec ciudat de mândrie și dezgust în timp ce ademenirea noastră zinged în lume.

scorul

am aterizat de pește mare, chiar înainte de am știut că au fost musca. Bild și—a grăbit povestea – „Cei care mănâncă ciocolată rămân subțiri!”- fără să mă contacteze deloc. Curând am fost în Daily Star, Irish Examiner, site-ul german Cosmopolitan, Times Of India, atât site-ul German și Indian al Huffington Post, și chiar știri de televiziune în Texas și un talk-show de dimineață Australian.

când reporterii m-au contactat deloc, au pus întrebări superficiale. „De ce credeți că ciocolata accelerează pierderea în greutate? Aveți vreun sfat pentru cititorii noștri?”Aproape nimeni nu a întrebat câți subiecți am testat și nimeni nu a raportat acest număr. Nici un reporter nu pare să fi contactat un cercetător din afară. Nici unul nu este citat.

aceste publicații, deși multe comandă audiențe mari, nu sunt tocmai paragrafe ale virtuții jurnalistice. Deci, nu este surprinzător faptul că ei ar apuca pur și simplu un pic de chum digitale pentru titlu, recolta afișările de pagină, și pentru a muta pe. Dar chiar și punctele de vânzare presupuse riguroase care au ridicat studiul nu au reușit să vadă găurile.raportarea revistei Shape despre studiul nostru-la pagina 128 din numărul din iunie-a folosit serviciile unui verificator de fapte, dar a fost la fel de lipsită de sens. Tot ce a făcut verificatorul a fost să rulez câteva propoziții de către mine pentru acuratețe și să verific ortografia numelui meu. Acoperirea a mers atât de departe încât să specifice conținutul adecvat de cacao pentru ciocolata care induce pierderea în greutate (81 la sută) și chiar a menționat două mărci specifice („disponibile în magazinele alimentare și la amazon.com”).

unii au evitat glonțul. Un reporter de la Men ‘ s Health m-a intervievat prin e-mail, punând același tip de întrebări care nu sondează. Ea a spus că povestea a fost programată pentru numărul lor din septembrie, așa că nu vom ști niciodată.

dar cel mai dezamăgitor? Nimeni nu s-a cufundat în bufetul nostru de videoclipuri muzicale cu ciocolată. În schimb, au folosit imagini vag pornografice cu femei care mănâncă ciocolată. Poate că această muzică va avea o viață proprie acum că adevărul este în afara:

the Knock

deci, de ce ar trebui să vă pese? Oamenii care sunt disperați pentru informații fiabile se confruntă cu o gamă uimitoare de îndrumări privind dieta—sarea este rea, sarea este bună, proteina este bună, proteina este rea, grăsimea este rea, grăsimea este bună—care se schimbă ca vremea. Dar știința își va da seama, nu? Acum că numim obezitatea o epidemie, finanțarea va curge către cei mai buni oameni de știință și tot acest zgomot va dispărea, lăsându-ne răspunsuri clare la cauze și tratamente.

sau poate nu. Chiar și cercetarea serioasă și bine finanțată în domeniul științei pierderii în greutate este confuză și neconcludentă, se plânge Peter Attia, un chirurg care a cofondat o organizație nonprofit numită inițiativa științei nutriției. De exemplu, inițiativa pentru Sănătatea Femeilor—una dintre cele mai mari de acest gen—a oferit puține informații clare despre dietă și sănătate. „Rezultatele au fost doar confuze”, spune Attia. „Au cheltuit 1 miliard de dolari și nici măcar nu au putut dovedi că o dietă cu conținut scăzut de grăsimi este mai bună sau mai rea.”Organizația nonprofit Attia încearcă să strângă 190 de milioane de dolari pentru a răspunde la aceste întrebări fundamentale. Dar este greu să vă concentrați atenția asupra științei obezității, spune el. „Este atât de mult zgomot.”
puteți mulțumi oamenilor ca mine pentru asta. Noi, jurnaliștii, trebuie să hrănim fiara daily news, iar știința dietei este cornul abundenței noastre. Cititorii pur și simplu nu pot obține suficiente povești despre beneficiile vinului roșu sau pericolele fructozei. Nu numai că este universal relevant—se referă la deciziile pe care le luăm cu toții de cel puțin trei ori pe zi—dar este știință! Nici măcar nu trebuie să plecăm de acasă ca să facem Reportaje. Ne scufundăm cupele în fluxul zilnic de Comunicate de presă științifice care curg prin căsuțele noastre poștale. Tack pe o fotografie de stoc vioi și ați terminat.

singura problemă cu dieta știință bate este că este știință. Trebuie să știi cum să citești o lucrare științifică—și de fapt să te deranjezi să o faci. De prea mult timp, oamenii care acoperă această bătaie au tratat-o ca pe o bârfă, repetând orice găsesc în comunicatele de presă. Sperăm că micul nostru experiment va face reporterii și cititorii deopotrivă mai sceptici.dacă un studiu nici măcar nu enumeră câți oameni au luat parte la el sau face o afirmație îndrăzneață a dietei care este „semnificativă statistic”, dar nu spune cât de mare este dimensiunea efectului, ar trebui să vă întrebați de ce. Dar, în cea mai mare parte, nu o facem. ceea ce este păcat, deoarece jurnaliștii devin de facto sistemul de evaluare inter pares. Și când eșuăm, lumea este plină de știință.

a existat o licărire de speranță în această tragicomedie. În timp ce reporterii ne-au regurgitat „descoperirile”, mulți cititori au fost atenți și sceptici. În comentariile online, au pus întrebări pe care reporterii ar fi trebuit să le pună.

„De ce nu sunt numărate caloriile pe niciunul dintre indivizi?”a întrebat un cititor pe un forum de culturism. „Domeniul a fost înregistrat la începutul lunii martie, iar zeci de bloguri și reviste de știri (Vezi Google) au răspândit acest studiu fără să știe ce sau cine se află în spatele acestuia”, a spus un cititor sub povestea în Focus, una dintre cele mai importante reviste online din Germania.
sau, după cum a spus un cititor prescient al poveștii din 4 aprilie din Daily Express, „fiecare zi este April Fool în nutriție.”

corecție: studiul la care face referire Peter Attia a fost numit inițiativa sănătății femeilor, nu studiul sănătății femeilor, și a fost unul dintre cele mai mari de acest gen, nu cel mai mare. De asemenea, când a fost publicat, acest articol a prezentat în mod eronat o captură de ecran care arăta acoperirea Daily Mail a unui studiu de ciocolată, dar nu cea discutată în această poveste. A doua zi după publicare, l-am înlocuit cu o captură de ecran a acoperirii efective a studiului de către Daily Mail.

actualizare: Lucrarea a fost eliminată de pe site-ul international Archives of Medicine, dar o puteți citi aici.

imaginea de sus: arta de Jim Cooke