Frank losowo przydzielił badanych do jednej z trzech grup dietetycznych. Jedna grupa stosowała dietę niskowęglowodanową. Inny po tej samej diecie niskowęglowodanowej plus codziennie 1,5 uncji. batonik gorzkiej czekolady. A reszta, grupa kontrolna, została poinstruowana, aby nie wprowadzać zmian w swojej obecnej diecie. Ważyli się każdego ranka przez 21 dni, a badanie kończyło się ostatnią rundą kwestionariuszy i badań krwi.

Onneken następnie zwrócił się do swojego przyjaciela Alexa Droste-Haarsa, analityka finansowego, aby schrupać liczby. Jeden piwny weekend później i… bingo! Obie grupy terapeutyczne straciły około 5 funtów w trakcie badania, podczas gdy średnia masa ciała grupy kontrolnej wahała się w górę iw dół wokół zera. Ale ludzie na diecie niskowęglowodanowej plus czekolada? Schudli 10% szybciej. Różnica ta była nie tylko statystycznie istotna, ale grupa czekoladowa miała lepsze odczyty cholesterolu i wyższe wyniki w badaniu dobrego samopoczucia.

hak

wiem o czym myślisz. Badanie wykazało przyspieszone odchudzanie w grupie czekolady—czy nie powinniśmy mu ufać? Czy nie tak działa nauka?

oto brudny mały sekret naukowy: Jeśli zmierzysz dużą liczbę rzeczy o małej liczbie osób, masz prawie gwarancję uzyskania „statystycznie istotnego” wyniku. Nasze badanie obejmowało 18 różnych pomiarów-waga, cholesterol, sód, poziom białka we krwi, jakość snu, dobre samopoczucie itp.- od 15 osób. (Jeden temat został odrzucony.), Że projekt badania jest receptą na fałszywe alarmy.

Każdy z nich ma małą szansę na spłatę w postaci „znaczącego” wyniku, który możemy obrócić w historię i sprzedać mediom. Im więcej kuponów kupisz, tym większe prawdopodobieństwo wygranej. Nie wiedzieliśmy dokładnie, co będzie-nagłówek mógł być taki, że czekolada poprawia sen lub obniża ciśnienie krwi – ale wiedzieliśmy, że nasze szanse na uzyskanie przynajmniej jednego „statystycznie istotnego” wyniku są całkiem dobre.

ilekroć słyszysz tę frazę, oznacza to, że jakiś wynik ma małą wartość P. Litera p wydaje się mieć moc totemiczną, ale to tylko sposób na zmierzenie stosunku sygnału do szumu w danych. Konwencjonalne ograniczenie dla bycia „znaczącym” wynosi 0,05, co oznacza, że istnieje tylko 5% szansy, że wynik jest przypadkową fluktuacją. Im więcej kuponów na loterię, tym większe szanse na uzyskanie fałszywego wyniku. Ile biletów trzeba kupić?

p(winning) = 1 – (1 – p)n

dzięki naszym 18 pomiarom mieliśmy 60% szansy na uzyskanie”istotnego” wyniku z p< 0.05. (Pomiary nie były niezależne, więc może być jeszcze wyższa.) Gra była ułożona na naszą korzyść.

to się nazywa P-hacking—manipulowanie eksperymentalnym projektem i danymi, aby wcisnąć p poniżej 0.05—i to jest duży problem. Większość naukowców jest uczciwa i robi to nieświadomie. Uzyskują negatywne wyniki, przekonują się, że oszukali i powtarzają eksperyment, aż „zadziała”.”Lub upuszczają” odstające ” punkty danych.

ale nawet jeśli byliśmy ostrożni, aby uniknąć P-hackingu, nasze badania były skazane na porażkę przez niewielką liczbę osób, które wzmacnia skutki niekontrolowanych czynników. Weźmy tylko jeden przykład: waga kobiety może wahać się nawet o 5 funtów w trakcie cyklu miesiączkowego, znacznie większa niż różnica wagi między naszymi grupami czekoladowymi a niskowęglowodanowymi. Dlatego musisz użyć dużej liczby osób i zrównoważyć wiek i płeć w różnych grupach terapeutycznych. (Nie zawracaliśmy sobie głowy.)

równie dobrze można przeczytać liście herbaty, jak spróbować zinterpretować nasze wyniki. Czekolada może być akceleratorem odchudzania, lub może być odwrotnie. Nie można nawet zaufać odchudzanie, że nasza grupa non-czekolada low-carb doświadczył w porównaniu do kontroli. Kto wie, co jadła garstka ludzi z grupy kontrolnej? Nawet ich nie zapytaliśmy.

Niektóre czasopisma próbują całkowicie wycofać testy istotności wartości p, aby zachęcić naukowców do lepszych nawyków. I prawie nikt nie bierze na poważnie studiów z mniej niż 30 przedmiotami. Redaktorzy renomowanych czasopism odrzucają je z rąk do rąk przed wysłaniem do recenzentów. Ale jest wiele czasopism, które bardziej dbają o pieniądze niż reputację.

the Inside Man

nadszedł czas, aby podzielić się naszym naukowym przełomem ze światem. Musieliśmy szybko opublikować nasze badanie, ale ponieważ było to tak złe, musieliśmy całkowicie pominąć recenzowanie. Wygodnie, istnieją listy fałszywych wydawców czasopism. (To moja lista, a tu kolejna.) Ponieważ czas był krótki, jednocześnie zgłosiłem naszą pracę – „czekolada o wysokiej zawartości kakao jako akcelerator odchudzania”—do 20 czasopism. Potem trzymaliśmy kciuki i czekaliśmy.

Nasz artykuł został przyjęty do publikacji przez wiele czasopism w ciągu 24 godzin. Nie trzeba dodawać, że nie mieliśmy żadnej wzajemnej oceny. Zapaleńcem, którego ostatecznie wybraliśmy, było Międzynarodowe Archiwum medycyny. Kiedyś był prowadzony przez gigantycznego wydawcę BioMedCentral, ale ostatnio zmienił właściciela. CEO nowego wydawcy, Carlos Vasquez, wysłał do Johannesa e-maila z informacją, że wyprodukowaliśmy „wybitny rękopis” i że za jedyne 600 euro ” można go zaakceptować bezpośrednio w naszym premierowym dzienniku.”

mimo że redaktor Archiwum twierdzi, że” wszystkie artykuły przesłane do czasopisma są recenzowane w rygorystyczny sposób”, nasza praca została opublikowana mniej niż 2 tygodnie po obciążeniu karty kredytowej Onneken. Ani jedno słowo nie zostało zmienione.

znaki

z papierem, nadszedł czas, aby zrobić trochę hałasu. Zadzwoniłem do znajomego znajomego, który pracuje w naukowym PR. Opowiedziała mi o niektórych brudnych sztuczkach za łapanie nagłówków. To było niesamowite usłyszeć drugą stronę czegoś, czego doświadczam każdego dnia.

kluczem jest wykorzystanie niesamowitego lenistwa dziennikarzy. Jeśli dobrze rozłożysz informacje, możesz kształtować historię, która wyłania się w mediach, prawie tak, jakbyś sam je pisał. W rzeczywistości, to jest dosłownie to, co robisz, ponieważ wielu reporterów po prostu skopiował i wkleił nasz tekst.

spójrz na notatkę prasową, którą przygotowałem. Ma wszystko. W żargonie reporterskim: seksowna dioda LED, wyraźny Graf orzechów, mocne cytaty i kicker. I nie ma potrzeby nawet czytać pracy naukowej, ponieważ kluczowe szczegóły są już przegięte. Zadbałem o dokładność. Zamiast oszukiwać dziennikarzy, celem było zwabienie ich całkowicie typową informacją prasową o pracy badawczej. (Oczywiście brakuje liczby badanych i drobnych różnic wagowych między grupami.)

ale dobra informacja prasowa to za mało. Reporterzy są również głodni „sztuki”, czegoś ładnego do pokazania swoim czytelnikom. Tak więc Onneken i Löbl nakręcili kilka klipów promocyjnych i zlecili niezależnym artystom napisanie akustycznej ballady, a nawet rapu o czekoladzie i odchudzaniu. (Okazuje się, że można zatrudnić ludzi w Internecie do prawie wszystkiego.)

Onneken napisał niemiecką informację prasową i skontaktował się bezpośrednio z niemieckimi mediami. Obietnica” ekskluzywnej ” historii jest bardzo kusząca, nawet jeśli jest fałszywa. Następnie wysadził Niemiecki komunikat prasowy na wire service z siedzibą w Austrii, a Angielski wyszedł na NewsWire. Nie było kontroli jakości. To zostawiono dziennikarzom.

poczułem dziwaczną mieszankę dumy i obrzydzenia, gdy nasza przynęta ruszyła w świat.

wynik

wylądowaliśmy duże ryby, zanim się zorientowaliśmy, że gryzą. Bild rzucił swoją historię – ” ci, którzy jedzą czekoladę, pozostają szczupli!”- Nie kontaktując się ze mną w ogóle. Wkrótce byliśmy w Daily Star, Irish Examiner, niemieckiej stronie Cosmopolitan, The Times of India, niemieckiej i indyjskiej stronie Huffington Post, a nawet w wiadomościach telewizyjnych w Teksasie i australijskim porannym talk show.

Kiedy reporterzy w ogóle się ze mną skontaktowali, zadawali pytania. „Dlaczego według Ciebie czekolada przyspiesza odchudzanie? Masz jakieś rady dla naszych czytelników?”Prawie nikt nie pytał, ile testowaliśmy i nikt nie zgłosił tej liczby. Żaden reporter nie kontaktował się z zewnętrznym badaczem. Żaden nie jest cytowany.

te publikacje, choć wiele gromadzi dużą publiczność, nie są do końca paralotniami dziennikarskich cnót. Nie jest więc zaskakujące, że po prostu chwycili trochę cyfrowego kumpla za nagłówek, zbierali przeglądy stron i ruszyli dalej. Ale nawet rzekomo rygorystyczne wyloty, które wybrały badanie, nie wykryły dziur.

raport magazynu Shape o naszym badaniu—Przejdź na stronę 128 w czerwcowym numerze—korzystał z usług kontrolera faktów, ale był równie słaby. Wszystko, co zrobił sprawdzacz, to przepuścić kilka zdań przeze mnie dla dokładności i sprawdzić pisownię mojego imienia. Zakres posunął się tak daleko, aby określić odpowiednią zawartość kakao dla czekolady pobudzającej odchudzanie (81 procent), a nawet wspomnieć o dwóch konkretnych markach („dostępne w sklepach spożywczych i na amazon.com”).

niektórzy uniknęli kuli. Reporter z Men ’ s Health przeprowadził ze mną wywiad przez e-mail, zadając takie same pytania. Powiedziała, że artykuł został zaplanowany do ich wrześniowego wydania, więc nigdy się nie dowiemy.

ale najbardziej rozczarowujące? Nikt nie zanurzył się w naszych czekoladowych teledyskach. Zamiast tego użyli niejasno pornograficznych zdjęć kobiet jedzących czekoladę. Być może ta muzyka nabierze własnego życia teraz, gdy prawda się wyda:

Puk

więc czemu miałoby cię to obchodzić? Ludzie, którzy desperacko szukają wiarygodnych informacji, stają przed oszałamiającym wachlarzem wskazówek dotyczących diety—sól jest zła, sól jest dobra, białko jest dobre, białko jest złe, tłuszcz jest zły, tłuszcz jest dobry—to zmienia się podobnie jak pogoda. Ale nauka to rozgryzie, prawda? Teraz, gdy nazywamy otyłość epidemią, fundusze trafią do najlepszych naukowców i cały ten hałas ucichnie, pozostawiając nam jasne odpowiedzi na przyczyny i leczenie.

a może nie. Nawet dobrze finansowane, poważne badania nad nauką odchudzania są mylące i niejednoznaczne, lamentuje Peter Attia, chirurg, który współtworzył organizację non-profit o nazwie inicjatywa Nauki o żywieniu. Na przykład inicjatywa na Rzecz Zdrowia Kobiet—jedna z największych w swoim rodzaju-przyniosła kilka jasnych informacji na temat diety i zdrowia. „Wyniki były po prostu mylące”, mówi Attia. „Wydali miliard dolarów i nie mogli nawet udowodnić, że dieta niskotłuszczowa jest lepsza lub gorsza.”Organizacja non-profit attii próbuje zebrać 190 milionów dolarów, aby odpowiedzieć na te fundamentalne pytania. Ale trudno jest skupić uwagę na nauce o otyłości, mówi. „Jest tyle hałasu.”
możesz dziękować ludziom takim jak ja za to. My, dziennikarze, musimy nakarmić bestię z codziennych wiadomości, a dietetyka to nasz róg obfitości. Czytelnicy po prostu nie mogą uzyskać wystarczająco dużo opowieści o korzyściach płynących z czerwonego wina lub niebezpieczeństwach związanych z fruktozą. Nie tylko jest to uniwersalne-dotyczy decyzji, które wszyscy podejmujemy co najmniej trzy razy dziennie – ale jest to nauka! Nie musimy nawet wychodzić z domu, żeby coś zgłosić. Po prostu zanurzamy nasze kubki w codziennym strumieniu naukowych komunikatów prasowych przepływających przez nasze skrzynki odbiorcze. Przyczepić się do żwawego Zdjęcia i gotowe.

jedynym problemem z dietą jest to, że jest to nauka. Trzeba umieć czytać pracę naukową – i faktycznie się tym zajmować. Zbyt długo ludzie, którzy nagrywają ten bit, traktowali go jak plotkę, powtarzając wszystko, co znajdą w komunikatach prasowych. Miejmy nadzieję, że nasz mały eksperyment sprawi, że dziennikarze i czytelnicy będą bardziej sceptyczni.
Jeśli w badaniu nie ma nawet listy, ile osób brało w nim udział, lub odważne twierdzenie o diecie, które jest „statystycznie istotne”, ale nie mówi, jak duży jest rozmiar efektu, warto się zastanowić, dlaczego. A szkoda, bo dziennikarze stają się de facto systemem wzajemnej oceny. A kiedy zawiedziemy, świat jest zalany śmieciową nauką.

w tej tragikomedii był jeden błysk nadziei. Podczas gdy reporterzy po prostu odrzucali nasze „ustalenia”, wielu czytelników było rozważnych i sceptycznych. W komentarzach internetowych zadawali pytania, które reporterzy powinni byli zadać.

„Dlaczego kalorie nie są liczone na żadną osobę?”zapytał czytelnik na forum kulturystycznym. „Domena została zarejestrowana na początku marca, a dziesiątki blogów i czasopism informacyjnych (patrz Google) rozpowszechniają to badanie, nie wiedząc, co i kto za tym stoi” – powiedział czytelnik pod story in Focus, jednym z wiodących niemieckich magazynów internetowych.
albo jak to ujął jeden z czytelników artykułu z 4 kwietnia w „Daily Express”: „każdy dzień to Prima Aprilis w żywieniu.”

korekta: badanie, do którego odwołuje się Peter Attia, zostało nazwane Women 's Health Initiative, a nie Women’ s Health Study i było jednym z największych w swoim rodzaju, a nie największym. Ponadto, kiedy został opublikowany, ten artykuł błędnie zawierał zrzut ekranu pokazujący relację Daily Mail z badania czekolady, ale nie ten omówiony w tej historii. Dzień po publikacji, zastąpiliśmy go zrzut ekranu z rzeczywistym pokrycia Daily Mail z badania.

aktualizacja: Artykuł został usunięty ze strony internetowej International Archives of Medicine, ale można go przeczytać tutaj.

Top image: Art by Jim Cooke