Ecco come abbiamo fatto.

La configurazione

Ho ricevuto una chiamata nel dicembre dello scorso anno da un giornalista televisivo tedesco di nome Peter Onneken. Lui e la sua collaboratrice Diana Löbl stavano lavorando a un film documentario sull’industria della dieta scientifica spazzatura. Volevano che aiutassi a dimostrare quanto sia facile trasformare la cattiva scienza nei grandi titoli dietro le mode dietetiche. E Onneken voleva farlo in stile gonzo: Rivelare la corruzione del complesso di ricerca-media dieta partecipando.

La chiamata non è stata una sorpresa completa. L’anno prima, avevo eseguito un’operazione di puntura per la Scienza su riviste ad accesso aperto a pagamento, un nuovo settore in rapida crescita e redditizio del business editoriale accademico. Per scoprire quanti di questi editori stanno mantenendo la loro promessa di fare una rigorosa revisione tra pari, ho presentato documenti ridicolmente difettosi e contato quanti li hanno respinti. (Risposta: meno della metà.)

Onneken e Löbl avevano tutto in fila: poche migliaia di euro per reclutare soggetti di ricerca, un medico tedesco per eseguire lo studio e un amico statistico per massaggiare i dati. Onneken sentito parlare del mio sting diario e pensato che avrei saputo tirare tutto insieme e farlo pubblicare. L’unico problema era il tempo: il film doveva essere trasmesso sulla televisione tedesca e francese nella tarda primavera (in anteprima la prossima settimana), quindi abbiamo avuto solo un paio di mesi per farcela.

Potremmo ottenere qualcosa pubblicato? Probabilmente. Ma oltre a questo? Ho pensato che fosse sicuro di svanire. Noi giornalisti scientifici piace pensare a noi stessi come più intelligente rispetto alla hack media. Dopo tutto, dobbiamo capire abbastanza bene la ricerca scientifica arcana per spiegarla. E per i giornalisti che non hanno braciole scientifiche, non appena hanno sfruttato fonti esterne per le loro storie—davvero chiunque abbia una laurea in scienze, per non parlare di un vero scienziato della nutrizione—scoprirebbero che lo studio era ridicolmente fragile. Senza contare che una ricerca su Google ha prodotto alcuna traccia di Johannes Bohannon o il suo presunto istituto. I giornalisti della health science beat avrebbero sentito questo odore a un miglio di distanza. Ma non volevo sembrare pessimista. “Vediamo fino a che punto possiamo prendere questo”, ho detto.

Con

Onneken e Löbl sprecato tempo. Hanno usato Facebook per reclutare soggetti in giro per Francoforte, offrendo 150 euro a chiunque sia disposto ad andare a dieta per 3 settimane. Hanno chiarito che questo faceva parte di un film documentario sulla dieta, ma non hanno dato maggiori dettagli. In una fredda mattina di gennaio, 5 uomini e 11 donne si presentarono, di età compresa tra 19 e 67.

Gunter Frank, un medico generico nello scherzo, ha eseguito la sperimentazione clinica. Onneken lo aveva tirato in dopo aver letto un libro popolare Frank ha scritto ringhiera contro pseudoscienza dietetica. Testare il cioccolato amaro come integratore alimentare è stata la sua idea. Quando gli ho chiesto perché, Frank ha detto che era uno dei preferiti dei fanatici “whole food”. “Il cioccolato amaro ha un cattivo sapore, quindi deve essere buono per te”, ha detto. “È come una religione.”

Dopo un giro di questionari e analisi del sangue per assicurarsi che nessuno aveva disturbi alimentari, diabete o altre malattie che potrebbero mettere a repentaglio la loro, Frank assegnato in modo casuale i soggetti ad uno dei tre gruppi di dieta. Un gruppo ha seguito una dieta a basso contenuto di carboidrati. Un altro ha seguito la stessa dieta a basso contenuto di carboidrati più un quotidiano 1,5 once. barretta di cioccolato fondente. E il resto, un gruppo di controllo, è stato incaricato di non apportare modifiche alla loro dieta attuale. Si sono pesati ogni mattina per 21 giorni e lo studio si è concluso con un ciclo finale di questionari e esami del sangue.

Onneken si rivolse quindi al suo amico Alex Droste-Haars, un analista finanziario, per scricchiolare i numeri. Un fine settimana birra-alimentato più tardi e… jackpot! Entrambi i gruppi di trattamento hanno perso circa 5 chili nel corso dello studio, mentre il peso corporeo medio del gruppo di controllo ha oscillato su e giù intorno allo zero. Ma le persone sulla dieta low-carb più cioccolato? Hanno perso peso il 10 percento più velocemente. Non solo quella differenza era statisticamente significativa, ma il gruppo di cioccolato aveva letture di colesterolo migliori e punteggi più alti sul sondaggio sul benessere.

Il gancio

So cosa stai pensando. Lo studio ha mostrato una perdita di peso accelerata nel gruppo di cioccolato-non dovremmo fidarci? Non è così che funziona la scienza?

Ecco un piccolo segreto scientifico sporco: Se misuri un gran numero di cose su un piccolo numero di persone, hai quasi la garanzia di ottenere un risultato “statisticamente significativo”. Il nostro studio ha incluso 18 diverse misurazioni: peso, colesterolo, sodio, livelli di proteine nel sangue, qualità del sonno, benessere, ecc.- da 15 persone. (Un soggetto è stato abbandonato.) Che il design dello studio è una ricetta per i falsi positivi.

Pensa alle misurazioni come ai biglietti della lotteria. Ognuno ha una piccola possibilità di pagare sotto forma di un risultato “significativo” che possiamo girare una storia e vendere ai media. Più biglietti acquisti, più è probabile che tu vinca. Non sapevamo esattamente cosa sarebbe andato in onda-il titolo avrebbe potuto essere che il cioccolato migliora il sonno o abbassa la pressione sanguigna-ma sapevamo che le nostre possibilità di ottenere almeno un risultato “statisticamente significativo” erano piuttosto buone.

Ogni volta che senti quella frase, significa che alcuni risultati hanno un piccolo valore P. La lettera p sembra avere potere totemico, ma è solo un modo per misurare il rapporto segnale-rumore nei dati. Il taglio convenzionale per essere “significativo” è 0,05, il che significa che c’è solo una probabilità del 5% che il risultato sia una fluttuazione casuale. Più biglietti della lotteria, migliori sono le tue possibilità di ottenere un falso positivo. Quindi quanti biglietti hai bisogno di comprare?

P(winning) = 1 – (1 – p)n

Con le nostre 18 misurazioni, abbiamo avuto il 60% di possibilità di ottenere un risultato”significativo” con p < 0.05. (Le misurazioni non erano indipendenti, quindi potrebbe essere ancora più alto.) Il gioco è stato accatastato a nostro favore.

Si chiama p-hacking—giocherellare con il tuo design sperimentale e dati per spingere p sotto 0.05—ed è un grosso problema. La maggior parte degli scienziati è onesta e lo fa inconsciamente. Ottengono risultati negativi, si convincono che hanno scherzato e ripetono l’esperimento finché non “funziona.”O rilasciano punti dati “anomali”.

Ma anche se ci fosse stato attento ad evitare i p-hacking, il nostro studio è stato condannato dal piccolo numero di soggetti, che amplifica gli effetti incontrollati fattori. Solo per fare un esempio: il peso di una donna può fluttuare fino a 5 sterline nel corso del suo ciclo mestruale, molto più grande della differenza di peso tra i nostri gruppi di cioccolato e low-carb. Ecco perché è necessario utilizzare un gran numero di persone e bilanciare età e sesso tra i gruppi di trattamento. (Non ci siamo preoccupati.)

Potresti anche leggere le foglie di tè come cercare di interpretare i nostri risultati. Il cioccolato può essere un acceleratore di perdita di peso, o potrebbe essere il contrario. Non puoi nemmeno fidarti della perdita di peso che il nostro gruppo a basso contenuto di carboidrati non al cioccolato ha sperimentato rispetto al controllo. Chissà cosa stavano mangiando le poche persone del gruppo di controllo? Non gliel’abbiamo nemmeno chiesto.

Fortunatamente, gli scienziati stanno diventando saggi a questi problemi. Alcune riviste stanno cercando di eliminare gradualmente i test di significatività del valore p per spingere gli scienziati in abitudini migliori. E quasi nessuno prende più seriamente gli studi con meno di 30 soggetti. Redattori di riviste rispettabili li respingono di mano prima di inviarli a peer reviewer. Ma ci sono un sacco di riviste che si preoccupano più di soldi che reputazione.

The Inside Man

Era giunto il momento di condividere la nostra svolta scientifica con il mondo. Avevamo bisogno di ottenere il nostro studio pubblicato pronto, ma dal momento che era così male la scienza, avevamo bisogno di saltare peer review del tutto. Convenientemente, ci sono liste di editori di riviste falsi. (Questa è la mia lista, ed ecco un altro.) Poiché il tempo era stretto, ho presentato contemporaneamente il nostro articolo-”Cioccolato ad alto contenuto di cacao come acceleratore per la perdita di peso ” —a 20 riviste. Poi abbiamo incrociato le dita e aspettato.

Il nostro articolo è stato accettato per la pubblicazione da più riviste entro 24 ore. Inutile dire che non abbiamo affrontato alcuna revisione tra pari. Il pretendente desideroso che alla fine abbiamo scelto è stato l’International Archives of Medicine. Ha usato per essere gestito dal gigante editore BioMedCentral, ma di recente ha cambiato le mani. Il CEO del nuovo editore, Carlos Vasquez, ha inviato un’email a Johannes per fargli sapere che avevamo prodotto un “manoscritto eccezionale” e che per soli 600 euro “potrebbe essere accettato direttamente nella nostra rivista premier.”

Sebbene l’editore degli Archivi affermi che “tutti gli articoli inviati alla rivista sono esaminati in modo rigoroso”, il nostro articolo è stato pubblicato meno di 2 settimane dopo l’addebito della carta di credito di Onneken. Non una sola parola è stata cambiata.

I segni

Con la carta fuori, era il momento di fare un po ‘ di rumore. Ho chiamato un amico di un amico che lavora in PR scientifica. Lei mi ha guidato attraverso alcuni dei trucchi sporchi per afferrare i titoli. Era inquietante sentire l’altro lato di qualcosa che provo ogni giorno.

La chiave è sfruttare l’incredibile pigrizia dei giornalisti. Se disponi le informazioni giuste, puoi modellare la storia che emerge nei media quasi come se stessi scrivendo quelle storie. In realtà, questo è letteralmente quello che stai facendo, dal momento che molti giornalisti hanno appena copiato e incollato il nostro testo.

Dai un’occhiata al comunicato stampa che ho preparato. Ha tutto. In reporter gergo: un lede sexy, un chiaro graf dado, alcune citazioni incisivi, e un kicker. E non c’è nemmeno bisogno di leggere il documento scientifico perché i dettagli chiave sono già stati riassunti. Ho fatto molta attenzione a mantenerlo preciso. Piuttosto che ingannare i giornalisti, l’obiettivo era quello di attirarli con un comunicato stampa completamente tipico su un documento di ricerca. (Naturalmente, ciò che manca è il numero di soggetti e le minuscole differenze di peso tra i gruppi.)

Ma un buon comunicato stampa non è sufficiente. I giornalisti sono anche affamati di” arte”, qualcosa di carino da mostrare ai loro lettori. Così Onneken e Löbl hanno girato alcuni videoclip promozionali e hanno commissionato ad artisti freelance una ballata acustica e persino un rap sul cioccolato e sulla perdita di peso. (Si scopre che è possibile assumere persone su Internet per fare quasi tutto.)

Onneken ha scritto un comunicato stampa tedesco e ha contattato direttamente i media tedeschi. La promessa di una storia “esclusiva” è molto allettante, anche se è falsa. Poi ha fatto saltare il comunicato stampa tedesco su wire service con sede in Austria, e quello inglese è uscito su NewsWire. Non c’era alcun controllo di qualità. Questo è stato lasciato ai giornalisti.

Ho sentito una miscela queazy di orgoglio e disgusto come il nostro richiamo zinged fuori nel mondo.

Il punteggio

Abbiamo atterrato big fish prima ancora di sapere che stavano mordendo. Bild si precipitò la loro storia fuori— ” Coloro che mangiano il cioccolato rimanere sottile!”- senza contattarmi affatto. Presto siamo stati in The Daily Star, the Irish Examiner, sito tedesco di Cosmopolitan, il Times of India, sia il sito tedesco e indiano del Huffington Post, e anche notizie televisive in Texas e un talk show mattutino australiano.

Quando i giornalisti mi hanno contattato, hanno fatto domande superficiali. “Perché pensi che il cioccolato acceleri la perdita di peso? Hai qualche consiglio per i nostri lettori?”Quasi nessuno ha chiesto quanti soggetti abbiamo testato e nessuno ha riportato quel numero. Non un singolo giornalista sembra aver contattato un ricercatore esterno. Nessuno è citato.