«Slim por el Chocolate!»los titulares resonaron. Un equipo de investigadores alemanes descubrió que las personas con una dieta baja en carbohidratos perdían peso un 10 por ciento más rápido si comían una barra de chocolate todos los días. Llegó a la primera plana de Bild, el periódico diario más grande de Europa, justo debajo de su actualización sobre el accidente de Germanwings. A partir de ahí, rebotó por Internet y más allá, haciendo noticias en más de 20 países y media docena de idiomas. Fue discutido en programas de noticias de televisión. Apareció en papel brillante, más recientemente en la edición de junio de la revista Shape («Why You Must Eat Chocolate Daily», página 128). El estudio encontró que el chocolate no solo acelera la pérdida de peso, sino que también conduce a niveles de colesterol más saludables y un mayor bienestar general. La historia de Bild cita al autor principal del estudio, Johannes Bohannon, Ph. D., director de investigación del Instituto de Dieta y Salud: «La mejor parte es que puedes comprar chocolate en todas partes.»

yo soy Johannes Bohannon, Tel. D. Bueno, en realidad mi nombre es Juan y soy periodista. Tengo un doctorado, pero es en biología molecular de bacterias, no de humanos. ¿El Instituto de Dieta y Salud? Eso no es más que un sitio web.

Aparte de esas mentiras, el estudio fue 100 por ciento auténtico. Mis colegas y yo reclutamos seres humanos reales en Alemania. Realizamos un ensayo clínico real, con sujetos asignados aleatoriamente a diferentes regímenes dietéticos. Y los beneficios estadísticamente significativos del chocolate que reportamos se basan en los datos reales. Fue, de hecho, un estudio bastante típico para el campo de la investigación de dietas. Es decir: Fue una ciencia terrible. Los resultados no tienen sentido, y las afirmaciones de salud que los medios de comunicación emitieron a millones de personas en todo el mundo son totalmente infundadas.

he Aquí cómo lo hicimos.

La configuración

Recibí una llamada en diciembre del año pasado de un reportero de televisión alemán llamado Peter Onneken. Él y su colaboradora Diana Löbl estaban trabajando en un documental sobre la industria de la dieta de ciencia basura. Querían que les ayudara a demostrar lo fácil que es convertir la mala ciencia en los grandes titulares detrás de las modas dietéticas. Y Onneken quería hacerlo al estilo gonzo: Revele la corrupción del complejo de investigación de medios de comunicación de dieta participando.

La llamada no era una completa sorpresa. El año anterior, había llevado a cabo una operación encubierta para Science en revistas de acceso abierto de pago, un nuevo sector lucrativo y de rápido crecimiento del negocio editorial académico. Para averiguar cuántos de esos editores están manteniendo su promesa de hacer una rigurosa revisión por pares, envié documentos ridículamente defectuosos y conté cuántos los rechazaron. (Respuesta: menos de la mitad.)

Onneken y Löbl lo tenían todo preparado: unos pocos miles de euros para reclutar sujetos de investigación, un médico alemán para llevar a cabo el estudio y un amigo estadístico para masajear los datos. Onneken escuchó sobre mi diario sting y pensó que sabría cómo reunirlo todo y publicarlo. El único problema era el tiempo: la película estaba programada para emitirse en la televisión alemana y francesa a finales de primavera (se estrenará la próxima semana), por lo que en realidad solo tuvimos un par de meses para lograrlo.

¿Podríamos publicar algo? Probablemente. Pero más allá de eso? Pensé que se esfumaría. A los periodistas científicos nos gusta pensar que somos más inteligentes que el hackeo promedio. Después de todo, tenemos que entender la investigación científica arcana lo suficientemente bien como para explicarla. Y para los periodistas que no tienen conocimientos científicos, tan pronto como recurrieron a fuentes externas para sus historias, en realidad cualquier persona con un título en ciencias, y mucho menos un científico de nutrición real, descubrirían que el estudio era ridículamente endeble. Sin mencionar que una búsqueda en Google no arrojó ningún rastro de Johannes Bohannon o su supuesto instituto. Los periodistas de ciencia de la salud iban a oler esto a una milla de distancia. Pero no quería sonar pesimista. «Veamos hasta dónde podemos llegar», dije.

Con

Onneken y Löbl no perdió el tiempo. Usaron Facebook para reclutar sujetos en Frankfurt, ofreciendo 150 euros a cualquiera que estuviera dispuesto a hacer dieta durante 3 semanas. Dejaron en claro que esto era parte de un documental sobre dietas, pero no dieron más detalles. En una fría mañana de enero, se presentaron 5 hombres y 11 mujeres, de 19 a 67 años de edad.

Gunter Frank, un médico general en la broma, se ejecutó el ensayo clínico. Onneken lo había atraído después de leer un libro popular que Frank escribió contra la pseudociencia dietética. Probar el chocolate amargo como suplemento dietético fue su idea. Cuando le pregunté por qué, Frank dijo que era uno de los favoritos de los fanáticos de la» comida completa». «El chocolate amargo sabe mal, por lo tanto, debe ser bueno para ti», dijo. «Es como una religión.»

Después de una ronda de cuestionarios y análisis de sangre para asegurarse de que nadie tuviera trastornos alimenticios, diabetes u otras enfermedades que pudieran poner en peligro a ellos, Frank asignó aleatoriamente a los sujetos a uno de los tres grupos de dieta. Un grupo siguió una dieta baja en carbohidratos. Otro siguió la misma dieta baja en carbohidratos más una dosis diaria de 1,5 onzas. barra de chocolate negro. Y el resto, un grupo de control, recibió instrucciones de no hacer cambios en su dieta actual. Se pesaron cada mañana durante 21 días, y el estudio terminó con una ronda final de cuestionarios y análisis de sangre.

Onneken luego se dirigió a su amigo Alex Droste-Haars, un analista financiero, para hacer cálculos. Un fin de semana lleno de cerveza más tarde… jackpot! Ambos grupos de tratamiento perdieron aproximadamente 5 libras en el transcurso del estudio, mientras que el peso corporal promedio del grupo de control fluctuó hacia arriba y hacia abajo alrededor de cero. ¿Pero la gente con dieta baja en carbohidratos y chocolate? Perdieron peso un 10% más rápido. Esa diferencia no solo fue estadísticamente significativa, sino que el grupo de chocolate tuvo mejores lecturas de colesterol y puntajes más altos en la encuesta de bienestar.

El Gancho

yo sé lo que estás pensando. El estudio mostró una pérdida de peso acelerada en el grupo del chocolate, ¿no deberíamos confiar en él? ¿No es así como funciona la ciencia?

he Aquí un pequeño y sucio secreto de la ciencia: Si mide un gran número de cosas sobre un pequeño número de personas, casi se garantiza que obtendrá un resultado «estadísticamente significativo». Nuestro estudio incluyó 18 mediciones diferentes: peso, colesterol, sodio, niveles de proteínas en sangre, calidad del sueño, bienestar, etc.- de 15 personas. (Se descartó un tema.) Que el diseño del estudio es una receta para falsos positivos.

Creo que de las mediciones como billetes de lotería. Cada uno tiene una pequeña posibilidad de dar sus frutos en forma de un resultado «significativo» que podemos dar la vuelta a una historia y venderla a los medios de comunicación. Cuantos más boletos compres, más probabilidades tendrás de ganar. No sabíamos exactamente qué funcionaría – el titular podría haber sido que el chocolate mejora el sueño o reduce la presión arterial—, pero sabíamos que nuestras posibilidades de obtener al menos un resultado «estadísticamente significativo» eran bastante buenas.

Cada vez que escuches esa frase, significa que algún resultado tiene un pequeño valor p. La letra p parece tener potencia totémica, pero es solo una forma de medir la relación señal / ruido en los datos. El límite convencional para ser «significativo» es de 0.05, lo que significa que solo hay un 5 por ciento de probabilidades de que el resultado sea una fluctuación aleatoria. Cuantos más boletos de lotería, mejores serán sus posibilidades de obtener un falso positivo. ¿Cuántas entradas necesitas comprar?

P (ganador)=1 – (1 – p) n

Con nuestras 18 mediciones, tuvimos un 60% de probabilidades de obtener algún resultado»significativo» con p < 0.05. (Las mediciones no eran independientes, por lo que podrían ser incluso más altas. El juego estaba a nuestro favor.

Se llama p-hacking, juguetear con el diseño experimental y los datos para empujar p por debajo de 0.05—y es un gran problema. La mayoría de los científicos son honestos y lo hacen inconscientemente. Obtienen resultados negativos, se convencen de que cometieron errores y repiten el experimento hasta que «funciona».»O eliminan puntos de datos» atípicos».

Pero incluso si hemos sido cuidadosos para evitar la p-hacking, nuestro estudio fue condenado por el pequeño número de sujetos, que amplifica los efectos de factores no controlados. Solo para tomar un ejemplo: El peso de una mujer puede fluctuar hasta 5 libras a lo largo de su ciclo menstrual, mucho mayor que la diferencia de peso entre nuestros grupos de chocolate y bajos en carbohidratos. Por eso es necesario utilizar a un gran número de personas y equilibrar la edad y el género entre los grupos de tratamiento. (No nos molestamos.)

También puede leer las hojas de té y tratar de interpretar nuestros resultados. El chocolate puede ser un acelerador de pérdida de peso, o podría ser lo contrario. Ni siquiera puedes confiar en la pérdida de peso que experimentó nuestro grupo sin chocolate y bajo en carbohidratos en comparación con el control. ¿Quién sabe qué comía el puñado de personas del grupo de control? Ni siquiera les preguntamos.

por Suerte, los científicos están consiguiendo sabio a estos problemas. Algunas revistas están tratando de eliminar gradualmente las pruebas de importancia del valor p para empujar a los científicos a mejores hábitos. Y casi nadie toma en serio los estudios con menos de 30 sujetos. Los editores de revistas de renombre los rechazan de plano antes de enviarlos a revisores. Pero hay muchas revistas que se preocupan más por el dinero que por la reputación.

El Hombre interior

Era hora de compartir nuestro avance científico con el mundo. Necesitábamos que nuestro estudio se publicara pronto, pero como era una ciencia tan mala, necesitábamos saltarnos por completo la revisión por pares. Convenientemente, hay listas de editores de revistas falsas. (Esta es mi lista, y aquí hay otra. Como el tiempo era escaso, envié simultáneamente nuestro artículo—»Chocolate con alto contenido de cacao como acelerador de pérdida de peso»-a 20 revistas. Luego cruzamos los dedos y esperamos.

Nuestro artículo fue aceptado para su publicación por varias revistas dentro de las 24 horas. Huelga decir que no nos enfrentamos a ninguna revisión por pares. El pretendiente ansioso que finalmente elegimos fue el Archivo Internacional de Medicina. Solía ser dirigido por la editorial gigante BioMedCentral, pero recientemente cambió de manos. El CEO de la nueva editorial, Carlos Vásquez, le envió un correo electrónico a Johannes para hacerle saber que habíamos producido un «manuscrito excepcional», y que por solo 600 euros «podría ser aceptado directamente en nuestra revista principal».»

Aunque el editor del Archivo afirma que» todos los artículos enviados a la revista se revisan de manera rigurosa», nuestro artículo se publicó menos de 2 semanas después de que se cobrara la tarjeta de crédito de Onneken. No se cambió ni una palabra.

Las marcas

Con el papel fuera, era hora de hacer algo de ruido. Llamé a un amigo de un amigo que trabaja en relaciones públicas científicas. Ella me guió a través de algunos de los trucos sucios para agarrar titulares. Fue espeluznante escuchar el otro lado de algo que experimento todos los días.

La clave es aprovechar los periodistas increíble pereza. Si presenta la información de la manera correcta, puede dar forma a la historia que emerge en los medios de comunicación casi como si estuviera escribiendo esas historias usted mismo. De hecho, eso es literalmente lo que estás haciendo, ya que muchos reporteros simplemente copiaron y pegaron nuestro texto.

Echa un vistazo al comunicado de prensa que preparé. Lo tiene todo. En jerga de reportero: un lede sexy, un grafo de nueces claro, algunas citas contundentes y un pateador. Y no hay necesidad de leer el artículo científico porque los detalles clave ya están resumidos. Tuve especial cuidado de mantenerlo preciso. En lugar de engañar a los periodistas, el objetivo era atraerlos con un comunicado de prensa completamente típico sobre un artículo de investigación. (Por supuesto, lo que falta es el número de sujetos y las minúsculas diferencias de peso entre los grupos.)

Pero un buen comunicado de prensa no es suficiente. Los periodistas también tienen hambre de «arte», algo bonito para mostrar a sus lectores. Así que Onneken y Löbl grabaron algunos videoclips promocionales y encargaron a artistas independientes que escribieran una balada acústica e incluso un rap sobre el chocolate y la pérdida de peso. (Resulta que puedes contratar gente en Internet para hacer casi cualquier cosa.)

Onneken escribió un comunicado de prensa alemán y llegó directamente al alemán de medios de comunicación. La promesa de una historia» exclusiva » es muy tentadora, incluso si es falsa. Luego criticó el comunicado de prensa alemán en servicio de cable con sede en Austria, y el inglés salió en el NewsWire. No había control de calidad. Eso quedó en manos de los periodistas.

Sentí una mezcla de orgullo y asco mientras nuestro señuelo se lanzaba al mundo.

El Score

aterrizamos big fish antes incluso de que sabían que iban a morder. Bild se apresuró a publicar su historia: «¡Los que comen chocolate se quedan delgados!»- sin contactarme en absoluto. Pronto estuvimos en The Daily Star, the Irish Examiner, el sitio web alemán de Cosmopolitan, the Times of India, el sitio web alemán e indio del Huffington Post, e incluso noticias de televisión en Texas y un programa de entrevistas matutino australiano.

Cuando los reporteros en contacto conmigo en todas, se preguntó superficial preguntas. «¿Por qué crees que el chocolate acelera la pérdida de peso? ¿Tiene algún consejo para nuestros lectores?»Casi nadie preguntó cuántos sujetos probamos, y nadie informó de ese número. Ni un solo reportero parece haber contactado a un investigador externo. No se cita ninguna.

Estas publicaciones, a pesar de que muchos de comando a un gran público, no son exactamente los modelos de periodística de la virtud. Así que no es sorprendente que simplemente tomaran un poco de compinche digital para el titular, cosecharan las páginas vistas y siguieran adelante. Pero incluso las salidas supuestamente rigurosas que recogieron el estudio no pudieron detectar los agujeros.

El informe de la revista Shape sobre nuestro estudio—vaya a la página 128 en el número de junio—empleó los servicios de un verificador de datos, pero fue igual de mediocre. Todo lo que hizo el corrector fue ejecutar un par de frases por mí para la precisión y comprobar la ortografía de mi nombre. La cobertura fue tan lejos como para especificar el contenido de cacao apropiado para el chocolate que induce la pérdida de peso (81 por ciento) e incluso mencionó dos marcas específicas («disponible en tiendas de comestibles y en amazon.com»).

Algunos esquivaron la bala. Un reportero de Men’s Health me entrevistó por correo electrónico, haciendo el mismo tipo de preguntas sin sondeo. Dijo que la historia estaba programada para su edición de septiembre, así que nunca lo sabremos.

¿Pero más decepcionante? Nadie se sumergió en nuestro buffet de videos musicales de chocolate. En su lugar, utilizaron imágenes vagamente pornográficas de mujeres comiendo chocolate. Tal vez esta música tome vida propia ahora que la verdad está a la vista:

The Knock

Entonces, ¿por qué debería importarte? Las personas que están desesperadas por información confiable se enfrentan a una desconcertante variedad de pautas de dieta: la sal es mala, la sal es buena, la proteína es buena, la proteína es mala, la grasa es mala, la grasa es buena, que cambia como el clima. Pero la ciencia lo resolverá, ¿verdad? Ahora que estamos llamando a la obesidad una epidemia, los fondos fluirán a los mejores científicos y todo este ruido desaparecerá, dejándonos respuestas claras a las causas y tratamientos.

O tal vez no. Incluso la investigación seria y bien financiada sobre la ciencia de la pérdida de peso es confusa e inconclusa, lamenta Peter Attia, un cirujano que cofundó una organización sin fines de lucro llamada la Iniciativa de Ciencia de la Nutrición. Por ejemplo, la Iniciativa para la Salud de la Mujer, una de las más grandes de su tipo, arrojó pocas ideas claras sobre la dieta y la salud. «Los resultados fueron confusos», dice Attia. «Gastaron 1 1 mil millones y ni siquiera pudieron probar que una dieta baja en grasas es mejor o peor.»La organización sin fines de lucro de Attia está tratando de recaudar 1 190 millones para responder a estas preguntas fundamentales. Pero es difícil centrar la atención en la ciencia de la obesidad, dice. «Hay mucho ruido.»Puedes agradecer a la gente como yo por eso. Los periodistas tenemos que alimentar a la bestia de las noticias diarias, y la ciencia de la dieta es nuestro cuerno de la abundancia. Los lectores no pueden obtener suficientes historias sobre los beneficios del vino tinto o los peligros de la fructosa. No solo es universalmente relevante, sino que se refiere a las decisiones que todos tomamos al menos tres veces al día, ¡sino que es ciencia! Ni siquiera tenemos que salir de casa para hacer ningún reportaje. Simplemente sumergimos nuestras tazas en el flujo diario de comunicados de prensa científicos que fluyen a través de nuestras bandejas de entrada. Pon una foto de archivo y listo.

El único problema con la dieta de la ciencia beat es que es la ciencia. Tienes que saber leer un artículo científico – y realmente molestarte en hacerlo. Durante demasiado tiempo, las personas que cubren este tema lo han tratado como chismes, haciéndose eco de lo que encuentren en los comunicados de prensa. Esperemos que nuestro pequeño experimento haga que reporteros y lectores por igual sean más escépticos.Si un estudio ni siquiera enumera cuántas personas participaron en él, o hace una afirmación audaz de la dieta que es «estadísticamente significativa», pero no dice cuán grande es el tamaño del efecto, debería preguntarse por qué. Pero en su mayor parte, no lo hacemos, lo cual es una lástima, porque los periodistas se están convirtiendo en el sistema de revisión por pares de facto. Y cuando fallamos, el mundo está inundado de ciencia basura.

había una luz de esperanza en esta tragicomedia. Mientras los reporteros solo regurgitaban nuestros «hallazgos», muchos lectores eran reflexivos y escépticos. En los comentarios en línea, plantearon preguntas que los reporteros deberían haber hecho.

» ¿Por qué no se cuentan las calorías en ninguno de los individuos?», preguntó un lector en un foro de culturismo. «El dominio se registró a principios de marzo, y docenas de blogs y revistas de noticias (ver Google) difundieron este estudio sin saber qué o quién está detrás de él», dijo un lector debajo de the story in Focus, una de las principales revistas en línea de Alemania. O como dijo un lector profético de la historia del 4 de abril en el Daily Express ,» Todos los días son inocentes en nutrición.»

Corrección: El estudio al que hace referencia Peter Attia se llamó Iniciativa de Salud de la Mujer, no Estudio de Salud de la Mujer, y fue uno de los más grandes de su tipo, no el más grande. Además, cuando se publicó, este artículo presentaba erróneamente una captura de pantalla que mostraba la cobertura del Daily Mail de un estudio sobre el chocolate, pero no el que se discute en esta historia. Al día siguiente de la publicación, lo reemplazamos con una captura de pantalla de la cobertura real del estudio en el Daily Mail.

Actualizar: El documento ha sido retirado del sitio web de los Archivos Internacionales de Medicina, pero puede leerlo aquí.

Imagen superior: Arte de Jim Cooke