Nature luchará contra la irreproducibilidad de los resultados de investigación

Dibujo20130501 research reproducibility

Una práctica habitual, que cualquier estudiante que ha tratado de reproducir los resultados de un artículo técnico ha vivido en sus propias carnes, es la omisión de algún detalle importante, clave para la reproducción de los resultados. Los “jefes” tenemos que aplicar grandes dosis de ingenio para rellenar estas omisiones y convencer a nuestros estudiantes de que no son intencionadas (nunca se debe fomentar la “mala ciencia” entre nuestros pupilos). ¿Por qué muchos artículos científicos son irreproducibles? Quizás porque en la revisión por pares no hay tiempo para reproducir los resultados del artículo. Muchos revisores leen el artículo de forma diagonal y aceptan o rechazan el artículo en función de “detalles” (tanto técnicos como de forma), sin entrar en el meollo de la cuestión. ¿Deben los editores de las revistas de prestigio exigir a los revisores que garanticen la reproducibilidad de los resultados? La revista Nature ha decidido que a partir del próximo mes así lo exigirá. En mi opinión, otras revistas deberían seguir la misma filosofía. Nos lo cuentan en “Announcement: Reducing our irreproducibility,” Editorial, Nature, 24 Apr 2013. En el número de hoy dedican un especial a este asunto “Challenges in irreproducible research,” Special, Nature, 1 May 2013.

Dibujo20130501 research irreproducibility - for the sake of marketing

¿Una nueva carga para los revisores? No, según el anuncio oficial de Nature. Se supone que el comité editorial de Nature será el responsable de asegurar que las secciones de material y métodos de los artículos publicados presenten de forma sistemática toda la información necesaria. Se prestará especial atención al análisis estadístico de los resultados, alentando a los autores a ser rigurosos y transparentes. Sin embargo, nadie pondrá en duda que los revisores tendrán un papel muy importante en esta iniciativa de Nature. Todavía no se ha publicado el nuevo formulario a rellenar, pero con toda seguridad incluirá nuevos ítems relacionados con la reproducibilidad, metodología y robustez de los análisis presentados.

Dibujo20130501 research reproducibility - paper plane

El problema para los revisores no sólo es el tiempo (requerido para la revisión), sino también los medios. Muchos artículos en Nature utilizan equipos de laboratorio únicos, sólo disponibles en el momento de publicación por los autores del propio artículo. El conocimiento íntimo de estos equipos (con el objeto de descubrir algún detalle técnico imprescindible para la reproducibilidad de los resultados) está reservado de forma exclusiva a los propios autores (al menos hasta dentro de unos meses o años cuando otros laboratorios dispongan de equipos similares). Lograr que laboratorios independientes validen (o verifiquen) los resultados sobre el papel es muy fácil, pero en la práctica roza lo imposible. ¿Quién cubrirá dichos costes?

Dibujo20130501 research irreproducibility - a must

En mi opinión, el gran problema que se pretende resolver desde Nature está centrado en la literatura biomédica (pues en otros campos, como la nanotecnología, su solución es casi imposible). Los libros “Mala Ciencia” y “Mala Pharma” de Ben Goldacre discuten en detalle este problema y sus graves consecuencias en la práctica clínica. Todos nos ponemos en guardia cuando hablamos de vidas humanas y de la salud en general. Si un artículo (o una serie de artículos) son modificados o refutados por pruebas posteriores (que se podrían haber realizado en su momento), muchos enfermos pueden sufrir las consecuencias (a veces tan graves como para causarles una muerte más temprana). Pero realizar estas pruebas en el momento oportuno requiere dosis de transparencia por parte de laboratorios y empresas farmacéuticas, lo que está en tensión con sus intereses económicos. En mi opinión, las revistas científicas no pueden ser los únicos garantes de esta transparencia, en la que tienen que implicarse todas las partes interesadas. Algo que roza la utopía (aunque me pese mucho afirmarlo). Ya nos lo contaron en “Further confirmation needed,” Editorial, Nature Biotechnology 30: 806, 10 Sep 2012.

Dibujo20130501 Statistical power of a replication study - nature neuroscience

El gran problema de la reproducibilidad es el coste. No basta con reproducir el experimento con una muestra de tamaño similar, un análisis estadístico riguroso requiere utilizar tamaños muestrales mayores que reduzcan la dispersión del resultado. Esto es muy importante sobre todo cuando en el estudio original se han extraído conclusiones en el borde lo estadísticamente significativo (p ~ 0,05). Nos lo cuentan en más detalle en Katherine S. Button et al., “Power failure: why small sample size undermines the reliability of neuroscience,” Nature Reviews Neuroscience 14: 365-376, May 2013.

Dibujo20130501 accentuate the positive in scientific literature

Otro de los grandes problemas de la literatura científica es que se acentúan los resultados positivos. Nos pasa a todos. Recordamos cuando nos tocó la lotería una vez, pero olvidamos todas las veces que no nos tocó, aunque la cantidad de dinero que perdimos suele ser mayor que la que ganamos; esa vez que nos tocó alimenta nuestra esperanza de que nos vuelva a tocar y en mayor monto. La mayoría de las revistas publican resultados positivos porque son mucho más interesantes que los negativos para sus lectores. Por ello los resultados negativos tienen menor impacto y acaban desapareciendo de la literatura científica (salvo honrosas excepciones). La competición por el número de citas y por el índice de impacto tiene esta consecuencia, como nos contó Daniele Fanelli, “Negative results are disappearing from most disciplines and countries,” Scientometrics 90: 891-904, Mar 2012. Recomiendo la lectura de Ed Yong, “Replication studies: Bad copy. In the wake of high-profile controversies, psychologists are facing up to problems with replication,” Nature 485: 298–300, 17 May 2012.

En resumen, la iniciativa de Nature parece adecuada y necesaria, pero llevarla a la práctica requiere más que buenas intenciones. Deseo que sea un éxito, pero no auguro que acabe logrando lo que pretende. Espero errar.

Un pensamiento en “Nature luchará contra la irreproducibilidad de los resultados de investigación

  1. Yo ya he he tenido que rellenar el formulario. Hay un montón de preguntas que, si ya has escrito una buena sección de métodos, resultan redundantes. Pero si no la habías escrito, pues, ayuda a hacerlo. Me parece buena iniciativa, aunque resulte un engorro reportar todos los parámetros estadísticos (que pocas veces se incluyen en artículos biológicos). El problema de los artículos en biología, y en especial en neurociencia, en los últimos años, es que se ha disparado exponencialmente la complejidad y longitud del texto. Ya no aceptan artículos si no contienen una “buena historia”, y una “buena historia” suele llevar 4-5 años en completar. A veces más. Son 5 años de tests estadísticos. Literalmente no hay espacio para reportar semejante cantidad de datos en el texto. De ahí que el formulario parezca buena solución. Yo añadiría la obligatoriedad de incluir los westerns originales, fotos de immunocitoquimicas sin “retoques” originales, etc. Eso echará pa’tras a algún que otro “artista polifacético” de la estadística y asegurará un poco más la calidad y reproducibilidad del artículo. Pero, al mismo tiempo, complicara más la vida al autor. La solución es correcta pero hay que empezar a reducir la complejidad de los artículos YA, o los biólogos moriremos en el intento de publicar antes de jubilarnos (oh, wait, que lo de la jubilación nos lo están “arreglando”, al menos en Spain. Gracias, hombre)
    Saludos

Los comentarios están cerrados.