Nature luchará contra la irreproducibilidad de los resultados de investigación

Dibujo20130501 research reproducibility

Una práctica habitual, que cualquier estudiante que ha tratado de reproducir los resultados de un artículo técnico ha vivido en sus propias carnes, es la omisión de algún detalle importante, clave para la reproducción de los resultados. Los “jefes” tenemos que aplicar grandes dosis de ingenio para rellenar estas omisiones y convencer a nuestros estudiantes de que no son intencionadas (nunca se debe fomentar la “mala ciencia” entre nuestros pupilos). ¿Por qué muchos artículos científicos son irreproducibles? Quizás porque en la revisión por pares no hay tiempo para reproducir los resultados del artículo. Muchos revisores leen el artículo de forma diagonal y aceptan o rechazan el artículo en función de “detalles” (tanto técnicos como de forma), sin entrar en el meollo de la cuestión. ¿Deben los editores de las revistas de prestigio exigir a los revisores que garanticen la reproducibilidad de los resultados? La revista Nature ha decidido que a partir del próximo mes así lo exigirá. En mi opinión, otras revistas deberían seguir la misma filosofía. Nos lo cuentan en “Announcement: Reducing our irreproducibility,” Editorial, Nature, 24 Apr 2013. En el número de hoy dedican un especial a este asunto “Challenges in irreproducible research,” Special, Nature, 1 May 2013.

Sigue leyendo

El éxito de la revisión por pares pública en la revista The EMBO Journal

Hace dos años en la revista EMBO Journal se hizo transparente el sistema de revisión por pares. Los autores pueden incluir los comentarios de los revisores de forma pública junto a su trabajo publicado. Casi todos los autores lo hacen. Más de 400 artículos ya publicados incluyen dichos comentarios, las respuestas de los autores, las cartas de decisión de los editores, y demás detalles del proceso de revisión por pares que en otras revistas son confidenciales (véase un ejemplo aquí). En opinión de los editores de esta revista el experimento ha funcionado muy bien. La respuesta de los autores y revisores ha sido muy positiva. Por ello, extenderán dicho proceso a las cuatro revistas de EMBO (European Molecular Biology Organization), en concreto, The EMBO Journal, EMBO Reports, Molecular Systems Biology, yEMBO Molecular Medicine.  Nos lo ha contado Bernd Pulverer, “Transparency showcases strength of peer review,” Nature 468: 29–31, 04 November 2010.

The EMBO Journal es una prestigiosa revista con un proceso de revisión muy riguroso. Por ejemplo, en el año 2007 recibieron 3184 artículos, de los que aceptaron solo 325 y rechazaron los 2849 restantes. De entre los artículos rechazados, los editores han encontrado 2403 de ellos publicados en otras revistas indexadas por PubMed (a fecha de julio 2009), de los que 2282 están en revistas indexadas en el ISI Web of Science (a fecha de julio 2009). Aparentemente, solo 446 no han sido publicados. Otro dato más, solo el 1% de los manuscritos rechazados en el año 2008 acabó publicado en alguna revista con un factor de impacto al menos dos puntos por encima del índice de impacto de la revista The EMBO Journal, y solo el 9% tiene un número de citas más alto que el promedio de los trabajos publicados en dicha revista.

The EMBO Journal publica, bajo consentimiento de los autores, todos los detalles el proceso de revisión por pares de los artículos aceptados desde enero de 2009. No se publican los informes sobre manuscritos que terminen siendo rechazados. En general, según los editores, la experiencia ha sido muy positiva. El número de manuscritos enviado a dicha revista se ha mantenido constante y sólo 5’3% de los autores han elegido que el proceso de revisión sea confidencial. La tasa de revisores que ha aceptado la invitación para revisar artículos se ha mantenido constante y los editores no han observado un cambio significativo en la calidad de los informes de los revisores o de las respuestas de los autores (ningún cambio ni para bien ni para mal).

La publicación de los informes de los revisores podría ser peligrosa para los autores y revisores en algunos casos. Por ejemplo, un revisor joven que critique en demasía un artículo de un autor famoso podría sufrir represalias si dicho autor alguna vez tiene que revisar un proyecto de investigación solicitado o un artículo enviado por el joven. Sin embargo, los editores no tienen constancia de que estas “malas artes” se hayan puesto en la práctica alguna vez. También tiene sus ventajas ya que permite cuantificar el trabajo de revisión desarrollado por los revisores que podrán hacer constar de forma clara en su propio CV qué labor han desarrollado. Además, los investigadores jóvenes podrán utilizar los informes de revisores famosos para aprender el proceso de revisión por pares de primera mano.

En resumen, para los editores de The EMBO Journal  la revisión por pares es la manifestación más notable del espíritu de colaboración de la ciencia y cualquier iniciativa que tenga por objeto mejorar y fortalecer este proceso debe ser recibida con los brazos abiertos.