Nota dominical: El timo de la revisión por pares

Dibujo20121202 peer review

“El propósito de la revisión de pares es medir la calidad, factibilidad y credibilidad de las investigaciones, con miras a ser publicadas, ya sean sus procesos o sus efectos, o para presentarlos ante organismos de financiamiento.” [1] Mentira. Mucha gente se lo cree, pero es mentira. Si no lo fuera, los científicos que actúan como revisores tendrían una gran responsabilidad de cara a la historia de la ciencia y al progreso del conocimiento. Sin embargo, esta opinión olvida que la revisión por pares fue inventada para ayudar a los editores de las revistas a elegir los artículos que publicar. Por ello, muchos editores eligen a revisores que no son expertos en el tema del artículo, aunque su opinión nunca podrá garantizar la calidad de la investigación, ello no quita que permita predecir el impacto que tendrá el artículo en la comunidad especializada en su conjunto. Porque lo que interesa a los editores es que los artículos que publican tengan impacto y éste será mayor si el artículo interesa a un gran número de científicos en lugar de un reducido número de expertos. Recuerda, muchos artículos son revisados por personas que no entienden sus detalles técnicos, que serían incapaces de replicar el artículo, que nunca podrían garantizar la calidad, factibilidad y credibilidad del artículo. Pero no importa. Porque su opinión sobre si el artículo es interesante o no para la comunidad de lectores de la revista es lo único que interesa al editor. Lo único. A este hecho, bien conocido, pero muchas más veces olvidado, yo le llamo en mis cursos de metodología y epistemología de la investigación como “el timo de la revisión por pares.”

A principios del siglo XX la revisión del artículo la realizaba el editor principal de la revista, o algún miembro del consejo editorial; por ejemplo, los artículos de Albert Einstein en su“Annus Mirabilis” (1905) publicados en Annalen der Physics fueron evaluados por Max Planck, jefe del consejo editorial. El concepto de revisión por pares moderno nació en la explosión de revistas científicas tras la II Guerra Mundial. Tantos artículos se enviaban a las revistas que los editores y el consejo editorial no podían leérselos, con los que se decidió enviarlo a pares. Siempre se pensó como una ayuda a la toma de decisiones y nunca como un garante de calidad. Con los años la opinión de que la revisión por pares era un garantía de calidad se fue extendiendo y muchos revisores se la tomaron en serio durante muchos años. Pero recientemente estamos viviendo una nueva explosión de revistas y de artículos publicados que impide que haya un número suficiente de revisores expertos que garanticen la calidad de lo publicado, con lo que se está retornando al sistema original. La revisión por pares como opinión sobre el interés del artículo y no como garante de su calidad.

En 1982, se reenviaron 12 artículos ya publicados en revistas de psicología de prestigio (las de mayor impacto) a las mismas revistas que los habían publicado, pero entre 18 y 32 meses más tarde. Solo 3 editores principales detectaron que el artículo ya había sido publicado en su propia revista. Los otros 9 artículos pasaron a revisión por pares. Los revisores rechazaron 8 de estos artículos, en muchos casos “por graves defectos en la metodología.” [2] ¿Cómo es posible que un artículo se “cuele” en una revista de prestigio en cierta ocasión y un par de años más tarde sea rechazado por “graves defectos en la metodología”? Pues muy sencillo. Depende de la lotería, del número (digo, del revisor) que te toque.

¿Podemos concluir que un artículo que ha pasado por revisión por pares es de mayor calidad que uno que no lo ha hecho? En general, sí, pero no hay que ser más papista que el papa con estos asuntos. El artículo ha “colado” pero si fuera enviado otra vez quizás no lo hubiera hecho. Siempre hay que tener precaución. Lo importante es que nos leamos el artículo. Sobre todo los divulgadores. Últimamente hay mucho divulgador que ni siquiera se lee el título del artículo sobre el que divulga y que se cree lo que medios sensacionalistas publican (omito nombres, pues todos sabéis cuáles son). Por favor, si eres divulgador y vas a hacerte eco de una noticia publicada por otro medio, por favor, léete el título del artículo y el resumen (abstract), como mínimo. Muchas revistas tienen resúmenes gráficos (el autor elige una o varias figuras del artículo que acompañan al resumen). Y si puedes conseguir copia gratis del artículo en ArXiv o gracias a Google Scholar, por favor, léete el artículo antes de divulgar. No cuesta tanto…

Si quieres llegar a portada de Méneame o similares no te esfuerces en ser el más rápido, meterás la pata muchas veces y se te verá el plumero. Por favor, recuerda que los buenos divulgadores españoles logran portadas gracias a que sus artículos son buenos, no por ser los más rápidos, porque son buenos y sus artículos están bien trabajados. Busca la calidad y trata de ser auténtico. Mira los primeros puestos en los Premios Bitácoras 2012 en la categoría de Ciencia y busca sus blogs, lee sus entradas y aprende. Ellos lo hacen bien y por ello logran ser los mejores. Recuerda, la prisa siempre es mala consejera…

 

[1] Michele Ladrón de Guevara Cervera et al., “Revisión por pares: ¿Qué es y para qué sirve?,” Salud Uninorte 24: 258-272, 2008.

[2] D. P. Peters, S. J. Ceci, “Peer-review practices of psychological journals: The fate of published articles, submitted again,” The Behavioral and Brain Sciences 5: 187-195, 1982.

¿Sirven de algo las conferencias científicas internacionales?

La ciencia y la técnica evolucionan gracias al trabajo conjunto de muchos investigadores que deben comunicarse entre sí. Las publicaciones en revistas y las monografías (libros) científicos son el vehículo más importante para canalizar dicha comunicación. Sin embargo, los congresos internacionales también ayudan. Aunque la mayoría de las instituciones científicas no valoran la participación en congresos y la publicación de artículos en sus actas (proceedings), los científicos, especialmente los más jóvenes, no deben despreciar la participación en estos eventos. Min-Liang Wong, “What other treasures could be hidden in conference papers?,” nos lo recuerda en Nature 456, 443, 27 November 2008 . “El obituario de Anatol Zhabotinsky (1938–2008),” escrito por Irving R. Epstein, Nature 455: 1053 ( 2008 ) nos lo recuerda claramente. Aunque no recibió el Premio Nobel, podría haberlo hecho por sus contribuciones a la matemática de las reacciones químicas oscilatorias, las ecuaciones de Belousov-Zhabotinsky.

Epstein nos recuerda que “Belousov trató de publicar sus resultados en una revista internacional con revisores, pero se los rechazaron argumentando como respuesta los revisores y el editor que sus resultados violaban la Segunda Ley de la Termodinámica. Por ello, decidió publicar una descripción de sus observaciones en un artículo de sólo una página en las Actas de una Conferencia sobre Medicina Radiológica.” Por supuesto, el artículo “A periodic reaction and its mechanism,” de 1959, pasó completamente desapercibido para todo el mundo.

Pocos citan artículos publicados en conferencias o simposios. Quizás, porque la mayoría no garantizan un proceso de revisión por pares riguroso. El resultado es que los artículos allí publicados reciben poco reconocimiento. El resultado es que cada día menos gente quiere publicar en estos eventos.

Sin embargo, hay muchas “joyas” ocultas en las Actas de muchas conferencias. Wong nos pone como ejemplo los trabajos pioneros del físico Abdus Salam y del químico Koichi Tanaka, en concreto, A. Salam, in Elementary Particle Theory, Proceedings of the Nobel Symposium held in 1968 at Lerum, Sweden, 367-377, y K. Tanaka et al., in Proceedings of the Second Japan-China Joint Symposium on Mass Spectrometry, 185-188, 1987 . Ambos artículos presentaban descubrimientos que mucho más tarde recibieron amplio reconocimiento. Salam ganó el Premio Nobel de Física en 1979 y Tanaka el Premio Nobel de Química en 2002.

¿Cuántos descubrimientos de Premio Nobel yacen “ocultos” entre las páginas los libros de Actas de conferencias a las que hemos asistido? Lo confieso, rara vez me leo todos y cada uno de los artículos de las Actas de las conferencias a las que asisto. Lo confieso, ni siquiera ojeo todos y cada uno de los títulos de todos y cada uno de los artículos. Sólo los de mi sesión y de algunas sesiones afines. ¿No decían que las conferencias eran para “ir de vacaciones”?