Una crítica a la crítica en Science a la revisión por pares en revistas open access

Una noticia periodística en Science no es lo mismo que un artículo científico en dicha revista. La semana pasada la revista Science dedicó un número especial a la comunicación científica. Entre los artículos que llenaron sus 27 páginas los medios destacaron que 157 revistas open access aceptaron, tras la revisión por pares, un artículo «amañado» (un bulo o hoax) con graves errores de concepto y en el uso del método científico (sólo lo rechazaron 98 de un total de 304 revistas). Mucha gente afirma que este experimento periodístico prueba que estas revistas no realizan una revisión por pares de calidad. Sin embargo, hay que tener cuidado. Esta noticia no es un artículo científico, aunque se publique en Science y no aplica con rigor el método científico. Un estudio de cohorte de este tipo requiere un grupo de control, es decir, el artículo «amañado» también debe ser enviado a revistas convencionales (que no son open access) con un índice de impacto y/o un prestigio entre la comunidad científica similar a las revistas open access seleccionadas. Sin un grupo de control adecuado, esta noticia aparecida en Science es sólo eso, una noticia curiosa, nada más. El autor de la noticia es John Bohannon, un periodista científico que es licenciado en biología, pero que no es doctor, famoso por ser aficionado a la danza y crear la iniciativa «Dance your Ph.D.» para Science.

«Nobody reads journals. People read papers.»

Vitek Tracz, journal publisher.

Me molestan las conclusiones extraídas en muchas noticias periodísticas que se hacen eco de la noticia aparecida en Science como si se tratara de un estudio científico. Por ejemplo, «Un falso estudio científico pone en entredicho los filtros de 157 revistas de ‘open access’,» Agencia SINC, 3 oct. 2013. Afirmaciones extraídas de la noticia de Bohannon como que «los datos de esta operación encubierta revelan una emergente tierra sin ley en publicaciones académicas» o que «el 60% de las decisiones finales [sobre aceptar o no el artículo] se hizo sin señales de una revisión por pares» escritas sin crítica adicional en un medio con rigor científico como la Agencia SINC tienen gran valor para muchos lectores. Me apena que desde la Agencia SINC no se haya aplicado un poco de crítica. Chupar rueda da muy mala imagen, incluso si se chupa la rueda de Science.

El artículo en liza es John Bohannon, «Who’s Afraid of Peer Review?,» News, Science 342: 60-65, 4 Oct 2013 (podcast de Bohannon, figura interactiva y datos adicionales).

Qué significa que el 50% de los artículos científicos sean de acceso abierto

Un estudio financiado por la Comisión Europea afirma que el 50% de los artículos científicos publicados en 2011 y más del 43% de todos los publicados desde 2004 están, a día de hoy, disponibles en acceso abierto (gratuito) en la web. ¿Está cambiando el panorama de la publicación científica? Unos verán el vaso medio lleno y otros medio vacío. En mi opinión este resultado no es debido al movimiento open access per se, si no a la dinámica natural de la web, que ya forma parte íntegra del trabajo de muchos científicos. El informe es Eric Archambault et al. (Science-Metrix), «Proportion of Open Access Peer-Reviewed Papers at the European and World Levels—2004-2011,» European Commission DG Research & Innovation, August 2013 [PDF]. Recomiendo leer a Richard Van Noorden, «Half of 2011 papers now free to read. Boost for advocates of open-access research articles,» Nature 500: 386–387, 22 Aug 2013, y Jocelyn Kaiser, «Half of All Papers Now Free in Some Form, Study Claims,» Science 341: 830, 23 Aug 2013. En español recomiendo «El acceso abierto a las publicaciones de investigación alcanza el llamado «punto sin retorno»,» Comunicado de Prensa de la Comisión Europea, 21 Ago 2013. 

El coste real de las publicaciones científicas, ese gran desconocido

Se estima que la industria de las publicaciones científicas generó 9400 millones de dólares de beneficios en 2011, gracias a la publicación de 1,8 millones de artículos escritos en inglés. Por tanto, el beneficio medio por cada artículo alcanza los 5000 dólares. A esta cantidad hay que restar el coste de su gestión. ¿Cuánto dinero crees que le cuesta a una editorial publicar un artículo revisado por pares? En Nature son muy optimistas y afirman que los márgenes de beneficio son inferiores al 30%, con lo que estiman que el coste medio de producción de un artículo supera los 3500 dólares. La verdad, a mí me parece una cantidad muy grande. Los autores y revisores trabajamos gratis. El negocio de la industria de publicaciones científicas es todo un negocio. Un gran negocio. Cuando no se publican de forma abierta los costes y beneficios de un negocio de casi diez mil millones de dólares, algunos pensamos mal  (se nota que no he estudiado Ciencias Económicas). Nos lo cuenta Richard Van Noorden, «Open access: The true cost of science publishing. Cheap open-access journals raise questions about the value publishers add for their money,» Nature 495: 426-429, 28 Mar 2013.

La mayoría de las editoriales de revistas científicas de acceso abierto (open access) cobra a los autores un precio inferior al ingreso promedio de la industria. Se estima que el coste promedio de un artículo de acceso abierto en el año 2011 fue de 660 dólares (compara este número con los 5000 dólares de beneficio de la industria). Se estima que el coste promedio por artículo para la editorial de acceso abierto es de 300 dólares, con lo que se obtienen 360 dólares de beneficio (los márgenes superan el 50%, todo un negocio redondo).

Por supuesto, las cifras exactas son difíciles de conseguir. Los datos ofrecidos por las grandes editoriales son difíciles de analizar (pues hay que separar la parte correspondiente a publicaciones en revistas científicas, algo que no siempre es fácil). Se estima que Wiley tiene márgenes de beneficios del 40% y que Elsevier se queda en un 37%. Editoriales de acceso abierto como Hindawi afirman alcanzar un 50% de beneficios. El grupo Nature (NPG) se ha negado a publicar sus márgenes, incluso en un artículo en su propia revista. Un estudio del Cambridge Economic Policy Associates, afirma que las editoriales sin ánimo de lucro tienen márgenes del 20%, las universitarias del 25% y las comerciales del 35%. En mi opinión, pero repito que no soy experto, los costes de publicación de artículos científicos son mucho más bajos de lo que las grandes editoriales nos quieren hacer pensar.

La revista más grande del mundo, PLoS ONE, que cobra a los autores 1350 dólares por artículo, acepta el 70% de los artículos que recibe. Muchos congresos han sido criticados por su alta tasa de aceptación. Las revistas prestigiosas suelen tener índices de aceptación mucho más reducidos. Physical Review Letters publica menos del 35% de los artículos que recibe (si los autores quieren que su artículo sea de acceso abierto deben pagar 2700 dólares). Nature y Science publican menos del 8% de los artículos que reciben. ¿Está relacionado el prestigio con la tasa de aceptación? ¿Debe costar más un artículo de acceso abierto en una revista más prestigiosa? La realidad es que es así, las revistas más prestigiosas suelen cobrar más.

Recomiendo leer la entrevista a Jason Priem, investigador postdoctoral en el Centro Nacional para Síntesis Evolutiva (NESCent), en Eva Rodríguez, «El acceso abierto es solo el primer paso hacia un cambio más profundo en la publicación académica,» SINC, 27 Mar 2013. «La publicación en acceso abierto es mucho mejor para el científico, ya que no renuncia a su derecho con varias editoriales y conserva la capacidad de gestionar su propiedad intelectual. ¿Por qué no se estandariza en todos los países este sistema de publicación de acceso abierto a las investigaciones financiadas con fondos públicos? Los contribuyentes subsidian muchas cosas con pagos adicionales para poder usarlas, como por ejemplo el transporte público. En el mundo web, la obligación de publicar en acceso abierto favorece los modelos de negocio accesibles frente a los modelos cerrados.»

«El bueno, el malo y el feo» en las revistas de acceso gratuito (open access)

El número de revistas de acceso gratuito está creciendo a un ritmo anual increíble. El último año se añadieron 1200 al listado que aparece en el Directorio de Revistas de Acceso Gratuito (DOAJ, Directory of Open Access Journals). No es un problema que haya muchas, el problema es saber cuáles son buenas y acabarán teniendo un impacto significativo en los próximos años. ¿Enviarías un artículo a revisión al Electronic Journal of Biology? ¿Son buenos los editores de Aquatic Biosystems? ¿Recomendarías a uno de tus estudiantes de doctorado o postdocs enviar un artículo al International Journal of Computer Science and Network? Estas tres revistas están entre las últimas 78 que se incorporaron al DOAJ en el último mes. Por su juventud, estas revistas aún no tienen factor de impacto en el listado de Thomson Reuters y no lo tendrán en al menos tres años. ¿Qué índice bibliométrico podemos usar para determinar la calidad de una nueva revista?

Jelte Wicherts (Univ. Tilburg, Países Bajos) propone usar un índice de transparencia, que la revista explique en su web de forma clara cosas como su temática y lectores objetivo, sus procedimientos de revisión por pares y su tasa de aceptación/rechazo. Según Wicherts, las mejores revistas del DOAJ son las más tranparentes. ¿Cómo se calcula este índice? Mediante una encuesta, de manera similar a como se valoran películas. Se pasa un cuestionario entre un muestra de investigadores y se asigna un valor del índice de transparencia a la revista. Sin embargo, a mucha gente no le gusta este tipo de medida subjetiva y prefieren un índice bibliométrico numérico, en apareciencia más aséptico.

Un nicho de investigación no es fácil de descubrir. Los especialistas en bibliometría y quienes aspiren a serlo tienen aquí un problema interesante y útil que resolver. El desarrollo de un índice bibliométrico para medir la calidad de revistas científicas emergentes, que combine sencillez y precisión, será objeto de gran número de propuestas y publicaciones en los próximos meses. La bibliometría tiene mucho intrusismo entre matemáticos y físicos, como Hirsch, el autor del famoso índice-h, quizás alguno de los lectores de este blog esté ahora mismo pensando en cómo resolver este problema bibliométrico.

A bote pronto, se me ocurre un índice de impacto potencial calculado como el exponente de la potencia en un ajuste de la evolución anual del índice-h de la revista utilizando una ley de potencias; este índice sería útil para los primeros cinco años de vida de una revista. Obviamente, sin una investigación estadística detallada que confirme la «aparente» utilidad del índice, cualquier propuesta caerá en saco roto.

Los peligros de «pagar por publicar» en las revistas científicas de acceso abierto

Las revistas de acceso abierto, donde todo el mundo puede leer los artículos gratis, necesitan una fuente de financiación y la fuente más obvia son los propios autores. El autor investiga, escribe el artículo, formatea el artículo con el estilo de la revista y paga todos los gastos una vez que el artículo ha sido aceptado tras una revisión por pares. El «pagar por publicar» es un ejemplo de un remedio peor que la enfermedad, al menos en matemáticas. ¿Qué pasa cuando una revista no tiene suficientes artículos aceptados como para financiar todos sus gastos? O quiebra, o acepta más de la cuenta… La integridad de todos los procesos editoriales, incluso de la revisión por pares, peligran, fuera de toda duda. A mí no me gusta «pagar por publicar» y no soy el único. Ilya Kapovich (Universidad de Illinois en Urbana-Champaign) me ha quitado las palabras en «The Dangers of the “Author Pays” Model in Mathematical Publishing,» Notices of the AMS 58: 1294-1295, October 2011.

Los autores pagan unos miles de dólares por cada artículo publicado porque les prometen que el proceso de revisión será rápido y todo el proceso de publicación será veloz (la mayoría de las revistas de «pagar por publicar» prometen esto en sus páginas web). Pocas revistas prometen un proceso de revisión riguroso, lento y fiable. Nadie paga por eso. Como resultado muchas de estas revistas están publicando artículos que bien podrían ir a la papelera y que solo sirven para engrosar la vanidad de sus autores.

Yo, igual que Kapovich y quizás como todo el mundo, recibo todas las semanas varios correos invitándome a publicar artículos en revistas de «pago por publicar» y muy pocas veces junto a la invitación me indican que en mi caso será gratis. No, no caigo en la trampa, aunque alguno de mis doctorandos de vez en cuando me recuerda que muchas hasta tienen índice de impacto. ¡Qué me importará que tengan índice de impacto! Pero si tenemos dinero (público, pagado por todos los españoles) y podemos gastarlo en publicar rápido y seguro «pagando por publicar.» No, lo siento. Yo no caigo en la trampa. Incluso cuando me invitan a publicar gratis, que se ha dado el caso, me he dicho, sino publico pagando en esta revista, por qué voy a hacerlo gratis (no quiero la caridad de nadie).

Incluso, a mí muy pocas veces, Kapovich dice que a él muchas veces más, me han invitado a pertenecer al comité editorial de una de estas revistas (envíe su CV y le consideraremos como posible miembro). Siempre he rechazado estas invitaciones. Si no publico en una de estas revistas, porque me niego a hacerlo, por qué voy a pertenecer a su comité editorial. Digo yo. Mucha gente no comparte mi opinión (conozco a varios colegas que me han confesado que en la vida publicarán un artículo en algunas de las revistas en cuyo comité editorial se encuentran incluidos; da prestigio estar, pues ya está y «punto pelota»).

La revisión por pares en matemáticas (sobre todo en su parte más pura) es muy difícil, ya que el revisor debe garantizar que cualquier demostración en el artículo aceptado sea correcta (o al menos fuera de toda duda obvia). Ello requiere un estudio detallado de la demostración, paso por paso, revisando todos y cada uno de los argumentos, un análisis que el revisor realiza gratis y que le puede requerir meses de trabajo. No se puede realizar una revisión por pares con urgencia y aceptar cualquier demostración que parezca «razonable» porque el editor nos meta presión. Las demostraciones del artículo tienen que ser correctas (hasta donde los conocimientos matemáticos del revisor sean capaces de llegar). Si el revisor tras varios meses estudiando una demostración observa que es incapaz de saber si es correcta o no, debe indicarle al editor que busque otro revisor alternativo, que él no está preparado para cumplir con su labor con un 100% de fiabilidad. La revisión por pares en matemáticas no puede ser rápida y ágil, si queremos que sea fiable y rigurosa. Una demostración matemática no puede ser creíble, tiene que ser correcta.

Un problema añadido del sistema de «pago por publicar,» como nos indica Kapovich, es que muchos matemáticos reciben muy poco dinero público para financiar sus proyectos de investigación. Ya se sabe que a un matemático le basta con papel y lápiz para trabajar (hoy también necesita un ordenador). El dinero suele utilizarse para pagar viajes a congresos, cursos de verano, visitas a colegas y otras actividades de cooperación científica. Pocos investigadores piden dinero específico para «pagar por publicar» y cuando lo piden, muchos evaluadores de sus proyectos eliminan dicha partida por considerarla «inútil» (que publiquen donde es gratis, las revistas de «pago por publicar» son para los que escriben artículos de baja calidad).

Obviamente, en ciertas ciencias experimentales, este asunto es muy diferente. Publicar el primero y poder reclamar la prioridad de un descubrimiento merece «pagar por publicar» de la manera más rápida posible. Por ejemplo, los proyectos de investigación sanitaria en EE.UU., financiados por el NIH, deben incluir una partida específica para «pagar por publicar.» El NIH tiene una política que pretende favorecer la publicación en revistas de acceso abierto.

En mi opinión, que comparte Kapovich, la mejor manera de favorecer que todo el mundo tenga acceso a nuestras publicaciones científicas no es «pagar por publicar» sino publicar los manuscritos (preprints) en servidores como ArXiv. Allí todo el mundo puede acceder a nuestro artículo de forma gratuita y sin que el autor tenga que pagar nada. Además, la mayoría de las revistas internacionales aceptan que los artículos aparezcan en ArXiv, tanto antes de la revisión por pares como tras ella, aunque siempre en formato de manuscrito (la diferencia con el formato final de la revista es ridícula, puramente estética).

¿Qué opinas de todo esto? ¿Te parece necesario que todos los proyectos de investigación con financiación pública tengan una partida específica para «pagar por publicar»? ¿Debería haber una ley (o recomendación oficial) que obligara a (o recomendara) publicar todos los artículos de matemáticas en forma de manuscrito en ArXiv?