¿Corrompe el factor de impacto a los jóvenes científicos?

Dibujo20130328 high impact paper vs low impact paper - cartoon

Hoy en día, un joven científico es evaluado en función del factor impacto de las revistas en las que publica y del número de citas de sus propios artículos. La calidad de su producción científica no se mide de ninguna otra forma. Por ello, muchos jóvenes científicos toman decisiones clave en su carrera académica en función del factor de impacto; decisiones tan importantes como en qué tema trabajar, en qué revista publicar y qué puestos académicos solicitar. La dependencia excesiva en el factor de impacto es perniciosa para los jóvenes, que son corrompidos por algo ajeno a la producción científica de calidad. Nos lo contaron Eve Marder, Helmut Kettenmann, Sten Grillner, “Impacting our young,” PNAS 107: 21233, Dec. 14, 2010.

Todo el mundo sabe, pero muchos olvidan, que el factor de impacto se inventó para ayudar a los bibliotecarios a decidir a qué revistas suscribirse. El factor de impacto da una idea aproximada de la influencia que tiene una revista científica en su campo. Utilizarlo para evaluar un individuo, un departamento, o incluso una institución es un abuso (como está demostrado en múltiples estudios). Como pasa con muchos asuntos pseudocientíficos, todo el mundo recuerda cuando funciona bien, pero se olvida muy fácil cuando falla de forma garrafal (y lo hace más a menudo de lo que a muchos les gustaría). Usarlo para evaluar a los científicos (jóvenes) no tiene ningún sentido, más allá del ahorro en costes (pues la evaluación la puede hacer una máquina en lugar de un par). 

La actividad científica se entronca en la creación y la difusión de nuevos conocimientos. La revisión por pares debe cuestionar si un trabajo se ha realizado con rigor, aplicando los controles apropiados y un análisis estadístico correcto, si los datos y el texto son claros y suficientes para la replicación de los resultados, y si los argumentos expuestos tienen sentido lógico. Más aún, los revisores también ponen hincapié en la importancia potencial y en la novedad de la contribución. Como es de esperar, estos factores son los más relevantes para la aceptación del artículo en las revistas de alto factor de impacto. Pero la novedad es una navaja de doble filo, pues a veces se opone a la importancia; un resultado inesperado suele tener consecuencias difíciles de predecir. Muchas veces es un error premiar a los investigadores jóvenes en función de las novedades que se cruzan (por casualidad) en su carrera científica. Más aún, puede ser un grave error penalizar a los que tienen un proyecto robusto, de mayor importancia y de mayor impacto global, pero carente de novedades a corto plazo. La ciencia de calidad no debería basarse en “burros que han tocado la flauta.”

La hipocresía inherente a la elección del factor de impacto como única herramienta para medir la calidad científica socava los ideales que subyacen al avance científico. Muchos jóvenes brillantes y creativos se desilusionan y abandonan su carrera científica al ver que otros jóvenes, por pura suerte, copan los pocos puestos académicos disponibles. Hacer demasiado énfasis en las publicaciones en revistas de alto factor de impacto puede ser una receta desastrosa para el futuro de muchos jóvenes.

¿Existe alguna solución? Lo ideal sería reemplazar el factor de impacto como único indicador de excelencia y utilizar la evaluación por pares siempre que sea posible. Más aún, a ser posible, que dicha evaluación incluya científicos de prestigio internacional. Se requiere más tiempo y más esfuerzo, pero todos los científicos (senior) en activo deberían estar dispuestos a participar en estas evaluaciones porque esta es la única manera de liberar a los jóvenes científicos de la tiranía del factor de impacto.

La arbitrariedad del índice h a la hora de ordenar la producción de investigadores

Dibujo20130228 ranking several scientists using their generalized q-factor index h

La arbitrariedad del índice h (propuesto por Hirsch en 2005) se hace evidente cuando se cambia un poco su definición y, en lugar de tomar el valor h como el número de publicaciones que han recibido al menos h citas cada una, se toma h como el número de publicaciones que han recibido al menos q*h citas cada una, donde q es distinto de la unidad; la costumbre es tomar q = tan(α), con q=1 para α=45 grados. El cambio parece muy pequeño, pero la estabilidad del índice h ante este “pequeño” cambio es pésima. El cambio en el orden (ranking) de una serie de investigadores al realizar un pequeño cambio en el valor de q es mucho más grande de lo que uno puede pensar en principio y hace dudar sobre la utilidad del índice h (con q=1) a la hora de ordenar investigadores por su producción. La figura muestra el ránking de 26 físicos en función del ángulo α entre 5 y 85 grados (obviamente, los primeros y últimos puestos cambian poco, pero la región intermedia, donde el índice h debe mostrar su utilidad práctica, es bastante “caótica”). Este resultado es bien conocido por los expertos en bibliometría, pero ignorado por el resto del mundo (todos los que usan el índice h a la ligera sin estudiar un “poquito” de bibliometría). Nos lo recuerda Michael Schreiber, “A Case Study of the Arbitrariness of the h-Index and the Highly-Cited-Publications Indicator,” Journal of Informetrics 7: 379-387, 2013 [arXiv:1302.6582].

La falta de rigor de Thomson Reuters al calcular el índice de impacto de una revista en el JCR

Dibujo20130206 impact factor increase 40 percent of current bioloty from 2002 to 2003

Ya hemos hablado en este blog en varias ocasiones de la “ingeniería” del índice de impacto, las artimañas que usan los editores de las revistas científicas para posicionarse mejor en el JCR (Journal Citation Reports) editado por la empresa privada Thomson-Reuters. Algunas “malas artes” son detectadas gracias a un algoritmo secreto (no publicado), sin embargo, otras se realizan con el consentimiento de Thomson-Reuters. Esta figura muestra cómo Current Biology subió un 40% en su índice de impacto gracias a cambiar el número de artículos que publicó en 2001: según el 2002 JCR publicó 528 artículos en 2001, pero según el 2003 JCR publicó sólo 300, ¿dónde fueron a parar los 228 artículos restantes? Las revistas científicas publican artículos de diferentes tipos (editoriales, noticias, letters, papers, reviews, book reviews, etc.). Todos pueden recibir citas, pero muchos reciben pocas citas. Los editores pueden solicitar a Thomson-Reuters que no tenga en cuenta ciertos tipos en su cuenta del número de artículos publicados. En el caso de Current Biology, este cambio supuso un incremento del 40% en el índice de impacto entre 2002 y 2003 (según Scimago, el SJR de Current Biology subió de 4,9 a 5,2, sólo un 6%). Supongo que los autores de artículos científicos que publicaron en esta revista en 2003 estarán muy contentos, pero los que publicaron en 2002 se lamentarán de que Thomson-Reuters no hiciera el cambio un año antes. ¿Saben las agencias de evaluación de investigadores y proyectos de la existencia de estos hechos? ¿Deberían ser tenidos en cuenta? Recomiendo la lectura del artículo de Björn Brembs, Marcus Munafò, “Deep Impact: Unintended consequences of journal rank,” arXiv:1301.3748, 16 Jan 2013.

Por cierto, el “índice de impacto” a veces es traducido del inglés como “factor de impacto” porque en dicho idioma se escribe “impact factor,” pero esta traducción, aunque es muy popular hoy en día, no era la recomendada hace 25 años cuando yo empecé a escuchar el término; igual que tampoco se usaba la palabra “tecnología” en lugar de “técnica,” la traducción correcta de “technology.” Pero como la lengua es algo vivo y cambiante, lo mismo alguno me criticará por seguir llamando “índice de impacto” a lo que siempre se llamó “índice de impacto” y ahora nos quieren imponer como “factor de impacto.”

Sigue leyendo

En ciencia no hay mala publicidad: Los artículos más criticados alcanzan un mayor impacto

Muchos científicos odian que se critique su trabajo, pues piensan que ello conlleva un bajo impacto y bajo número de citas. Sin embargo, los análisis bibliométricos afirman todo lo contrario. Filippo Radicchi (Universitat Rovira i Virgili) ha estudiado el número de citas de los artículos en 13 revistas importantes y ha descubierto que los más criticados (con comentarios enviados al editor que se publican en la propia revista) son más citados en media; además, entre los artículos más citados de cualquier revista siempre hay un alto porcentaje de artículos que han sido “comentados” (o criticados). El dicho popular “Que hablen de mí, aunque sea mal” adquiere todo su sentido en el mundo de las publicaciones científicas. Más aún, el estudio de Radicchi apoya la hipótesis de que las disputas y críticas entre científicos son claves para la producción y difusión del conocimiento, y para el avance de la ciencia. El artículo técnico es Filippo Radicchi (Universitat Rovira i Virgili, Tarragona, Spain), ”In science “there is no bad publicity”: Papers criticized in technical comments have high scienti c impact,”  arXiv:1209.4997, Subm. 22 Sep 2012.

La controversia científica es parte coyuntural del progreso científico. Grandes avances científicos del pasado, como el modelo heliocéntrico de Copérnico, la teoría de la evolución de Darwin o la deriva de los continentes de Wegener, han estado rodeados de disputas, críticas y controversias de todo tipo. Por supuesto, muchas investigaciones controvertidas acaban en el olvido o siendo rechazadas, como la fusión fría o la memoria del agua. Aún así, lo que parece claro de la historia de la ciencia es que los cambios revolucionarios suelen ser polémicos y encuentran cierta resistencia antes de ser aceptados.

Fracción de artículos comentados que forman parte del 5% de los artículos más citados (círculos rellenos). Se compara con las predicciones estadísticas de un modelo que no diferencia entre artículos comentados y no comentados.

Los comentarios o cartas al editor en muchas revistas son el medio por el cual los científicas demuestran sus críticas al trabajo publicado por otros. Estos comentarios son considerados por los editores de las revistas como cualquier otro artículo y pasan por una revisión por pares. Hay comentarios positivos que aclaran o complementan el artículo comentado, pero la mayoría suelen ser críticas a las conclusiones o a la metodología utilizada. Normalmente, estos comentarios críticos suelen ir acompañados de una respuesta por parte de los autores (una deferencia muy habitual entre todos los editores). Por tanto, una manera automático de detectar comentarios críticos es considerar los comentarios que van acompañados de una respuesta de los autores. Utilizando esta regla, Radicchi ha estudiado el número de citas recibidas en la base de datos del Web of Science por los artículos de 13 revistas que han recibido “críticas.” Por ejemplo, en Physical Review Letters, el artículo más citado (más de 20.000 citas) fue un artículo criticado. Solo el 3% de los artículos han sido comentados, pero los 5 artículos más comentados están entre los 16 más citados de esta revista. Lo mismo pasa en las demás 12 revistas estudiadas (Nature, Science, Phys. Rev., etc.), los 5 artículos más comentados siempre están en el top de los más citados.

Por supuesto, el estudio de Radicchi tiene muchas limitaciones, entre ellas, que no se incluyen todas las posibles críticas a un artículo, solo las publicadas como comentarios (con respuesta de los autores) en la propia revista. Un análisis más riguroso requeriría estudiar qué artículos que citan al artículo lo hacen criticando sus conclusiones. Radicchi tiene mucho trabajo por delante investigando en dicha línea.

Los editores “lobos” que corrompen a la “Caperucita” de los autores con revistas de acceso gratuito

Lo he comentado muchas veces en este blog, el pagar por publicar (pay-per-publish) de muchas revistas de acceso gratuito está generando comportamientos poco éticos tanto de los editores como de los propios autores. Las editoriales y los editores ven un negocio redondo (en la India aparecen cada semana nuevas revistas que tratan de aprovecharse de los autores). Y los autores ven una oportunidad única para publicar con una revisión por pares “ligera” muchos artículos, con auto-plagios, plagios y muchos otros comportamientos poco éticos. Ya se sabe que el cliente siempre tiene la razón. Jeffrey Beall (autor del blog “Scholarly Open Access“) lo denuncia en ”Predatory publishers are corrupting open access,” Nature 489: 179, 13 September 2012. Por cierto, ya nos hicimos eco de la labor de Beall en este blog: “La lista de “lobos” entre las editoriales de revistas de acceso gratuito,” 31 enero 2012.

Hoy se ha publicado el nuevo JCR 2011 de Thomson Reuters

Como todos los años, me hago eco de la publicación del nuevo Journal of Citations Reports (2011 JCR Science Edition).  Los que publicamos artículos, tenemos la obligación de actualizar los índices de calidad de nuestras publicaciones aparecidas en 2011, que hasta hoy solo tenían información sobre 2010. Nature (36,280) vuelve a estar por encima de Science (31,201), algo que ya viene ocurriendo desde 2007. España cuenta con 78 revistas (en el Science JCR), cuando en el 2010 JCR solo tenía 73. Como ya sabéis me gusta la categoría de ciencia multidisciplinar, os dejo los primeros 10 puestos.

Como bien sabéis la utilidad del 2011 JCR está en la comparación de revistas dentro de un área de conocimiento concreta. Las comparaciones generales son odiosas. A los que tengáis acceso en España (vía la FECYT) os animo a ojear las categorías que más os atañan, aunque sin olvidar que no debemos abusar del índice de impacto (aunque la ANECA lo haga por nosotros).

En mi área de conocimiento “natural,” que es MATHEMATICS, APPLIED, vuelve a reinar SIAM Review con una diferencia cada más abultada (pasa de 6,620 a 10,020). Me alegra, porque ha habido desviaciones no deseadas en los últimos años (gracias a la ingeniería del índice de impacto por parte de los editores de ciertas revistas de “segunda”). Revistas “patológicas” como Chaos, Solitons & Fractals vuelven al redil (después de estar por encima de 3 hasta 2009, fictioso, obviamente, ahora tiene 1,222, cuando tuvo 1,268 en el 2010 JCR, un valor mucho más natural para el impacto real de esta revista); o como el International Journal of Nonlinear Scienes and Numerical Simulation que lleva una caída abismal como muestra la siguiente figura (en mi opinión su índice de impacto natural es del orden de la unidad, no más y porque publican en ella muchos “lobbies” de chinos).

 Por cierto, ¿cómo ha quedado PLoS ONE, la gran revista de acceso gratuito en la que todo el mundo quiere publicar? La aprovecharé para explicar qué es el índice de impacto, que quizás mucha gente no conoce o no recuerda cómo se calcula.

El cálculo del índice de impacto es muy sencillo. Se suman todos los artículos publicados por la revista en los dos últimos años (en el 2011 JCR serán 2010 y 2009); en el caso de PLoS ONE son 11.125, sí has leído bien, más de once mil artículos. Se suman el número de artículos publicados en 2011 en revistas del 2011 JCR que han citado a algún artículo de la revista publicado en 2009 o 2010. En el caso de PLoS ONE, 45.521 artículos de 2011 (tanto de PLoS ONE como de otras revistas) han citado a los anteriores artículos. Finalmente, se obtiene el índice de impacto como el cociente entre ambos números. En el caso de PLoS ONE resulta 4,092, lo que no está mal.

Lo importante es la posición de la revista en las categorías (o áreas de conocimiento) a las que pertenece. En el caso de PLoS ONE solo pertenece al área de BIOLOGY y se encuentra en la posición número 12 de un total de 84, es decir, en el primer cuartil. Por cierto, en este área la revista mejor impactada es PLoS Biology, que alcanza un índice de impacto de 11,452.

Bueno, no sé qué más decir; además ahora tengo que actualizar mi currículum vitae.

PS (29 junio 2012): Álvaro Cabezas, “Las revistas españolas en los JCR 2011,” Primer Cuartil (Q1), 29 Junio 2012, nos recuerda que “Los JCR de Thomson Reuters recogen este año el índice de impacto de 10.677 publicaciones, de los cuales 528 lo reciben por vez primera. Son 127 las revistas españolas incluidas, en concreto 78 revistas corresponden al índice de Ciencias (SCI) y 54 al de Sociales (SSCI), cinco están en ambos índices, lo que significa en el caso del SCI cinco y en el del SSCI seis revistas más que el año anterior. (…) El dato anómalo en lo que respecta a las revistas españolas lo encontramos este año en la Revista de Psicodidáctica, editada por la Universidad del País Vasco, que ha aumentado su factor de impacto espectacularmente, desde el 0,815 hasta el 2,667, alzándose a la sexta posición en su categoría (Psychology, Educational). (…) A nivel internacional, por vez primera una revista supera los 100 puntos de factor de impacto (CA – A Cancer Journal for Clinicians; 101,780); [además] PLoS One, pese a su absurda política de publicación indiscriminada se mantiene con un índice por encima de cuatro. (…) Finalmente, la polémica este año la podemos tener con la desconocida revista turca Energy Education Science and Technology que alcanza un impacto de más de 31 puntos, por encima de Science, y que con una evidente falta de escrúpulos (autocitación del 90% y vida media de citas de solo 1,5 años) es la candidata número uno a ser expulsada del ISI ipso facto.”

PS (30 junio 2012): Los interesados en ver el listado de todas las revistas incluidas en el JCR pueden consultar este PDF. Las nuevas revistas que han sido incluidas aparecen en este otro PDF. Como nos cuenta Richard Van Noorden, “Record number of journals banned for boosting impact factor with self-citations,” Nature News Blog, 29 Jun. 2012, “Thomson Reuters ha excluido este año 51 revistas del 2011 JCR, cuando solo fueron excluidos 34 en 2010, 26 en 2009, 20 en 2008, y solo 9 en 2007. Casi todos han sido excluidos porque tienen un número excesivo de autocitas (“an anomaly in citation stacking”). Hay 140 revistas con un índice de autocitas superior al 70% que están en la sala de espera. ¿Cuál es el número normal de autocitas? 4/5 de todas las revistas tienen un porcentaje de autocitas menor del 30%.

Un ejemplo de cómo funciona la exclusión por autocitas. La revista Journal of Biomolecular Structural Dynamics (JBSD) ha sido excluida del 2011 JCR porque su índice de impacto subió de 1,1 en 2009 hasta 5,0 in 2010. Thomson Reuters solicitó al editor que explicara la razón de su éxito. Por lo que parece el editor decidió en 2009 recomendar a todos los autores de nuevos artículos que relacionaran su trabajo con el presentado en artículos recientes publicados en JBSD (supuestamente con objeto de mejorar la formación de los jóvenes estudiantes de doctorado que empiezan a leer la revista). Obviamente, la revista ha sido excluida del 2011 JCR por mala praxis del editor. El editor ha decidido cambiar de política (ya no apoyará la formación de los jóvenes doctorandos) y espera que dicho cambio le permita volver a entrar en el JCR (durante un par de años estará siendo vigilada y si corrige su mala praxis volverá a entrar en 2012 o en 2013).

¿Por qué no elimina Thomson Reuters las autocitas del cálculo del índice de impacto? Desde hace 3 años, el JCR incluye tanto el índice de impacto con autocitas como sin ellas. Por lo que parece, estadísticamente están bien correlacionados, luego no “merece la pena” utilizar solo el índice sin autocitas; según Thomson Reuters significaría un cambio fundamental en los cálculos del índice de impacto para corregir un problema que casi no existe.

 

Para los españoles que leen esto, les recuerdo que desde la ANECA todavía no han descubierto que el JCR incluye el índice de impacto de las revistas sin autocitas; espero que no lo descubran (por si acaso).

PS (01 julio 2012): En las revistas españolas también hay ingeniería del índice de impacto: Topo, “JCR 2011. Todo se pega. Ahora le toca manipular a la Revista de Psicodidáctica,” Un nombre al azar, Julio 01, 2012.

Para qué le sirve a un investigador científico estar en Twitter

Hay dos tipos de científicos que publican sus artículos en ArXiv, los altruistas y los egoístas. Los primeros lo hacen para que el mayor número de personas pueda leer sus artículos gratis. Los segundos saben que los artículos que aparecen en ArXiv tienen una mayor probabilidad de ser citados y tener un mayor impacto. Estos últimos deberían apuntarse también a Twitter y otras redes sociales. Los estudios bibliométricos indican que los artículos que aparecen citados muchas veces en Twitter reciben un mayor número de descargas en ArXiv, un mayor número de citas y alcanzan un mayor impacto. La visión de los científicos desde su “torre de marfil” es que los investigadores deciden de forma experta y racional sobre qué publicar, qué leer y a quién citar. Por ello, las estadísticas de citas se consideran una buena medida del impacto de un nuevo resultado científico. Sin embargo, en la práctica, el número de descargas de un artículo es un buen predictor de su impacto futuro en citas; de la misma forma, el número de menciones en Twitter de un artículo también es un buen predictor de su número de citas. ¿Debería entonces un investigador promocionar sus artículos en Twitter? Sí es la respuesta que nos dan Xin Shuai, Alberto Pepe, Johan Bollen, “How the Scientific Community Reacts to Newly Submitted Preprints: Article Downloads, Twitter Mentions, and Citations,” ArXiv, 11 Feb 2012.

El estudio considera 4606 artículos científicos aparecidos en arXiv entre octubre de 2010 y abril de 2011. Se analiza el número de veces que han sido descargados, el número de citas que han recibido en Twitter y el número de citas que han recibido según Google Scholar. Las descargas de un artículo en ArXiv se concentran en la primera semana (hay gente que lee ArXiv a diario, pero la mayoría lo hace una vez por semana). Las menciones en Twitter se concentran en unos días justo después de la aparición del artículo (conforme la gente lo descarga y a lo ojea). Obviamente, las citas no vendrán hasta meses después. Pero lo importante es que la visibilidad del artículo en las redes sociales es importante. El número de investigadores en las redes sociales es cada día es mayor. Un documento publicado en arXiv que recibe un gran número de menciones en las redes sociales acabará recibiendo un mayor número de citas, pues acabará siendo descargado muchas más veces y será mucho más conocido que los que no las hayan recibido. Por supuesto, los trabajos de mayor calidad acaban provocando un mayor impacto en la comunidad si aparecen mencionados muchas veces en Twitter. Hoy en día se publica tanto que de alguna manera tienes que destacar tus publicaciones sobre el resto.

Al poco de entrar en Twitter por primera vez, Marisa Alonso Núñez (@lualnu10) me preguntó: para qué le sirve a un científico estar en Twitter. Mi respuesta fue que yo pensaba que para nada; Twitter me parecía muy interesante para divulgadores científicos pero yo no le vía la utilidad para un investigador puro. Sin embargo, tras muchos meses en Twitter y más de 2500 tuits he descubierto varias cosas que me han hecho cambiar de idea. Hay muchos científicos en Twitter y muchos de ellos publicitan sus propios artículos tuiteando cuando aparecen en ArXiv. ¡¿Debo hacer yo lo mismo?! Tengo que hablar con mis coautores.

PS (1 nov 2012): El artículo citado en esta entrada aparece hoy en PLoS ONE: “Received: February 3, 2012; Accepted: September 12, 2012; Published: November 1, 2012.” Shuai X, Pepe A, Bollen J (2012) “How the Scientific Community Reacts to Newly Submitted Preprints: Article Downloads, Twitter Mentions, and Citations.” PLoS ONE 7: e47523.

Atención, pregunta: Si un revisor de un artículo te recomienda citar cierto trabajo superfluo, ¿qué haces?

Uno de cada cinco investigadores afirma que los revisores de sus artículos les han recomendado incluir referencias superfluas con el fin de que sean aceptados. Los investigadores jóvenes, además, afirman que han sucumbido a la presión y las han incluido. La “citación coercitiva” es un mal incómodo que cada día es más común. Muchos editores de revistas hacen la vista gorda o incluso la favorecen. El uso del número de citas como índice de calidad es la causa principal de este problema ético. Como los revisores no cobran por su trabajo gratuito, muchos “cobran” en citas a sus propios artículos o a los de sus colegas; hay revisores dicen que solo revisan artículos de “su tema,” es decir, en los que creen que pueden recomendar a los autores que les citen sus trabajos; para los autores este “precio a pagar” está asumido como algo “normal.” Los especialistas en ética científica creen que esta degeneración del sistema es perniciosa. Se ha publicado en Science los resultados de una encuesta sobre este tema realizada a científicos de áreas sociales y empresariales: el 86% de los autores que han contestado dice que esta coerción no es apropiada, el 81% dice que daña el prestigio de una revista, pero el 57% afirma que lo han hecho alguna vez. En ciencias puras los resultados seguro que son similares. El artículo con la encuesta es Allen W. Wilhite, Eric A. Fong, “Coercive Citation in Academic Publishing,” Science 335: 542-543, 3 February 2012; se han hecho eco del mismo Richard Van Noorden, “Researchers feel pressure to cite superfluous papers. First survey to quantify problem finds that junior faculty are more likely to be targeted,” News, Nature, 02 February 2012, y ”Coercive citation in academic publishing investigated,” PhysOrg.com, February 2, 2012, entre otros.

¿Qué opinas de esta práctica? ¿Crees que es un peaje que se ha de pagar por publicar si el revisor o el editor así lo requieren? ¿Te negarías a hacerlo? Usa los comentarios, si te apetece, para mostrar tu opinión al respecto.

La lista de “lobos” entre las editoriales de revistas de acceso gratuito

Yo no conocía la lista de Jeffrey Beall (autor del blog Metadata) de “Predatory, Open-Access Publishers” [PDF link]; me he enterado gracias a J.M. Mulet (@JMMulet) un colaborador de Amazings. Los ”lobos” editoriales editan revistas que se aprovechan de los autores como si fueran “corderitos.” Aprovechan el sistema de “pago por publicar” (“pay per publish“) de las revistas de acceso gratuito (“open access“) como un lucrativo negocio. Hay revistas de acceso gratuito muy buenas que respetan todos los procesos editoriales de una revisión por pares rigurosa. Pero también hay “lobos” con los que hay que tener cuidado, como Caperucita (los lobos en el cuento son los hombres adultos que disfrutan acosando a las jovencitas). Todo investigador senior conoce las editoriales de la lista de “lobos” de Beall, pero los investigadores jóvenes deberían consultarla. Por eso me permitiré presentaros un resumen breve de las editoriales que tienen revistas con índice de impacto en el ISI JCR 2010 de Thomson Reuters. Porque sí, lo has leído bien, algunas de estos “lobos” editoriales tienen revistas con índice de impacto (gracias a la política del ISI de admitir revistas del tercer mundo para que no parezca que solo aceptan revistas del primer mundo; ya se sabe que la mujer guapa cuando se maquilla no siempre mejora). Los jóvenes tienen que tener cuidado y no caer en la trampa del índice de impacto (pagar por publicar en una revista de un “lobo” editorial no da prestigio, pero quita las pelas).

Las editoriales de la lista de Beall de diciembre de 2011 que tienen revistas que aparecen en el JCR 2010 son:

  • Academic Journals (7 revistas impactadas en JCR 2010). Editorial nigeriana con más de 100 revistas de todas las áreas.
  • Academic Journals, Inc. (1 revista impactada en JCR 2010). Editorial pakistaní que dice que está afincada en New York.
  • Bentham Open (36 revistas impactadas en JCR 2010). Uno de las primeras editoriales que han aprovechado el negocio del acceso gratuito y que cuenta con más de 230 revistas de todas las áreas.
  • Dove Press (2 revistas impactadas en JCR 2010). Editorial médica neozelandesa que presume de un revista de alto índice de impacto y pide el oro y el moro por publicar.
  • Medwell Journals (1 revista impactada en JCR 2010). Editorial pakistaní con 34 revistas que evita decir dónde está afincada en su web.

Jeffrey Beall nos advierte también de editoriales que no son “lobos” pero son como “zorros” y hay que tener precaución con ellas.

  • Hindawi (27 revistas impactadas en JCR 2010). Editorial egipcia que ahora publica de forma independiente (pues antes de 2011 colaboraba como Sage). El número de revistas de Hindawi crece como los “gazapos” y ya acumula 31 títulos “Advances in …” y 32 títulos “Case Reports in …” Como Hindawi saca al “mercado” muchas nuevas revistas, muchos investigadores españoles reciben peticiones para formar parte de sus comité editoriales. Yo solo la recibí una vez y me negué. Pero otros han caído entre sus zarpas.
  • MedKnow Publications (14 revistas impactadas en JCR 2010). Editorial india que Beall calificaba de “lobo” y ahora califica de “zorro” que usa el viejo truco de llamar a algunas revistas con un nombre muy similar a una revista bien conocida y respetada, cambiando solo una palabra del título o reordenando éstas. Viejo truco con el que hay que tener cuidado.
  • PAGEPress (2 revistas impactadas en JCR 2010). Editorial italiana con unos 50 revistas. .
  • Versita Open (no tiene revistas impactadas pero Versita tiene 14 en JCR 2010). La versión online de una editorial polaca llamada Versita que comprende unas 200 revistas.

Como bien dice Jeffrey Beall: “These views represent the personal opinions of the author.” Pues lo dicho. Yo comparto lo que he leído y afirmo lo mismo. Si puedes evitar publicar en las revistas de los “lobos” editoriales de Beall, evítalo; publicando en ellas le harás un flaco favor a tu curriculum vitae (aunque podrás presumir de un mayor número de artículos en revistas con índice de impacto o que pronto lo tendrán). En mi opinión personal, quizás sesgada, es mucho mejor que inviertas tu valioso tiempo en enviar artículos a revistas de otras editoriales de mayor impacto real en la comunidad y que te darán prestigio.

El vicio de las autocitas

En los próximos días aparecerá el Journal Citation Reports (JCR ) de 2010. Publicado por Thomson Reuters desde 1975, este listado del índice de impacto de (algunas) revistas internacionales es el indicio de calidad por excelencia para valorar la calidad de un artículo concreto de un investigador (aunque ello implique un uso abusivo del índice de impacto). La pregunta más común en relación al JCR se refiere al impacto que tienen las autocitas en el índice de impacto de una revista concreta. Thomson Reuters afirma que la correlación entre el índice de impacto y el número de autocitas es muy débil; por tanto, eliminar las autocitas de una revista a sí misma no cambia su índice de impacto, salvo en pocas excepciones que confirman la regla. Este estudio, con datos del JCR 2002, se publicó en María E. McVeigh, “Journal self-citation in the Journal Citation Reports,” Thomson Reuters, 2004 [versión en pdf].

Lo normal es que un investigador se autocite mucho pues ello indica que su trabajo tiene una línea de continuidad y cierta progresión temporal. Tampoco es raro que haya revistas con un alto número de autocitas, ya que es habitual que un artículo de alto impacto provoque gran número de secuelas que suelen aparecer en la misma revista que lo publicó. La cuestión importante es si un editor principal o los revisores pueden distorsionar el índice de impacto de una revista recomendando a los autores que citen artículos recientes publicados en la misma. El estudio de Thomson Reuters estudió las 5876 revistas en el JCR Science Edition 2002. Como muestra la figura que abre esta entrada, 4816 revistas (el 82% del total) tenían tasas de autocitas por debajo del 20%. La correlación entre el índice de impacto y la tasa de autocitas es muy baja (R² = 0,037). Un estudio de todas y cada una de las 170 categorías en el JCR Science Edition 2002 mostró que hay correlación débil entre el número de revistas en una categoría concreta y la tasa de autocitas (R² = 0,1); tampoco se observó correlación entre el puesto de una revista dentro de una categoría concreta y su tasa de autocitas. Abajo aparece este estudio para las categorías Physics, Multidisplinary y Mathematis.

La universalidad de las distribuciones de citas no es universal según un nuevo estudio

Figuras del artículo de 2008 en PNAS mostrando la universalidad ahora puesta en entredicho.

La ley universal en la distribución de las citas a artículos científicos de diferentes áreas fue “demostrada” en 2008 gracias al estudio de 14 campos científicos del ISI Web of Science (WOS). Un nuevo estudio que considera todas las 221 áreas científicas del ISI WOS muestra fuertes dudas sobre la univesalidad de esta ley: se da entre ciertas áreas, pero no en todas, y además hay excepciones entre áreas afines en apariencia. Un artículo de Filippo Radicchi et. al publicado en PNAS en 2008 observó una ley universal en las distribuciones de citas cuando se divide el número de citas a una revista entre el número medio de citas del campo en el año anterior. Parece una trivialidad, pero resultaba en una homogeneización casi perfecta de las distribuciones de citas en los diferentes campos estudiados entonces  (ver la figura que abre esta entrada). Un nuevo artículo de Ludo Watlman et al. ha validado la idea con un conjunto enorme de datos y con todos los campos del ISI Web of Science. Como resultado se ha observado que la ley universal no es tan universal como se pensaba. Se cumple en algunos campos, pero hay muchas excepciones, demasiadas, según los autores, para sostener la idea de universalidad. Se siente, los evaluadores de la actividad científica que confiaban a ciegas en esta universalidad en la distribución de citas tendrán que tener muy en cuenta el nuevo resultado. Sólo se pueden comparar las citas dentro de un área concreta; incluso áreas afines tienen distribuciones de citas que no se pueden comparar entre sí, aunque se normalicen. Os recomiendo releer a Carlos, “Cambio 1 ingeniero por 2.58 biólogos: Universalidad de las distribuciones de citas,” La Singularidad Desnuda, octubre 22, 2008, así como el artículo original de Filippo Radicchi, Santo Fortunato, Claudio Castellano, “Universality of citation distributions: towards an objective measure of scientific impact,” Proc. Natl. Acad. Sci. USA 105: 17268-17272, 2008 (gratis en ArXiv). El nuevo artículo es Ludo Waltman, Nees Jan van Eck, Anthony F.J. van Raan, “Universality of citation distributions revisited,” ArXiv, 15 May 2011.

PLoS ONE ya es la revista más grande del mundo en número de artículos

He buscado en el ISI Web of Science y resulta que PLoS ONE ha publicado en 2010 la friolera de 6714 artículos (y en los tres primeros meses de 2011 nada menos que 2090). PLoS ONE es la revista que más artículos ha publicado en 2010. Physical Review B ha publicado en 2010 algo menos, 6154 artículos, y la tercera creo que es PNAS con 4217 artículos. En mi búsqueda rápida estas son las tres revistas más grandes (por número de artículos publicados) en 2010. No sé si habrá alguna revista más grande. ¿Conoces alguna que sea mayor?

PLoS ONE es la revista generalista de la editorial Public Library of Science (PLoS), fundada en 2001 entre otros por Harold Varmus (Premio Nobel). PLoS ONE es la revista bandera del movimiento Open Access (OA) que reivindica que la ciencia tiene que ser de acceso gratuito, aunque para ello los autores y sus instituciones tengan que pagar por publicar (en este blog recomiendo “El buen negocio de PLoS ONE y el “pagar por publicar”,” 20 agosto 2010). PLoS ONE es una revista con un índice de impacto de 4’351, obtenido por primera vez el año pasado (en este blog nos hicimos eco en ”Ya se ha publicado el nuevo JCR 2009: PLoS ONE ya tiene índice de impacto (en Biología),” 18 junio 2010).

“For PLoS ONE the publication fee is US$1350. Authors who are affiliated with one of our Institutional Members are eligible for a discount on this fee.” PLoS ONE Guidelines for Authors.

Hacer números es fácil. Los 1350 $ pagados por cada uno de los 6714 artículos de 2010 totalizan más de 9 millones de dólares (M$). Como muchos artículos tienen un descuento y hay un cierto número de autores que se declaran “pobres” y que no pagan, podemos reducir los beneficios a 7 M$,  no creo que mucho menos. ¿Cuánto cuesta mantener una página web de una revista y su comité editorial? No sé, debe ser muy caro, pongamos 2 M$. En dicho caso el beneficio de PLoS ONE es mayor de 5 M$. ¿Debería PLoS ser una editorial sin ánimo de lucro? ¿Debería reducir PLoS ONE el precio por publicar un artículo de 1350 $ a la mitad o a un tercio de dicho precio?

Quizás soy el único interesado en esta chorrada, poco importante para el lector habitual de este blog. Lo siento. Pero si te interesa, te cuenta la historia de PLoS ONE con un cierto toque crítico Richard Poynder, “PLoS ONE, Open Access, and the Future of Scholarly Publishing,” Open and Shut?, March 07, 2011.

“La noticia del año [2010], sin duda, es la inclusión de PLoS ONE en el JCR, revista que ha pasado de no estar recogida por Thomson Reuters en el Science Citation Index a ser recogida por el JCR antes de acabar dicho año, mientras el resto de revistas deben esperar a llevar tres años indizadas para ser recogidas en el exclusivo Journal Citation Report. Bien, este año, por fin aparece el tan esperado Factor de Impacto de PLoS ONE. Yo pensaba que se recogería en la categoría MULTIDISCIPLINARY SCIENCES, junto a Nature, Science y PNAS, con un factor de impacto inferior a éstas, pero inmediantamente después de PNAS, pero no, no aparece en esta categoría. Resulta que la han puesto en la categoría BIOLOGY, en cuya categoría aparece con un factor de impacto de 4.351 en su primer cuartil, aunque no alcanza el primer decil en esta categoría (sí lo haría en MULTIDISCIPLINARY SCIENCES).” Álvaro Roldán López, “JCR 2009,” Bibliometría, 18 Junio 2010.

PLoS ONE es una revista rodeada de cierto “halo de magia” y sobre la que ocurren cosas muy curiosas, como por ejemplo lo siguiente.

“He seguido extrañado con la repentina inclusión de PLoS ONE en el JCR. (…) Parece claro que detrás de la inclusión de PLoS ONE en los productos de Thomson Reuters no ha estado la mano de PLoS a quien parece importar poco el factor de impacto. Pero… ¿y entonces de dónde surge la iniciativa? Pues tirando de otro hilo, llego a un Announcement que sobre PLoS ONE hizo en su día Thomson Reuters y que a mí me pasó desapercibido. En él se anuncia la inminente entrada de la revista en varios productos de la compañía y la entrada en el Journal Citation Report para el mes de junio. Y la decisión se la atribuyen a los Thomson Reuters coverage and subject specialists, es decir, a la propia compañía. Aunque sigue sin aclarar la precipitación y retrospección de la inclusión frente a la calma y el calmo proceder con el resto de revistas.” Álvaro Roldán López, “PLoS ONE y su inclusión en WoS y JCR: un enigma semi-resuelto,” Bibliometría, 5 Julio 2010.

Y ya que he copiado un par de extractos de Álvaro, creo que debo recomendar, a los interesados en temas de blibliometría, una visita regular a su blog Bibliometría, que publica poco, sin agobiar, pero siempre cosas interesantes. Por ejemplo, Thomson Reuters calcula mal los cuartiles a los que pertenece una revista que aparecen en el JCR, como nos comenta Álvaro Roldán López en ”Lost in cuartiles,” Bibliometría, 28 Noviembre 2010, y en “Los damnificados por el cálculo del primer cuartil del JCR,” Bibliometría, 20 Feb. 2011.

“En aquellas categorías en las que el número de revistas dividido entre 4 daba como resultado un número entero (N/4=n), JCR calculaba el primer cuartil como n-1, en lugar de n, como debería. Es decir, que la última revista del primer cuartil pasa a ser para JCR la primera revista del segundo cuartil, acción que deja en muy mal lugar a un nutrido número de revistas. ¿Cuantas? Pues sí, me he entretenido en localizarlas y son un total de 51 revistas que a continuación os listo.”

Carnaval de Matemáticas 2.1: Por qué una revista del montón (IJNSNS) tiene el mayor índice de impacto en Matemática Aplicada

La revista internacional The International Journal of Nonlinear Sciences and Numerical Simulation (IJNSNS) alcanzó en 2008 un índice de impacto de 8’91 y desde 2006 (hasta 2009) lidera la lista de revistas internacionales en el área de Matemática Aplicada del Journal Citation Reports (JCR). En 2011 ya no lo hará: IJNSNS ha cambiado de editorial (de Freund a De Gruiter) y su editor principal (Ji-Huan He) ha sido substituido (por Krishnaswamy Nandakumar). El making of del alto índice de impacto de IJNSNS, gracias a las malas artes de J.-H. He, nos lo explican Douglas N. Arnold y Kristine K. Fowler, “Nefarious Numbers,” Notices of the AMS 58: 434-437, Mach 2011 [ArXiv, 1 Oct 2010]. Más información en “Arnold & Fowler on “Nefarious Numbers” about the impact factor manipulation,” Francis’ world inside out, February 18, 2011. Esta entrada será mi primera participación en el Carnaval de Matemáticas 2.1 alojado por Tito Eliatrón Dixit.

Antes de nada hay que explicar la figura que abre esta entrada. El Consejo de Investigación Australiano (Australian Research Council, el equivalente australiano al CSIC español) ha evaluado mediante encuestas a investigadores la calidad de 20.000 revistas internacionales. La calidad global de una revista puede ser A* (lo mejor en su campo), A (de muy alta calidad), B (de reputación sólida) y C (para las que no encajan en las otras categorías). La lista ERA incluye 170 de las 175 revistas internacionales impactadas de la categoría “Mathematics, Applied” del JCR de 2008. La revista #1, IJNSNS ha sido calificada como B. Las revistas #2 y #3, Communications on Pure and Applied Mathematics (CPAM) y SIAM Review (SIREV), que solo alcanzan un índice impacto de 3’69 y 2’80, resp., son revistas de categoría A*. La línea roja en la figura se ha colocado en el percentil 20% para el índice de impacto de las revistas tipo A* (lo mejor de lo mejor); hay que destacar que 51% de las revistas tipo A tienen un índice de impacto mayor que este nivel, como el 23% de las revistas tipo B y el 17% de las “peores” revistas (tipo C). Obviamente, IJNSNS es el caso más anómalo. Su índice de impacto es astronómico para ser una revista de categoría B. Entre las 10 revistas con mayor índice de impacto (JCR 2008) tenemos 7 revistas A*, 2 revistas A y solo una revista B, IJNSNS. ¿Cómo es posible que IJNSNS haya obtenido un índice de impacto tan alto?

El índice de impacto se calcula como un cociente entre las citas recibidas y el número de artículos. En 2008 se citaron 821 veces los 79 artículos de IJNSNS publicados en 2007 y 561 veces los 84 publicados en 2006, por tanto, el índice de impacto es (821+561)/(79+84)=1382/163=8’479. ¿Cómo ha logrado Ji-Huan He que IJNSNS haya obtenido un índice de impacto tan alto?

El investigador que más citas a IJNSNS ha producido en 2008 es … su editor principal, Ji-Huan He (243 citas de las 1382). El segundo citador es D. D. Ganji (con 114 citas) y el tercero Mohamed El Naschie (con 58 citas), ambos son miembros del comité editorial de la revista. Estos 3 autores son responsables del 29% de las citas que cuentan para el índice de impacto de IJNSNS. Más aún, el 71’5% de las citas en 2008 a IJNSNS son citas a artículos publicados en 2006 y 2007 (las citas que cuentan para el índice de impacto).

La revista internacional que más ha citado a IJNSNS en 2008 es el Journal of Physics: Conference Series, responsable de 294 citas (más del 20% de las 1382). Todas estas citas provienen de un solo número de esta revista, las actas de un congreso internacional organizado por… Ji-Huan He, editor principal de IJNSNS en su propia universidad. La segunda revista que más ha citado a IJNSNS en 2008 fue el Topological Methods in Nonlinear Analysis, responsable de 206 citas (el 14%) y de nuevo todas las citas provienen de un solo número de esta revista, un número especial cuyo editor invitado es … como no, Ji-Huan He. La tercera revista más citadora en 2008 a IJNSNS es la revista Chaos, Solitons and Fractals, con 154 citas; Ji-Huan He era miembro del comité editorial de CS&F y su editor principal Mohamed El Naschie es coeditor (regional) de IJNSNS. La cuarta revista más citadora es el Journal of Polymer Engineering, también de un solo número y también editado por Ji-Huan He. Ji-Huan He es responsable “directo” de más del 50% de las citas al IJNSNS en 2008.

Según el Essential Science Indicators, producido por Thomson Reuters, J.-H. He es uno de los científicos más citados de la actualidad en Matemáticas, con 6.800 citas y un índice-h de 39 (según Hirsch, inventor del índice-h, la media de los ganadores del premio Nobel de Física es 35). He y sus malas artes han logrado encumbrarle al súmmun de los científicos más citados. Por ejemplo, sólo el número especial de la revista Journal of Physics: Conference Series antes citado,  editado por él mismo, contiene 353 citas a sus propios artículos. ¡Qué os voy a contar!

En este blog ya nos hemos hecho eco en varias ocasiones de las malas prácticas de He: “El editor que se autoedita, buen autoeditor es (salvo que le corten la cabeza como a El Naschie),” 27 noviembre 2008; ”El presidente de SIAM y la “ingeniería” del índice de impacto de revistas internacionales,” 12 diciembre 2009; y “Una broma de mal gusto del ISI Web of Science o esto va de castaño a oscuro,” 16 junio 2009.

Lo sorprendente es que hasta el año 2009 nadie se atrevía a criticar las malas artes de J.-H. He. Imperaba una ley del silencio que destaparon una serie de blogs y una serie de artículos que criticaron la “basura” He-siana (porque sus artículos técnicos son pura “basura” no hay mejor palabra para calificarlos). En este blog nos hemos hecho eco de ello en varias ocasiones: “La cruzada de Francisco M. Fernández contra Ji-Huan He y los He-sianos, un ejemplo de la “basura” que se publica en revistas “respetables”,” 5 febrero 2009; “Nueva cruzada contra los He-sianos, pero en revistas sin índice de impacto, por ahora,” 23 abril 2009; “Nuestro cruzado, Marcelo, logra uno de los artículos más descargados en ScienceDirect,” 7 octubre 2009; “Nuevos avatares de la cruzada anti-He-siana de la mano del nuevo cruzado Sir Jason, autor del blog “El Naschie Watch”,” 2 julio 2010; ;  y “Nikolai Kudryashov y la cruzada en defensa de la fe en la matemática aplicada,” 27 noviembre 2010.

Hecha la ley, hecha la trampa. La ley de Goodhart nos dice que “cuando una medida se convierte en un objetivo, deja de ser una buena medida.” El índice de impacto ha pasado de ser un indicador bibliométrico desconocido para la mayoría de los investigadores a convertirse en la medida de la calidad más utilizada para revistas, investigadores e instituciones científicas. La manipulación del índice de impacto es inevitable, aunque pocas veces es de forma tan exagerada como en el caso del IJNSNS cuando era editado por J.-H. He (yo espero que el nuevo editor le lave la cara a esta revista).

Goodhart’s law warns us that “when a measure becomes a target, it ceases to be a good measure.” 

Un flaco favor para los jóvenes investigadores

Hay muchos investigadores jóvenes (postdocs) que creen que publicar un artículo en una revista de prestigio es más importante para su carrera académica que hacer ciencia de calidad per se. Hay muchos postdocs que pierden años enviando un artículo a una revista de alto impacto, que es rechazado de forma sistemática, pero que revisan una ya otra vez gastando muchos meses en esta tarea, en lugar de dedicarse a desarrollar nuevas ideas y a hacer ciencia de calidad. Es cierto que en la mayoría de los  países la financiación y la promoción de los investigadores jóvenes está condicionada a sus publicaciones en revistas de alto índice de impacto. Pero para la gente joven poner demasiado énfasis en la publicación en revistas de alto impacto es la mejor receta para acabar en un desastre, salvo excepciones. En el caso más extremo, provoca la tentación de falsificar los datos. Incluso para los que nunca lo harían, el mensaje es que el éxito en ciencia no es desarrollar ciencia de calidad sino publicar ciencia a cualquier precio. La hipocresía de las publicaciones, publicar en revistas por su índice de impacto y no por el contenido científico de lo que publican. Se olvida muy fácil que el índice de impacto se inventó para ayudar a los bibliotecarios a la hora de elegir las revistas que contratar. Se olvida que utilizarlo para evaluar la calidad de un investigador, un departamento o una institución académica es un claro ejemplo de efecto lateral y uso indebido de un concepto útil para lo suyo. Aunque las intenciones de los evaluadores sean las mejores posibles, nada bueno se puede esperar de una evaluación centrada en el índice de impacto. Todos estamos de acuerdo, supongo, pero a veces es necesario que nos lo recuerden, y nos lo recuerdan Eve Marder, Helmut Kettenmann, Sten Grillner, “Impacting our young,” Editorial, PNAS, Published ahead of print, November 22, 2010. Porque estas verdades a veces hay que recordarlas.

Ahogados en artículos: el negocio de las publicaciones científicas

El dogma es sencillo: publicar es garantía de calidad. La investigación publicada en revistas internacionales es de buena calidad. Un científico no logra publicar algo porque es de mala calidad. Un dogma cada día más insostenible. Un dogma que todos tenemos que aceptar. Las revistas científicas no pueden ser garantes de la calidad. Las editoriales que publican las revistas tienen un negocio que sostener y la economía dicta las normas para asegurar beneficios. La calidad científica por sí misma no genera beneficios. El número de artículos publicados sí que los genera. El número de citas que recibe un artículo sí que los genera. El negocio editorial de las revistas científicas depende del índice de impacto. Maximizar el índice de impacto es el objetivo prioritario. La cantidad de artículos publicados ayuda a lograrlo. La calidad científica de lo publicado no lo garantiza. La ciencia se ha convertido en un negocio: el negocio de las publicaciones científicas. Nos lo recuerdan Donald Siegel y Philippe Baveye, “Battling the Paper Glut,” Letters, Science 329: 1466, 17 September 2010.

El concepto “publicar o perecer” (publish or perish) apareció en EEUU en los 1950 y fue muy criticado en su momento, pero en los 1980 se impuso cual dictador que somete a la comunidad académica. Las universidades empezaron a utilizar de forma sistemática el número de artículos publicados al año por cada profesor como medida “fiable” de su productividad. Los investigadores se dedicaron a publicar a destajo seccionando su trabajo en las unidades más pequeñas posibles que fueran publicables (“salami slicing“). Los artículos escritos por muchos autores (en los que algunos ni siquiera se han leído el manuscrito) se convirtieron en la norma. Muchos doctorandos guiados por sus directores de tesis acabaron publicando de forma separada cada capítulo de su tesis doctoral, enviándolos a revistas incluso antes de la defensa de su tesis. A veces la defensa se ha de retrasar hasta que el doctorando tenga cierto número de artículos publicados (o aceptados) en revistas. Desde finales de los 1980 hasta finales de los 1990 el número de artículos publicados al año creció entre un 200% y  un 300% (según el campo).

Ver la espina en ojo ajeno es más fácil que ver la astilla en ojo propio. Los males del publish or perish se están observando con toda su crudeza en la investigación que emerge de países como China e India. Estos países han imitado a Occidente hasta el punto de ofrecer  incentivos o recompensas monetarias a los investigadores que logran un mayor número de artículos publicados en revistas de calidad (impactadas). Por ello, el número de artículos producidos por estos países está creciendo a pasos agigantados. En 2008, China superó a los Estados Unidos y se convirtió en el segundo productor científico (en número total de artículos publicados) después de Europa. Los índices bibliométricos que miden la calidad de las publicaciones indican que Estados Unidos es el mayor productor de ciencia de calidad del mundo, con diferencia. Aún así, muchos índices bibliométricos (como el índice h) incentivan que los investigadores publiquen un gran número de artículos para inflar sus índices de calidad (con autocitas o citas a “amigos” que luego les citen a ellos).

Las principales revistas científicas publican un número tan grande de manuscritos que la mayoría de los editores principales son incapaces de garantizar la calidad científica de lo que publican. Además, la revisión por pares cada día es más difícil de gestionar. Muchos editores encuentran muchos problemas para encontrar revisores entre los especialistas de renombre y tienen que recurrir a investigadores de menor prestigio. Los científicos de prestigio además de revisar artículos para revistas tienen que revisar propuestas de proyectos de investigación e informes gubernamentales. Sin embargo, la revisión por pares no es valorada por las instituciones académicas como mérito científico. Los revisores trabajan gratis para las grandes editoriales de publicaciones científicas sin recibir nada a cambio. Por ello, cada día que pasa es más difícil que un científico acepte revisar un artículo por amor al arte.

Donald Siegel y Philippe Baveye afirman en su artículo que, bajo ninguna circunstancia, el número de artículos publicados debe usarse como criterio para otorgar una plaza, promocionar, o clasificar a las instituciones académicas. Siempre se debería limitar el número de artículos al año que un investigador puede incluir como garantía de la calidad de su trabajo en su propio curriculum vitae adjunto a una solicitud. En los proyectos de investigación también se debería limitar el número máximo de artículos propios que se incluyan. El objetivo ideal es premiar la calidad y no la cantidad. El objetivo de las instituciones debe ser premiar a los investigadores que guían su trayectoria académica por la calidad y no por la cantidad.

Donald Siegel y Philippe Baveye también nos recuerdan la importancia vital de la revisión por pares en la ciencia actual. Debería implantarse algún mecanismo (algún tipo de índice bibliométrico) que premie a los revisores que realizan un trabajo de calidad (los editores y los propios autores podrían cuantificarlo de alguna manera). La formación en cómo revisar artículos científicos debería ser parte íntegra de la formación predoctoral y postdoctoral de los investigadores jóvenes. La eficacia de la revisión por pares es la herramienta clave para garantizar la calidad científica de lo que se publica. Los investigadores tienen que recordar que cuanto más artículos se publiquen en el mundo, más ineficiente será la revisión por pares. El dogma debe cambiar: una revisión por pares rigurosa es garantía de calidad.

El artículo científico más citado de toda la historia

El artículo de Oliver H. Lowry, Nira J. Rosenbrough, A. Lewis Farr, Rose J. Randall, “Protein Measurement with the Folin Phenol Reagent,” The Journal of Biological Chemistry (JBC) 193: 265-275, 1951, está considerado el artículo más citado de toda la historia de la ciencia (según el ISI Web of Science 1945-2010). En julio de 2005 ya contaba con 293.328 citas (más de 101.300 citas que el segundo clasificado). Solo en Google Scholar, hoy, hay 190239 documentos que lo citan. Nos lo contaron Nicole Kresge, Robert D. Simonim, Robert L. Hill, “The Most Highly Cited Paper in Publishing History: Protein Determination by Oliver H. Lowry,” The Journal of Biological Chemistry (JBC) 280: e25, 2005, y Eugene Garfield (creador del índice de impacto y fundador del ISI) en “The Agony and the Ecstasy. The History and Meaning of the Journal Impact Factor,” International Congress on Peer Review And Biomedical Publication, Chicago, September 16, 2005.

Oliver Howe Lowry (1910–1996) nació en Chicago, estudió ingeniería química en la Universidad de Northwestern (1932) e hizo la tesis doctoral en la Universidad de Chicago bajo la dirección de Frederick Koch en bioquímica (1937) al tiempo que se licenciaba en medicina. Se enroló como postdoc en el laboratorio de A. Baird Hastings en la Universidad de Harvard sobre el metabolismo electrolítico. Entre 1942 y 1947, Lowry trabajó en el Instituto de Investigación en Salud Pública (Public Health Research Institute) de New York. Fue allí donde desarrolló un nuevo método para la medida de la concentración de una proteína en una disolución, método que publicó en JBC y que por ahora es el artículo más citado de toda la historia. Lowry se basó en el método del reactivo del fenol desarrollado por Otto Knut Olof Folin y Vintila Ciocalteu. Lowry sabía las grandes aplicaciones que tenía su método pero no lo publicó de inmediato, aunque difundió su idea entre varios investigadores. Earl Sutherland publicó un artículo que utilizó su método y lo citó como “un método aún sin publicar de Lowry” lo que incitó a Lowry a enviar el artículo a JBC. El artículo fue rechazado porque era demasiado largo. Lowry lo envió de forma abreviada y el artículo apareció finalmente en JBC.

En 1947, Lowry fur invitado a dirigir el Departamento de Farmacología de la Universidad de Washington en St. Louis (cargo que ostentó durante 29 años). Según el mismo fue ”una apuesta por parte de esta Universidad, ya que nunca había estudiado un curso de farmacología, ni había hecho ninguna investigación que fuera calificable de farmacológica, y además, sus dos predecesores en el cargo, Carl Cori y Herbert Gasser, fueron laureados con el Premio Nobel, pero no había ninguna posibilidad de que él fuera a ir a Suecia, excepto como turista.” Sus palabras fueron premonitorias. Nunca recibió el Premio Nobel.

Como nos recuerda Derek R. Smith en “Historical Development of the Journal Impact Factor and its Relevance for Occupational Health,” Industrial Health 45: 730–742, 2007, contando las citas al artículo de Lowry fuera de las revistas indexadas en el ISI Web of Science, en 2004, ya tenía más de 400.000 citas. Aún así, la revista donde se publicó, JBC, no es la revista con el mayor índice de impacto. Ser autor del artículo más citado de la historia tampoco es garantía de ser un genio, como el propio Lowry afirmaba en su famoso artículo “How to succeed in research without being a genius,” Annu. Rev. Biochem. 59: 1-27, 1990, donde recordaba que su artículo en JBC no era su mejor trabajo científico. Basta buscar las citas a Albert Einstein en el ISI Web of Science para reconocer que muchas citas no son indicativo de genialidad (Einstein, A. ha sido citado en los 47.562.433 artículos entre 1945 y 2010 del ISI WOS, a día de hoy, 6647 veces).

El buen negocio de PLoS ONE y el “pagar por publicar”

Public Library of Science (PLoS) es una organización sin ánimo de lucro. PLoS ONE es una revista de acceso gratuito (open access), no hay que pagar nada para leer los artículos, a costa de que los autores paguen 1350 $ (dólares) por cada artículo aceptado. PLoS ONE acepta el 69% de los artículos enviados y tiene el récord de ser la revista que más artículos publica al año (en 2010 se espera que alcance los 7500 artículos). PLoS ONE ya tiene índice de impacto.  La iniciativa PLoS nació en 2003 gracias a 9 M$ (millones de dólares) donados por la fundación Gordon and Betty Moore Foundation (para la creación de PLoS Biology). Hoy, PLoS cuenta con 7 revistas y el precio por publicar un artículo está entre 2250 $ y 2900 $, salvo en PLoS ONE. ¿Las revistas PLoS son un buen negocio? Haced números. ¿Y qué, mejor para ellos? Los críticos afirman que las revistas PLoS son un buen negocio porque aceptan miles de artículos con un proceso de revisión “ligero” y en PLoS ONE incluso “muy ligero” ya que los revisores deben asegurar el rigor científico, pero no la importancia del resultado (algo que “suene” a científico “cuela” aunque sea una “chorrada” y hay mucha gente que quiere publicar en una revista con un índice de impacto de 4’351 según ISI JCR 2009). Nos lo cuenta Jocelyn Kaiser, “Free Journals Grow Amid Ongoing Debate,” News Focus, Science 329: 896-898, 20 August 2010. ¿Tendrán envidia desde Science por el éxito editorial de PLoS? Se aceptan comentarios.

Muchos se han apuntado y se están apuntando al buen negocio del “pay per publish” con la excusa del acceso gratuito (“open access“). La mayoría de las 206 revistas de BioMed Central ya cobran a los autores (desde 2002) desde 1300 $ hasta 2400 $ por artículo publicado. Matthew Cockerill, Managing Director de BioMed, afirma que “es un negocio rentable desde hace algún tiempo.” Hasta el punto de que en 2008, BioMed fue adquirida por Springer (que ya se ha apuntado, como otros gigantes editoriales, al “pay per publish“).

Han nacido muchas editoriales pequeñas (en continuo crecimiento) cuyo objetivo es aprovechar el negocio del “pay per publish” ofreciendo la publicación “barata” de artículos (“bargain-rate pay per publish“). Una de las más exitosas ha sido Hindawi, que ya cuenta con más de 200 revistas de acceso abierto en las que cobra entre 600 $ y 1500 $. Yo puedo asegurar que recibo un correo de Hindawi invitándome a publicar un artículo en alguna de sus “nuevas” revistas al menos una vez por semana (y alguna vez me han ofrecido incluso hacerlo “gratis”).

El listado de revistas de acceso gratuito (Directory of Open Access Journals) cuenta ya con unas 5000 revistas científicas (en 2003 solo contaba con 861). Solo dos tercios de estas revistas incluyen revisión por pares (“peer reviewed“). Un tercio de estas revistas, sin ni siquiera revisión por pares, solo están interesadas en recaudar dinero de los autores “primos” que se dejen engañar. El listado Ulrich de revistas científicas (Ulrich’s Periodicals Directory) incluye 2888 revistas de acceso gratuito de un total de 27252 revistas con revisión por pares (el 10’6 %). Marie McVeigh de Thomson Reuters afirma que el ISI Web of Knowledge incluye 622 revistas de acceso gratuito de un total de 9190 revistas (el 6’8%).

PLoS tiene una gran baza bajo la manga, sus revistas PLoS Biology y PLoS Medicine son revistas de alto índice de impacto con un proceso de revisión por pares tan riguroso como cualquier otra revista científica y su tasa de aceptación de artículos es baja. Los editores de PLoS nos recuerdan que el coste de mantener una revista internacional está en proporción inversa a la tasa de artículos aceptados. Las revistas como Nature o Science que aceptan muy pocos artículos tienen que sostener su “negocio” a base de publicar noticias, secciones no científicas e incluir publicidad, mucha publicidad. Se estima que el coste total de cada artículo científico publicado en Nature o Science ronda los 10000 $.

Para quien no quiera ver el partido España-Chile y quiera disfrutar un buen rato leyendo sobre fútbol…

Uno de los artículos más descargados últimamente en PLoS ONE tiene como primer autor a un español (Jordi Duch, de la Universitat Rovira i Virgili) y versa sobre el fútbol, ahora muy de moda con el mundial en pleno curso. Daniel Civantos nos lo resume muy bien en “Identificando a los verdaderos buenos jugadores con análisis de redes sociales,” Cookingideas, 17.06.2010. Obviamente mucha otra gente también se ha hecho eco de dicho artículo, con más o menos éxito, como Eduardo Angulo, “Mundial,” La biología estupenda, 22 Jun 2010, y no sólo en español, “The science of soccer stats,” Cosmic Log, 16 Jun 2010. En la página web del autor principal, Amaral, aparece comentado el artículo (“Footballer Rating: Using science to identify true football/soccer stars,” junio 16, 2010) y se mencionan algunos de los muchísimos medios que se han hecho eco de dicho artículo (Jonathan Fahey, “How to find the world’s best soccer players,” Forbes; Rachel Cohen, “Study tries to evaluate performances of players,” AP; etc.).

¿Cuál es el artículo técnico? Obviamente ya lo sabrás (o lo habrás leído): Jordi Duch, Joshua S. Waitzman, Luís A. Nunes Amaral, “Quantifying the Performance of Individual Players in a Team Activity,” PLoS ONE, June 16, 2010. El artículo se centra en la copa de Europa de 2008, pero los autores han aplicado su algoritmo, la duda ofende, al mundial de fútbol de Sudáfrica. Ambos resultados los tenéis en una página web FootBaller-Rating.com que promete estar activa para futuros campeonatos (y supongo que en el intríngulis mejorarán el algoritmo).

No quisiera dejar de mencionar que PLoS ONE (Public Library of Science One) es una revista de Pay Per Publish. Cuesta 1350 dólares publicar un artículo en PLoS ONE. No es caro, pero tampoco es barato. Lo bueno es que este año ya tiene índice de impacto, 4’351, en el primer cuartil de la categoría de Biología. Ciertamente es una revista bastante citada (sus autocitas sólo representan el 8% del total, con lo que sin autocitas su índice de impacto bajaría a 4’0). Sin embargo, esta revista es todo un coladero. El 70% de los manuscritos enviados son aceptados para publicación. Un congreso internacional con esta tasa de artículos aceptados se considera un timo (un negocio). Normalmente, los congresos internacionales de calidad tienen tasas de aceptación inferiores al 40% y las revistas internacionales más prestigiosas por debajo del 20%. Sin lugar a dudas PLoS ONE es todo un buen negocio. ¿Pero no lo son todas las revistas internacionales? Lo más caro, investigar y escribir los artículos, les sale gratis. Más información sobre este asunto en, como no, Philip Davis, “PLoS ONE: Is a High Impact Factor a Blessing or a Curse?,”  The Scholarly Kitchen, Jun 21, 2010. También en Hank Campbell, “Open Access And Good Citations: The PLoS Factor,” Science 2.0, Scientific Blogging, June 22nd 2010.

[Por los gritos de la gente, España 2 - Chile 0].

La ciencia es un negocio, las publicaciones científicas son un negocio y la medidas de la calidad de las revistas son otro gran negocio. Recientemente en Nature dedicaron un artículo a las métricas bibliométricas, su importancia y los problemas asociados a su abuso: Alison Abbott, David Cyranoski, Nicola Jones, Brendan Maher, Quirin Schiermeier, Richard Van Noorden, “Metrics: Do metrics matter?,” News Feature, Nature 465: 860-862, 16 June 2010 [el acceso al artículo es gratuito]. En España se dice que “hecha la ley, hecha la trampa.” Cualquier tipo de medida de la calidad científica, que no sea la lectura detallada de los artículos más relevantes del investigador y una entrevista con él para chequear que realmente es el autor de dichas publicaciones, está sujeta a la “ingeniería del curriculum vitae.” Un ejemplo típico es el número de publicaciones. En España para acreditarse a profesor funcionario hay un número de publicaciones fijado a nivel nacional que garantiza la máxima puntuación por publicaciones en el apartado correspondiente; más publicaciones no aportan más puntos, en dicho apartado. Muchos investigadores, en lugar de concentrarse en publicar artículos de calidad, dedican sus esfuerzos a maximizar su número de publicaciones. Publicar, republicar y rerrepublicar lo mismo una y otra vez, en revistas diferentes y con envíos relativamente simultáneos en el tiempo para que ningún revisor se de cuenta y no los eche para atrás. Hoy en día, desgraciadamente, muy habitual. O grupos de investigadores que firman todos los artículos de todos, maximizando el número de publicaciones, aunque en muchas de ellas ni se hayan leído el título del artículo. Y no exagero, muchas universidades españolas tienen sistemas informáticos que imprimen el CV en formato oficial a partir de las publicaciones de uno incluidas en una base de datos. Así que le imprimen a uno el CV sin que uno tenga que preocuparse de incluir los artículos que uno mismo ha firmado (si los ha introducido otro coautor). Hay muchos investigadores a quienes les lees un título de uno de sus artículos y son incapaces de saber si es suyo o no (y no digamos ya lo que se supone que ellos han contribuido a dicho artículo).

Una encuesta realizada por Nature a 150 investigadores sobre qué les parecen las métricas bibliométricas nos ofrece pocas sorpresas, pero hay que recordar que lo conocido, por conocido, no debe de ser callado. Alrededor del 70% de los científicos creen (saben) que las métricas se utilizan en la toma de decisiones para contratar a nuevos investigadores y para promocionar a los investigadores. Más del 63% de los investigadores no está satisfecho con cómo se usan las métricas en su universidad. Un gran descontento… [dice mi mujer que Chile ha marcado, luego España 2 - Chile 1, y que tenemos que cenar...].

PS: tras cenar y con gin tonic con pepino (en lugar de limón) en la mano me he enterado que no hubo más goles y que al final ambos clasificados para la siguiente ronda, España contra Portugal y Chile contra Brasil. Cosas del mundial. Amaral estará contento, los 4 primeros en su clasificación, Brasil, Argentina, España y Alemania, han pasado de ronda (acabo de comprobarlo, para no equivocarme). Suerte a todos…

PS (26 jun. 2010): al segundo y último gin tonic, además del pepino, le añadí unas gotas de Angostura…

Ya se ha publicado el nuevo JCR 2009: PLoS ONE ya tiene índice de impacto (en Biología)

Gracias a nuestro lector Jmgalan nos hemos enterado que hoy se ha publicado el nuevo Journal of Citation Reports, correspondiente al año 2009. Pocas sorpresas, aunque se han añadido muchas nuevas revistas: en el 2008 JCR Science Edition había 6620 y en el 2009 JCR Science Edition hay 7347. España ha pasado de tener 37 revistas a 59, lo que no está nada mal. En cuanto a las revistas multidisciplinares de alto impacto, Nature toma ventaja y se distancia de Science, como muestra la siguiente figura. La única sorpresa es la desaparición en esta categoría de Nano Today (ahora relegada a CHEMISTRY, MULTIDISCIPLINARY). Por otro lado, PLoS ONE ya tiene índice de impacto, pero para mi sorpresa en la categoría BIOLOGY (curioso). Más información sobre las revistas españolas, como todos los años, gracias a Álvaro Roldán López, “JCR 2009,” Bibliometría, 18 June 2010.

 

 

Chaos, Solitons & Fractals ya tiene nuevos editores principales

El 16 de marzo de 2010, Elsevier anunció que su revista Chaos, Solitons & Fractals (CSF), sin editor durante casi un año y medio, tras la “jubilación forzosa” para M. El Naschie, tiene nuevos coeditores principales, Maurice Courbage (Francia) y Paolo Grigolini (EEUU). Su misión, lavar la imagen de la revista CSF manchada gravemente por su anterior editor principal, ¿lo lograrán? Con el apoyo de un editorial como Elsevier y el hecho de que la mayoría de las suscripciones a dicha revista son en forma de paquete (una más entre muchas revistas), la tarea no será difícil. ¿Más cambios en la revista? Bueno, ahora el “Aims & Scope” se centra en la teoría de la complejidad desde un enfoque multidisciplinar. Además, ya que están puestos, también le han cambiado la imagen. Una nueva imagen incluyendo una nueva portada y un nuevo formato (ahora a dos columnas). ¿Más cambios aún? Un cambio completo en el “Editorial Board.” Visto en El Naschie Watch, “Chaos, Solitons & Fractals lives again,” March 18, 2010. Ver también Philip Davis, “Controversial Math Journal Relauches: New Editors, Focus on Rigorous Review,” The Scholarly Kitchen, Mar 18, 2010.

¿Volverán a autopublicarse artículos los nuevos editores? Para evitarlo Elsevier afirma que todo artículo con uno de los editores principales como coautor será enviado al otro editor principal, con objeto de evitar los problemas éticos con los que El Naschie regó la revista: “Manuscripts (co-)authored by one of the co-Editor-in-Chief will be handled fully by the other co-Editor-in-Chief in an undisclosed review process.”

It is our ambition to develop Chaos, Solitons & Fractals into a leading journal in the exciting field of complexity,” Prof. Grigolini.

One of the main hallmarks of the journal will be the interdisciplinarity of complex systems,” Prof. Courbage.

Palabras de El Naschie, con el pseudónimo de J. Bohme (24 de marzo de 2010): “It is regrettable that the journal narrowed its scope considerably and quite honestly to its disadvantage. Chaos, Solitons & Fractals distinguished itself by mingling in measured doses mathematics, physics and engineering. The objective of the journal was always application. Complexity theory is simply a tool. To change Chaos, Solitons & Fractals to just another mathematical journal is extremely sad and will reduce it to just one of many.”

La pregunta del millón es: Si lo han cambiado todo, por qué no también el título. Mi respuesta: Nadie quiere desaprovechar un altísimo índice de impacto (2’980 en ISI JCR 2008). Me temo, de todas formas, que el alto índice de impacto bajará en picado sin las técnicas de ingeniería del índice de impacto y autopublicación del anterior editor principal.