Hoy se ha publicado el nuevo JCR 2012 de Thomson Reuters

La edición de 2013 del catálogo de revistas con índice de impacto de Thomson Reuters (llamada JCR 2012, por Journal of Citation Reports) comprende 10.853 revistas clasificadas en 232 categorías en sus ediciones de Ciencia (Science JCR) y Ciencias Sociales (Social Sciences JCR); entre ellas, 379 reciben por primera vez su índice impacto. Además, 33 han salido fuera del JCR 2013 respecto al JCR 2012, es decir, han dejado de ser revistas con índice de impacto. Publicado desde 1975, el JCR continúa siendo utilizado para clasificar las revistas científicas (y con ellas los propios artículos) en «buenos» y «malos» a la hora de evaluaciones (como la de los sexenios en España).

La figura que abre esta entrada muestra las 12 revistas con mayor índice de impacto. Obviamente, no tiene sentido dicho listado, pues el factor de impacto depende del área. Sin embargo, muchos se sorprenderán de que no esté Science cerca de Nature. En el JCR 2013, Science ocupa el lugar número 20 con 31,027, mientras Nature mantiene un honroso puesto número 7 con 38,597. En el último lustro Nature siempre ha estado por encima de Science y además ha logrado incrementar su distancia.

En el campo de las revistas multidisciplinares, PNAS ocupa el cuarto puesto y PLoS ONE baja su índice de impacto (casi seguro que por haber publicado demasiados artículos; de hecho, 13781 en 2011 y 6722 en 2010).

España tiene 75 revistas impactadas en el JCR 2012 y en esta figura tienes las 12 primeras por factor de impacto. No quiero enrollarme más con este asunto.

Entre las 33 revistas que han desaparecido (que en 2012 no tendrán factor de impacto, pero que podrían recuperarlo y tienen 2 años para ello) me gustaría destacar cuatro que afectan a colegas cercanos: International Journal of Computational Intelligence Systems, Journal of Database Management, Journal of Parallel and Distributed Computing, y Mobile Information Systems. También me gustaría destacar la desaparición de la Revista Clinica Espanola. 

Por cierto, en las áreas en las que yo publico estoy contento porque todas las revistas en las que he publicado en 2012 han subido de factor de impacto respecto al de 2011. Así que estoy de enhorabuena. 

Bueno, no os aburro más. Que sepáis que los que publicáis de forma asidua tenéis que daros un paseo por el nuevo JCR 2012.

Cómo predecir el impacto futuro de un artículo científico

Albert-László Barabási es uno de los expertos más prestigiosos del mundo en teoría de redes. Su último artículo presenta un modelo bibliométrico capaz de predecir el impacto a largo plazo de un artículo científico a partir de una estimación de tres parámetros: la eficacia relativa (relative fitness), la inmediatez y la longevidad del artículo. Para mi sorpresa y la de los propios autores el nuevo modelo tiene una capacidad predictiva extraordinaria, siendo independiente del área de investigación; por ejemplo, permite predecir el número de citas y la vida media de cada artículo científico. Por supuesto, lo complicado es estimar de forma fiable los tres parámetros del modelo para un artículo dado, siendo más fácil si el artículo ya tiene cierta «vida» (unos 10 años) y/o ha tenido un buen número de citas. Habrá que esperar a futuras críticas hacia este modelo, pero si nos creemos los resultados presentados en el artículo técnico, se trata de un modelo espectacular. El artículo técnico es Dashun Wang, Chaoming Song, Albert-László Barabási, «Quantifying Long-term Scientific Impact,» arXiv:1306.3293, 14 Jun 2013.

La falta de rigor de Thomson Reuters al calcular el índice de impacto de una revista en el JCR

Ya hemos hablado en este blog en varias ocasiones de la «ingeniería» del índice de impacto, las artimañas que usan los editores de las revistas científicas para posicionarse mejor en el JCR (Journal Citation Reports) editado por la empresa privada Thomson-Reuters. Algunas «malas artes» son detectadas gracias a un algoritmo secreto (no publicado), sin embargo, otras se realizan con el consentimiento de Thomson-Reuters. Esta figura muestra cómo Current Biology subió un 40% en su índice de impacto gracias a cambiar el número de artículos que publicó en 2001: según el 2002 JCR publicó 528 artículos en 2001, pero según el 2003 JCR publicó sólo 300, ¿dónde fueron a parar los 228 artículos restantes? Las revistas científicas publican artículos de diferentes tipos (editoriales, noticias, letters, papers, reviews, book reviews, etc.). Todos pueden recibir citas, pero muchos reciben pocas citas. Los editores pueden solicitar a Thomson-Reuters que no tenga en cuenta ciertos tipos en su cuenta del número de artículos publicados. En el caso de Current Biology, este cambio supuso un incremento del 40% en el índice de impacto entre 2002 y 2003 (según Scimago, el SJR de Current Biology subió de 4,9 a 5,2, sólo un 6%). Supongo que los autores de artículos científicos que publicaron en esta revista en 2003 estarán muy contentos, pero los que publicaron en 2002 se lamentarán de que Thomson-Reuters no hiciera el cambio un año antes. ¿Saben las agencias de evaluación de investigadores y proyectos de la existencia de estos hechos? ¿Deberían ser tenidos en cuenta? Recomiendo la lectura del artículo de Björn Brembs, Marcus Munafò, «Deep Impact: Unintended consequences of journal rank,» arXiv:1301.3748, 16 Jan 2013.

Por cierto, el «índice de impacto» a veces es traducido del inglés como «factor de impacto» porque en dicho idioma se escribe «impact factor,» pero esta traducción, aunque es muy popular hoy en día, no era la recomendada hace 25 años cuando yo empecé a escuchar el término; igual que tampoco se usaba la palabra «tecnología» en lugar de «técnica,» la traducción correcta de «technology.» Pero como la lengua es algo vivo y cambiante, lo mismo alguno me criticará por seguir llamando «índice de impacto» a lo que siempre se llamó «índice de impacto» y ahora nos quieren imponer como «factor de impacto.»

Las revistas con mayor índice de impacto retractan un mayor número de artículos

La revista Infection and Immunity ha publicado el 8 de agosto un estudio que relaciona el índice de impacto y el número de artículos retractados mediante un nuevo índice bibliométrico llamado «índice de retracción.» El estudio concluye que las revistas con mayor índice de impacto tienen un índice de retracción mayor. Según los autores del estudio la razón es que el aliciente de publicar en revistas de alto índice de impacto, con una gran repercusión en la carrera académica de los autores, hace que los autores se arriesguen más a la hora de publicar. El riesgo tiene una contrapartida para los autores, te pueden rechazar el artículo, pero también tiene otra para las revistas, muchos de los artículos aceptados acaban siendo retractados. El índice de retracción de una revista en este artículo se define como el número de retracciones entre 2001 y 2010, multiplicado por mil y dividido entre el número de artículos publicados. Los autores han estudiado 150 revistas internacionales y los resultados más relevantes aparecen en la figura que abre esta entrada. El artículo es Ferric C. Fang, Arturo Casadevall, «Retracted Science and the Retraction Index,» Infect. Immun., published online ahead of print on 8 August 2011 [el artículo es de acceso gratuito]. Para los que no estén duchos en los nombres de las revistas de mayor impacto, les recuerdo que NEJM = New England Journal of Medicine, J. Exp. Med. = Journal of Experimental Medicine, EMBO J. = EMBO Journal, J. Immunol. = Journal of Immunology, e IAI = Infection and Immunity; el resto (Science, Cell, Nature, Lancet y PNAS tienen su nombre completo).

Ya se ha publicado el nuevo JCR 2010 (Journal of Citation Reports Edition 2010)

Hoy se ha publicado el nuevo Journal of Citation Reports correspondiente al año 2010. Este año hay 8005 revistas impactadas cuando en 2009 hubo 7347 y en 2008 solo 6620. España tiene 73 revistas impactadas (en 2009 tuvo 59 y en 2008 solo 37); listado en pdf de las nuevas revistas impactadas. En cuanto a las revistas multidisciplinares de alto impacto, Nature (36,101) vuelve a vencer a Science (31,364), como muestra la figura que abre esta entrada. La revista con mayor índice de impacto de todas, A Cancer Journal for Clinicians (94,262), vuelve a liderar el listado con una ventaja cada día más amplia. Acta Crystallographica Section A continua viviendo de las citas a un solo artículo, aunque el año que viene (JCR 2011) volverán las aguas al río. La figura de abajo muestra estos resultados.

Physical Review Letters sube ligeramente, lo que indica que su política de reducir el número de artículos aceptados y endurecer la revisión por pares todavía no ha dado los efectos deseados (recuerda que PRL agradeció a los autores por enviar menos artículos y a los revisores por aceptar menos artículos). Nature Physics continúa subiendo como muchas otras revistas del NPG (Nature Publishing Group), como Scientific American que ya está en el primer cuartil. Parece que ellos (NPG) sí están haciendo bien las cosas. En los listados de física destaca Reviews of Modern Physics que con 51,695 ha pegado una subida increíble (como muestra la figura de abajo), seguida por Advances in Physics (21,214) que sube pero de forma más moderada.

En óptica, lidera Nature Photonics (26,442) con diferencia respecto a Laser Photonics Review (9,297); Optics Express (3,749) vuelve a estar por delante de Optics Letters (3,316). En Matemática Aplicada, vuelve a liderar SIAM Review (6,580) y ha habido bastantes cambios entre el primer y segundo cuartil (la región en la que yo publico, pero creo que detallarlos aburrirá a la mayoría). Quizás hay que comentar que dos revistas con un factor de impacto alto gracias a la ingeniería del factor de impacto de sus editores, Chaos Solitons & Fractals (ex-editada por El Naschie) e International Journal of Nonlinear Sciences and Numerical Simulation (ex-editada por He) han bajado su índice de impacto al cambiar de editores principales (en mi opinión el nuevo índice de impacto es más realista en primer caso y tiene que seguir bajando en el segundo). Por cierto, yo ya estoy pensando en enviar algún artículo a estas revistas ahora que los editores principales parecen más honestos (científicamente hablando, claro).

PLoS ONE mantiene su posición con un 4,411 (el año pasado tuvo 4,351) en la categoría de Biología y no aparece en ciencias multidisciplinares. Hablando de biología, la revista china con mayor índice de impacto, y que además lo ha obtenido por primera vez en esta edición, es el Journal of Molecular Cell Biology que ha logrado 13,400 siendo la #13 de 177 revistas en la categoría Cell Biology; la segunda revista china por índice de impacto es Cell Research (9,417), también en la misma categoría y en el primer cuartil, puesto #21 (el índice de impacto de esta revista ha crecido mucho en el último lustro). 

Me ha sorprendido que lidere la categoría de matemáticas (Mathematics) la revista Acta Mathematica (4,864 que casi duplica su impacto en 2009, que fue 2,619), por encima del Journal of the American Mathematical Society (3,411) y de Annals of Mathematics (3,179); el Eigenfactor pone a esta revista en su lugar, la #61 de 277, cuando las otras dos logran unos honrosos #15 y #10, resp.

Por cierto, cuidado con el nuevo JCR 2010, algunas revistas cambiarán de o ajustarán su factor de impacto en septiembre, según comunica Thomson Reuters; los cambios se harán durante este verano y serán anunciados justo cuando se produczcan. ¡Increíble, pero cierto! Literalmente «2010 JCR Data Updates: After JCR data are published, there are some journals that require adjustments to the published metrics. The 2010 JCR Web data will be reloaded in September to reflect any necessary updates and to fully incorporate all new data in the category and network metrics. In order to make these important data available with all possible speed, we will include in this notices file a list of the journals that will receive updated metrics when JCR data are reloaded. The list will be updated weekly.»

Supongo que esto último se debe referir a revistas como Nature Communications que aparecen en el listado pero sin índice de impacto; he contado en la cola unas 46 revistas con un índice de impacto vacío; también otras 12 con un índice de impacto 0,000 (algunas con cierto número de citas que indica que dicho número está mal calculado). Espero que los cambios en el factor de impacto afecten solo a estas revistas de la cola, sino más de uno se va a llevar alguna sorpresa.

Hay muchas más cosas que se pueden contar del nuevo ISI JCR 2010, pero supongo que la mayoría son de poco interés para muchos y esta entrada tiene que acabar en algún momento.

El vicio de las autocitas

En los próximos días aparecerá el Journal Citation Reports (JCR ) de 2010. Publicado por Thomson Reuters desde 1975, este listado del índice de impacto de (algunas) revistas internacionales es el indicio de calidad por excelencia para valorar la calidad de un artículo concreto de un investigador (aunque ello implique un uso abusivo del índice de impacto). La pregunta más común en relación al JCR se refiere al impacto que tienen las autocitas en el índice de impacto de una revista concreta. Thomson Reuters afirma que la correlación entre el índice de impacto y el número de autocitas es muy débil; por tanto, eliminar las autocitas de una revista a sí misma no cambia su índice de impacto, salvo en pocas excepciones que confirman la regla. Este estudio, con datos del JCR 2002, se publicó en María E. McVeigh, «Journal self-citation in the Journal Citation Reports,» Thomson Reuters, 2004 [versión en pdf].

Lo normal es que un investigador se autocite mucho pues ello indica que su trabajo tiene una línea de continuidad y cierta progresión temporal. Tampoco es raro que haya revistas con un alto número de autocitas, ya que es habitual que un artículo de alto impacto provoque gran número de secuelas que suelen aparecer en la misma revista que lo publicó. La cuestión importante es si un editor principal o los revisores pueden distorsionar el índice de impacto de una revista recomendando a los autores que citen artículos recientes publicados en la misma. El estudio de Thomson Reuters estudió las 5876 revistas en el JCR Science Edition 2002. Como muestra la figura que abre esta entrada, 4816 revistas (el 82% del total) tenían tasas de autocitas por debajo del 20%. La correlación entre el índice de impacto y la tasa de autocitas es muy baja (R² = 0,037). Un estudio de todas y cada una de las 170 categorías en el JCR Science Edition 2002 mostró que hay correlación débil entre el número de revistas en una categoría concreta y la tasa de autocitas (R² = 0,1); tampoco se observó correlación entre el puesto de una revista dentro de una categoría concreta y su tasa de autocitas. Abajo aparece este estudio para las categorías Physics, Multidisplinary y Mathematis.

La homeopatía y el centanario de la revista internacional impactada «Homeopathy»

Tengo amigos que se han suicidado homeopáticamente más de una vez. Tengo amigos que han ingerido una sobredosis de «medicamentos» homeopáticos sin sufrir efecto secundario alguno. Tengo amigos que han utilizado tabletas homeopáticas para evitar el jet lag sin éxito. Tengo amigos que son expertos titulados en homeopatía (lograron su certificado en tres minutos). Tengo amigos que ya han dicho tantas cosas sobre la homeopatía, que no sé qué más puedo decir yo. Bueno, firmé un manifiesto en contra del oscurantismo científico en la Universidad española. Y no, esta entrada no tiene por objeto explicar qué es la homeopatía. 

Pero también tengo un amigo que me ha recordado que la revista internacional Homeopathy de la Editorial Elsevier ha cumplido 100 años en 2011. Al principio no me lo creí, un siglo parece mucho tiempo. ¡Qué ignorante soy según mi amigo! Más aún cuando es una revista del ISI JCR con índice de impacto desde 2008 (1’041); en 2009 alcanzó 1’125, lo que la coloca en el segundo cuartil en el área Integrative & Complementary Medicine (17 revistas lideradas por Alternative Medicine Review con 3’515). Busqué la revista en ScienceDirect y me encontré con «100 years of Homeopathy,» Editorial, Homeopathy 100: 1-4, January-April 2011, y Anthony Campbell, «Social and historical: Reflections on 100 years of the journal,» Homeopathy 100: 5-8, January-April 2011. La revista ha publicado un número al año desde el número 1 en 1911 hasta el número 100 en 2011 (la cuenta no sale porque el volumen 45 se publicó durante dos años consecutivos 1955-1956). Ahora bien, en 1911 esta revista tenía otro nombre British Homoeopathic Journal. El nombre actual Homeopathy se cambió para el volumen de 2002 cuando la revista pasó a ser editada por Elsevier.

Me ha llamado la atención lo que dice Campbell sobre la evolución de la revista durante el siglo XX: «El énfasis de la revista no era científico, de hecho, antes de la Segunda Guerra Mundial el material clínico era anecdótico. Sólo en algunas ocasiones se discutió el tratamiento a los pacientes y siempre de forma cualitativa, nunca cuantitativa. (…) Los homeópatas han tardado en aceptar el reto de los ensayos aleatorios controlados con placebo (ECA). (…) Estas cosas empezaron a cambiar en 1977 con un artículo de R.H. Savage y P.F. Roe que presentaba un ensayo doble ciego del uso de la Arnica montana 30C  en accidentes cerebrovasculares. No se encontraron diferencias entre pacientes y controles. Repitieron el estudio el año siguiente, de nuevo con resultados negativos.» Me ha llamado la atención que hasta 1977 la revista «científica» más importante sobre homeopatía no publicara estudios científicos sobre homeopatía. Y más aún que los primeros artículos de corte científico en esta revista ofrecieron resultados negativos. Me ha llamado la atención que esto se destaque en un artículo que conmemora los 100 años de esta revista. Más aún cuando Campbell afirma que «hoy en día los ensayos aleatorios controlados con placebo (ECA) para medir la eficacia de la homeopatía en el tratamiento de enfermos todavía son escasos [en la revista]. (…) Pocos trabajos de investigación publicados en la revista son clínicos [la mayoría son estudios en laboratorio].»

En el número anterior de esta revista, se celebran los 200 años de la «biblia» de la homeopatía escrita por Samuel Hahnemann, con artículos como el de Josef M. Schmidt, «Social and historical: 200 years Organon of Medicine – A comparative Review of its six editions (1810–1842),» Homeopathy 99: 271-277, October 2010. Bueno, no es la primera vez que la homeopatía celebra sus 200 años. En 1990 se conmemoró el 200 aniversario del experimento de Hahnemann consigo mismo de 1790 del que nació la idea de la homeopatía. En 1996 se celebraron los 200 años de la publicación de los principios de la homeopatía publicados en el artículos «On a new principle” de Hahnemann. Y en 2007 se celebró la introducción del término «homeopático» por Hahnemann en 1807. La primera vez que Hahnemann utilizó el nombre «homeopatía» fue en 1810, junto con la máxima “similia similibus curentur.”

Claro que cuando uno ojea un poco más en esta revista se le quitan las ganas de seguir ojeando. Basta leer el comentario de John A. Ives, Wayne B. Jonas, Joyce C. Frye, «Do serial dilutions really dilute?,» Homeopathy 99: 229-230, October 2010, en el que los autores afirman que han demostrado que en una dilución 30C se retiene del orden del 1% del soluto. O es una dilución 30C, o no es una dilución 30C, porque la aritmética no engaña.

PS (03/08/2011): La homeopatía hay que entenderla en el contexto de la medicina del s. XIX. Os recomiendo P. Marcussen, «Homeopatia: mitos y realidades,» Ciencia, UNAM, 085, 2007.

PLoS ONE ya es la revista más grande del mundo en número de artículos

He buscado en el ISI Web of Science y resulta que PLoS ONE ha publicado en 2010 la friolera de 6714 artículos (y en los tres primeros meses de 2011 nada menos que 2090). PLoS ONE es la revista que más artículos ha publicado en 2010. Physical Review B ha publicado en 2010 algo menos, 6154 artículos, y la tercera creo que es PNAS con 4217 artículos. En mi búsqueda rápida estas son las tres revistas más grandes (por número de artículos publicados) en 2010. No sé si habrá alguna revista más grande. ¿Conoces alguna que sea mayor?

PLoS ONE es la revista generalista de la editorial Public Library of Science (PLoS), fundada en 2001 entre otros por Harold Varmus (Premio Nobel). PLoS ONE es la revista bandera del movimiento Open Access (OA) que reivindica que la ciencia tiene que ser de acceso gratuito, aunque para ello los autores y sus instituciones tengan que pagar por publicar (en este blog recomiendo «El buen negocio de PLoS ONE y el “pagar por publicar”,» 20 agosto 2010). PLoS ONE es una revista con un índice de impacto de 4’351, obtenido por primera vez el año pasado (en este blog nos hicimos eco en «Ya se ha publicado el nuevo JCR 2009: PLoS ONE ya tiene índice de impacto (en Biología),» 18 junio 2010).

«For PLoS ONE the publication fee is US$1350. Authors who are affiliated with one of our Institutional Members are eligible for a discount on this fee.» PLoS ONE Guidelines for Authors.

Hacer números es fácil. Los 1350 $ pagados por cada uno de los 6714 artículos de 2010 totalizan más de 9 millones de dólares (M$). Como muchos artículos tienen un descuento y hay un cierto número de autores que se declaran «pobres» y que no pagan, podemos reducir los beneficios a 7 M$,  no creo que mucho menos. ¿Cuánto cuesta mantener una página web de una revista y su comité editorial? No sé, debe ser muy caro, pongamos 2 M$. En dicho caso el beneficio de PLoS ONE es mayor de 5 M$. ¿Debería PLoS ser una editorial sin ánimo de lucro? ¿Debería reducir PLoS ONE el precio por publicar un artículo de 1350 $ a la mitad o a un tercio de dicho precio?

Quizás soy el único interesado en esta chorrada, poco importante para el lector habitual de este blog. Lo siento. Pero si te interesa, te cuenta la historia de PLoS ONE con un cierto toque crítico Richard Poynder, «PLoS ONE, Open Access, and the Future of Scholarly Publishing,» Open and Shut?, March 07, 2011.

«La noticia del año [2010], sin duda, es la inclusión de PLoS ONE en el JCR, revista que ha pasado de no estar recogida por Thomson Reuters en el Science Citation Index a ser recogida por el JCR antes de acabar dicho año, mientras el resto de revistas deben esperar a llevar tres años indizadas para ser recogidas en el exclusivo Journal Citation Report. Bien, este año, por fin aparece el tan esperado Factor de Impacto de PLoS ONE. Yo pensaba que se recogería en la categoría MULTIDISCIPLINARY SCIENCES, junto a Nature, Science y PNAS, con un factor de impacto inferior a éstas, pero inmediantamente después de PNAS, pero no, no aparece en esta categoría. Resulta que la han puesto en la categoría BIOLOGY, en cuya categoría aparece con un factor de impacto de 4.351 en su primer cuartil, aunque no alcanza el primer decil en esta categoría (sí lo haría en MULTIDISCIPLINARY SCIENCES).» Álvaro Roldán López, «JCR 2009,» Bibliometría, 18 Junio 2010.

PLoS ONE es una revista rodeada de cierto «halo de magia» y sobre la que ocurren cosas muy curiosas, como por ejemplo lo siguiente.

«He seguido extrañado con la repentina inclusión de PLoS ONE en el JCR. (…) Parece claro que detrás de la inclusión de PLoS ONE en los productos de Thomson Reuters no ha estado la mano de PLoS a quien parece importar poco el factor de impacto. Pero… ¿y entonces de dónde surge la iniciativa? Pues tirando de otro hilo, llego a un Announcement que sobre PLoS ONE hizo en su día Thomson Reuters y que a mí me pasó desapercibido. En él se anuncia la inminente entrada de la revista en varios productos de la compañía y la entrada en el Journal Citation Report para el mes de junio. Y la decisión se la atribuyen a los Thomson Reuters coverage and subject specialists, es decir, a la propia compañía. Aunque sigue sin aclarar la precipitación y retrospección de la inclusión frente a la calma y el calmo proceder con el resto de revistas.» Álvaro Roldán López, «PLoS ONE y su inclusión en WoS y JCR: un enigma semi-resuelto,» Bibliometría, 5 Julio 2010.

Y ya que he copiado un par de extractos de Álvaro, creo que debo recomendar, a los interesados en temas de blibliometría, una visita regular a su blog Bibliometría, que publica poco, sin agobiar, pero siempre cosas interesantes. Por ejemplo, Thomson Reuters calcula mal los cuartiles a los que pertenece una revista que aparecen en el JCR, como nos comenta Álvaro Roldán López en «Lost in cuartiles,» Bibliometría, 28 Noviembre 2010, y en «Los damnificados por el cálculo del primer cuartil del JCR,» Bibliometría, 20 Feb. 2011.

«En aquellas categorías en las que el número de revistas dividido entre 4 daba como resultado un número entero (N/4=n), JCR calculaba el primer cuartil como n-1, en lugar de n, como debería. Es decir, que la última revista del primer cuartil pasa a ser para JCR la primera revista del segundo cuartil, acción que deja en muy mal lugar a un nutrido número de revistas. ¿Cuantas? Pues sí, me he entretenido en localizarlas y son un total de 51 revistas que a continuación os listo.»

Carnaval de Matemáticas 2.1: Por qué una revista del montón (IJNSNS) tiene el mayor índice de impacto en Matemática Aplicada

La revista internacional The International Journal of Nonlinear Sciences and Numerical Simulation (IJNSNS) alcanzó en 2008 un índice de impacto de 8’91 y desde 2006 (hasta 2009) lidera la lista de revistas internacionales en el área de Matemática Aplicada del Journal Citation Reports (JCR). En 2011 ya no lo hará: IJNSNS ha cambiado de editorial (de Freund a De Gruiter) y su editor principal (Ji-Huan He) ha sido substituido (por Krishnaswamy Nandakumar). El making of del alto índice de impacto de IJNSNS, gracias a las malas artes de J.-H. He, nos lo explican Douglas N. Arnold y Kristine K. Fowler, «Nefarious Numbers,» Notices of the AMS 58: 434-437, Mach 2011 [ArXiv, 1 Oct 2010]. Más información en «Arnold & Fowler on “Nefarious Numbers” about the impact factor manipulation,» Francis’ world inside out, February 18, 2011. Esta entrada será mi primera participación en el Carnaval de Matemáticas 2.1 alojado por Tito Eliatrón Dixit.

Antes de nada hay que explicar la figura que abre esta entrada. El Consejo de Investigación Australiano (Australian Research Council, el equivalente australiano al CSIC español) ha evaluado mediante encuestas a investigadores la calidad de 20.000 revistas internacionales. La calidad global de una revista puede ser A* (lo mejor en su campo), A (de muy alta calidad), B (de reputación sólida) y C (para las que no encajan en las otras categorías). La lista ERA incluye 170 de las 175 revistas internacionales impactadas de la categoría «Mathematics, Applied» del JCR de 2008. La revista #1, IJNSNS ha sido calificada como B. Las revistas #2 y #3, Communications on Pure and Applied Mathematics (CPAM) y SIAM Review (SIREV), que solo alcanzan un índice impacto de 3’69 y 2’80, resp., son revistas de categoría A*. La línea roja en la figura se ha colocado en el percentil 20% para el índice de impacto de las revistas tipo A* (lo mejor de lo mejor); hay que destacar que 51% de las revistas tipo A tienen un índice de impacto mayor que este nivel, como el 23% de las revistas tipo B y el 17% de las «peores» revistas (tipo C). Obviamente, IJNSNS es el caso más anómalo. Su índice de impacto es astronómico para ser una revista de categoría B. Entre las 10 revistas con mayor índice de impacto (JCR 2008) tenemos 7 revistas A*, 2 revistas A y solo una revista B, IJNSNS. ¿Cómo es posible que IJNSNS haya obtenido un índice de impacto tan alto?

El índice de impacto se calcula como un cociente entre las citas recibidas y el número de artículos. En 2008 se citaron 821 veces los 79 artículos de IJNSNS publicados en 2007 y 561 veces los 84 publicados en 2006, por tanto, el índice de impacto es (821+561)/(79+84)=1382/163=8’479. ¿Cómo ha logrado Ji-Huan He que IJNSNS haya obtenido un índice de impacto tan alto?

El investigador que más citas a IJNSNS ha producido en 2008 es … su editor principal, Ji-Huan He (243 citas de las 1382). El segundo citador es D. D. Ganji (con 114 citas) y el tercero Mohamed El Naschie (con 58 citas), ambos son miembros del comité editorial de la revista. Estos 3 autores son responsables del 29% de las citas que cuentan para el índice de impacto de IJNSNS. Más aún, el 71’5% de las citas en 2008 a IJNSNS son citas a artículos publicados en 2006 y 2007 (las citas que cuentan para el índice de impacto).

La revista internacional que más ha citado a IJNSNS en 2008 es el Journal of Physics: Conference Series, responsable de 294 citas (más del 20% de las 1382). Todas estas citas provienen de un solo número de esta revista, las actas de un congreso internacional organizado por… Ji-Huan He, editor principal de IJNSNS en su propia universidad. La segunda revista que más ha citado a IJNSNS en 2008 fue el Topological Methods in Nonlinear Analysis, responsable de 206 citas (el 14%) y de nuevo todas las citas provienen de un solo número de esta revista, un número especial cuyo editor invitado es … como no, Ji-Huan He. La tercera revista más citadora en 2008 a IJNSNS es la revista Chaos, Solitons and Fractals, con 154 citas; Ji-Huan He era miembro del comité editorial de CS&F y su editor principal Mohamed El Naschie es coeditor (regional) de IJNSNS. La cuarta revista más citadora es el Journal of Polymer Engineering, también de un solo número y también editado por Ji-Huan He. Ji-Huan He es responsable «directo» de más del 50% de las citas al IJNSNS en 2008.

Según el Essential Science Indicators, producido por Thomson Reuters, J.-H. He es uno de los científicos más citados de la actualidad en Matemáticas, con 6.800 citas y un índice-h de 39 (según Hirsch, inventor del índice-h, la media de los ganadores del premio Nobel de Física es 35). He y sus malas artes han logrado encumbrarle al súmmun de los científicos más citados. Por ejemplo, sólo el número especial de la revista Journal of Physics: Conference Series antes citado,  editado por él mismo, contiene 353 citas a sus propios artículos. ¡Qué os voy a contar!

En este blog ya nos hemos hecho eco en varias ocasiones de las malas prácticas de He: «El editor que se autoedita, buen autoeditor es (salvo que le corten la cabeza como a El Naschie),» 27 noviembre 2008; «El presidente de SIAM y la “ingeniería” del índice de impacto de revistas internacionales,» 12 diciembre 2009; y «Una broma de mal gusto del ISI Web of Science o esto va de castaño a oscuro,» 16 junio 2009.

Lo sorprendente es que hasta el año 2009 nadie se atrevía a criticar las malas artes de J.-H. He. Imperaba una ley del silencio que destaparon una serie de blogs y una serie de artículos que criticaron la «basura» He-siana (porque sus artículos técnicos son pura «basura» no hay mejor palabra para calificarlos). En este blog nos hemos hecho eco de ello en varias ocasiones: «La cruzada de Francisco M. Fernández contra Ji-Huan He y los He-sianos, un ejemplo de la “basura” que se publica en revistas “respetables”,» 5 febrero 2009; «Nueva cruzada contra los He-sianos, pero en revistas sin índice de impacto, por ahora,» 23 abril 2009; «Nuestro cruzado, Marcelo, logra uno de los artículos más descargados en ScienceDirect,» 7 octubre 2009; «Nuevos avatares de la cruzada anti-He-siana de la mano del nuevo cruzado Sir Jason, autor del blog “El Naschie Watch”,» 2 julio 2010; ;  y «Nikolai Kudryashov y la cruzada en defensa de la fe en la matemática aplicada,» 27 noviembre 2010.

Hecha la ley, hecha la trampa. La ley de Goodhart nos dice que «cuando una medida se convierte en un objetivo, deja de ser una buena medida.» El índice de impacto ha pasado de ser un indicador bibliométrico desconocido para la mayoría de los investigadores a convertirse en la medida de la calidad más utilizada para revistas, investigadores e instituciones científicas. La manipulación del índice de impacto es inevitable, aunque pocas veces es de forma tan exagerada como en el caso del IJNSNS cuando era editado por J.-H. He (yo espero que el nuevo editor le lave la cara a esta revista).

Goodhart’s law warns us that “when a measure becomes a target, it ceases to be a good measure.” 

Para quien no quiera ver el partido España-Chile y quiera disfrutar un buen rato leyendo sobre fútbol…

Uno de los artículos más descargados últimamente en PLoS ONE tiene como primer autor a un español (Jordi Duch, de la Universitat Rovira i Virgili) y versa sobre el fútbol, ahora muy de moda con el mundial en pleno curso. Daniel Civantos nos lo resume muy bien en «Identificando a los verdaderos buenos jugadores con análisis de redes sociales,» Cookingideas, 17.06.2010. Obviamente mucha otra gente también se ha hecho eco de dicho artículo, con más o menos éxito, como Eduardo Angulo, «Mundial,» La biología estupenda, 22 Jun 2010, y no sólo en español, «The science of soccer stats,» Cosmic Log, 16 Jun 2010. En la página web del autor principal, Amaral, aparece comentado el artículo («Footballer Rating: Using science to identify true football/soccer stars,» junio 16, 2010) y se mencionan algunos de los muchísimos medios que se han hecho eco de dicho artículo (Jonathan Fahey, «How to find the world’s best soccer players,» Forbes; Rachel Cohen, «Study tries to evaluate performances of players,» AP; etc.).

¿Cuál es el artículo técnico? Obviamente ya lo sabrás (o lo habrás leído): Jordi Duch, Joshua S. Waitzman, Luís A. Nunes Amaral, «Quantifying the Performance of Individual Players in a Team Activity,» PLoS ONE, June 16, 2010. El artículo se centra en la copa de Europa de 2008, pero los autores han aplicado su algoritmo, la duda ofende, al mundial de fútbol de Sudáfrica. Ambos resultados los tenéis en una página web FootBaller-Rating.com que promete estar activa para futuros campeonatos (y supongo que en el intríngulis mejorarán el algoritmo).

No quisiera dejar de mencionar que PLoS ONE (Public Library of Science One) es una revista de Pay Per Publish. Cuesta 1350 dólares publicar un artículo en PLoS ONE. No es caro, pero tampoco es barato. Lo bueno es que este año ya tiene índice de impacto, 4’351, en el primer cuartil de la categoría de Biología. Ciertamente es una revista bastante citada (sus autocitas sólo representan el 8% del total, con lo que sin autocitas su índice de impacto bajaría a 4’0). Sin embargo, esta revista es todo un coladero. El 70% de los manuscritos enviados son aceptados para publicación. Un congreso internacional con esta tasa de artículos aceptados se considera un timo (un negocio). Normalmente, los congresos internacionales de calidad tienen tasas de aceptación inferiores al 40% y las revistas internacionales más prestigiosas por debajo del 20%. Sin lugar a dudas PLoS ONE es todo un buen negocio. ¿Pero no lo son todas las revistas internacionales? Lo más caro, investigar y escribir los artículos, les sale gratis. Más información sobre este asunto en, como no, Philip Davis, «PLoS ONE: Is a High Impact Factor a Blessing or a Curse?,»  The Scholarly Kitchen, Jun 21, 2010. También en Hank Campbell, «Open Access And Good Citations: The PLoS Factor,» Science 2.0, Scientific Blogging, June 22nd 2010.

[Por los gritos de la gente, España 2 – Chile 0].

La ciencia es un negocio, las publicaciones científicas son un negocio y la medidas de la calidad de las revistas son otro gran negocio. Recientemente en Nature dedicaron un artículo a las métricas bibliométricas, su importancia y los problemas asociados a su abuso: Alison Abbott, David Cyranoski, Nicola Jones, Brendan Maher, Quirin Schiermeier, Richard Van Noorden, «Metrics: Do metrics matter?,» News Feature, Nature 465: 860-862, 16 June 2010 [el acceso al artículo es gratuito]. En España se dice que «hecha la ley, hecha la trampa.» Cualquier tipo de medida de la calidad científica, que no sea la lectura detallada de los artículos más relevantes del investigador y una entrevista con él para chequear que realmente es el autor de dichas publicaciones, está sujeta a la «ingeniería del curriculum vitae.» Un ejemplo típico es el número de publicaciones. En España para acreditarse a profesor funcionario hay un número de publicaciones fijado a nivel nacional que garantiza la máxima puntuación por publicaciones en el apartado correspondiente; más publicaciones no aportan más puntos, en dicho apartado. Muchos investigadores, en lugar de concentrarse en publicar artículos de calidad, dedican sus esfuerzos a maximizar su número de publicaciones. Publicar, republicar y rerrepublicar lo mismo una y otra vez, en revistas diferentes y con envíos relativamente simultáneos en el tiempo para que ningún revisor se de cuenta y no los eche para atrás. Hoy en día, desgraciadamente, muy habitual. O grupos de investigadores que firman todos los artículos de todos, maximizando el número de publicaciones, aunque en muchas de ellas ni se hayan leído el título del artículo. Y no exagero, muchas universidades españolas tienen sistemas informáticos que imprimen el CV en formato oficial a partir de las publicaciones de uno incluidas en una base de datos. Así que le imprimen a uno el CV sin que uno tenga que preocuparse de incluir los artículos que uno mismo ha firmado (si los ha introducido otro coautor). Hay muchos investigadores a quienes les lees un título de uno de sus artículos y son incapaces de saber si es suyo o no (y no digamos ya lo que se supone que ellos han contribuido a dicho artículo).

Una encuesta realizada por Nature a 150 investigadores sobre qué les parecen las métricas bibliométricas nos ofrece pocas sorpresas, pero hay que recordar que lo conocido, por conocido, no debe de ser callado. Alrededor del 70% de los científicos creen (saben) que las métricas se utilizan en la toma de decisiones para contratar a nuevos investigadores y para promocionar a los investigadores. Más del 63% de los investigadores no está satisfecho con cómo se usan las métricas en su universidad. Un gran descontento… [dice mi mujer que Chile ha marcado, luego España 2 – Chile 1, y que tenemos que cenar…].

PS: tras cenar y con gin tonic con pepino (en lugar de limón) en la mano me he enterado que no hubo más goles y que al final ambos clasificados para la siguiente ronda, España contra Portugal y Chile contra Brasil. Cosas del mundial. Amaral estará contento, los 4 primeros en su clasificación, Brasil, Argentina, España y Alemania, han pasado de ronda (acabo de comprobarlo, para no equivocarme). Suerte a todos…

PS (26 jun. 2010): al segundo y último gin tonic, además del pepino, le añadí unas gotas de Angostura…