Cómo identificar la investigación relevante

Dibujo20131017 nature special - impact - how to measure it

La relevancia de un trabajo científico se puede medir gracias a su impacto. Publicar en Nature, Science, Cell y otras revistas de gran “factor de impacto” no es garantía de impacto, ni de relevancia. Expertos de la Universidad del Norte de Texas, en Dalton, han propuesto 56 medidas del impacto (pero algunas parecen “curiosas pero inútiles”). A la hora de usarlas para tomar decisiones, el gran problema es cómo integrar todas estas medidas de forma transparente, pues la transparencia es esencial en todo proceso de evaluación. Nadie sabe cómo hacerlo. Ni siquiera si es posible hacerlo. Identificar lo relevante, como lo excelente, parece fácil, pero no lo es. Nos lo cuenta el editorial “The maze of impact metrics. In deciding how to judge the impact of research, evaluators must take into account the effects of emphasizing particular measures — and be open about their methods,” Nature 502: 271, 17 oct 2013. Recomiendo consultar el número especial de Nature dedicado al impacto, merece la pena.

Sigue leyendo

Anuncios

Los artículos publicados en una revista tras ser rechazados en otra reciben un mayor número de citas

Los 1.841 nodos son revistas y los enlaces indican el flujo de manuscritos reenviados de una revista a otra tras ser rechazados. Science, Nature y PNAS se encuentran en el centro. (C) Science. 

La historia de cada artículo, desde que es enviado por primera vez a una revista, hasta que acaba siendo publicado en ésta o en otra, está envuelta en un halo de misterio debido al anonimato implícito en la revisión por pares. Sin embargo, dicha historia influye en el impacto (número de citas) que tendrá una vez publicado, según un estudio bibliométrico publicado en Science. Una encuesta realizada por e-mail a unos 200.000 autores principales de artículos de Biología publicados en 923 revistas, a la que solo contestaron 80.748, ha descubierto que el número de citas a los artículos que fueron publicados en una revista tras haber sido rechazados en otra es mayor en promedio que el de los artículos que fueron aceptados en un primer envío. Más aún, muchos de esos artículos han sido citados desde la revista en la que originalmente fueron rechazados. Un resultado sorprendente que indica que o bien los artículos han mejorado tras la primera revisión gracias a los comentarios de la revisión por pares, o bien los artículos que van en contra del statu quo tienden a ser rechazados con más frecuencia, pero acaban causando un mayor revuelo tras ser publicados y con él acaban recibiendo un mayor número de citas (“En ciencia no hay mala publicidad: Los artículos más criticados alcanzan un mayor impacto,” 26 sep. 2012). El artículo técnico es V. Calcagno, E. Demoinet, K. Gollner, L. Guidi, D. Ruths, C. de Mazancourt, “Flows of Research Manuscripts Among Scientific Journals Reveal Hidden Submission Patterns,” Science Express, Published Online October 11 2012 [podcast inteview to Vincent Calcagno].

Obviamente, el análisis estadístico realizado muestra que los datos tienen mucha dispersión y que el beneficio en número de citas obtenido en los artículos reenviados es pequeño (aunque el valor p < 0,0001). Así que cuidado con extrapolar las conclusiones de este tipo de estudios (sobre todo se lo digo a los jóvenes). Además, este beneficio se obtiene solo si el artículo es reenviado a una revista dentro del grupo de revistas de temática afín (los autores han usado las categorías del ISI Web of Science); tratar de evitar que nos toquen los mismos revisores enviando el artículo a una revista con una temática colateral conduce a un menor impacto.

En resumen, un nuevo artículo que viene a confirmar lo que yo siempre le digo a mis estudiantes de doctorado: que te rechacen un artículo no es malo, más aún, puede llegar a ser incluso bueno. Por supuesto, yo siempre se lo digo en relación al valor que pueden llegar a tener los comentarios de los revisores en las mejoras que se puedan introducir en el artículo. Nunca imaginé que además pudiera estar correlacionado con un mayor impacto. Los estudios bibliométricos son cada día más sorprendentes.

Gran Bretaña es el país con el mejor rendimiento científico del mundo, según Thomson Reuters y Elsevier

El impacto de la ciencia producida en EE.UU. está de capa caída; el país que mejor financia la investigación de todo el mundo ha sido superado en impacto por Gran Bretaña y por Alemania (el primero ya lo superó hace tres años). Según un estudio de la editorial Elsevier, Gran Bretaña es el país con el mejor rendimiento científico del mundo, es decir, el mejor cociente entre el impacto (normalizado) de sus publicaciones y los fondos públicos invertidos en su financiación. No solo lo dice Elsevier, otro análisis de Thomson Reuters obtiene resultados similares. Gran Bretaña produce el 8% de los artículos de investigación publicados en todo el mundo, pero logra producir el 17% de los trabajos de investigación con más de 500 citas y el 20% de los que tienen más de 1000 citas. Entre 1991 y 2011, el impacto de la ciencia de EE.UU. se ha estancado (“ha tocado techo”), mientras que el impacto de países como Gran Bretaña, Alemania y Francia está en pleno crecimiento. Gran Bretaña pasó del segundo lugar en 1991 al primer lugar desde 2007; Alemania pasó del cuarto lugar en 1991 hasta el segundo en 2010; Francia, en el quinto puesto detrás de EE.UU., sigue creciendo y se espera que si el gobierno de los EE.UU. no hace nada para evitarlo, acabará obteniendo el tercer lugar. ¿Qué harán los estadounidenses para corregir su estancamiento durante los últimos 20 años? Eliot Marshall, John Travis, “Scientific Impact: U.K. Scientific Papers Rank First in Citations,” Science 334: 443, 28 October 2011, no se atreven a ofrecer ninguna respuesta.

Por cierto, España no se encuentra en buen lugar. En 2010 fuimos los novenos (#9) por número de artículos, los undécimos (#11) por número de citas, pero los trigésimo cuartos (#34) por número de citas por artículo. El puesto 34 donde Gran Bretaña es el número 1 y EE.UU. el número 3. Sin palabras. Prefiero no hacer comentarios.