¿Corrompe el factor de impacto a los jóvenes científicos?

Dibujo20130328 high impact paper vs low impact paper - cartoon

Hoy en día, un joven científico es evaluado en función del factor impacto de las revistas en las que publica y del número de citas de sus propios artículos. La calidad de su producción científica no se mide de ninguna otra forma. Por ello, muchos jóvenes científicos toman decisiones clave en su carrera académica en función del factor de impacto; decisiones tan importantes como en qué tema trabajar, en qué revista publicar y qué puestos académicos solicitar. La dependencia excesiva en el factor de impacto es perniciosa para los jóvenes, que son corrompidos por algo ajeno a la producción científica de calidad. Nos lo contaron Eve Marder, Helmut Kettenmann, Sten Grillner, “Impacting our young,” PNAS 107: 21233, Dec. 14, 2010.

Todo el mundo sabe, pero muchos olvidan, que el factor de impacto se inventó para ayudar a los bibliotecarios a decidir a qué revistas suscribirse. El factor de impacto da una idea aproximada de la influencia que tiene una revista científica en su campo. Utilizarlo para evaluar un individuo, un departamento, o incluso una institución es un abuso (como está demostrado en múltiples estudios). Como pasa con muchos asuntos pseudocientíficos, todo el mundo recuerda cuando funciona bien, pero se olvida muy fácil cuando falla de forma garrafal (y lo hace más a menudo de lo que a muchos les gustaría). Usarlo para evaluar a los científicos (jóvenes) no tiene ningún sentido, más allá del ahorro en costes (pues la evaluación la puede hacer una máquina en lugar de un par). 

La actividad científica se entronca en la creación y la difusión de nuevos conocimientos. La revisión por pares debe cuestionar si un trabajo se ha realizado con rigor, aplicando los controles apropiados y un análisis estadístico correcto, si los datos y el texto son claros y suficientes para la replicación de los resultados, y si los argumentos expuestos tienen sentido lógico. Más aún, los revisores también ponen hincapié en la importancia potencial y en la novedad de la contribución. Como es de esperar, estos factores son los más relevantes para la aceptación del artículo en las revistas de alto factor de impacto. Pero la novedad es una navaja de doble filo, pues a veces se opone a la importancia; un resultado inesperado suele tener consecuencias difíciles de predecir. Muchas veces es un error premiar a los investigadores jóvenes en función de las novedades que se cruzan (por casualidad) en su carrera científica. Más aún, puede ser un grave error penalizar a los que tienen un proyecto robusto, de mayor importancia y de mayor impacto global, pero carente de novedades a corto plazo. La ciencia de calidad no debería basarse en “burros que han tocado la flauta.”

La hipocresía inherente a la elección del factor de impacto como única herramienta para medir la calidad científica socava los ideales que subyacen al avance científico. Muchos jóvenes brillantes y creativos se desilusionan y abandonan su carrera científica al ver que otros jóvenes, por pura suerte, copan los pocos puestos académicos disponibles. Hacer demasiado énfasis en las publicaciones en revistas de alto factor de impacto puede ser una receta desastrosa para el futuro de muchos jóvenes.

¿Existe alguna solución? Lo ideal sería reemplazar el factor de impacto como único indicador de excelencia y utilizar la evaluación por pares siempre que sea posible. Más aún, a ser posible, que dicha evaluación incluya científicos de prestigio internacional. Se requiere más tiempo y más esfuerzo, pero todos los científicos (senior) en activo deberían estar dispuestos a participar en estas evaluaciones porque esta es la única manera de liberar a los jóvenes científicos de la tiranía del factor de impacto.

Publicado en Nature: Un tercio de los investigadores chinos encuestados admiten haber plagiado, falsificado o fabricado datos en artículos científicos

La revista Nature ha pasado un cuestionario anónimo a 6.000 investigadores de las 6 instituciones científicas chinas más importantes. Un tercio de los investigadores admite haber plagiado, falsificado o fabricado datos en artículos científicos. ¿Por qué Nature ha realizado este estudio? Porque los editores de la revista británica Acta Crystallographica Section E, que publica estructuras cristalográficas, ha retractado 70 estructuras cristalinas presuntamente “fabricadas” por investigadores de la Universidad de Jinggangshan, en la Provincia de Jiangxi, China. Los editores han asegurado que esperan más retracciones. Investigadores chinos son responsables de casi la mitad de las casi 200.000 estructuras cristalinas publicadas por esta revista en los últimos 5 años. Según los editores de la revista la inmensa mayoría de dichas estructuras está correctamente calculada. ¿Por qué los científicos chinos actúan así? Porque gran parte del presupuesto de las universidades chinas depende del número de artículos publicados en revistas con índice de impacto. Importa el número, no la calidad de dichos artículos. Se estima que una financiación de más de 150 millones de dólares ha sido obtenida en 2009 mediante publicaciones científicas “dudosas.” El gobierno chino ya abrió una investigación entre las instituciones científicas de Pekín que encontró un tercio de investigadores que admitieron prácticas ilegítimas (los cuestionados fueron 2000 investigadores de 10 universidades).  Nos lo cuenta Jane Qiu, “Publish or perish in China. The pressure to rack up publications in high-impact journals could encourage misconduct, some say,” News, Nature 463: 142-143, 13 January 2010. Publica o perece. No te importe qué ni dónde, siempre y cuando tenga índice de impacto. ¿No os recuerda algo? Le pregunto a los investigadores españoles.

PS (14 ene. 2010): marcee en Menéame comenta que “La entradilla es ligeramente errónea, el cuestionario no es de Nature, que sólo recoge la noticia. El cuestionario es del Ministerio chino de Ciencia: “China’s science ministry commissioned a survey of researchers, the results of which remain under wraps. However, several sources revealed to Nature that roughly one-third of more than 6,000 surveyed across six top institutions admitted to plagiarism, falsification or fabrication“.” Gracias por reportar mi error, marcee.

El arte de “colar” un artículo “basura” en una revista internacional de “prestigio”

Las revistas internacionales han crecido en volumen una barbaridad. Tanto han crecido que lograr la revisión de sus artículos por especialistas es cada vez más difícil. El resultado, muchos revisores son “aficionados.” Bueno, perdón. Jóvenes investigadores sin el peso de los años sobre sus hombros. ¿Pasa algo? No, todo lo contrario. Bueno, ¿o sí? Se está “colando” una cantidad de “basura” increíble. Realmente descomunal. ¿Qué pasa si esos “malvados graciosos” que generan artículos automáticamente mediante páginas web logran colar un artículo “basura” en una revista internacional? Nada de nada. A nadie le importa. Todo el mundo hace la vista gorda y ¡adiós buenas! Hay decenas de ejemplos pululando por internet. ¿Qué pasa si un investigador escribe un artículo “basura” que envía a tantas revistas como sea necesario hasta que logra “colarlo” y que se lo publiquen? Absolutamente nada. Todo lo contrario, un gran investigador es por colarlo haberlo ha (como diría el maestro “Joda”).

Dibujo20090521_cover_Elsevier_Applied_Mathematics_ComputationUn ejemplo tristemente famoso es el artículo del israelí Rohollah Mosallahnezhad, “Cooperative, Compact Algorithms for Randomized Algorithms,” aceptado para publicación en la revista de Elsevier Applied Mathematics and Computation, cuyo editor principal es John L. Casti (y donde yo he publicado más de un artículo). Afortunadamente, los autores (“malvados graciosos”) se retractaron y el editor lo “borró” (aunque ya tenía DOI). ¿Autores o autor? ¿Por qué se retractaron los autores? El artículo había sido generado por el programa SCIgen que genera artículos aleatoriamente. ¿Qué hubiera pasado si los autores no hubieran informado al Dr. Casti de su “broma”?

Por cierto, todo esto fue en noviembre de 2007. En diciembre de 2007 el Dr. Casti aprovechó para jubilarse. Desde enero de 2008 la revista tiene un nuevo editor principal Melvin Scott. ¿Dignidad? ¿Dimisión? ¿Pura casualidad? Quizás solo el peso de los años sobre sus hombros.

No es un problema de EL$EVIER, también se la han colado a las publicaciones de IEEE, por ejemplo. Lo que pasa es que Elsevier es muy grande y los problemas en Elsevier son más “vistosos” que en editoriales más pequeñas. Buscando en Google <site:linkinghub.elsevier.com “Withdrawn Article in Press”> aparecen 1020 entradas. Más de mil artículos. ¿Cuántos serán producto de “malvados graciosos”?

Otro ejemplo. Elsevier publicó 6 revistas entre los años 2000 y 2005 que estaban “financiadas” por compañías farmacéuticas “anónimas” que aparecían como revistas médicas con revisión por pares y lograron alcanzar índice de impacto en el JCR del ISI. En concreto “Australasian Journal of General Practice,” “Australasian Journal of Neurology,” “Australasian Journal of Cardiology,” “Australasian Journal of Clinical Pharmacy,” “Australasian Journal of Cardiovascular Medicine,” “Australasian Journal of Bone & Joint [Medicine].” Nos lo cuenta Bob Grant, “Elsevier published 6 fake journals,” TheScientist.com, 7 May 2009 , quien muestra evidencia de que el “Australasian Journal of Bone and Joint Medicine,” es una publicación pagada por la compañía farmacéutica Merck (y publica muchos artículos “científicos” favorables a los productos de la propia Merck).

¿A alguien le importan estas cosas? Cuando encuentras un artículo por Internet publicado en una revista internacional con índice de impacto, ¿te cuestionas si es “basura” o no? ¿Te crees todo lo que lees en revistas impactadas? ¿Te crees todo lo que lees en este blog? A la Mula Francis también se le cuela mucha “basura,” faltaría más.