Prensa rosa: Por qué me interesa una noticia científica y no otra

Yuri S. Kivshar es uno de los popes del campo de investigación al que yo me dedico. Kivshar tiene un índice h de 69 y la friolera de 758 artículos en revistas impactadas (según el ISI Web of Science); entre ellos, 116 Optics Letters y 73 Physical Review Letters. Su artículo más citado (“Dynamics of solitons in nearly integrable systems“) ha sido citado 886 veces. En 2005 me sorprendió que empezara a publicar más de 52 artículos al año (más de un artículo a la semana) y el año pasado (2012) publicó 70 artículos, incluyendo 5 Physical Review Letters. Son muchos artículos y no todos pueden ser buenos, pero la mayoría son muy buenos (al menos para los que trabajamos en mi campo).

Por qué Robert Trivers quiere que retracten uno de sus artículos que fue portada en Nature

Parece imposible que el autor de un artículo publicado en Nature, que fue portada de dicha revista el 22 de diciembre de 2005, haya tratado por todos los medios que su propio artículo fuera retractado. Robert Trivers, biólogo evolutivo de la Universidad de Rutgers en New Brunswick, Nueva Jersey, publicó en Nature con varios colegas que los adolescentes jamaicanos con un cuerpo más simétrico eran más propensos a ser calificados como “buenos bailarines” por sus compañeros; esto sugería la existencia de una señal de selección sexual en el ser humano. Pero Trivers comenzó a tener dudas en 2007, cuando otro estudiante de doctorado no fue capaz de replicar las conclusiones del artículo. En su investigación descubrió inconsistencias en las mediciones de simetría realizadas por el primer autor William M. Brown, que en aquel momento era postdoc en su grupo.

En 2008, Trivers solicitó a Nature que el artículo fuera retractado pero el editor de la revista no quiso hacerlo. En 2009, Trivers publicó un libro sobre su caso y la Univ. de Rutgers decidió investigar el caso. El año pasado, la investigación concluyó que no había pruebas “claras y convincentes” de la fabricación de datos por parte de Brown, que salió indemne. Trivers no dice que no haya efecto, sino que hay un efecto débil, poco significativo, lo que contradice los resultados publicados. Sin embargo, no tiene planes de replicar este trabajo concreto, aunque sigue estudiando la simetría del cuerpo en Jamaica y ha producido al menos diez artículos adicionales sobre el tema. Ahora mismo el artículo sigue sin ser retractado.

Nos lo cuenta Eugenie Samuel Reich, “Symmetry study deemed a fraud. University finds evidence of fakery in Jamaican dance data,” Nature 497: 170–171, 09 May 2013; el artículo técnico en entredicho es William M. Brown et al., “Dance reveals symmetry especially in young men,” Nature 438: 1148-1150, 22 Dec 2005.

¿Por qué insiste tanto Trivers en que retracten este artículo? Porque muchos expertos, como Steven Pinker, psicólogo de la Universidad de Harvard en Cambridge, Massachusetts, consideran que este artículo carece de una base sólida, siendo como “una broma de mal gusto” que ha llegado a ser publicado por su tirón para los medios (puro “cebo para periodistas”). Pinker dice que el trabajo de Trivers está fuera de toda duda y que su coautoría sólo sirve para empañar su currículum vitae.

El editor de Nature dice que va a abrir una nueva investigación sobre el tema. Pero parece que será muy difícil que Trivers logre que retracten su propio artículo.

España y sus artículos en las revistas Physical Review

En la actualidad, España es el noveno productor de artículos de física publicados en revistas de la serie Physical Review de la APS (Sociedad de Física Americana), tras EEUU, Alemania, Francia, Reino Unido, Japón, Italia, China y Rusia, y por delante de Canadá. Pero no siempre fue así. Llevamos poco tiempo en el top 10. Así lo concluye un análisis bibliométrico de todos los artículos publicados en revistas de la APS en sus 119 años de vida. El artículo técnico es Matjaz Perc, “Self-organization of progress across the century of physics,” Sci. Rep. 3: 1720, 2013 [arXiv:1305.0552]. El siguiente vídeo youtube muestra los resultados por años

http://www.youtube.com/watch?v=0Xeysi-EfZs

Nature luchará contra la irreproducibilidad de los resultados de investigación

Una práctica habitual, que cualquier estudiante que ha tratado de reproducir los resultados de un artículo técnico ha vivido en sus propias carnes, es la omisión de algún detalle importante, clave para la reproducción de los resultados. Los “jefes” tenemos que aplicar grandes dosis de ingenio para rellenar estas omisiones y convencer a nuestros estudiantes de que no son intencionadas (nunca se debe fomentar la “mala ciencia” entre nuestros pupilos). ¿Por qué muchos artículos científicos son irreproducibles? Quizás porque en la revisión por pares no hay tiempo para reproducir los resultados del artículo. Muchos revisores leen el artículo de forma diagonal y aceptan o rechazan el artículo en función de “detalles” (tanto técnicos como de forma), sin entrar en el meollo de la cuestión. ¿Deben los editores de las revistas de prestigio exigir a los revisores que garanticen la reproducibilidad de los resultados? La revista Nature ha decidido que a partir del próximo mes así lo exigirá. En mi opinión, otras revistas deberían seguir la misma filosofía. Nos lo cuentan en “Announcement: Reducing our irreproducibility,” Editorial, Nature, 24 Apr 2013. En el número de hoy dedican un especial a este asunto “Challenges in irreproducible research,” Special, Nature, 1 May 2013.

La correlación entre el índice h y el número de citas

La bibliometría está repleta de conjeturas verificadas sólo con pequeños conjuntos de datos. Tras analizar las publicaciones de 35.136 investigadores se confirma la fuerte correlación entre el índice h y el número total de citas recibidas C, siguiendo la ley de potencias h ~ C^0,42, predicha por el propio Hirsch, inventor del índice h, que la verificó con un pequeño conjunto de datos. También se correlaciona con el número de publicaciones N, aunque con menor significación. La correlación entre estos tres índices bibliométricos es h ~ C^0,41 N^0,18. Los autores del nuevo estudio han partido de las citas de los artículos de 89.786 científicos con “profile” en Google Scholar (datos recogidos entre el 29 de junio al 4 de julio de 2012), asociados a 67.648 palabras clave diferentes; entre todos ellos han seleccionado los autores que tienen al menos 20 artículos y una carrera con más de 5 años de duración (reduciendo el número a 35.136 científicos). Esta validación a gran escala ha sido desarrollada por Filippo Radicchi, Claudio Castellano, “Analysis of bibliometric indicators for individual scholars in a large data set,” arXiv:1304.1267, 04 Apr 2013. Los aficionados a la bibliometría dispuestos a realizar otros análisis sobre los mismos datos pueden descargar dichos datos en esta página web de los autores. 

¿Corrompe el factor de impacto a los jóvenes científicos?

Hoy en día, un joven científico es evaluado en función del factor impacto de las revistas en las que publica y del número de citas de sus propios artículos. La calidad de su producción científica no se mide de ninguna otra forma. Por ello, muchos jóvenes científicos toman decisiones clave en su carrera académica en función del factor de impacto; decisiones tan importantes como en qué tema trabajar, en qué revista publicar y qué puestos académicos solicitar. La dependencia excesiva en el factor de impacto es perniciosa para los jóvenes, que son corrompidos por algo ajeno a la producción científica de calidad. Nos lo contaron Eve Marder, Helmut Kettenmann, Sten Grillner, “Impacting our young,” PNAS 107: 21233, Dec. 14, 2010.

Todo el mundo sabe, pero muchos olvidan, que el factor de impacto se inventó para ayudar a los bibliotecarios a decidir a qué revistas suscribirse. El factor de impacto da una idea aproximada de la influencia que tiene una revista científica en su campo. Utilizarlo para evaluar un individuo, un departamento, o incluso una institución es un abuso (como está demostrado en múltiples estudios). Como pasa con muchos asuntos pseudocientíficos, todo el mundo recuerda cuando funciona bien, pero se olvida muy fácil cuando falla de forma garrafal (y lo hace más a menudo de lo que a muchos les gustaría). Usarlo para evaluar a los científicos (jóvenes) no tiene ningún sentido, más allá del ahorro en costes (pues la evaluación la puede hacer una máquina en lugar de un par). 

La actividad científica se entronca en la creación y la difusión de nuevos conocimientos. La revisión por pares debe cuestionar si un trabajo se ha realizado con rigor, aplicando los controles apropiados y un análisis estadístico correcto, si los datos y el texto son claros y suficientes para la replicación de los resultados, y si los argumentos expuestos tienen sentido lógico. Más aún, los revisores también ponen hincapié en la importancia potencial y en la novedad de la contribución. Como es de esperar, estos factores son los más relevantes para la aceptación del artículo en las revistas de alto factor de impacto. Pero la novedad es una navaja de doble filo, pues a veces se opone a la importancia; un resultado inesperado suele tener consecuencias difíciles de predecir. Muchas veces es un error premiar a los investigadores jóvenes en función de las novedades que se cruzan (por casualidad) en su carrera científica. Más aún, puede ser un grave error penalizar a los que tienen un proyecto robusto, de mayor importancia y de mayor impacto global, pero carente de novedades a corto plazo. La ciencia de calidad no debería basarse en “burros que han tocado la flauta.”

La hipocresía inherente a la elección del factor de impacto como única herramienta para medir la calidad científica socava los ideales que subyacen al avance científico. Muchos jóvenes brillantes y creativos se desilusionan y abandonan su carrera científica al ver que otros jóvenes, por pura suerte, copan los pocos puestos académicos disponibles. Hacer demasiado énfasis en las publicaciones en revistas de alto factor de impacto puede ser una receta desastrosa para el futuro de muchos jóvenes.

¿Existe alguna solución? Lo ideal sería reemplazar el factor de impacto como único indicador de excelencia y utilizar la evaluación por pares siempre que sea posible. Más aún, a ser posible, que dicha evaluación incluya científicos de prestigio internacional. Se requiere más tiempo y más esfuerzo, pero todos los científicos (senior) en activo deberían estar dispuestos a participar en estas evaluaciones porque esta es la única manera de liberar a los jóvenes científicos de la tiranía del factor de impacto.

El coste real de las publicaciones científicas, ese gran desconocido

Se estima que la industria de las publicaciones científicas generó 9400 millones de dólares de beneficios en 2011, gracias a la publicación de 1,8 millones de artículos escritos en inglés. Por tanto, el beneficio medio por cada artículo alcanza los 5000 dólares. A esta cantidad hay que restar el coste de su gestión. ¿Cuánto dinero crees que le cuesta a una editorial publicar un artículo revisado por pares? En Nature son muy optimistas y afirman que los márgenes de beneficio son inferiores al 30%, con lo que estiman que el coste medio de producción de un artículo supera los 3500 dólares. La verdad, a mí me parece una cantidad muy grande. Los autores y revisores trabajamos gratis. El negocio de la industria de publicaciones científicas es todo un negocio. Un gran negocio. Cuando no se publican de forma abierta los costes y beneficios de un negocio de casi diez mil millones de dólares, algunos pensamos mal  (se nota que no he estudiado Ciencias Económicas). Nos lo cuenta Richard Van Noorden, “Open access: The true cost of science publishing. Cheap open-access journals raise questions about the value publishers add for their money,” Nature 495: 426-429, 28 Mar 2013.

La mayoría de las editoriales de revistas científicas de acceso abierto (open access) cobra a los autores un precio inferior al ingreso promedio de la industria. Se estima que el coste promedio de un artículo de acceso abierto en el año 2011 fue de 660 dólares (compara este número con los 5000 dólares de beneficio de la industria). Se estima que el coste promedio por artículo para la editorial de acceso abierto es de 300 dólares, con lo que se obtienen 360 dólares de beneficio (los márgenes superan el 50%, todo un negocio redondo).

Por supuesto, las cifras exactas son difíciles de conseguir. Los datos ofrecidos por las grandes editoriales son difíciles de analizar (pues hay que separar la parte correspondiente a publicaciones en revistas científicas, algo que no siempre es fácil). Se estima que Wiley tiene márgenes de beneficios del 40% y que Elsevier se queda en un 37%. Editoriales de acceso abierto como Hindawi afirman alcanzar un 50% de beneficios. El grupo Nature (NPG) se ha negado a publicar sus márgenes, incluso en un artículo en su propia revista. Un estudio del Cambridge Economic Policy Associates, afirma que las editoriales sin ánimo de lucro tienen márgenes del 20%, las universitarias del 25% y las comerciales del 35%. En mi opinión, pero repito que no soy experto, los costes de publicación de artículos científicos son mucho más bajos de lo que las grandes editoriales nos quieren hacer pensar.

La revista más grande del mundo, PLoS ONE, que cobra a los autores 1350 dólares por artículo, acepta el 70% de los artículos que recibe. Muchos congresos han sido criticados por su alta tasa de aceptación. Las revistas prestigiosas suelen tener índices de aceptación mucho más reducidos. Physical Review Letters publica menos del 35% de los artículos que recibe (si los autores quieren que su artículo sea de acceso abierto deben pagar 2700 dólares). Nature y Science publican menos del 8% de los artículos que reciben. ¿Está relacionado el prestigio con la tasa de aceptación? ¿Debe costar más un artículo de acceso abierto en una revista más prestigiosa? La realidad es que es así, las revistas más prestigiosas suelen cobrar más.

Recomiendo leer la entrevista a Jason Priem, investigador postdoctoral en el Centro Nacional para Síntesis Evolutiva (NESCent), en Eva Rodríguez, ”El acceso abierto es solo el primer paso hacia un cambio más profundo en la publicación académica,” SINC, 27 Mar 2013. “La publicación en acceso abierto es mucho mejor para el científico, ya que no renuncia a su derecho con varias editoriales y conserva la capacidad de gestionar su propiedad intelectual. ¿Por qué no se estandariza en todos los países este sistema de publicación de acceso abierto a las investigaciones financiadas con fondos públicos? Los contribuyentes subsidian muchas cosas con pagos adicionales para poder usarlas, como por ejemplo el transporte público. En el mundo web, la obligación de publicar en acceso abierto favorece los modelos de negocio accesibles frente a los modelos cerrados.”

La arbitrariedad del índice h a la hora de ordenar la producción de investigadores

La arbitrariedad del índice h (propuesto por Hirsch en 2005) se hace evidente cuando se cambia un poco su definición y, en lugar de tomar el valor h como el número de publicaciones que han recibido al menos h citas cada una, se toma h como el número de publicaciones que han recibido al menos q*h citas cada una, donde q es distinto de la unidad; la costumbre es tomar q = tan(α), con q=1 para α=45 grados. El cambio parece muy pequeño, pero la estabilidad del índice h ante este “pequeño” cambio es pésima. El cambio en el orden (ranking) de una serie de investigadores al realizar un pequeño cambio en el valor de q es mucho más grande de lo que uno puede pensar en principio y hace dudar sobre la utilidad del índice h (con q=1) a la hora de ordenar investigadores por su producción. La figura muestra el ránking de 26 físicos en función del ángulo α entre 5 y 85 grados (obviamente, los primeros y últimos puestos cambian poco, pero la región intermedia, donde el índice h debe mostrar su utilidad práctica, es bastante “caótica”). Este resultado es bien conocido por los expertos en bibliometría, pero ignorado por el resto del mundo (todos los que usan el índice h a la ligera sin estudiar un “poquito” de bibliometría). Nos lo recuerda Michael Schreiber, “A Case Study of the Arbitrariness of the h-Index and the Highly-Cited-Publications Indicator,” Journal of Informetrics 7: 379-387, 2013 [arXiv:1302.6582].

La falta de rigor de Thomson Reuters al calcular el índice de impacto de una revista en el JCR

Ya hemos hablado en este blog en varias ocasiones de la “ingeniería” del índice de impacto, las artimañas que usan los editores de las revistas científicas para posicionarse mejor en el JCR (Journal Citation Reports) editado por la empresa privada Thomson-Reuters. Algunas “malas artes” son detectadas gracias a un algoritmo secreto (no publicado), sin embargo, otras se realizan con el consentimiento de Thomson-Reuters. Esta figura muestra cómo Current Biology subió un 40% en su índice de impacto gracias a cambiar el número de artículos que publicó en 2001: según el 2002 JCR publicó 528 artículos en 2001, pero según el 2003 JCR publicó sólo 300, ¿dónde fueron a parar los 228 artículos restantes? Las revistas científicas publican artículos de diferentes tipos (editoriales, noticias, letters, papers, reviews, book reviews, etc.). Todos pueden recibir citas, pero muchos reciben pocas citas. Los editores pueden solicitar a Thomson-Reuters que no tenga en cuenta ciertos tipos en su cuenta del número de artículos publicados. En el caso de Current Biology, este cambio supuso un incremento del 40% en el índice de impacto entre 2002 y 2003 (según Scimago, el SJR de Current Biology subió de 4,9 a 5,2, sólo un 6%). Supongo que los autores de artículos científicos que publicaron en esta revista en 2003 estarán muy contentos, pero los que publicaron en 2002 se lamentarán de que Thomson-Reuters no hiciera el cambio un año antes. ¿Saben las agencias de evaluación de investigadores y proyectos de la existencia de estos hechos? ¿Deberían ser tenidos en cuenta? Recomiendo la lectura del artículo de Björn Brembs, Marcus Munafò, “Deep Impact: Unintended consequences of journal rank,” arXiv:1301.3748, 16 Jan 2013.

Por cierto, el “índice de impacto” a veces es traducido del inglés como “factor de impacto” porque en dicho idioma se escribe “impact factor,” pero esta traducción, aunque es muy popular hoy en día, no era la recomendada hace 25 años cuando yo empecé a escuchar el término; igual que tampoco se usaba la palabra “tecnología” en lugar de “técnica,” la traducción correcta de “technology.” Pero como la lengua es algo vivo y cambiante, lo mismo alguno me criticará por seguir llamando “índice de impacto” a lo que siempre se llamó “índice de impacto” y ahora nos quieren imponer como “factor de impacto.”

El suicidio de Aaron Swartz y la ciencia como negocio

Aaron Swartz se suicidó el pasado 11 de enero con 26 años de edad. Se enfrentaba a una condena máxima de 4 millones de dólares en multas y más de 50 años de prisión. El cargo más importante contra él era haber descargado cinco millones de ficheros pdf de artículos de JSTOR gracias a la red del MIT y haberlos publicado en abierto (el torrent de 35GB con los papers que Aaron publicó está disponible en la red). Publicar en abierto ciencia es un delito si no eres el autor (que solo tiene derecho a publicar en abierto su manuscrito, no la versión final, salvo en revistas específicas). Ayer y hoy en Twitter se han publicado miles artículos en pdf usando el hashtag #PDFtribute (como buscar en Twitter es penoso, hay una página web con todos los “links scraped from Twitter hashtag #pdftribute“).

Todo este penoso asunto trae a colación una pregunta que lleva mucho tiempo en el aire. ¿La ciencia es un negocio? ¿Tiene que ser la ciencia un negocio? ¿Algún día dejará la ciencia de ser un negocio? Como bien nos dice Enrique Dans, “la investigación académica debe ser libre” (es decir, gratuita). ¿Por qué no lo es? La razón no es que las grandes editoriales no lo permitan. La mayoría acepta artículos (manuscritos) de arXiv sin problemas. ¿Por qué hay autores que no envían todos y cada uno de sus artículos a arXiv? ¿Por qué hay autores que no publican todos y cada uno de sus manuscritos (antes o después de ser aceptados) en la web?

Comparto lo que dice Enrique Dans [copia con ligeros cambios]: “Las revistas científicas son una desmesurada fuente de ingresos a través de las suscripciones de profesores, departamentos y bibliotecas. El sistema funciona [a las mil maravillas] desde el punto de vista económico: los revisores no cobran, los autores tampoco (en algunos casos, incluso pagan por enviar el artículo), pero las editoriales cobran y no precisamente poco. Un sistema envenenado que funciona bajo el pretexto de ejercer una revisión por pares y ciega que (se supone) asegura la calidad de lo publicado. Un sistema que funciona porque las revistas científicas se ha convertido en varas de medir que condicionan la promoción de los profesores en el escalafón académico.”

Si eres investigador pero no publicas todos y cada uno de tus manuscritos en abierto, ¿por qué no lo haces? ¿Qué miedo tienes a hacerlo? ¿Represalias de los revisores? Utiliza los comentarios (de forma anónima si así lo prefieres) para ofrecer tu opinión. En cualquier caso, que sepas que yo no lo entiendo… máxime cuando el número de citas y el impacto es mayor a los artículos cuyos manuscritos están disponibles en abierto en la red (y son fáciles de localizar, por ejemplo, en la página web del autor o de su grupo de investigación).

Lo cierto es que, mientras haya autores que no publiquen todos sus manuscritos en la web, el suicidio de Aaron Swartz no habrá servido para nada… Piénsalo mientras guardas un minuto de silencio en su memoria. Si te apetece…

Y por cierto, te recomiendo leer el artículo de Eva Rodríguez, “La ciencia abierta se expande en internet. España es uno de los líderes en ‘open access’ de la Unión Europea,” SINC, 11 ene 2013. ”La publicación en acceso abierto es mucho mejor para el científico, ya que no renuncia a su derecho con varias editoriales y conserva la capacidad de gestionar su propiedad intelectual”.

“España es uno de los países mejor posicionados de la Unión Europea en acceso abierto a los estudios científicos –a través del proyecto de repositorios en abierto Recolecta– y el único que tiene un mandato por ley al respecto. La Comisión Europea puso en marcha en agosto de 2008 el “Piloto de Acceso Abierto en el Séptimo Programa Marco (7PM)” para permitir el acceso gratuito a la información científica, después de un período de embargo de 6 o 12 meses, de los proyectos financiados a través de este programa. Además, la CE anunció que a partir de 2014, las investigaciones financiadas directamente por la UE a través de su 8º Programa Marco tendrán que publicarse con open access.”

“De los 1,66 millones de artículos científicos publicados durante 2011, el 12% siguieron el modelo de acceso abierto inmediato y el 5% dentro de los 12 meses siguientes a su publicación. “El acceso abierto con retraso es mucho mejor que no tener libre acceso”. Francisco Plou, investigador científico del Instituto de Catálisis y Petroleoquímica (CSIC) dice: “Mi experiencia indica que para ‘subir’ un trabajo al repositorio institucional necesito entre seis y ocho minutos y el número de descargas de todos los trabajos que hemos subido a Digital.CSIC es significativo, hasta llegar a las más de 10.000 descargas de uno de nuestros trabajos. Por tanto, merece la pena destinar nuestro tiempo para que una de nuestras publicaciones sea descargada en todo el mundo decenas, cientos o incluso miles de veces”.”

“Los científicos a menudo creen que el acceso abierto causa conflictos con los derechos de autor, pero no es así. Una de las premisas principales del open access es que, aunque se distribuye el trabajo abiertamente, el investigador conserva su autoría bajo una licencia Creative Commons de la obra. Pilar Rico, Responsable de Repositorios y Acceso Abierto de la Fundación Española para la Ciencia y la Tecnología (FECYT), señala que muchas veces, cuando publican en revistas comerciales, los investigadores no saben que están cediendo sus derechos. “Deberían estar más informados sobre lo que ceden, en muchos casos lo desconocen”.”

“Los principales proyectos europeos de open access que ya están en marcha son:

El repositorio español Recolecta, y los repositorios

OpenAIRE

 y

OpenAIRE plus

.”

La revista PLoS ONE en 2012 y sus beneficios económicos en 2011

PLoS ONE ha publicado 23.468 artículos científicos en el año 2012, que han sido revisados por más de 60.000 científicos. El artículo más descargado este año pasado (227.928 veces desde que fue publicado el 26 de septiembre) afirma que “los síntomas de abstinencia de la marihuana podrían ser similares a los del tabaco.” Muchos de los artículos de PLoS ONE acaban siendo noticia en los medios por su contenido, como las limitaciones de la agricultura alternativa o del índice de masa corporal. También hubo artículos sobre pingüinos, desde su cuenta desde el espacio usando imágenes de satélite, hasta lo que hacen durante sus viajes. Incluso, artículos de autoayuda para pasar más tiempo al aire libre, decidir qué comer, perder peso o superar los miedos. Nos lo han contado K. Hoff, “PLOS ONE Papers of 2012″, Jan 3, 2013; S. Somphanith, “Thanking Our Peer Reviewers,” Jan. 7, 2013; S. Somphanith, “Penguins Punctuate 2012 for PLOS ONE,” Dec. 31, 2012.

Ya he hablado en varias ocasiones de PLoS ONE en este blog. En mi opinión, modelos de negocio como los de PLoS ONE acabarán siendo dominantes en el mundo de las publicaciones científicas en unos lustros. Digo “negocio” porque se trata de todo un negocio.

¿Cuáles habrán sido los beneficios de PLoS en 2012? Los ingresos de PLoS en el año 2010 fueron 15.061.395 dólares y en 2011 fueron 22.493.908 dólares. Los beneficios (ingresos menos gastos) fueron en 2010 nada menos que 2.851.504 dólares y en 2011 un poquito más, 4.152.244 dólares. ¿Cuánto crees que serán los beneficios en 2012? Han duplicado el número de artículos, así que… Fuente de los datos: PLoS 2011 Public Disclosure.

Más información en este blog: “Las revistas de acceso gratuito y la revista PLoS ONE,” 26 octubre 2012; “La revista de acceso gratuito PLoS ONE ya publica más de 2000 artículos al mes,” 20 mayo 2012; “Los pingües beneficios de PLoS ONE, la revista científica más grande del mundo,” 12 enero 2012; “PLoS ONE ya es la revista más grande del mundo en número de artículos,”  2 abril 2011; y “El buen negocio de PLoS ONE y el “pagar por publicar”,”  20 agosto 2010.

Atención, pregunta: ¿Debe influir el número de citas a tus artículos en que recibas o no financiación?

Muchas veces nos comparamos con EEUU y tendemos a pensar que en ciencia y técnica ellos lo hacen mejor que nosotros. ¿Influye el número de citas del investigador principal en que un proyecto de investigación sea concedido o no en EEUU? A bote pronto, mucha gente dirá que sí, por supuesto. Pero, cuidado, las cosas no son tan sencillas. No tengo datos del NSF (National Science Foundation), pero en el NIH (National Institutes of Health) la respuesta es negativa. Aunque esto sorprenda a algunos, los investigadores que más financiación reciben del NIH no son los más citados. Nos lo cuentan Joshua M. Nicholson, John P. A. Ioannidis, “Research grants: Conform and be funded. Too many US authors of the most innovative and influential papers in the life sciences do not receive NIH funding,” Nature 492: 34-36, 06 Dec 2012.

Nota dominical: El timo de la revisión por pares

“El propósito de la revisión de pares es medir la calidad, factibilidad y credibilidad de las investigaciones, con miras a ser publicadas, ya sean sus procesos o sus efectos, o para presentarlos ante organismos de financiamiento.” [1] Mentira. Mucha gente se lo cree, pero es mentira. Si no lo fuera, los científicos que actúan como revisores tendrían una gran responsabilidad de cara a la historia de la ciencia y al progreso del conocimiento. Sin embargo, esta opinión olvida que la revisión por pares fue inventada para ayudar a los editores de las revistas a elegir los artículos que publicar. Por ello, muchos editores eligen a revisores que no son expertos en el tema del artículo, aunque su opinión nunca podrá garantizar la calidad de la investigación, ello no quita que permita predecir el impacto que tendrá el artículo en la comunidad especializada en su conjunto. Porque lo que interesa a los editores es que los artículos que publican tengan impacto y éste será mayor si el artículo interesa a un gran número de científicos en lugar de un reducido número de expertos. Recuerda, muchos artículos son revisados por personas que no entienden sus detalles técnicos, que serían incapaces de replicar el artículo, que nunca podrían garantizar la calidad, factibilidad y credibilidad del artículo. Pero no importa. Porque su opinión sobre si el artículo es interesante o no para la comunidad de lectores de la revista es lo único que interesa al editor. Lo único. A este hecho, bien conocido, pero muchas más veces olvidado, yo le llamo en mis cursos de metodología y epistemología de la investigación como “el timo de la revisión por pares.”

A principios del siglo XX la revisión del artículo la realizaba el editor principal de la revista, o algún miembro del consejo editorial; por ejemplo, los artículos de Albert Einstein en su“Annus Mirabilis” (1905) publicados en Annalen der Physics fueron evaluados por Max Planck, jefe del consejo editorial. El concepto de revisión por pares moderno nació en la explosión de revistas científicas tras la II Guerra Mundial. Tantos artículos se enviaban a las revistas que los editores y el consejo editorial no podían leérselos, con los que se decidió enviarlo a pares. Siempre se pensó como una ayuda a la toma de decisiones y nunca como un garante de calidad. Con los años la opinión de que la revisión por pares era un garantía de calidad se fue extendiendo y muchos revisores se la tomaron en serio durante muchos años. Pero recientemente estamos viviendo una nueva explosión de revistas y de artículos publicados que impide que haya un número suficiente de revisores expertos que garanticen la calidad de lo publicado, con lo que se está retornando al sistema original. La revisión por pares como opinión sobre el interés del artículo y no como garante de su calidad.

En 1982, se reenviaron 12 artículos ya publicados en revistas de psicología de prestigio (las de mayor impacto) a las mismas revistas que los habían publicado, pero entre 18 y 32 meses más tarde. Solo 3 editores principales detectaron que el artículo ya había sido publicado en su propia revista. Los otros 9 artículos pasaron a revisión por pares. Los revisores rechazaron 8 de estos artículos, en muchos casos “por graves defectos en la metodología.” [2] ¿Cómo es posible que un artículo se “cuele” en una revista de prestigio en cierta ocasión y un par de años más tarde sea rechazado por “graves defectos en la metodología”? Pues muy sencillo. Depende de la lotería, del número (digo, del revisor) que te toque.

¿Podemos concluir que un artículo que ha pasado por revisión por pares es de mayor calidad que uno que no lo ha hecho? En general, sí, pero no hay que ser más papista que el papa con estos asuntos. El artículo ha “colado” pero si fuera enviado otra vez quizás no lo hubiera hecho. Siempre hay que tener precaución. Lo importante es que nos leamos el artículo. Sobre todo los divulgadores. Últimamente hay mucho divulgador que ni siquiera se lee el título del artículo sobre el que divulga y que se cree lo que medios sensacionalistas publican (omito nombres, pues todos sabéis cuáles son). Por favor, si eres divulgador y vas a hacerte eco de una noticia publicada por otro medio, por favor, léete el título del artículo y el resumen (abstract), como mínimo. Muchas revistas tienen resúmenes gráficos (el autor elige una o varias figuras del artículo que acompañan al resumen). Y si puedes conseguir copia gratis del artículo en ArXiv o gracias a Google Scholar, por favor, léete el artículo antes de divulgar. No cuesta tanto…

Si quieres llegar a portada de Méneame o similares no te esfuerces en ser el más rápido, meterás la pata muchas veces y se te verá el plumero. Por favor, recuerda que los buenos divulgadores españoles logran portadas gracias a que sus artículos son buenos, no por ser los más rápidos, porque son buenos y sus artículos están bien trabajados. Busca la calidad y trata de ser auténtico. Mira los primeros puestos en los Premios Bitácoras 2012 en la categoría de Ciencia y busca sus blogs, lee sus entradas y aprende. Ellos lo hacen bien y por ello logran ser los mejores. Recuerda, la prisa siempre es mala consejera…

 

[1] Michele Ladrón de Guevara Cervera et al., “Revisión por pares: ¿Qué es y para qué sirve?,” Salud Uninorte 24: 258-272, 2008.

[2] D. P. Peters, S. J. Ceci, “Peer-review practices of psychological journals: The fate of published articles, submitted again,” The Behavioral and Brain Sciences 5: 187-195, 1982.

“El bueno, el malo y el feo” en las revistas de acceso gratuito (open access)

El número de revistas de acceso gratuito está creciendo a un ritmo anual increíble. El último año se añadieron 1200 al listado que aparece en el Directorio de Revistas de Acceso Gratuito (DOAJ, Directory of Open Access Journals). No es un problema que haya muchas, el problema es saber cuáles son buenas y acabarán teniendo un impacto significativo en los próximos años. ¿Enviarías un artículo a revisión al Electronic Journal of Biology? ¿Son buenos los editores de Aquatic Biosystems? ¿Recomendarías a uno de tus estudiantes de doctorado o postdocs enviar un artículo al International Journal of Computer Science and Network? Estas tres revistas están entre las últimas 78 que se incorporaron al DOAJ en el último mes. Por su juventud, estas revistas aún no tienen factor de impacto en el listado de Thomson Reuters y no lo tendrán en al menos tres años. ¿Qué índice bibliométrico podemos usar para determinar la calidad de una nueva revista?

Jelte Wicherts (Univ. Tilburg, Países Bajos) propone usar un índice de transparencia, que la revista explique en su web de forma clara cosas como su temática y lectores objetivo, sus procedimientos de revisión por pares y su tasa de aceptación/rechazo. Según Wicherts, las mejores revistas del DOAJ son las más tranparentes. ¿Cómo se calcula este índice? Mediante una encuesta, de manera similar a como se valoran películas. Se pasa un cuestionario entre un muestra de investigadores y se asigna un valor del índice de transparencia a la revista. Sin embargo, a mucha gente no le gusta este tipo de medida subjetiva y prefieren un índice bibliométrico numérico, en apareciencia más aséptico.

Un nicho de investigación no es fácil de descubrir. Los especialistas en bibliometría y quienes aspiren a serlo tienen aquí un problema interesante y útil que resolver. El desarrollo de un índice bibliométrico para medir la calidad de revistas científicas emergentes, que combine sencillez y precisión, será objeto de gran número de propuestas y publicaciones en los próximos meses. La bibliometría tiene mucho intrusismo entre matemáticos y físicos, como Hirsch, el autor del famoso índice-h, quizás alguno de los lectores de este blog esté ahora mismo pensando en cómo resolver este problema bibliométrico.

A bote pronto, se me ocurre un índice de impacto potencial calculado como el exponente de la potencia en un ajuste de la evolución anual del índice-h de la revista utilizando una ley de potencias; este índice sería útil para los primeros cinco años de vida de una revista. Obviamente, sin una investigación estadística detallada que confirme la “aparente” utilidad del índice, cualquier propuesta caerá en saco roto.

Los efectos colaterales en Nature de publicar un preprint en ArXiv

Oficialmente, la revista Nature acepta sin problemas artículos que hayan aparecido en forma de preprint en ArXiv, como la mayoría de revistas científicas. Sin embargo, publicar en ArXiv puede tener efectos colaterales no deseados. Otros investigadores, o incluso los mismos autores, pueden apoyarse en el trabajo ya publicado y realizar avances, que aparezcan en nuevos artículos en ArXiv, que inciten al editor de Nature a reconsiderar su decisión sobre un artículo ya aceptado o a punto de ser aceptado. No es una posibilidad abstracta, le ha pasado al físico cuántico Terry Rudolph (Imperial College de Londres). Su artículo “The qantum state cannot be interpreted statistically,” arXiv:1111.3328, con Matthew F. Pusey y Jonathan Barrett, provocó un gran revuelo mediático (más info en mi blog). Como resultado varios investigadores desarrollaron ideas en la misma línea. Como respuesta, Rudolph y Barrett enviaron un nuevo artículo titulado “The quantum state can be interpreted statistically,” arXiv:1201.6554, junto a Peter G. Lewis y David Jennings. Enviado a Nature, los tres revisores del primer artículo lo habían aceptado a falta de unos pequeños retoques. Pero uno de los revisores, al leer el título del nuevo artículo, mostró reservas al editor de Nature y reconsideró su posición. El editor no lo dudó y una semana más tarde rechazó el primer artículo. Rudolph tuvo que enviar su primer artículo, con un cambio de título, a otra revista,  Nature Physics, que lo aceptó. Nature Physics es prestigiosa, pero no tanto como Nature. El segundo artículo apareció en Physical Review Letters. Rozar con la mano un paper en Nature y perderlo como agua entre los dedos no es plato de buen gusto. Por ello, Terry aireó su descontento en “Terry Rudolph on Nature versus Nurture,” Cosmic Variance, 27 aug 2012. Me enteré, pero no me hice eco de ello en su momento porque estaba de vacaciones. Ahora recupero el tema gracias a un tuit de @RSEF_ESP que se hace eco de Brian Jacobsmeyer, “Preprint Policies Sow Confusion,” APS Physics, Nov. 2012.

Aceptan un artículo de Mathgen en una revista de matemáticas cuyo editor principal es español

¿Quién es el responsable de que un artículo generado por ordenador sea aceptado en una revista internacional? Mathgen es un generador online de artículos de matemáticas basado en SCIgen. El 13 de agosto de 2012, el editor principal de la revista open access Advances in Pure Mathematics aceptó un artículo enviado el 3 de agosto que había sido generado por Mathgen. ¿Realmente ha sido sometido a revisión por pares el artículo generado por Mathgen? A priori, uno tiende a dudarlo. “Independent, Negative, Canonically Turing Arrows of Equations and Problems in Applied Formal PDE” [copia en PDF] es un artículo sin sentido, imposible de entender y con un formato inaceptable, pero ha sido aceptado. La respuesta en plan broma del autor ficticio Professor Marcie Rathke (University of Southern North Dakota at Hoople) a los comentarios de los revisores no fue entendido por el editor, quien los aceptó sin más y solicitó el pago de los 500$ por el artículo. Obviamente, Nate Eldredge no quiso gastarse ni un dólar, pero nos lo cuenta en su entrada “Mathgen paper accepted!,” That’s Mathematics!, Sep. 14, 2012.

Lo que apena de este caso es que el editor principal de Advances in Pure Mathematics es un profesor español del departamento de geometría y topología de una prestigiosa universidad española. No tengo ni idea de qué puede haber ocurrido, pero ahora mismo es el hazmerreír de toda la comunidad matemática internacional. Una pena.

 

Las revistas de acceso gratuito y la revista PLoS ONE

Este vídeo de PhD Comics explica muy bien lo que son las revistas de acceso gratuito (open access). Me ha recordado que hace unos días, un compañero de la Universidad Politécnica de Valencia se sorprendió cuando le dije que PLoS ONE es la revista científica que publica más artículos al año del mundo. Según ISI WOS, publicó 4403 artículos en 2009, 6722 artículos en 2010, y 12075 artículos en 2011. ¿Cuántos lleva en 2012? En septiembre ya había superado los 12000, lo que apunta a que se acercará a los 20000 para finales de año. ¡Una barbaridad! Por ello, la revisión por pares de PLoS ONE es como la lotería, te pueden tocar revisores que acepten casi cualquier cosa, o te pueden tocar unos “cabrones” que te saquen los colores (mi amigo dice que le han pasado ambas cosas y no lo entendía). Los editores no pueden realizar con éxito su labor de elegir de forma adecuada a los revisores, dado el enorme volumen de artículos que manejan al año, de ahí que la revisión por pares sea “ligera” (por decirlo de forma políticamente correcta).

¿Cuál es la segunda revista por volumen de artículos publicados al año? Mi amigo, y varios de los oyentes de la conversación, no se lo podían creer, pero la segunda en volumen es Physical Review B que publicó 5676 artículos en 2009, 6032 artículos en 2010, y 6148 en 2011 (en 2012 publicará un número similar). Escribo esta entrada para mi amigo, que pensaba (inocente él) que Physical Review Letters tenía que publicar muchos más artículos que Physical Review B. Obviamente, yo no recordaba los números, pero le dije que tenía que publicar como la mitad. Para él (y para tí que lees esto), PRL publicó 3414 artículos en 2009, 3119 en 2010, y unos 3244 en 2011.

Los artículos publicados en una revista tras ser rechazados en otra reciben un mayor número de citas

Los 1.841 nodos son revistas y los enlaces indican el flujo de manuscritos reenviados de una revista a otra tras ser rechazados. Science, Nature y PNAS se encuentran en el centro. (C) Science. 

La historia de cada artículo, desde que es enviado por primera vez a una revista, hasta que acaba siendo publicado en ésta o en otra, está envuelta en un halo de misterio debido al anonimato implícito en la revisión por pares. Sin embargo, dicha historia influye en el impacto (número de citas) que tendrá una vez publicado, según un estudio bibliométrico publicado en Science. Una encuesta realizada por e-mail a unos 200.000 autores principales de artículos de Biología publicados en 923 revistas, a la que solo contestaron 80.748, ha descubierto que el número de citas a los artículos que fueron publicados en una revista tras haber sido rechazados en otra es mayor en promedio que el de los artículos que fueron aceptados en un primer envío. Más aún, muchos de esos artículos han sido citados desde la revista en la que originalmente fueron rechazados. Un resultado sorprendente que indica que o bien los artículos han mejorado tras la primera revisión gracias a los comentarios de la revisión por pares, o bien los artículos que van en contra del statu quo tienden a ser rechazados con más frecuencia, pero acaban causando un mayor revuelo tras ser publicados y con él acaban recibiendo un mayor número de citas (“En ciencia no hay mala publicidad: Los artículos más criticados alcanzan un mayor impacto,” 26 sep. 2012). El artículo técnico es V. Calcagno, E. Demoinet, K. Gollner, L. Guidi, D. Ruths, C. de Mazancourt, “Flows of Research Manuscripts Among Scientific Journals Reveal Hidden Submission Patterns,” Science Express, Published Online October 11 2012 [podcast inteview to Vincent Calcagno].

Obviamente, el análisis estadístico realizado muestra que los datos tienen mucha dispersión y que el beneficio en número de citas obtenido en los artículos reenviados es pequeño (aunque el valor p < 0,0001). Así que cuidado con extrapolar las conclusiones de este tipo de estudios (sobre todo se lo digo a los jóvenes). Además, este beneficio se obtiene solo si el artículo es reenviado a una revista dentro del grupo de revistas de temática afín (los autores han usado las categorías del ISI Web of Science); tratar de evitar que nos toquen los mismos revisores enviando el artículo a una revista con una temática colateral conduce a un menor impacto.

En resumen, un nuevo artículo que viene a confirmar lo que yo siempre le digo a mis estudiantes de doctorado: que te rechacen un artículo no es malo, más aún, puede llegar a ser incluso bueno. Por supuesto, yo siempre se lo digo en relación al valor que pueden llegar a tener los comentarios de los revisores en las mejoras que se puedan introducir en el artículo. Nunca imaginé que además pudiera estar correlacionado con un mayor impacto. Los estudios bibliométricos son cada día más sorprendentes.

Atención, pregunta: ¿Se debe especificar la contribución de cada autor de un artículo científico?

Permíteme exagerar un poco. Piensa en un artículo sobre el descubrimiento del bosón de Higgs en el LHC del CERN con más de 2000 autores. Bueno, con más de 2000 nombres y sus afiliaciones. Solo son nombres. Nadie sabe quiénes son, si son doctorandos, postdocs, seniors, jefes, etc. ¿Se debe especificar la contribución de cada autor? ¿Puede que haya personas que no firman el artículo que hayan contribuido más que algunos que lo firman? Quizás Hollywood tiene la respuesta. En 1934, la Academia de Artes y Ciencias Cinematográficas que entrega los Oscar decidió mantener una base de datos de los créditos de todas las películas de Hollywood. Más aún, cualquier persona que aparezca en los créditos puede recibir algún premio, desde los peluqueros a la actriz principal, cada uno con una función bien especificada. ¿Por qué la ciencia no hace lo mismo? Hoy en día, con las tecnologías de la web sería muy fácil hacerlo. Obvio, el problema es otro. ¿Por qué hay que especificar la contribución de cada autor? ¿Realmente le importa a alguien? Preguntas retóricas que nos recuerda Sebastian Frische, “It is time for full disclosure of author contributions,” Nature 489: 475 (27 September 2012), y que discute más en detalle Amber Dance, “Authorship: Who’s on first?,” Nature 489: 591–593 (27 September 2012).

Algunas revistas científicas, como Nature, permiten que los autores especifiquen en qué y cuánto han contribuido en el artículo, pero mucha gente deja vacío el hueco o lo rellena con algunas “mentirijillas” (que todo el mundo acepta, pues quien logra la financiación tiene que firmar aunque no haya hecho nada más). La tecnología está ahí y bases de datos como ResearcherID.com, BioMedExperts.com y ResearchGate.net podrían incorporar esta información sin dificultad alguna. La cuestión sobre el tapete es si la transparencia, la sinceridad y el buen hacer deben ser parte íntegra de la ciencia, o solo un adjetivo bonito.

¿Qué opinas sobre este tema? ¿Crees que en el futuro será una práctica habitual especificar la contribución de cada autor de un artículo? Usa los comentarios si te apetece…

Por cierto, a pequeña escala, en artículos con pocos autores, ¿quién debe firmar primero? ¿Es importante quién firma primero?

En ciencia no hay mala publicidad: Los artículos más criticados alcanzan un mayor impacto

Muchos científicos odian que se critique su trabajo, pues piensan que ello conlleva un bajo impacto y bajo número de citas. Sin embargo, los análisis bibliométricos afirman todo lo contrario. Filippo Radicchi (Universitat Rovira i Virgili) ha estudiado el número de citas de los artículos en 13 revistas importantes y ha descubierto que los más criticados (con comentarios enviados al editor que se publican en la propia revista) son más citados en media; además, entre los artículos más citados de cualquier revista siempre hay un alto porcentaje de artículos que han sido “comentados” (o criticados). El dicho popular “Que hablen de mí, aunque sea mal” adquiere todo su sentido en el mundo de las publicaciones científicas. Más aún, el estudio de Radicchi apoya la hipótesis de que las disputas y críticas entre científicos son claves para la producción y difusión del conocimiento, y para el avance de la ciencia. El artículo técnico es Filippo Radicchi (Universitat Rovira i Virgili, Tarragona, Spain), ”In science “there is no bad publicity”: Papers criticized in technical comments have high scientic impact,”  arXiv:1209.4997, Subm. 22 Sep 2012.

La controversia científica es parte coyuntural del progreso científico. Grandes avances científicos del pasado, como el modelo heliocéntrico de Copérnico, la teoría de la evolución de Darwin o la deriva de los continentes de Wegener, han estado rodeados de disputas, críticas y controversias de todo tipo. Por supuesto, muchas investigaciones controvertidas acaban en el olvido o siendo rechazadas, como la fusión fría o la memoria del agua. Aún así, lo que parece claro de la historia de la ciencia es que los cambios revolucionarios suelen ser polémicos y encuentran cierta resistencia antes de ser aceptados.

Fracción de artículos comentados que forman parte del 5% de los artículos más citados (círculos rellenos). Se compara con las predicciones estadísticas de un modelo que no diferencia entre artículos comentados y no comentados.

Los comentarios o cartas al editor en muchas revistas son el medio por el cual los científicas demuestran sus críticas al trabajo publicado por otros. Estos comentarios son considerados por los editores de las revistas como cualquier otro artículo y pasan por una revisión por pares. Hay comentarios positivos que aclaran o complementan el artículo comentado, pero la mayoría suelen ser críticas a las conclusiones o a la metodología utilizada. Normalmente, estos comentarios críticos suelen ir acompañados de una respuesta por parte de los autores (una deferencia muy habitual entre todos los editores). Por tanto, una manera automático de detectar comentarios críticos es considerar los comentarios que van acompañados de una respuesta de los autores. Utilizando esta regla, Radicchi ha estudiado el número de citas recibidas en la base de datos del Web of Science por los artículos de 13 revistas que han recibido “críticas.” Por ejemplo, en Physical Review Letters, el artículo más citado (más de 20.000 citas) fue un artículo criticado. Solo el 3% de los artículos han sido comentados, pero los 5 artículos más comentados están entre los 16 más citados de esta revista. Lo mismo pasa en las demás 12 revistas estudiadas (Nature, Science, Phys. Rev., etc.), los 5 artículos más comentados siempre están en el top de los más citados.

Por supuesto, el estudio de Radicchi tiene muchas limitaciones, entre ellas, que no se incluyen todas las posibles críticas a un artículo, solo las publicadas como comentarios (con respuesta de los autores) en la propia revista. Un análisis más riguroso requeriría estudiar qué artículos que citan al artículo lo hacen criticando sus conclusiones. Radicchi tiene mucho trabajo por delante investigando en dicha línea.