Estimación del rendimiendo de la inversión española en I+D

Dibujo20130621 Evolucion financiacion produccion sistema espanyol I mas D en 15 anyos

Medir con rigor, pero a corto plazo, la relación entre la inversión en I+D por habitante y la producción científico-técnica es casi imposible. Las medidas rigurosas que se pueden utilizar a largo plazo han de ser reemplazadas por otras susceptibles a crítica. Sin embargo, en 2008, annus mirabilis de la inversión española en I+D, “la producción científica por dolar invertido es superior a la de Francia y Alemania, y llega a duplicar la de EEUU. El número de artículos en Science y Nature por dolar invertido es tan solo un 10% menor al de Alemania. Y la producción de patentes por dolar invertido, aunque muy inferior a la de Alemania y Francia, es tan solo un 4% menor que la de EEUU.” Nos lo recuerdan Luis Santamaría, Mario Díaz, Fernando Valladares, Joaquín Hortal, Miguel A. Rodríguez Gironés, Adrián Escudero, “I+D+i en España: falla la inversión, no el rendimiento,” eldiario.es, 19 jun 2013; “Nubes negras se ciernen sobre la ciencia española,” AACTE, 15 jun 2013; y por supuesto (a quien tenga acceso) Luis Santamaría, Mario Diaz, Fernando Valladares, “Dark Clouds over Spanish Science,” Policy Forum, Science in Europe, Science 340: 1292, 14 Jun 2013.

Permíteme otro extracto: “En 2008 (“pico” en financiación), España invertía en I+D entre un 31% y un 66% menos que Francia, Alemania, Reino Unido y EEUU, tenía entre un 15% y un 26% menos de personal dedicado a esta actividad, y mostraba una contribución de la inversión privada al gasto total en I+D comparable a la de Reino Unido y ligeramente (entre un 11% y un 22%) inferior al resto. En ese mismo año, España producía entre un 6% y un 47% menos de artículos científicos, entre un 51% y un 83% menos de artículos en Science y Nature, y entre un 64% y un 89% menos de patentes que estos países de referencia.” Aunque el rigor de estas medidas es criticable, son una clara muestra de que “en España falla la inversión, pero no el rendimiento.”

Hoy se ha publicado el nuevo JCR 2012 de Thomson Reuters

Dibujo20130619 2012 JCR Science Edition - Journal Summary - All Journals

La edición de 2013 del catálogo de revistas con índice de impacto de Thomson Reuters (llamada JCR 2012, por Journal of Citation Reports) comprende 10.853 revistas clasificadas en 232 categorías en sus ediciones de Ciencia (Science JCR) y Ciencias Sociales (Social Sciences JCR); entre ellas, 379 reciben por primera vez su índice impacto. Además, 33 han salido fuera del JCR 2013 respecto al JCR 2012, es decir, han dejado de ser revistas con índice de impacto. Publicado desde 1975, el JCR continúa siendo utilizado para clasificar las revistas científicas (y con ellas los propios artículos) en “buenos” y “malos” a la hora de evaluaciones (como la de los sexenios en España).

Dibujo20130619 nature vs science - jcr 2013

La figura que abre esta entrada muestra las 12 revistas con mayor índice de impacto. Obviamente, no tiene sentido dicho listado, pues el factor de impacto depende del área. Sin embargo, muchos se sorprenderán de que no esté Science cerca de Nature. En el JCR 2013, Science ocupa el lugar número 20 con 31,027, mientras Nature mantiene un honroso puesto número 7 con 38,597. En el último lustro Nature siempre ha estado por encima de Science y además ha logrado incrementar su distancia.

Dibujo20130619 2012 JCR Science Edition - multidisciplinary sciences

En el campo de las revistas multidisciplinares, PNAS ocupa el cuarto puesto y PLoS ONE baja su índice de impacto (casi seguro que por haber publicado demasiados artículos; de hecho, 13781 en 2011 y 6722 en 2010).

Dibujo20130619 2012 JCR Science Edition - country spain

España tiene 75 revistas impactadas en el JCR 2012 y en esta figura tienes las 12 primeras por factor de impacto. No quiero enrollarme más con este asunto.

Entre las 33 revistas que han desaparecido (que en 2012 no tendrán factor de impacto, pero que podrían recuperarlo y tienen 2 años para ello) me gustaría destacar cuatro que afectan a colegas cercanos: International Journal of Computational Intelligence Systems, Journal of Database Management, Journal of Parallel and Distributed Computing, y Mobile Information Systems. También me gustaría destacar la desaparición de la Revista Clinica Espanola. 

Por cierto, en las áreas en las que yo publico estoy contento porque todas las revistas en las que he publicado en 2012 han subido de factor de impacto respecto al de 2011. Así que estoy de enhorabuena. 

Bueno, no os aburro más. Que sepáis que los que publicáis de forma asidua tenéis que daros un paseo por el nuevo JCR 2012.

Cómo predecir el impacto futuro de un artículo científico

Dibujo20130617 Prediction envelope for several papers after 5 and 10 years from publication

Albert-László Barabási es uno de los expertos más prestigiosos del mundo en teoría de redes. Su último artículo presenta un modelo bibliométrico capaz de predecir el impacto a largo plazo de un artículo científico a partir de una estimación de tres parámetros: la eficacia relativa (relative fitness), la inmediatez y la longevidad del artículo. Para mi sorpresa y la de los propios autores el nuevo modelo tiene una capacidad predictiva extraordinaria, siendo independiente del área de investigación; por ejemplo, permite predecir el número de citas y la vida media de cada artículo científico. Por supuesto, lo complicado es estimar de forma fiable los tres parámetros del modelo para un artículo dado, siendo más fácil si el artículo ya tiene cierta “vida” (unos 10 años) y/o ha tenido un buen número de citas. Habrá que esperar a futuras críticas hacia este modelo, pero si nos creemos los resultados presentados en el artículo técnico, se trata de un modelo espectacular. El artículo técnico es Dashun Wang, Chaoming Song, Albert-László Barabási, “Quantifying Long-term Scientific Impact,” arXiv:1306.3293, 14 Jun 2013.

Sigue leyendo

Prensa rosa: Por qué me interesa una noticia científica y no otra

Dibujo20130518 Prof Yuri S Kivshar photograph

Yuri S. Kivshar es uno de los popes del campo de investigación al que yo me dedico. Kivshar tiene un índice h de 69 y la friolera de 758 artículos en revistas impactadas (según el ISI Web of Science); entre ellos, 116 Optics Letters y 73 Physical Review LettersSu artículo más citado (“Dynamics of solitons in nearly integrable systems“) ha sido citado 886 veces. En 2005 me sorprendió que empezara a publicar más de 52 artículos al año (más de un artículo a la semana) y el año pasado (2012) publicó 70 artículos, incluyendo 5 Physical Review Letters. Son muchos artículos y no todos pueden ser buenos, pero la mayoría son muy buenos (al menos para los que trabajamos en mi campo).

Sigue leyendo

Por qué Robert Trivers quiere que retracten uno de sus artículos que fue portada en Nature

Dibujo20130509 nature cover - paper authored by Robert Trivers

Parece imposible que el autor de un artículo publicado en Nature, que fue portada de dicha revista el 22 de diciembre de 2005, haya tratado por todos los medios que su propio artículo fuera retractado. Robert Trivers, biólogo evolutivo de la Universidad de Rutgers en New Brunswick, Nueva Jersey, publicó en Nature con varios colegas que los adolescentes jamaicanos con un cuerpo más simétrico eran más propensos a ser calificados como “buenos bailarines” por sus compañeros; esto sugería la existencia de una señal de selección sexual en el ser humano. Pero Trivers comenzó a tener dudas en 2007, cuando otro estudiante de doctorado no fue capaz de replicar las conclusiones del artículo. En su investigación descubrió inconsistencias en las mediciones de simetría realizadas por el primer autor William M. Brown, que en aquel momento era postdoc en su grupo.

En 2008, Trivers solicitó a Nature que el artículo fuera retractado pero el editor de la revista no quiso hacerlo. En 2009, Trivers publicó un libro sobre su caso y la Univ. de Rutgers decidió investigar el caso. El año pasado, la investigación concluyó que no había pruebas “claras y convincentes” de la fabricación de datos por parte de Brown, que salió indemne. Trivers no dice que no haya efecto, sino que hay un efecto débil, poco significativo, lo que contradice los resultados publicados. Sin embargo, no tiene planes de replicar este trabajo concreto, aunque sigue estudiando la simetría del cuerpo en Jamaica y ha producido al menos diez artículos adicionales sobre el tema. Ahora mismo el artículo sigue sin ser retractado.

Nos lo cuenta Eugenie Samuel Reich, “Symmetry study deemed a fraud. University finds evidence of fakery in Jamaican dance data,” Nature 497: 170–171, 09 May 2013; el artículo técnico en entredicho es William M. Brown et al., “Dance reveals symmetry especially in young men,” Nature 438: 1148-1150, 22 Dec 2005.

¿Por qué insiste tanto Trivers en que retracten este artículo? Porque muchos expertos, como Steven Pinker, psicólogo de la Universidad de Harvard en Cambridge, Massachusetts, consideran que este artículo carece de una base sólida, siendo como “una broma de mal gusto” que ha llegado a ser publicado por su tirón para los medios (puro “cebo para periodistas”). Pinker dice que el trabajo de Trivers está fuera de toda duda y que su coautoría sólo sirve para empañar su currículum vitae.

El editor de Nature dice que va a abrir una nueva investigación sobre el tema. Pero parece que será muy difícil que Trivers logre que retracten su propio artículo.

España y sus artículos en las revistas Physical Review

Dibujo20130508 Spain - Countries that contribute to research that is published in the Physical Review

En la actualidad, España es el noveno productor de artículos de física publicados en revistas de la serie Physical Review de la APS (Sociedad de Física Americana), tras EEUU, Alemania, Francia, Reino Unido, Japón, Italia, China y Rusia, y por delante de Canadá. Pero no siempre fue así. Llevamos poco tiempo en el top 10. Así lo concluye un análisis bibliométrico de todos los artículos publicados en revistas de la APS en sus 119 años de vida. El artículo técnico es Matjaz Perc, “Self-organization of progress across the century of physics,” Sci. Rep. 3: 1720, 2013 [arXiv:1305.0552]. El siguiente vídeo youtube muestra los resultados por años

http://www.youtube.com/watch?v=0Xeysi-EfZs

Sigue leyendo

Nature luchará contra la irreproducibilidad de los resultados de investigación

Dibujo20130501 research reproducibility

Una práctica habitual, que cualquier estudiante que ha tratado de reproducir los resultados de un artículo técnico ha vivido en sus propias carnes, es la omisión de algún detalle importante, clave para la reproducción de los resultados. Los “jefes” tenemos que aplicar grandes dosis de ingenio para rellenar estas omisiones y convencer a nuestros estudiantes de que no son intencionadas (nunca se debe fomentar la “mala ciencia” entre nuestros pupilos). ¿Por qué muchos artículos científicos son irreproducibles? Quizás porque en la revisión por pares no hay tiempo para reproducir los resultados del artículo. Muchos revisores leen el artículo de forma diagonal y aceptan o rechazan el artículo en función de “detalles” (tanto técnicos como de forma), sin entrar en el meollo de la cuestión. ¿Deben los editores de las revistas de prestigio exigir a los revisores que garanticen la reproducibilidad de los resultados? La revista Nature ha decidido que a partir del próximo mes así lo exigirá. En mi opinión, otras revistas deberían seguir la misma filosofía. Nos lo cuentan en “Announcement: Reducing our irreproducibility,” Editorial, Nature, 24 Apr 2013. En el número de hoy dedican un especial a este asunto “Challenges in irreproducible research,” Special, Nature, 1 May 2013.

Sigue leyendo

La correlación entre el índice h y el número de citas

Dibujo20130407 relation between h-index and number of citations and publications

La bibliometría está repleta de conjeturas verificadas sólo con pequeños conjuntos de datos. Tras analizar las publicaciones de 35.136 investigadores se confirma la fuerte correlación entre el índice h y el número total de citas recibidas C, siguiendo la ley de potencias h ~ C0,42, predicha por el propio Hirsch, inventor del índice h, que la verificó con un pequeño conjunto de datos. También se correlaciona con el número de publicaciones N, aunque con menor significación. La correlación entre estos tres índices bibliométricos es h ~ C0,41 N0,18. Los autores del nuevo estudio han partido de las citas de los artículos de 89.786 científicos con “profile” en Google Scholar (datos recogidos entre el 29 de junio al 4 de julio de 2012), asociados a 67.648 palabras clave diferentes; entre todos ellos han seleccionado los autores que tienen al menos 20 artículos y una carrera con más de 5 años de duración (reduciendo el número a 35.136 científicos). Esta validación a gran escala ha sido desarrollada por Filippo Radicchi, Claudio Castellano, “Analysis of bibliometric indicators for individual scholars in a large data set,” arXiv:1304.1267, 04 Apr 2013. Los aficionados a la bibliometría dispuestos a realizar otros análisis sobre los mismos datos pueden descargar dichos datos en esta página web de los autores. 

Sigue leyendo

¿Corrompe el factor de impacto a los jóvenes científicos?

Dibujo20130328 high impact paper vs low impact paper - cartoon

Hoy en día, un joven científico es evaluado en función del factor impacto de las revistas en las que publica y del número de citas de sus propios artículos. La calidad de su producción científica no se mide de ninguna otra forma. Por ello, muchos jóvenes científicos toman decisiones clave en su carrera académica en función del factor de impacto; decisiones tan importantes como en qué tema trabajar, en qué revista publicar y qué puestos académicos solicitar. La dependencia excesiva en el factor de impacto es perniciosa para los jóvenes, que son corrompidos por algo ajeno a la producción científica de calidad. Nos lo contaron Eve Marder, Helmut Kettenmann, Sten Grillner, “Impacting our young,” PNAS 107: 21233, Dec. 14, 2010.

Todo el mundo sabe, pero muchos olvidan, que el factor de impacto se inventó para ayudar a los bibliotecarios a decidir a qué revistas suscribirse. El factor de impacto da una idea aproximada de la influencia que tiene una revista científica en su campo. Utilizarlo para evaluar un individuo, un departamento, o incluso una institución es un abuso (como está demostrado en múltiples estudios). Como pasa con muchos asuntos pseudocientíficos, todo el mundo recuerda cuando funciona bien, pero se olvida muy fácil cuando falla de forma garrafal (y lo hace más a menudo de lo que a muchos les gustaría). Usarlo para evaluar a los científicos (jóvenes) no tiene ningún sentido, más allá del ahorro en costes (pues la evaluación la puede hacer una máquina en lugar de un par). 

La actividad científica se entronca en la creación y la difusión de nuevos conocimientos. La revisión por pares debe cuestionar si un trabajo se ha realizado con rigor, aplicando los controles apropiados y un análisis estadístico correcto, si los datos y el texto son claros y suficientes para la replicación de los resultados, y si los argumentos expuestos tienen sentido lógico. Más aún, los revisores también ponen hincapié en la importancia potencial y en la novedad de la contribución. Como es de esperar, estos factores son los más relevantes para la aceptación del artículo en las revistas de alto factor de impacto. Pero la novedad es una navaja de doble filo, pues a veces se opone a la importancia; un resultado inesperado suele tener consecuencias difíciles de predecir. Muchas veces es un error premiar a los investigadores jóvenes en función de las novedades que se cruzan (por casualidad) en su carrera científica. Más aún, puede ser un grave error penalizar a los que tienen un proyecto robusto, de mayor importancia y de mayor impacto global, pero carente de novedades a corto plazo. La ciencia de calidad no debería basarse en “burros que han tocado la flauta.”

La hipocresía inherente a la elección del factor de impacto como única herramienta para medir la calidad científica socava los ideales que subyacen al avance científico. Muchos jóvenes brillantes y creativos se desilusionan y abandonan su carrera científica al ver que otros jóvenes, por pura suerte, copan los pocos puestos académicos disponibles. Hacer demasiado énfasis en las publicaciones en revistas de alto factor de impacto puede ser una receta desastrosa para el futuro de muchos jóvenes.

¿Existe alguna solución? Lo ideal sería reemplazar el factor de impacto como único indicador de excelencia y utilizar la evaluación por pares siempre que sea posible. Más aún, a ser posible, que dicha evaluación incluya científicos de prestigio internacional. Se requiere más tiempo y más esfuerzo, pero todos los científicos (senior) en activo deberían estar dispuestos a participar en estas evaluaciones porque esta es la única manera de liberar a los jóvenes científicos de la tiranía del factor de impacto.

El coste real de las publicaciones científicas, ese gran desconocido

Dibujo20130328 open access - news dog

Se estima que la industria de las publicaciones científicas generó 9400 millones de dólares de beneficios en 2011, gracias a la publicación de 1,8 millones de artículos escritos en inglés. Por tanto, el beneficio medio por cada artículo alcanza los 5000 dólares. A esta cantidad hay que restar el coste de su gestión. ¿Cuánto dinero crees que le cuesta a una editorial publicar un artículo revisado por pares? En Nature son muy optimistas y afirman que los márgenes de beneficio son inferiores al 30%, con lo que estiman que el coste medio de producción de un artículo supera los 3500 dólares. La verdad, a mí me parece una cantidad muy grande. Los autores y revisores trabajamos gratis. El negocio de la industria de publicaciones científicas es todo un negocio. Un gran negocio. Cuando no se publican de forma abierta los costes y beneficios de un negocio de casi diez mil millones de dólares, algunos pensamos mal  (se nota que no he estudiado Ciencias Económicas). Nos lo cuenta Richard Van Noorden, “Open access: The true cost of science publishing. Cheap open-access journals raise questions about the value publishers add for their money,” Nature 495: 426-429, 28 Mar 2013.

La mayoría de las editoriales de revistas científicas de acceso abierto (open access) cobra a los autores un precio inferior al ingreso promedio de la industria. Se estima que el coste promedio de un artículo de acceso abierto en el año 2011 fue de 660 dólares (compara este número con los 5000 dólares de beneficio de la industria). Se estima que el coste promedio por artículo para la editorial de acceso abierto es de 300 dólares, con lo que se obtienen 360 dólares de beneficio (los márgenes superan el 50%, todo un negocio redondo).

Por supuesto, las cifras exactas son difíciles de conseguir. Los datos ofrecidos por las grandes editoriales son difíciles de analizar (pues hay que separar la parte correspondiente a publicaciones en revistas científicas, algo que no siempre es fácil). Se estima que Wiley tiene márgenes de beneficios del 40% y que Elsevier se queda en un 37%. Editoriales de acceso abierto como Hindawi afirman alcanzar un 50% de beneficios. El grupo Nature (NPG) se ha negado a publicar sus márgenes, incluso en un artículo en su propia revista. Un estudio del Cambridge Economic Policy Associates, afirma que las editoriales sin ánimo de lucro tienen márgenes del 20%, las universitarias del 25% y las comerciales del 35%. En mi opinión, pero repito que no soy experto, los costes de publicación de artículos científicos son mucho más bajos de lo que las grandes editoriales nos quieren hacer pensar.

La revista más grande del mundo, PLoS ONE, que cobra a los autores 1350 dólares por artículo, acepta el 70% de los artículos que recibe. Muchos congresos han sido criticados por su alta tasa de aceptación. Las revistas prestigiosas suelen tener índices de aceptación mucho más reducidos. Physical Review Letters publica menos del 35% de los artículos que recibe (si los autores quieren que su artículo sea de acceso abierto deben pagar 2700 dólares). Nature y Science publican menos del 8% de los artículos que reciben. ¿Está relacionado el prestigio con la tasa de aceptación? ¿Debe costar más un artículo de acceso abierto en una revista más prestigiosa? La realidad es que es así, las revistas más prestigiosas suelen cobrar más.

Recomiendo leer la entrevista a Jason Priem, investigador postdoctoral en el Centro Nacional para Síntesis Evolutiva (NESCent), en Eva Rodríguez, “El acceso abierto es solo el primer paso hacia un cambio más profundo en la publicación académica,” SINC, 27 Mar 2013. “La publicación en acceso abierto es mucho mejor para el científico, ya que no renuncia a su derecho con varias editoriales y conserva la capacidad de gestionar su propiedad intelectual. ¿Por qué no se estandariza en todos los países este sistema de publicación de acceso abierto a las investigaciones financiadas con fondos públicos? Los contribuyentes subsidian muchas cosas con pagos adicionales para poder usarlas, como por ejemplo el transporte público. En el mundo web, la obligación de publicar en acceso abierto favorece los modelos de negocio accesibles frente a los modelos cerrados.”