Quién la tiene más larga… y quién los tiene más grandes…

Quién la tiene más larga… la lista de publicaciones, no seáis mal pensados, y quién los tiene más grandes… los índices de impacto de las revistas de sus publicaciones, ¡qué mal pensados sois! Sin embargo, así es como nos miden en el sistema universitario español.

Cada seis años hay que superar una evaluación a nivel nacional sobre la calidad del trabajo investigador (para obtener un pequeño complemento económico llamado sexenios). Hay que destacar 5 publicaciones dentro de nuestro curriculum vitae, las “mejores,” pero en función de qué, de su calidad científica, de lo que nosotros mismos pensemos, … no, ni mucho menos. El autor NO debe decidir cuáles son sus mejores publicaciones. Hay que utilizar “índices de calidad” establecidos. En concreto, que las revistas se encuentren en el JCR del ISI en los primeros puestos. De hecho, se rumorea (no está publicado el criterio) que conceden 3 puntos por una publicación en un revista cuyo índice de impacto se encuentre en el primer tercio, 2 puntos en el segundo y sólo 1 punto en el último tercio.

¿Se puede medir la calidad científica del trabajo de un investigador utilizando sólo “numeritos,” bueno, medidas bibliométricas de “probada” validez estadística? La Unión Matemática Internacional (International Mathematical Union, IMU) acaba de publicar el informe específico sobre este tema “Citation Statistics,” Joint Committee on Quantitative Assessment of Research Citation Statistics, IMU-ICIAM-IMS, corrected version, 12 June 2008 . El informe se resume en una simple frase “Numbers are not inherently superior to sound judgments” (los números no son mejores que un juicio razonable).

Entre las conclusiones del informe me gustaría destacar tres. : (1) usar el índice de impacto de una revista como única medida para valorar una revista es como usar el peso corporal como única medida para medir la salud de una persona; (2) usar el índice de impacto de la revista en la que se publica un artículo, en lugar del número real de citas que ha recibido, es un uso “malintencionado” de dicho índice; y (3) usar un único número (como el índice-h) para resumir el C.V. de un científico, es perder información esencial necesaria para juzgar su trabajo, y sólo beneficia a la agencia evaluadora, que puede sustituir científicos (evaluación por pares) por meros funcionarios (que sepan contar índices de impacto).

El informe está escrito por especialistas en Estadística, quienes afirman que la mayoría de los índices bibliométricos al uso (índice-h y variantes, número de citas, índice de impacto de revistas, etc.) no han sido suficientemente estudiados ni son suficientemente entendidos. Faltan estudios que correlacionen las opiniones de expertos (muy costosas de obtener) con los resultados “fríos” de dichos números. Las comparaciones de tipo una medida numérica versus otras medidas numéricas (la experimentación “barata”)  no permite obtener conclusiones fiables ni una interpretación estadística rigurosa (según los especialistas autores del informe).

El factor de impacto como ranking para revistas

El factor de impacto (F.I.) de una revista es un número “fácil” de calcular. Si una revista tiene un F.I. de 1.5 en 2007 significa que el número “medio” de citas de sus artículos publicados en los años 2005 y 2006 citados en todas las revistas indexadas en el JCR en 2007 es de 1.5. ¿Influye la “ventana” de sólo 2 años? En campos muy “calientes” como las Ciencias Biomédicas, 2 años es más que suficiente. En campos como las Matemáticas, más del 90% de las citas a una revista se realizan con más de 2 años (es decir, en Matemáticas el F.I. sólo “ve” el 10% de la actividad investigadora). Sin embargo, los estudios desarrollados por Thomson Scientific con ventanas de 2, 5 y 10 años indican que el F.I. resultando cambia “poco” en función de la “ventana” usada (salvo para algunas pocas revistas).

Por otro lado, el F.I. cambia muchísimo de una disciplina a otra. En Ciencias de la VIda el número medio de citas de un artículo es mayor de 6. Sin embargo, en Matemáticas e Informática no llega a 1. Más aún, el F.I. también cambia “mucho” de un año a otro, sobre todo en la banda “media” (las revistas en el segundo tercio). Si enviamos un artículo a una revista sólo por su índice de impacto (del año pasado) y dicho artículo se publica el año próximo, con lo que tendrá índice de impacto conocido dentro de dos años, puede que nos llevemos una gran sorpresa, ya que puede haber cambiado “muchos” puestos en la clasificación en su área. ¿Cuál es el F.I. relevante? El de la revista cuando enviamos el artículo. El de la revista cuando sale publicado el artículo. El del año en curso para dicha revista. ¡Pueden variar mucho entre sí!

El número de citas y los índices bibliométricos “de moda”

Parece claro que el número de citas es un buen indicativo de la calidad de un artículo, aunque no todas las citas son iguales. Las hay “de relleno”, “críticas”, “negativas”, “positivas”, “retóricas,” etc. Pero, ¿por qué un investigador cita a unos y no a otros? Como pasa en muchos campos de las ciencias sociales y en humanidades, nadie sabe la respuesta. La sociología de las citas es un tópico muy complejo y los estudios empíricos son extremadamente difíciles (hay que “meterse” en la “mente” del citador). Por ejemplo, un estudio de Cozzens (citado en el informe) sobre 3 millones de citas indica que el 30% lo son a libros (que “explican” las cosas) y no a los artículos originales. Muchas de ellas son “retóricas”.

De todas formas, parece bastante “establecido” que para evaluar la producción de un investigador necesitamos conocer la distribución de todas las citas a sus artículos, así como las distribuciones promedio de las citas en cada una de las áreas de dichos artículos, con objeto de decidir si el investigador está “en media”, es “mejor” que la media o es “peor.”

Desde hace unos pocos años se ha puesto de moda desarrollar nuevos índices bibliométricos que simplifiquen esta labor, reduciendo este análisis estadístico a un sólo número “representativo.” Hay muchos: índice-h, índice-m, índice-g, etc., no entraré en más detalles. Tomemos dos investigadores con índice-h igual a 10. Uno tiene 10 artículos citados más de 10 veces cada uno, nada más. El otro tiene 100 artículos, 10 con más de 10 citas y 90 con menos de 10 citas. ¿Cuál de los dos investigadores es mejor? ¿Cuál es más productivo? ¿Cuál produce artículos de mayor calidad? Por supuesto, dentro de 5 años es de esperar que el segundo supere al primero en índice-h, ¿o no?

La lectura del informe merece la pena y por ello te la recomiendo, sobre todo si eres investigador, aunque no trabajes en Matemáticas. Permitidme una frase como epílogo, visión “sesgada” de una que aparece en el informe: “La evaluación de la calidad de un investigador se debe realizar con un espíritu de colaboración, en lugar de confrontación, nunca con el objetivo de criticar.”

 

Si crees que esta noticia es interesante para otros, Menéala.

Éxitos y fracasos de la Phoenix en Marte (o no es oro todo lo que reluce)

¿Que el explorador Phoenix ha “tocado” agua en Marte es una noticia? No, la noticia es que la haya “tocado” tan tarde. Le ha costado demasiado, como nos recuerda Richard A. Kerr, “Phoenix’s Water May Be Gumming Up the Works,” Science, vol. 321. no. 5890, p. 758, 8 August 2008 . Fue un éxito su aterrizaje (por cierto con hardware y software de la “fallecida” Mars Polar Lander), lo ha sido su intrumentación (que funciona correctamente y ha encontrado que el suelo marciano es alcalino y no ácido, como se creía), y lo ha sido que encontrara hielo (aunque las observaciones orbitales indican que la Phoenix está rodeada de hielo por doquier). Pero, ¿para qué se envió la Phoenix a Marte? Para encontrar señales inequívocas de que la vida fue posible en el pasado geológico marciano. ¿Las ha encontrado? No, todavía no. ¿Hay esperanza? Según R.A. Kerr, desafortunadamente, no. 

En los 1970s, las dos Viking confirmaron que en el polo norte marciano había agua helada (H.H. Kieffer et al. “Martian North Pole Summer Temperatures: Dirty Water Ice,” Science, vol. 194, no. 4271, pp. 1341-1344, 17 December 1976, gracias a las observaciones térmicas y de reflectancia) y que en el polo sur había fundamentalmente dióxido de carbono helado (H.H. Kieffer, “Mars south polar spring and summer temperatures. A residual CO2 frost,” J. Geophys. Res., vol. 84, pp. 8263-8288, 1979), más recientemente también se ha encontrado agua. El agua que encontraron las Viking en Marte estaba “sucia” pero no se pudo determinar exactamente qué la ensuciaba.

Una de las misiones de la Phoenix es analizar la “suciedad” del hielo que se encuentra en el suelo marciano en busca de materiales orgánicos. Entonces, ¿por qué le ha costado tanto “tocar” hielo marciano? La Phoenix ha tenido problemas con su Analizador TEGA (Thermal and Evolved-Gas Analyzer). El brazo robótico introduce una muestra de tierra marciana en una pantalla, se procede a removerla para separar la “suciedad” de la tierra, y luego se introduce ésta en la celda de muestras de la TEGA. Sin embargo, todo ha sido más complicado de lo esperado. Los científicos han tenido que vibrar la pantalla muchas veces durante varios días con objeto de conseguir que se rellenara la celda de muestras. Nadie sabe el porqué ha costado tanto (palabras de uno de los encargados del “meneo,” Douglas Ming del NASA’s Johnson Space Center, de Houston, Texas). Las ideas tratando de explicarlo “rebosan” las mentes de los técnicos. Por ejemplo, quizás las partículas más finas se cargan electroestáticamente, triboeléctricamente, como cuando nos da una descarga la puerta del coche tras habernos cargado por frotamiento entre nuestra ropa y el asiento. No se conoce la respuesta, aún.

La presión sobre las “cabezas” de los científicos encargados de la misión es muy grande. De hecho, algunas de las vibraciones de la pantalla del analizador TEGA, aparentemente, causaron un cortocircuito eléctrico, lo que hizo pensar a algunos científicos que el próximo análisis con la TEGA podría ser el último. Por ello, decidieron ir a lo fácil, “tocar” hielo de agua “sucio” recogido a 5 cm de profundidad. Quizás pudiesen encontrar alguna materia orgánica preservada en dicho hielo. Pero ha costado muchos días, casi 30, un tercio de la misión planificada originalmente, lograrlo. Lo que debería haber sido “trivial” ha costado muchísimo. ¿Y qué es lo que ha encontrado el TEGA? Nada, ninguna señal de restos orgánicos. El experimento se repitió, según el investigador Raymond Arvidson, de la Washington University en St. Louis, Missouri, con más vibraciones (meneos) y tampoco encontramos nada. “De todas las cosas que pensamos que podrían ir mal, esta era la menos esperada.”

¿Por qué ha sido todo “tan difícil”? ¿Por qué ha costado tanto? Nadie lo sabe. Quizás están afectando los grandes cambios de temperatura que sufren las muestras durante el “meneo” de varios días (en las pruebas previas en la Tierra no se sometió a TEGA a cambios térmicos tan drásticos). ¿Tendrían que haber hecho pruebas más “rigurosas” en la Tierra antes de enviar la Phoenix camino de Marte?

“¡Qué pena que hayamos necesitado 30 días para sólo “tocar” hieo!” se lamenta Arvidson. Quedan 6 células de muestras de la TEGA por usar, cada una requiere unos 7 días (terrestres) de trabajo. NASA ha prolongado la misión 30 días más. Hay tiempo suficiente. “Todavía queda mucho trabajo para nosotros” según Arvidson. ¿Podrán resolver el misterio que envuelve el análisis de las muestras y desde Tierra realizar las correcciones que logren que los próximos análisis sean todo un éxito? Muchachos, está en vuestras manos. Ánimo.

 

Si consideras que la noticia puede interesar a otros, Menéame.