¿Cómo medir la calidad investigadora de una Universidad? Hay que empezar por decidir quién debe medir dicha calidad. Hay dos opciones claras: comités de expertos o comités de “funcionarios.” Los expertos son caros, los funcionarios baratos. Los expertos son “subjetivos,” los funcionarios “objetivos” (utilizan métricas basadas en citas). ¿Los expertos son fiables? ¿Los funcionarios pueden serlo? El problema no es sólo de España, es común a todo el Sistema Europeo de Educación Superior. El editor de Nature nos comenta el caso británico en “Experts still needed. There are good reasons to be suspicious of metric-based research assessment,” Editorial Nature 457: 7-8, 1 January 2009 . Este nuevo año cambiarán la “costosa” evaluación por expertos (Research Assessment Exercise, RAE) por la “barata” evaluación por funcionarios (Research Excellence Framework, REF). “Excelencia,” ¡qué bonito palabro!
El RAE se basaba en una evaluación por pares (expertos). Si un experto utilizaba medidas cienciométricas (como el número de citas o el índice de impacto de las revistas) lo hacía por su cuenta y riesgo. El nuevo REF se basará solamente en medidas cienciométricas (fundamentalmente el número de citas). Los “expertos” serán necesarios sólo para interpretar las medidas cienciométricas, luego deberían ser expertos en cienciometría, ¡enhorabuena para ellos! Estos “expertos” le darán el “toque experto” (light-touch expert review) a las evaluaciones.
Desde Nature nos recuerdan que las citas son una medida “pobre” de la calidad científica. Pobre, pero barata. Nos ponen el ejemplo del artículo más citado en Nature en 2007, citado 272 veces: la exposición de una nueva técnica experimental. Los editores consideran que en Nature se han publicado en 2007 artículos científicos más importantes y relevantes. Sin embargo, la “navaja” del número de citas no los destaca (aún). Estos trabajos, que pasarán a formar parte de los libros de texto, no reciben el número de citas que “merecen” aunque gradualmente acabarán recibiéndolas, según los editores de Nature.
En este contexto ¿cómo medir la calidad investigadora de una Universidad? En España lo tienen muy claro. Un ejemplo, la Universidad de La Rioja. Desde la ANECA también lo tienen claro, el problema en España es la “mala formación del profesorado y su poca movilidad.” La Universidad investigadora ¿y la DOCENCIA qué? Si queremos calidad, ¿necesitamos financiación?
En época de crisis, la financiación sufre. ¿Sufre también la calidad? Desde Nature también lo tienen claro: Eric Hand, “Universities struggle as value of endowments falls. Tough decisions need to be made about how to cut costs,” Nature 457: 11-12, 2009. Para que la calidad no sufra, hay que adaptarse a la nueva situación y adaptarse es un gran problema: “It’s a very big problem,” dice John Walda, presidente de la National Association of College and University Business Officers (NACUBO), en Washington DC. Más aún en el contexto de un sistema universitario básicamente privado, como el norteamericano, donde las 76 universidades más importantes (con presupuesto milmillonario en dólares) han sufrido una reducción media de un 30% en su presupuesto para el año que viene (según NABUCO). Un par de ejemplos: la Universidad de Harvard ha reducido su presupuesto para el año que viene en un 22% y la Universidad de Yale en un 25%. Las grandes universidades son víctimas de su propio éxito. Ganan mucho y lo invierten en bolsa; si la bolsa cae, los beneficios caen y los presupuestos también. Y los sueldos de los profesores y catedráticos, que la mayoría de las universidades norteamericanas ya han congelado.
El problema no es sólo americano. Aunque allí las cifras son más espectaculares. En Europa sólo dos universidades tienen un presupuesto milmillonario (en dólares) y son británicas: Oxford y Cambridge. En Europa el problema son los recortes en la financiación pública. Por ejemplo, en España todos nos acordamos de los recientes recortes presupuestarios de Esperanza Aguirre en las universidades madrileñas, a quienes debe unos 223 millones de euros, aunque para evitar protestas les ha dado un “bicoca” de 25 millones. Algo parecido está pasando en otras comunidades autónomas.
La Universidad de calidad tiene que aprender a “sacar dinero de entre las piedras,” quiero decir que los profesores universitarios deben buscar financiación “privada” para sus universidades. Proyectos con empresas. Obviamente, sólo los “mejores” investigadores lograrán esta financiación. ¿O no? Si eres investigador, ¿a qué te dedicas, a traer dinero a tu universidad o a mejorar tu CV de publicaciones? ¿A qué te gustaría dedicarte? ¿Cómo mejorará más la calidad investigadora de tu universidad, si te dedicas a proyectos de “dinero” con empresas o si te dedicas a escribir artículos muy citados?
En España, universidades “buenas” parece que hay pocas, pero investigadores “buenos” los hay por doquier, al menos si sólo tenemos en cuenta las citas a sus publicaciones. En Nature nos cuenta el caso británico, que creo que puede ser similar: Natasha Gilbert, “Good grades, but who gets the cash? Britain’s Research Assessment Exercise finds excellence more widespread than a focus on elite institutions would suggest,” Nature News 457: 13, 2009 . En el estudio de la RAE publicado el 18 de diciembre de 2008 , sobre 52,400 investigadores de las 159 universidades británicas, el 17% son considerados líderes mundiales en su campo (calificados con 4 estrellas) y el 37% son excelentes internacionalmente (calificados con 3 estrellas). Sin embargo, el 80% de la financiación pública se dirige sólo a 25 universidades. Lo que está claro es que la investigación la realizan los investigadores y no las universidades, aunque las buenas universidades alojan a la mayoría de los buenos investigadores.
No tengo datos sobre la excelencia investigadora de los investigadores españoles. Los datos del SCImago Research Group sobre países, basados en publicaciones en Scopus de 1996 a 2007, en función del índice-h indican que España ocupa el puesto # 12 (con 284 artículos citados al menos 284 veces), siendo EE.UU. el líder # 1 con 891, Reino Unido el # 2 con 538, Alemania el # 3 con 469 y Francia el # 4 con 432.
¿Se debe medir la calidad de la investigación universitaria en España de la misma manera que en el resto del mundo? Algunos especialistas indican que no, por ejemplo, Gaulberto Buela-Casal, “Ranking de productividad en investigación de las universidades públicas españolas,” Estudio financiado por la Dirección General de Universidades, Universidad de Granada, 2007 . Criterios como los usados en el Ranking mundial de Universidades de la prestigiosa Shanghai Jiao Tong University (artículos incluidos en revistas del Journal Citation Report, posesión de premios Nobel, distinciones académicas, publicaciones en Nature, Science, …) no nos tratan bien. En 2007, entre las 100 primeras universidades del mundo no hay ninguna española, siendo la primera la Universidad de Barcelona (entre 151 y 202), y sólo tenemos 9 en listado de las 500. Buela-Casal propone que “es necesaria la creación de rankings con criterios más adecuados para evaluar la calidad de la investigación en las universidades en España.”
Los criterios son los siguientes. Muestro los 3 primeros puestos y la posición alguna de las universidades andaluzas (sólo entre las 48 primeras).
Criterio 1. Proporción de artículos publicados en revistas indexadas en el Institute for Scientific Information (ISI) por profesor funcionario: # 1 Autónoma de Barcelona, # 2 Barcelona, # 3 Autónoma de Madrid, # 14 Córdoba, # 20 Granada, # 24 Almería, # 25 Jaén, # 31 Sevilla, # 32 Málaga, # 40 Cádiz y # 44 Huelva.
Criterio 2. Porcentaje de Profesores Catedráticos de Universidad con dos o más tramos de investigación y de Profesores Titulares de Universidad con uno o más tramos de investigación: # 1 Autónoma de Madrid, # 2 Carlos III, # 3 Pompeu Fabra, # 6 Granada, # 19 Córdoba, # 25 Sevilla, # 27 Málaga, # 31 Almería, # 38 Jaén, # 39 Cádiz, y # 42 Huelva.
Criterio 3. Proporción de Proyectos I + D por profesor funcionario: # 1 Pompeu Fabra, # 2 Carlos III, # 3 Autónoma de Barcelona, # 12 Córdoba, # 19 Almería, # 20 Granada, # 27 Pablo Olavide, # 28 Málaga, # 31 Sevilla, # 35 Cádiz, # 41 Jaén, y # 44 Huelva.
Criterio 4. Proporción de Tesis Doctorales por profesor funcionario: # 1 Autónoma de Madrid, # 2 Miguel Hernández, # 3 Autónoma de Barcelona, # 6 Córdoba, # 8 Granada, # 17 Málaga, # 20 Sevilla, # 30 Cádiz, # 32 Almería, # 42 Huelva, y # 44 Jaén.
Criterio 5. Proporción de Becas FPU por profesor funcionario por año: # 1 Pablo Olavide, # 2 Pompeu Fabra, # 3 Autónoma de Madrid, # 7 Granada, # 13 Córdoba, # 19 Sevilla, # 22 Málaga, # 38 Huelva, # 41 Cádiz, # 44 Jaén, y # 46 Almería.
Criterio 6. Proporción de Doctorados con Mención de Calidad por profesor funcionario por año: # 1 Pablo Olavide, # 2 Carlos III, # 3 Pompeu Fabra, # 12 Huelva, # 14 Granada, # 23 Almería, # 28 Córdoba, # 32 Sevilla, # 38 Cádiz, y # 43 Jaén.
RESULTADO FINAL: # 1 Autónoma de Madrid, # 2 Carlos III, # 3 Autónoma de Barcelona, # 10 Granada, # 14 Córdoba, # 26 Sevilla, # 29 Málaga, # 30 Almería, #40 Cádiz, #43 Huelva, y #44 Jaén.
Este ranking como casi cualquier otro ranking nos confirma cosas que ya sabemos y nos presenta ciertas sorpresas. Me sorprende el segundo puesto para la Carlos III y, en mi opinión, la Universidad de Sevilla debería estar mejor colocada. Pero las estadísticas son las estadísticas. Las métricas son las métricas.
Medir es difícil y el resultado siempre depende de la “vara utilizada.”
de H indica que H artículos han recibido al menos H citas. Hirsch ha introducido varias variantes de su índice, la última es el índice 
(hbarra). Este índice vale N si el autor tiene N artículos que tienen al menos tantas citas como el índice 
y para un autor sin coautores 
, aunque podría darse dicha igualdad incluso cuando hay coautores. Los artículos que se cuentan al calcular el índice 
Observa la figura A. La curva blanca es el número de citas recibidas por los artículos ordenados por número de citas. El área sombreada en negro mide el índice h al cuadrado. Diferentes autores con el mismo índice h pueden tener diferentes curvas. La figura B muestra uno con el área roja más pequeña pero casi igual área verde. La figura C uno con igual área roja pero menor área verde. Finalmente la D muestra un autor con áreas rojas y verdes nulas. ¿Cuál de estos cuatro investigadores te parece el mejor? El área roja ha sido propuesta como nuevo índice bibliométrico para complementar al índice h y es llamado índice e por (exceso de citas) por C.-T. Zhang del Departamento de Física de la Tianjin University, China, en “
Disculpas: Carl, si lees esto, perdón por la ironía, ¡es envidia! Ya me hubiera gustado a mí que se me ocurriera esta idea. Lo mismo hasta te citan tanto como a Hirsch.
Physical Review Letters es la revista de investigación en Física de mayor prestigio [1]. No es la que tiene el índice de impacto más alto, pero sí es la que tiene mayor prestigio. Por ejemplo, tiene el índice-h más alto (267) de todas las revistas de Física y Astronomía según 
Los números y las cifras no engañan. 
