«La «democratización» de la ciencia conduce a que no se investigue para conocer, sino para publicar. Si no hay publicación, no hay carrera científica. El lema publish or perish como esencia de la labor del científico.» Nos lo cuenta Félix M. Goñi, «Publicar a cualquier precio,» Revista SEBBM, Sep 2013, que edita un dossier con cuatro artículos titulado «Publicar a cualquier precio.» Recomiendo a todos que lean dichos artículos, merece la pena. Permíteme un breve resumen de cada uno.
Muchos jóvenes científicos se quejan de que el proceso de revisión de por pares (peer review) les obliga a someterse a las exigencias de los revisores y les obliga a prostituirse intelectualmente. A nadie le gusta prostituirse, si puede evitarlo, pero la mayoría de los autores jóvenes tiene que aprender a vender su trabajo como una buena prostituta intelectual si quiere verlo publicado en buenas revistas. Aprender a hacer un buen servicio requiere llevarse muchos palos (artículos rechazados) o asociarse a un buen senior que tenga una dilatada experiencia (que nos enseñe las cosas que hacen disfrutar a los revisores). La comunidad científica, como toda sociedad, tiene muchas reglas, escritas y no escritas, a las que hay que atenerse. Nos guste o no nos guste, «soy una puta [intelectual] a mucha honra» es la frase que enarbolan en silencio la mayoría de los científicos de éxito. Recomiendo la lectura de Philip Pilkington, «Is Peer Review Forcing Academics to Become Prostitutes?,» Fixing the Economists, 24 Oct 2013, y del artículo de Bruno S. Frey, «Publishing as prostitution? – Choosing between one’s own ideas and academic success,» Public Choice 116: 205–223, 2003 [PDF gratis].
La relevancia de un trabajo científico se puede medir gracias a su impacto. Publicar en Nature, Science, Cell y otras revistas de gran «factor de impacto» no es garantía de impacto, ni de relevancia. Expertos de la Universidad del Norte de Texas, en Dalton, han propuesto 56 medidas del impacto (pero algunas parecen «curiosas pero inútiles»). A la hora de usarlas para tomar decisiones, el gran problema es cómo integrar todas estas medidas de forma transparente, pues la transparencia es esencial en todo proceso de evaluación. Nadie sabe cómo hacerlo. Ni siquiera si es posible hacerlo. Identificar lo relevante, como lo excelente, parece fácil, pero no lo es. Nos lo cuenta el editorial «The maze of impact metrics. In deciding how to judge the impact of research, evaluators must take into account the effects of emphasizing particular measures — and be open about their methods,» Nature 502: 271, 17 oct 2013. Recomiendo consultar el número especial de Nature dedicado al impacto, merece la pena.
Una noticia periodística en Science no es lo mismo que un artículo científico en dicha revista. La semana pasada la revista Science dedicó un número especial a la comunicación científica. Entre los artículos que llenaron sus 27 páginas los medios destacaron que 157 revistas open access aceptaron, tras la revisión por pares, un artículo «amañado» (un bulo o hoax) con graves errores de concepto y en el uso del método científico (sólo lo rechazaron 98 de un total de 304 revistas). Mucha gente afirma que este experimento periodístico prueba que estas revistas no realizan una revisión por pares de calidad. Sin embargo, hay que tener cuidado. Esta noticia no es un artículo científico, aunque se publique en Science y no aplica con rigor el método científico. Un estudio de cohorte de este tipo requiere un grupo de control, es decir, el artículo «amañado» también debe ser enviado a revistas convencionales (que no son open access) con un índice de impacto y/o un prestigio entre la comunidad científica similar a las revistas open access seleccionadas. Sin un grupo de control adecuado, esta noticia aparecida en Science es sólo eso, una noticia curiosa, nada más. El autor de la noticia es John Bohannon, un periodista científico que es licenciado en biología, pero que no es doctor, famoso por ser aficionado a la danza y crear la iniciativa «Dance your Ph.D.» para Science.
«Nobody reads journals. People read papers.»
Vitek Tracz, journal publisher.
Me molestan las conclusiones extraídas en muchas noticias periodísticas que se hacen eco de la noticia aparecida en Science como si se tratara de un estudio científico. Por ejemplo, «Un falso estudio científico pone en entredicho los filtros de 157 revistas de ‘open access’,» Agencia SINC, 3 oct. 2013. Afirmaciones extraídas de la noticia de Bohannon como que «los datos de esta operación encubierta revelan una emergente tierra sin ley en publicaciones académicas» o que «el 60% de las decisiones finales [sobre aceptar o no el artículo] se hizo sin señales de una revisión por pares» escritas sin crítica adicional en un medio con rigor científico como la Agencia SINC tienen gran valor para muchos lectores. Me apena que desde la Agencia SINC no se haya aplicado un poco de crítica. Chupar rueda da muy mala imagen, incluso si se chupa la rueda de Science.
El artículo en liza es John Bohannon, «Who’s Afraid of Peer Review?,» News, Science 342: 60-65, 4 Oct 2013 (podcast de Bohannon, figura interactiva y datos adicionales).
Una práctica habitual, que cualquier estudiante que ha tratado de reproducir los resultados de un artículo técnico ha vivido en sus propias carnes, es la omisión de algún detalle importante, clave para la reproducción de los resultados. Los «jefes» tenemos que aplicar grandes dosis de ingenio para rellenar estas omisiones y convencer a nuestros estudiantes de que no son intencionadas (nunca se debe fomentar la «mala ciencia» entre nuestros pupilos). ¿Por qué muchos artículos científicos son irreproducibles? Quizás porque en la revisión por pares no hay tiempo para reproducir los resultados del artículo. Muchos revisores leen el artículo de forma diagonal y aceptan o rechazan el artículo en función de «detalles» (tanto técnicos como de forma), sin entrar en el meollo de la cuestión. ¿Deben los editores de las revistas de prestigio exigir a los revisores que garanticen la reproducibilidad de los resultados? La revista Nature ha decidido que a partir del próximo mes así lo exigirá. En mi opinión, otras revistas deberían seguir la misma filosofía. Nos lo cuentan en «Announcement: Reducing our irreproducibility,» Editorial, Nature, 24 Apr 2013. En el número de hoy dedican un especial a este asunto «Challenges in irreproducible research,» Special, Nature, 1 May 2013.
Hoy en día, un joven científico es evaluado en función del factor impacto de las revistas en las que publica y del número de citas de sus propios artículos. La calidad de su producción científica no se mide de ninguna otra forma. Por ello, muchos jóvenes científicos toman decisiones clave en su carrera académica en función del factor de impacto; decisiones tan importantes como en qué tema trabajar, en qué revista publicar y qué puestos académicos solicitar. La dependencia excesiva en el factor de impacto es perniciosa para los jóvenes, que son corrompidos por algo ajeno a la producción científica de calidad. Nos lo contaron Eve Marder, Helmut Kettenmann, Sten Grillner, «Impacting our young,» PNAS 107: 21233, Dec. 14, 2010.
Todo el mundo sabe, pero muchos olvidan, que el factor de impacto se inventó para ayudar a los bibliotecarios a decidir a qué revistas suscribirse. El factor de impacto da una idea aproximada de la influencia que tiene una revista científica en su campo. Utilizarlo para evaluar un individuo, un departamento, o incluso una institución es un abuso (como está demostrado en múltiples estudios). Como pasa con muchos asuntos pseudocientíficos, todo el mundo recuerda cuando funciona bien, pero se olvida muy fácil cuando falla de forma garrafal (y lo hace más a menudo de lo que a muchos les gustaría). Usarlo para evaluar a los científicos (jóvenes) no tiene ningún sentido, más allá del ahorro en costes (pues la evaluación la puede hacer una máquina en lugar de un par).
La actividad científica se entronca en la creación y la difusión de nuevos conocimientos. La revisión por pares debe cuestionar si un trabajo se ha realizado con rigor, aplicando los controles apropiados y un análisis estadístico correcto, si los datos y el texto son claros y suficientes para la replicación de los resultados, y si los argumentos expuestos tienen sentido lógico. Más aún, los revisores también ponen hincapié en la importancia potencial y en la novedad de la contribución. Como es de esperar, estos factores son los más relevantes para la aceptación del artículo en las revistas de alto factor de impacto. Pero la novedad es una navaja de doble filo, pues a veces se opone a la importancia; un resultado inesperado suele tener consecuencias difíciles de predecir. Muchas veces es un error premiar a los investigadores jóvenes en función de las novedades que se cruzan (por casualidad) en su carrera científica. Más aún, puede ser un grave error penalizar a los que tienen un proyecto robusto, de mayor importancia y de mayor impacto global, pero carente de novedades a corto plazo. La ciencia de calidad no debería basarse en «burros que han tocado la flauta.»
La hipocresía inherente a la elección del factor de impacto como única herramienta para medir la calidad científica socava los ideales que subyacen al avance científico. Muchos jóvenes brillantes y creativos se desilusionan y abandonan su carrera científica al ver que otros jóvenes, por pura suerte, copan los pocos puestos académicos disponibles. Hacer demasiado énfasis en las publicaciones en revistas de alto factor de impacto puede ser una receta desastrosa para el futuro de muchos jóvenes.
¿Existe alguna solución? Lo ideal sería reemplazar el factor de impacto como único indicador de excelencia y utilizar la evaluación por pares siempre que sea posible. Más aún, a ser posible, que dicha evaluación incluya científicos de prestigio internacional. Se requiere más tiempo y más esfuerzo, pero todos los científicos (senior) en activo deberían estar dispuestos a participar en estas evaluaciones porque esta es la única manera de liberar a los jóvenes científicos de la tiranía del factor de impacto.
Aaron Swartz se suicidó el pasado 11 de enero con 26 años de edad. Se enfrentaba a una condena máxima de 4 millones de dólares en multas y más de 50 años de prisión. El cargo más importante contra él era haber descargado cinco millones de ficheros pdf de artículos de JSTOR gracias a la red del MIT y haberlos publicado en abierto (el torrent de 35GB con los papers que Aaron publicó está disponible en la red). Publicar en abierto ciencia es un delito si no eres el autor (que solo tiene derecho a publicar en abierto su manuscrito, no la versión final, salvo en revistas específicas). Ayer y hoy en Twitter se han publicado miles artículos en pdf usando el hashtag #PDFtribute (como buscar en Twitter es penoso, hay una página web con todos los «links scraped from Twitter hashtag #pdftribute«).
Todo este penoso asunto trae a colación una pregunta que lleva mucho tiempo en el aire. ¿La ciencia es un negocio? ¿Tiene que ser la ciencia un negocio? ¿Algún día dejará la ciencia de ser un negocio? Como bien nos dice Enrique Dans, «la investigación académica debe ser libre» (es decir, gratuita). ¿Por qué no lo es? La razón no es que las grandes editoriales no lo permitan. La mayoría acepta artículos (manuscritos) de arXiv sin problemas. ¿Por qué hay autores que no envían todos y cada uno de sus artículos a arXiv? ¿Por qué hay autores que no publican todos y cada uno de sus manuscritos (antes o después de ser aceptados) en la web?
Comparto lo que dice Enrique Dans [copia con ligeros cambios]: «Las revistas científicas son una desmesurada fuente de ingresos a través de las suscripciones de profesores, departamentos y bibliotecas. El sistema funciona [a las mil maravillas] desde el punto de vista económico: los revisores no cobran, los autores tampoco (en algunos casos, incluso pagan por enviar el artículo), pero las editoriales cobran y no precisamente poco. Un sistema envenenado que funciona bajo el pretexto de ejercer una revisión por pares y ciega que (se supone) asegura la calidad de lo publicado. Un sistema que funciona porque las revistas científicas se ha convertido en varas de medir que condicionan la promoción de los profesores en el escalafón académico.»
Si eres investigador pero no publicas todos y cada uno de tus manuscritos en abierto, ¿por qué no lo haces? ¿Qué miedo tienes a hacerlo? ¿Represalias de los revisores? Utiliza los comentarios (de forma anónima si así lo prefieres) para ofrecer tu opinión. En cualquier caso, que sepas que yo no lo entiendo… máxime cuando el número de citas y el impacto es mayor a los artículos cuyos manuscritos están disponibles en abierto en la red (y son fáciles de localizar, por ejemplo, en la página web del autor o de su grupo de investigación).
Lo cierto es que, mientras haya autores que no publiquen todos sus manuscritos en la web, el suicidio de Aaron Swartz no habrá servido para nada… Piénsalo mientras guardas un minuto de silencio en su memoria. Si te apetece…
Y por cierto, te recomiendo leer el artículo de Eva Rodríguez, «La ciencia abierta se expande en internet. España es uno de los líderes en ‘open access’ de la Unión Europea,» SINC, 11 ene 2013. «La publicación en acceso abierto es mucho mejor para el científico, ya que no renuncia a su derecho con varias editoriales y conserva la capacidad de gestionar su propiedad intelectual».
«España es uno de los países mejor posicionados de la Unión Europea en acceso abierto a los estudios científicos –a través del proyecto de repositorios en abierto Recolecta– y el único que tiene un mandato por ley al respecto. La Comisión Europea puso en marcha en agosto de 2008 el «Piloto de Acceso Abierto en el Séptimo Programa Marco (7PM)” para permitir el acceso gratuito a la información científica, después de un período de embargo de 6 o 12 meses, de los proyectos financiados a través de este programa. Además, la CE anunció que a partir de 2014, las investigaciones financiadas directamente por la UE a través de su 8º Programa Marco tendrán que publicarse con open access.»
«De los 1,66 millones de artículos científicos publicados durante 2011, el 12% siguieron el modelo de acceso abierto inmediato y el 5% dentro de los 12 meses siguientes a su publicación. “El acceso abierto con retraso es mucho mejor que no tener libre acceso”. Francisco Plou, investigador científico del Instituto de Catálisis y Petroleoquímica (CSIC) dice: “Mi experiencia indica que para ‘subir’ un trabajo al repositorio institucional necesito entre seis y ocho minutos y el número de descargas de todos los trabajos que hemos subido a Digital.CSIC es significativo, hasta llegar a las más de 10.000 descargas de uno de nuestros trabajos. Por tanto, merece la pena destinar nuestro tiempo para que una de nuestras publicaciones sea descargada en todo el mundo decenas, cientos o incluso miles de veces”.»
«Los científicos a menudo creen que el acceso abierto causa conflictos con los derechos de autor, pero no es así. Una de las premisas principales del open access es que, aunque se distribuye el trabajo abiertamente, el investigador conserva su autoría bajo una licencia Creative Commons de la obra. Pilar Rico, Responsable de Repositorios y Acceso Abierto de la Fundación Española para la Ciencia y la Tecnología (FECYT), señala que muchas veces, cuando publican en revistas comerciales, los investigadores no saben que están cediendo sus derechos. “Deberían estar más informados sobre lo que ceden, en muchos casos lo desconocen”.»
«Los principales proyectos europeos de open access que ya están en marcha son:
El repositorio español Recolecta, y los repositorios
y
.»
Muchas veces nos comparamos con EEUU y tendemos a pensar que en ciencia y técnica ellos lo hacen mejor que nosotros. ¿Influye el número de citas del investigador principal en que un proyecto de investigación sea concedido o no en EEUU? A bote pronto, mucha gente dirá que sí, por supuesto. Pero, cuidado, las cosas no son tan sencillas. No tengo datos del NSF (National Science Foundation), pero en el NIH (National Institutes of Health) la respuesta es negativa. Aunque esto sorprenda a algunos, los investigadores que más financiación reciben del NIH no son los más citados. Nos lo cuentan Joshua M. Nicholson, John P. A. Ioannidis, «Research grants: Conform and be funded. Too many US authors of the most innovative and influential papers in the life sciences do not receive NIH funding,» Nature 492: 34-36, 06 Dec 2012.
«El propósito de la revisión de pares es medir la calidad, factibilidad y credibilidad de las investigaciones, con miras a ser publicadas, ya sean sus procesos o sus efectos, o para presentarlos ante organismos de financiamiento.» [1] Mentira. Mucha gente se lo cree, pero es mentira. Si no lo fuera, los científicos que actúan como revisores tendrían una gran responsabilidad de cara a la historia de la ciencia y al progreso del conocimiento. Sin embargo, esta opinión olvida que la revisión por pares fue inventada para ayudar a los editores de las revistas a elegir los artículos que publicar. Por ello, muchos editores eligen a revisores que no son expertos en el tema del artículo, aunque su opinión nunca podrá garantizar la calidad de la investigación, ello no quita que permita predecir el impacto que tendrá el artículo en la comunidad especializada en su conjunto. Porque lo que interesa a los editores es que los artículos que publican tengan impacto y éste será mayor si el artículo interesa a un gran número de científicos en lugar de un reducido número de expertos. Recuerda, muchos artículos son revisados por personas que no entienden sus detalles técnicos, que serían incapaces de replicar el artículo, que nunca podrían garantizar la calidad, factibilidad y credibilidad del artículo. Pero no importa. Porque su opinión sobre si el artículo es interesante o no para la comunidad de lectores de la revista es lo único que interesa al editor. Lo único. A este hecho, bien conocido, pero muchas más veces olvidado, yo le llamo en mis cursos de metodología y epistemología de la investigación como «el timo de la revisión por pares.»
A principios del siglo XX la revisión del artículo la realizaba el editor principal de la revista, o algún miembro del consejo editorial; por ejemplo, los artículos de Albert Einstein en su“Annus Mirabilis” (1905) publicados en Annalen der Physics fueron evaluados por Max Planck, jefe del consejo editorial. El concepto de revisión por pares moderno nació en la explosión de revistas científicas tras la II Guerra Mundial. Tantos artículos se enviaban a las revistas que los editores y el consejo editorial no podían leérselos, con los que se decidió enviarlo a pares. Siempre se pensó como una ayuda a la toma de decisiones y nunca como un garante de calidad. Con los años la opinión de que la revisión por pares era un garantía de calidad se fue extendiendo y muchos revisores se la tomaron en serio durante muchos años. Pero recientemente estamos viviendo una nueva explosión de revistas y de artículos publicados que impide que haya un número suficiente de revisores expertos que garanticen la calidad de lo publicado, con lo que se está retornando al sistema original. La revisión por pares como opinión sobre el interés del artículo y no como garante de su calidad.
En 1982, se reenviaron 12 artículos ya publicados en revistas de psicología de prestigio (las de mayor impacto) a las mismas revistas que los habían publicado, pero entre 18 y 32 meses más tarde. Solo 3 editores principales detectaron que el artículo ya había sido publicado en su propia revista. Los otros 9 artículos pasaron a revisión por pares. Los revisores rechazaron 8 de estos artículos, en muchos casos «por graves defectos en la metodología.» [2] ¿Cómo es posible que un artículo se «cuele» en una revista de prestigio en cierta ocasión y un par de años más tarde sea rechazado por «graves defectos en la metodología»? Pues muy sencillo. Depende de la lotería, del número (digo, del revisor) que te toque.
¿Podemos concluir que un artículo que ha pasado por revisión por pares es de mayor calidad que uno que no lo ha hecho? En general, sí, pero no hay que ser más papista que el papa con estos asuntos. El artículo ha «colado» pero si fuera enviado otra vez quizás no lo hubiera hecho. Siempre hay que tener precaución. Lo importante es que nos leamos el artículo. Sobre todo los divulgadores. Últimamente hay mucho divulgador que ni siquiera se lee el título del artículo sobre el que divulga y que se cree lo que medios sensacionalistas publican (omito nombres, pues todos sabéis cuáles son). Por favor, si eres divulgador y vas a hacerte eco de una noticia publicada por otro medio, por favor, léete el título del artículo y el resumen (abstract), como mínimo. Muchas revistas tienen resúmenes gráficos (el autor elige una o varias figuras del artículo que acompañan al resumen). Y si puedes conseguir copia gratis del artículo en ArXiv o gracias a Google Scholar, por favor, léete el artículo antes de divulgar. No cuesta tanto…
Si quieres llegar a portada de Méneame o similares no te esfuerces en ser el más rápido, meterás la pata muchas veces y se te verá el plumero. Por favor, recuerda que los buenos divulgadores españoles logran portadas gracias a que sus artículos son buenos, no por ser los más rápidos, porque son buenos y sus artículos están bien trabajados. Busca la calidad y trata de ser auténtico. Mira los primeros puestos en los Premios Bitácoras 2012 en la categoría de Ciencia y busca sus blogs, lee sus entradas y aprende. Ellos lo hacen bien y por ello logran ser los mejores. Recuerda, la prisa siempre es mala consejera…
[1] Michele Ladrón de Guevara Cervera et al., «Revisión por pares: ¿Qué es y para qué sirve?,» Salud Uninorte 24: 258-272, 2008.
[2] D. P. Peters, S. J. Ceci, «Peer-review practices of psychological journals: The fate of published articles, submitted again,» The Behavioral and Brain Sciences 5: 187-195, 1982.
Oficialmente, la revista Nature acepta sin problemas artículos que hayan aparecido en forma de preprint en ArXiv, como la mayoría de revistas científicas. Sin embargo, publicar en ArXiv puede tener efectos colaterales no deseados. Otros investigadores, o incluso los mismos autores, pueden apoyarse en el trabajo ya publicado y realizar avances, que aparezcan en nuevos artículos en ArXiv, que inciten al editor de Nature a reconsiderar su decisión sobre un artículo ya aceptado o a punto de ser aceptado. No es una posibilidad abstracta, le ha pasado al físico cuántico Terry Rudolph (Imperial College de Londres). Su artículo «The qantum state cannot be interpreted statistically,» arXiv:1111.3328, con Matthew F. Pusey y Jonathan Barrett, provocó un gran revuelo mediático (más info en mi blog). Como resultado varios investigadores desarrollaron ideas en la misma línea. Como respuesta, Rudolph y Barrett enviaron un nuevo artículo titulado «The quantum state can be interpreted statistically,» arXiv:1201.6554, junto a Peter G. Lewis y David Jennings. Enviado a Nature, los tres revisores del primer artículo lo habían aceptado a falta de unos pequeños retoques. Pero uno de los revisores, al leer el título del nuevo artículo, mostró reservas al editor de Nature y reconsideró su posición. El editor no lo dudó y una semana más tarde rechazó el primer artículo. Rudolph tuvo que enviar su primer artículo, con un cambio de título, a otra revista, Nature Physics, que lo aceptó. Nature Physics es prestigiosa, pero no tanto como Nature. El segundo artículo apareció en Physical Review Letters. Rozar con la mano un paper en Nature y perderlo como agua entre los dedos no es plato de buen gusto. Por ello, Terry aireó su descontento en «Terry Rudolph on Nature versus Nurture,» Cosmic Variance, 27 aug 2012. Me enteré, pero no me hice eco de ello en su momento porque estaba de vacaciones. Ahora recupero el tema gracias a un tuit de @RSEF_ESP que se hace eco de Brian Jacobsmeyer, «Preprint Policies Sow Confusion,» APS Physics, Nov. 2012.
Francis (th)E mule Science's News 