Una crítica a la crítica en Science a la revisión por pares en revistas open access

Dibujo20131008 science cover - communication in science

Una noticia periodística en Science no es lo mismo que un artículo científico en dicha revista. La semana pasada la revista Science dedicó un número especial a la comunicación científica. Entre los artículos que llenaron sus 27 páginas los medios destacaron que 157 revistas open access aceptaron, tras la revisión por pares, un artículo “amañado” (un bulo o hoax) con graves errores de concepto y en el uso del método científico (sólo lo rechazaron 98 de un total de 304 revistas). Mucha gente afirma que este experimento periodístico prueba que estas revistas no realizan una revisión por pares de calidad. Sin embargo, hay que tener cuidado. Esta noticia no es un artículo científico, aunque se publique en Science y no aplica con rigor el método científico. Un estudio de cohorte de este tipo requiere un grupo de control, es decir, el artículo “amañado” también debe ser enviado a revistas convencionales (que no son open access) con un índice de impacto y/o un prestigio entre la comunidad científica similar a las revistas open access seleccionadas. Sin un grupo de control adecuado, esta noticia aparecida en Science es sólo eso, una noticia curiosa, nada más. El autor de la noticia es John Bohannon, un periodista científico que es licenciado en biología, pero que no es doctor, famoso por ser aficionado a la danza y crear la iniciativa “Dance your Ph.D.” para Science.

“Nobody reads journals. People read papers.”

Vitek Tracz, journal publisher.

Me molestan las conclusiones extraídas en muchas noticias periodísticas que se hacen eco de la noticia aparecida en Science como si se tratara de un estudio científico. Por ejemplo, “Un falso estudio científico pone en entredicho los filtros de 157 revistas de ‘open access’,” Agencia SINC, 3 oct. 2013. Afirmaciones extraídas de la noticia de Bohannon como que “los datos de esta operación encubierta revelan una emergente tierra sin ley en publicaciones académicas” o que “el 60% de las decisiones finales [sobre aceptar o no el artículo] se hizo sin señales de una revisión por pares” escritas sin crítica adicional en un medio con rigor científico como la Agencia SINC tienen gran valor para muchos lectores. Me apena que desde la Agencia SINC no se haya aplicado un poco de crítica. Chupar rueda da muy mala imagen, incluso si se chupa la rueda de Science.

El artículo en liza es John Bohannon, “Who’s Afraid of Peer Review?,” News, Science 342: 60-65, 4 Oct 2013 (podcast de Bohannon, figura interactiva y datos adicionales).

La siguiente tira de xkcd.com aparece también en dicho número de Science. Pincha aquí si la quieres disfrutar en formato gigante.

Dibujo20131008 how much science is there - science mag - xkcd

Los que hayan leído a Ben Goldacre disfrutarán con el artículo de Jennifer Couzin-Frankel, “The Power of Negative Thinking,” News, Science 342: 68-69, 4 Oct 2013 [podcast con entrevista]. Hay otros artículos sobre ética científica, con énfasis en la publicación de datos genómicos, así como sobre la importancia de las conferencias científicas en la actualidad (con la candente cuestión de si son o no son un puro sacadero de dinero). Os dejo profundizar en dichos artículos usando el índice del número especial.

Anuncios

11 pensamientos en “Una crítica a la crítica en Science a la revisión por pares en revistas open access

    • Gracias, Alberto, he cometido un error habitual en mí cuando escribo entradas rápido sin comprobar los enlaces. Ya está arreglado.

  1. Ahí debería verse en todo el magnífico esplendor de xkcd (y recuerden, chicos: no olvidéis leer el “meta tag” de la imagen).

  2. (Que en este caso no hay porque es sólo el jpg y no está en su formato web usual. Zas.)

    • Supongo, Emilio, que la razón es que ha aparecido publicado en papel y online en la revista Science.

  3. Hola Francis,

    Estaba esperando el análisis que estaba seguro que harías del número especial de Science :-) Me ha gustado :-)

    Creo que vas a disfrutar leyendo el siguiente post de Michael Eisen:
    http://www.michaeleisen.org/blog/?p=1439

    El sistema de revisión por pares suele adolecer de muchos defectos, en mi opinión es casi una lotería que tenga el autor suerte para que los editores elijan revisores que estén puestos en el tema central de los artículos y que éstos dispongan del tiempo para hacer sugerencias de cierto calado.

  4. Este “no-artículo” ha sido muy comentado en la lista IWETEL, en la que opinan normalmente bibliotecarios y documentalistas, hay quien lo ha considerado sesgado y tendencioso (yo misma) y hay quien no, aunque todos en la línea de la necesidad de mejorar los niveles de calidad en la revisión de los artículos, y de paso abordando el problema de la publicación científica y las revistas.

  5. Yo le daría un poco más de crédito a los resultados del estudio. No por no haber grupo de control resulta invalidado cualquier punto que el autor haya querido hacer, resultando meramente una “curiosidad”. De hecho, creo que el punto que el reportaje de investigación quiere hacer, es que muchos de estos journals probablemente ni siquiera tienen un sistema de revisores.
    Puedes hacerle muchas críticas al reportaje, como el sesgo hacia open-access, la odiosa elección de un pseudo-autor africano, etc. Pero que los “papers” aquellos debieron ser rechazados, en el sistema que pensamos como científicos debiera funcionar para publicar ciencia, de eso no hay ninguna duda.

    • Andrés, la mayoría de las revistas de baja calidad (sean o no sean open access) afirman tener revisión por pares, pero actúan como si no la tuvieran, aceptando artículos incluso cuando uno de los revisores los rechaza. Yo te puedo hablar por propia experiencia, pero conozco a mucha más gente a la que también le ha pasado.

  6. Aceptaron un paper que era inventado falso, ¿Esa afirmación para vos no es “científica”?

    “Esta noticia no es un artículo científico, aunque se publique en Science y no aplica con rigor el método científico.”

    No entiendo a qué te referís. ¿Podrías exponer el punto que te parece falso? ¿Crees que metiendo datos al azar en un paper hoax hubieran acertado y por eso lo aprobaron? ¿Que no fue aprobado? ¿Qué parte no te parece fidedigna? ¿Qué afirmación es la que para vos requiere un “grupo de control”?

    No entiendo a qué estarías haciendo referencia. No veo bueno caer en la “citation needed” de wikipedia, totalmente arbitraria, es no confiar en el propio razonamiento ¿Acaso si un grupo de control dice que el hoax es correcto debemos creerle aún en contra de la razón? Esta idea de tercerizar el razonamiento, sea en máquinas o personas, pone a las personas en un lugar muy vulnerable.

    • Eche no has entendido mi entrada. Lo único que afirmo es que el estudio realizado por el periodista no permite concluir que las revistas open access realizan una revisión por pares peor que la que realizan las demás revistas. Hoy en día la revisión por pares es pésima en todas las revistas sin factor de impacto o con él en los últimos cuartiles, sin importar si son open access o no lo son.

      Lo que he querido destacar es que se trata de un trabajo periodístico no riguroso y no de un trabajo bibliométrico o cienciométrico riguroso; mucha gente olvida que Nature, Science y ahora también PNAS publican noticias periodísticas y opiniones de expertos que no son artículos técnicos y no están sujetos a sus restricciones en cuanto a rigor metodológico.

Los comentarios están cerrados.