¿Quién teme a la revisión por pares? Demos un voto de confianza al sistema

Recientemente ha armado bastante revuelo la publicación de un artículo en la famosa revista Science Magazine bajo el título «¿Quién teme a la revisión por pares? Un artículo trampa elaborado por Science descubre escaso o nulo rigor en muchas revistas de acceso abierto«.
En este «estudio» (no sé muy bien cómo llamarlo), el periodista John Bohannon, siguiendo la lógica del famoso caso expuesto por A. Sokal, redactó un falso artículo con autores ficticios sobre un descubrimiento relacionado con el cáncer, que bajo una palabrería técnica no ocultaba demasiado un montón de errores metodológicos y cuestiones éticas espinosas, lo cual lo invalidaría de pleno en el momento en que cualquier revisor con un poco de idea pusiera sus ojos sobre él. Entonces, Bohannon seleccionó una lista de revistas de acceso abierto (en inglés, «open access») y les envió el artículo trampa. De las 304 con las que contactó, nada menos que 157 lo aceptaron. Lo cual indicaría una falta de rigor escandalosa en el proceso de revisión de muchas revistas de acceso abierto.

Antes de seguir, conviene aclarar para quien no lo sepa que Science, como la mayoría de las revistas científicas, tiene un modelo de negocio basado en cobrar a los lectores por el acceso a sus contenidos. Esto tenía más sentido cuando el soporte de las revistas era el papel y hacían falta infraestructuras caras para imprimirlas y distribuirlas. Hoy, cada vez son más las voces que se alzan en contra de este modelo «cerrado» (desde científicos, responsables de contenidos en las bibliotecas universitarias, y hasta políticos). Por ejemplo, muchos no vemos justo que una investigación financiada con dinero público acabe oculta tras un muro, sólo accesible tras pagar una suscripción de miles de euros (en serio es preocupante: el acceso a las publicaciones científicas es un capítulo muy grande en los presupuestos de cualquier biblioteca universitaria. Desde la mía, no tenemos acceso a la propia Science, ¡pero es que incluso Harvard ha puesto el grito en el cielo!). A los investigadores, por otro lado, nos beneficia la visibilidad de nuestro trabajo: cuanta más gente nos lea, mejor, así que el muro del acceso cerrado nos hace mal. Y a los estudiantes se los priva de un material esencial para su aprendizaje.
Frente a este modelo claramente imperfecto, o mejorable, en los últimos años han surgido alternativas de acceso abierto («open access»), que publican el resultado de las investigaciones en la red, accesible para todo el mundo. El movimiento «open access» verdadero no se limita sólo a la publicación de acceso gratuito, también permite la libre distribución, modificación y uso de los artículos mediante licencias tipo CC-by (lo explican bien la Wikipedia y este vídeo) en las que los derechos de autor siguen en poder del autor del artículo, en vez de cederse a la editorial. También se promueven otras medidas de transparencia como la accesibilidad de los sets originales de datos gracias a las nuevas tecnologías disponibles. Pero todo tiene su lado malo: esas infraestructuras, aunque sean online, no se pagan solas, de modo que muchas, (¡pero no todas!) las revistas de acceso abierto cargan el coste de la publicación en los autores, que pagan una cuota por cada artículo publicado (algunas por cada artículo enviado). Esto da pie a un debate ético y de conflictos de intereses del que podríamos hablar en otro post (apunto por si acaso el dato de que los mayores publicadores en «open access» son sociedades sin ánimo de lucro, creadas por científicos, como el grupo PLoS).

Así que hoy en día asistimos a una nada constructiva guerra entre las grandes editoriales (Elsevier, por nombrar una) y los nuevos modelos basados en acceso abierto (como el grupo PLoS). …Por desgracia, quedan atrapadas en medio del fuego cruzado algunas sociedades científicas que editan revistas tradicionales «cerradas» sin ánimo de lucro (por ejemplo, la APA).
Al final gran parte de la discusión tiene que ver con un asunto de confianza. ¿De qué fuentes me puedo fiar, como lector y potencial autor? Las grandes editoriales tradicionales se valen del argumento del «prestigio» como garante de que lo que se publica es de alta calidad. Vienen a decir que las revistas de presupuesto menor, medios online, creación reciente, etc., tienen un proceso de revisión defectuoso, y que nada como leer un Science o un Nature para descansar tranquilo confiando en que todo lo que allí se publica es ciencia de la más alta calidad. No es un argumento de hace dos días, sino algo recurrente en esta, repito, nada edificante batalla

Dado este ambiente de hostilidad, no es extraño que el «experimento» de Science Magazine haya sido aprovechado por algunos para generalizar alegremente esas carencias de rigor detectadas en algunas revistas al modelo de ciencia abierta en su conjunto, aunque originalmente Bohannon no lo planteara de ese modo, o eso creo. Y así se han oído voces criticando al sistema de acceso abierto como un coladero de «mala ciencia» (algunos bloggers incluso usaban la expresión «autopublicación», que son palabras mayores).
Pero al otro lado de la trinchera no se han quedado callados. Las reacciones al estudio de Bohannon han sido numerosas y algunas muy airadas (aquí podéis ver una recopilación). A pesar de los excesos de algunos de estos críticos, yo me alineo más bien con ellos, pero eso sí, sin tono alarmista, pues creo que el sistema que tenemos funciona (casi siempre, y cuando no lo hace no es tan grave).

¿Un estudio manipulado? Quizá no intencionadamente
En general, los problemas del estudio de Bohannon son tan evidentes que no habría pasado un proceso de revisión por pares elemental (aclaro que no lo ha hecho de todas formas: el trabajo apareció en la sección «Noticias» de Science Magazine, no como artículo revisado en Science, como engañosamente o inadvertidamente se ha omitido por ahí).
Para empezar, ¿por qué se envió el artículo trampa únicamente a revistas de acceso abierto? Me habría gustado saber cuál habría sido el resultado si ese mismo artículo hubiera llegado a los editores de muchas revistas de acceso cerrado (Bohannon lo deja caer al final, pero de refilón). Para concluir que el acceso abierto está relacionado con la publicación de ciencia poco rigurosa, nos haría falta un grupo de control… que no existe en el estudio de Bohannon. Aclaremos que, días tras el episodio, el propio Bohannon admitió que el título de su contribución tal como apareció en Science Magazine, que pone el énfasis en el sistema «open access», no fue afortunado. También explicó que, inicialmente, su plan era apuntar a revistas de todo tipo, pero que cambió de idea sobre la marcha al caer en la cuenta de la cantidad de trabajo que supondría (explicado aquí).

Bandidos entre científicos: tótum revolutum
Además, de la lista de 304 revistas a las que Bohannon tendió su trampa, muchas parecen revistas «zombi». Dejaron de funcionar hace tiempo, y ni siquiera dieron acuse de recibo del manuscrito. Esto mueve a sospecha. Para que entendáis por qué debo contaros otra cosa: con la moda del acceso abierto y las revistas financiadas con poco dinero (en vez de con grandes editoriales o sociedades científicas detrás), surgieron como setas revistas de impacto mínimo, dirigidas a veces por una sola persona, publicando en formato abierto… y algunas de ellas son directamente un timo. El proceso es el siguiente: el supuesto «editor» contacta con los autores, les sugiere que envíen un manuscrito a su nueva revista (pongamos, «International Journal of the Cancamusa»), y tras un proceso de revisión inexistente les comunica alborozado que su artículo ha sido aceptado y les cobra una cuota por la publicación. Evidentemente, aunque pardillos hay en todos los gremios, los investigadores no suelen caer en este tipo de trampas. Muchas de esas «revistas» con nulo compromiso por la ciencia y cuyo único objetivo es sacar los dineros al autor despistado de turno acaban cerrando sin publicar ni un solo número. El único incentivo que estas revistas de poca monta tienen para cazar a los científicos incautos es, ¡sorpresa!, que publican en acceso abierto en internet. Lógico, siendo supuestas editoriales sin infraestructura y que sólo funcionan en soporte digital (no tienen imprentas). Para evitar caer en la trampa, se han confeccionado listas de potenciales «editoriales depredadoras» como ésta (Beall’s list). Así que muchas «revistas falsas» o «sacacuartos» publican en acceso abierto, pero eso no convierte a ambos conceptos en sinónimos. Por cierto, es un dato cuanto menos sospechoso que de las 304 revistas que Bohannon empleó en su estudio, 137 formen parte de la mencionada lista preventiva. Alguno pensaría que Bohannon hizo una cuidadosa selección de la muestra para obtener el resultado que esperaba.

Por lo tanto, acepto que algunas revistas de acceso abierto tienen un proceso de revisión de contenidos defectuoso o nulo (de hecho, para ser justos, algunas de esas 304 ni siquiera son revistas reales, como he explicado). Pero evidentemente, no podemos comparar «International Journal of the Cancamusa», fundada anteayer por la tarde, con otras como PLoS ONE, con un buen índice de impacto y que ya va camino de ser la revista científica más grande del mundo (en nº de artículos por año), cuando lo único que tienen en común es el modelo de acceso abierto a los contenidos. Ya que estamos, PLoS ONE fue una de las que no cayó en la trampa de Bohannon, e imagino que su editor debió de flipar bastante al leerlo. (Nota: algún editor de revista «open access» se ha quejado porque, aunque rechazó el artículo trampa sin siquiera admitirlo para revisión, no fue incluido así en los datos de Bohannon. Puede ser un malentendido, pero de haber ocurrido más veces afectaría al resultado.)

Ningún sistema es perfecto
Por otro lado, como apunta Michael Eisen en un post muy divertido, las pifias y fraudes más sonados de la historia científica reciente se publicaron en… ¿adivináis? Revistas tradicionales. Y además, curiosamente, en revistas del mayor prestigio (ejemplo: Science y las bacterias con arsénico en su ADN, un artículo que tuvo que retractarse). Esto indica que nadie, ni el más grande en su campo, está a salvo de cometer un error. No podemos vivir en la falsa sensación de seguridad porque a través del mejor de los filtros se puede colar algo de porquería. Y el modelo de acceso cerrado no garantiza que el proceso de revisión sea infalible. De hecho, si me preguntáis, tiene muy poco que ver una cosa con la otra, a pesar de lo que se está diciendo estos días. Tampoco parece que influya el hecho de tener una gran editorial detrás: alguna de esas 157 revistas que se tragaron la trampa están editadas por grandes grupos como Sage (aunque son revistas de nulo impacto y casi desconocidas).

¡Es la revisión por pares, no el modelo de difusión de contenidos!
Entonces, si según mi opinión ni el modelo de acceso al contenido (abierto vs. cerrado) ni el apoyo de una gran empresa (grandes editoriales vs. sociedades científicas) influyen realmente en el control de calidad de la publicación, ¿qué es lo que lo determina? Pues, fundamentalmente, la calidad de los revisores, su nivel de exigencia, y el peso que tienen en la decisión editorial. Eso es verdaderamente lo que hace que una revista sea prestigiosa dentro de un gremio, a veces más allá del famoso «índice de impacto». Hay revistas que por lo que sea tienen un impacto tirando a mediocre (cuartil 2 ó 3 en su ranking), pero que todos los investigadores del área reverenciamos porque tienen solera, tradición, y porque sabemos que si les enviamos un manuscrito, deberá pasar el escrutinio de los mayores expertos mundiales especializados en el tema. Esto ya garantiza un mínimo de calidad. No tiene ningún sentido juzgar el nivel de rigor de una revista simplemente mirando si publica en acceso abierto o cerrado, o sobre quién recaen los costes de publicación (autores, lectores, u otros). Lo que hay que hacer es atender principalmente a la calidad de sus revisores y a las condiciones del proceso de revisión. Y en este sentido, nos encontramos con que algunas revistas que publican en abierto también tienen revisores de mucho nivel: de hecho, suelen ser los mismos revisores que en las otras revistas de solera y reconocido prestigio que he mencionado (hasta donde yo conozco, podéis echar un vistazo a la lista de editores asociados y revisores de PLoS ONE, Frontiers in… y respirar tranquilos).

Lo que pasa el filtro… ¿Y lo que no pasa (y debería pasar)?
Éste es un argumento que han comentado en NeuroDojo y en PubChase, y da para hablar largo y tendido: al final, ¿cuál es el daño causado a la ciencia por la falta de rigor señalada por Bohannon? Pues un daño prácticamente nulo. Las revistas que aceptaron publicar el artículo trampa son o bien revistas incluidas en listas de potenciales «editoriales depredadoras» con reputación dudosa (posibles estafadores), en las que nadie sensato confía, o bien revistas de nulo impacto que nadie lee.
Sin embargo, ¿cuál es el daño causado por un proceso de revisión sesgado que deja fuera a miles de artículos técnicamente válidos pero que no tienen ese «ingrediente extra» de atractivo o «sexappeal» que exigen los grandes editores como Science o Nature? Mucho mayor, seguramente, que la publicación puntual de estudios fraudulentos o erróneos que inmediatamente se retractan. Estoy muy seguro de que la tasa de aceptación de artículos erróneos es muy inferior a la tasa de rechazo de artículos que merecían publicare, y esto se aplica a casi todas las revistas científicas. En este sentido, revistas «open access» como las del Grupo PLoS (y también, hasta donde yo sé, PeerJ) dan un paso valiente al primar el criterio técnico sobre la importancia subjetiva en la decisión de publicación. De hecho, gracias a esta política de publicación basada en criterios exclusivamente técnicos se han destapado algunos casos que han llevado a la actual «crisis de replicación» en psicología (por ejemplo, el fallo de replicación del «elderly walking priming« se publicó en PLoS ONE, y dudo mucho que una revista de las top-5 se hubiera atrevido a publicar una replicación nula). Esto, como digo, da para otro post que me encantaría escribir un día.

Conclusión
En definitiva, el «experimento» de Bohannon, a pesar del título que le dieron en Science, no va sobre «open access», sino que en todo caso repite lo que ya sabíamos: hay revistas con un pésimo o nulo proceso de revisión. Y el proceso de revisión es lo que determina su calidad y por tanto la confianza que podemos poner (como lectores y como autores) en una publicación. El de Bohannon es un estudio que parte de las conclusiones para confirmarlas, que a tal fin escoge la muestra que le interesa, y ni siquiera incluye un mínimo análisis estadístico de datos. Es interesante (aunque sensacionalista) como pieza periodística, pero anecdótico desde el punto de vista científico. Además, como se ha argumentado (y más ampliamente en los links que proporciono), Science no es la indicada para señalar a nadie, al primar sistemáticamente el atractivo y el impacto mediático previsto de un artículo sobre su evaluación técnica y científica, lo cual conduce a una tasa de retractaciones relativamente elevada (datos aquí).

Me voy con una última reflexión, y tiene que ver con la desconfianza que he encontrado estos días hacia las revistas de acceso abierto (en discusiones en Twitter, blogs…). Entiendo el recelo a lo nuevo («¿será riguroso el proceso de revisión en esta revista que no conozco?»), a lo sospechoso («pagar por publicar» suena a «si pagas, publicas» y a incentivos perversos)… Pero dadle tiempo al sistema y un voto de confianza: este modelo está aún en una fase incipiente de su desarrollo. Cambiará, seguro. Ya están experimentando fórmulas nuevas (innovando en sistemas de revisión más interactivos y en otras formas de financiación). También las revistas tradicionales están moviéndose: estudios pre-registrados, más transparencia, más consideración hacia los temas de aparente «poco interés» como las replicaciones. Las revistas las hacen los científicos, que son personas y llevan inercias, pero se mueven.
Yo no sé cuándo el sistema de revisión y publicación científica llegará a un punto en que nos satisfaga a todos. Lo que tengo claro es que, cuando lleguemos, ese sistema será «open access» (que es algo más que «acceso gratis»). Seguro.

PD: Algunas reacciones interesantes al trabajo de Bohannon:

• Unscientific spoof paper accepted by 157 «black sheep» open access journals – but the Bohannon study has severe flaws itself
• Bohannon’s Science Sting – playing devil’s advocate and proposing a solution
• Who’s Afraid of Open Access?
• Critics Say Sting on Open-Access Journals Misses Larger Point
• Science gone bad
• «Open access spam» and how journals sell scientific reputation
• Open access or vanity press, the Science “sting” edition
• Science Magazine rejects data, publishes anecdote
• I confess, I wrote the Arsenic DNA paper to expose flaws in peer-review at subscription based journals 
• A Problem with Open Access Journals
• Una crítica a la crítica en Science a la revisión por pares en revistas open access

Fuente de las imágenes: «Open Access Logo«, de Wikimedia Commmons. «Peer Review«, por el usuario de Flickr A. J. Cann