La práctica de publicar preprints en servidores como bioRxiv se ha convertido en un procedimiento común en muchos campos científicos, permitiendo a los investigadores compartir sus hallazgos antes de completar el proceso formal de revisión por pares. Sin embargo, existe una percepción extendida entre la comunidad científica de que estos trabajos preliminares carecen de confiabilidad. Ruslan Rust, quien ha trabajado directamente en investigación biomédica, decidió poner a prueba esta creencia mediante un análisis sistemático.

Para llevar a cabo el estudio, Rust y su colega utilizaron un modelo de lenguaje de gran escala (LLM) para extraer las conclusiones científicas principales de los resúmenes de 72.644 manuscritos biomédicos que fueron cargados inicialmente en bioRxiv. El modelo evaluó posteriormente cuánto habían cambiado estos resúmenes en comparación con sus versiones finales publicadas en revistas revisadas por pares. Los resultados, publicados en el servidor bioRxiv este mes, muestran un panorama más alentador de lo que muchos esperaban.

Según el análisis, el 39,9% de las conclusiones principales permanecieron sin cambios entre la versión preprint y la versión publicada en la revista. Otro 50% experimentó únicamente revisiones menores. Solo ligeramente más del 10% pasó por cambios mayores. Esta distribución sugiere que la mayoría de los trabajos mantienen su esencia científica a través del proceso de revisión, lo que contradice la noción de que los preprints requieren transformaciones sustanciales antes de ser aceptados para publicación.

Cuando las conclusiones sí cambiaron, tendieron a volverse más cautelosas que más confiadas después de la revisión por pares. Aproximadamente el 8,4% de los hallazgos principales adoptaron un lenguaje más cauteloso tras la revisión, mientras que solo el 4,2% utilizó una redacción más confiada. Este patrón refleja cómo los revisores por pares tienden a exigir mayor prudencia en las afirmaciones científicas, un mecanismo de control de calidad que funciona como se espera.

La magnitud de las revisiones varió significativamente según las disciplinas. Los cambios mayores ocurrieron en solo el 7,2% de los artículos de bioinformática, en contraste con el 17,5% de los estudios de microbiología. Esta variación sugiere que diferentes campos tienen distintos estándares de rigor o que los investigadores en ciertos campos tienden a presentar trabajos más preliminares en bioRxiv.

Un hallazgo particularmente notable es la tendencia temporal en la magnitud de las revisiones. La frecuencia de cambios mayores disminuyó con el tiempo, pasando del 17% entre los artículos publicados en 2019 al 5,7% en 2024. Julian Sienkiewicz, investigador de herramientas de inteligencia artificial y exploración de datos en la Universidad Tecnológica de Varsovia, sugiere que esta disminución podría indicar que los revisores por pares están sobrecargados y podrían no estar leyendo los artículos con la debida minuciosidad. Sin embargo, Rust ofrece una interpretación alternativa: en los primeros años después del lanzamiento de bioRxiv, especialmente durante la pandemia de COVID-19, los científicos enfrentaban presión para publicar sus hallazgos rápidamente, lo que resultaba en revisiones mayores antes de la publicación final. En años recientes, algunos manuscritos podrían haber incluido ya comentarios de revisores en la versión preprint inicial publicada en línea.

Respecto a las retractaciones, el análisis reveló una diferencia sustancial. Los artículos que aparecieron primero como preprints fueron retractados a una tasa de 8,1 por cada 10.000 artículos, comparado con 18,7 por cada 10.000 artículos comparables que nunca fueron publicados como preprints. Esta cifra sugiere que los trabajos que pasan por la exposición pública temprana de un preprint podrían ser sometidos a mayor escrutinio antes de su publicación formal, reduciendo la probabilidad de que contengan errores graves que justifiquen una retractación posterior.

Los autores del estudio advierten que esta comparación es observacional, se basa en un número relativamente pequeño de retractaciones y no prueba definitivamente que publicar un artículo como preprint reduzca la probabilidad de retractación. Algunos investigadores que reaccionaron a los hallazgos en la plataforma de redes profesionales LinkedIn señalaron que los preprints están sujetos a un fuerte sesgo de selección dependiendo de quién los publica y qué estudios se publican de esta manera.

A pesar de estas limitaciones metodológicas, el estudio proporciona evidencia empírica significativa de que los preprints funcionan como una fuente de información más confiable de lo que la percepción común sugiere. Los hallazgos tienen implicaciones importantes para cómo la comunidad científica y el público en general evalúan la información científica preliminar, especialmente en contextos donde la velocidad de diseminación del conocimiento es crítica, como durante emergencias de salud pública.