Los artículos científicos redactados con seguridad influyen en los evaluadores de IA, independientemente de su mérito

La confianza es una ventaja evolutiva distintiva y, según un nuevo artículo de investigación de Alemania, también supone una ventaja cuando los artículos científicos son evaluados por modelos de lenguaje de gran tamaño (LLM) en lugar de por colegas de sus autores. Esto es cada vez más necesario, ya que el volumen de artículos científicos se dispara gracias a las ganancias de productividad derivadas de la IA.

El nuevo estudio concluye que los evaluadores de IA (es decir, no humanos) asignan sistemáticamente puntuaciones más altas a los artículos científicos redactados con un lenguaje seguro y asertivo, incluso cuando la investigación subyacente es idéntica a la de artículos con un tono menos seguro. En algunos casos, basta con cambiar la redacción para que un rechazo se convierta en una aceptación.

Los autores afirman:

«Nuestros experimentos revelan que los evaluadores LLM muestran una marcada preferencia por [papers] el uso de un lenguaje muy seguro. Y lo que es crucial, estas preferencias suelen provocar cambios de decisión que cruzan el umbral entre la aceptación<>el rechazo e influyen directamente en los resultados de la evaluación.»

«Más allá de las puntuaciones, observamos que la frecuencia y el tono de los aspectos señalados en las evaluaciones varían en función de las características lingüísticas del artículo, lo que podría influir en las decisiones finales.»

Resulta irónico, porque el fenómeno que identifican los autores es muy similar a la forma en que la IA puede «equivocarse con total seguridad» tan a menudo al responder a nuestras propias indicaciones y consultas; con la diferencia de que aquí la decisión la toman seres humanos y la responsabilidad, tanto individual como colectiva, es real, crean o no de verdad en sus propias afirmaciones los científicos que contribuyeron a estos artículos.

Si cada vez más decisiones sobre qué artículos científicos se publican quedan en manos de la IA, los científicos podrían aprender a «expresarse con más seguridad» como táctica competitiva, quizá sobre todo cuando sus trabajos presentados tengan fallos; esto podría dar a investigaciones de menor calidad un espacio inmerecido en el conjunto cada vez más reducido de temas que reciben atención.

Fanfarronear para imponerse

Según el estudio*, los evaluadores de IA tendían más a elogiar los métodos, las teorías y las contribuciones científicas de los artículos redactados con seguridad, incluso cuando eran idénticos a los de las versiones menos asertivas. En las pruebas de los autores, se reescribieron 504 artículos científicos con distintos estilos y seis modelos de IA los evaluaron, entre ellos GPT-5.5, Claude Sonnet 4.6 y Gemini 3.5 Flash. Fue necesario generar versiones artificiales o modificadas de los artículos para que las peculiaridades y particularidades de los trabajos reales presentados no distorsionaran los resultados:

Ejemplos del mismo pasaje científico reescrito en cuatro estilos distintos. Los resaltados de colores señalan cambios destinados a hacer que el texto suene más o menos seguro, o más parecido al inglés académico escrito por hablantes nativos o no nativos. Sin embargo, los hallazgos y las cifras subyacentes no cambian. Fuente

Los artículos procedían de trabajos presentados a la conferencia ICLR de 2026 e incluían el mismo número de artículos aceptados y rechazados. A continuación, Claude Opus 5 reescribió cada trabajo presentado para que sonara más o menos seguro^†, sin alterar el contenido científico. Esto permitió atribuir las diferencias en las evaluaciones de la IA al estilo de redacción, es decir, al distinto grado de seguridad expresado.

En los resultados, los evaluadores de IA asignaron puntuaciones más altas a los artículos científicos redactados con seguridad, incluso cuando las pruebas eran idénticas. Claude Sonnet 4.6 mostró el sesgo más marcado: favoreció las versiones seguras siete veces más a menudo que las cautelosas. En el 21% de los casos, recomendó aceptar un artículo redactado con seguridad y, al mismo tiempo, rechazar una versión formulada con más cautela de ese mismo artículo.

El nuevo estudio afirma:

«Nuestros hallazgos plantean importantes dudas sobre el uso de los modelos de lenguaje de gran tamaño en la revisión por pares. Si artículos equivalentes en contenido reciben puntuaciones y argumentos de evaluación distintos únicamente por sus características lingüísticas, los juicios de los evaluadores no reflejan exclusivamente la calidad científica.»

«Por tanto, los evaluadores basados en modelos de lenguaje de gran tamaño deberían someterse a pruebas de estrés con reescrituras que preserven el contenido, a fin de determinar si los cambios lingüísticos afectan sistemáticamente a sus evaluaciones.»

Los autores sugieren además que estas pruebas deberían analizar explícitamente tanto las puntuaciones de los artículos como las evaluaciones escritas, para determinar si se confunde un lenguaje seguro con pruebas científicas más sólidas.

Método

Se seleccionaron un total de 504 artículos científicos entre los trabajos presentados a la International Conference on Learning Representations (ICLR) de 2026. La muestra se dividió por igual entre artículos aceptados y rechazados, y se seleccionaron 24 trabajos presentados de cada una de las 21 categorías de investigación de la conferencia:

El método de prueba en tres etapas. Se reescribieron artículos científicos para variar el dominio aparente del inglés o el grado de confianza, sin alterar sus hallazgos; antes de que los revisores de IA los evaluaran en condiciones idénticas, se comprobó que las reescrituras no modificaran el estilo ni el significado; después se compararon las diferencias entre las puntuaciones de las revisiones.

Cada artículo se anonimizó y se reescribió con Claude Opus 5 para crear versiones alternativas que permitieran evaluar tanto el grado de confianza con que se expresaban las afirmaciones como el dominio aparente del inglés por parte de quien lo había escrito. En las pruebas de confianza, las afirmaciones se expresaron de forma más tajante o más cautelosa. En las versiones «seguras» se usaron con más frecuencia palabras que indican certeza, como «claramente» y «sin duda», mientras que en los borradores más cautelosos se prefirieron expresiones matizadoras como «puede que» y «sugiere».

En todos los casos, las afirmaciones científicas, las pruebas, los resultados, la terminología técnica y la estructura general se mantuvieron sin cambios. Los autores señalan que las instrucciones para la reescritura se basaron en investigaciones lingüísticas consolidadas, en lugar de en peticiones generales de imitar estilos de escritura concretos.

Verificación de las reescrituras

Para verificar las reescrituras, cada una se comparó con el original mediante la similitud semántica, que evalúa si los pasajes conservan su significado, y la similitud TF-IDF (que mide la conservación del vocabulario y la terminología). Ambas puntuaciones se aproximaron a 1, lo que confirma una gran similitud con los originales:

Verificación de los artículos reescritos. Las versiones seguras emplearon un lenguaje más tajante, mientras que las cautelosas expresaron más incertidumbre. Las puntuaciones cercanas a 1 confirman una gran similitud con los originales, y los resaltados de color señalan los valores más altos para cada medida evaluada.

Se evaluaron seis revisores de IA: los modelos propietarios GPT-5.5, Claude Sonnet 4.6 y Gemini 3.5 Flash, y los modelos de pesos abiertos Gemma 3, Qwen3 VL y GLM 4.7. Se eligieron, en parte, porque todos tienen fechas de corte de conocimientos anteriores a 2026, lo que reduce el riesgo de que conocieran de antemano las decisiones de aceptación de los artículos.

Cada artículo reescrito se evaluó de forma independiente siguiendo pautas similares a las de una conferencia. Para determinar cuánto podían variar las puntuaciones entre evaluaciones repetidas, cada modelo revisó diez veces diez artículos seleccionados al azar.

Resultados

Las pruebas evaluaron si los seis revisores de IA seleccionados favorecerían sistemáticamente determinados estilos de escritura y compararon artículos redactados con un lenguaje «seguro» o «cauteloso», así como artículos que se asemejaban al inglés académico escrito por hablantes nativos o no nativos^†.

Resultados de la comparación de las puntuaciones de revisión de IA de 504 artículos científicos reescritos con distintos estilos. Los porcentajes de preferencia indican qué versión obtuvo una puntuación más alta, con los empates entre paréntesis; las proporciones muestran cuántas veces más se favoreció una versión; y los cambios de decisión indican con qué frecuencia una modificación de la redacción invirtió una decisión de aceptación o rechazo. Los valores estadísticos en negrita indican diferencias significativas. La sección pertinente es la inferior, ya que este artículo no aborda la hipótesis superior (véanse las notas al pie).

Los seis revisores de IA favorecieron sistemáticamente la escritura segura. La preferencia más marcada fue la de Claude Sonnet 4.6, que, como se mencionó anteriormente, otorgó puntuaciones más altas a los borradores «seguros» siete veces más a menudo que a los «cautelosos».

Se consideró aceptado un artículo si su puntuación alcanzaba 4,5 sobre 10. Sin embargo, los cambios en el estilo de escritura a veces situaban el mismo artículo por encima o por debajo de ese umbral e invertían la decisión; por lo general, estos cambios favorecieron la escritura segura.

Claude Sonnet 4.6 tuvo un desempeño particularmente deficiente: aceptó la versión «segura» y rechazó la «cautelosa» en el 21 % de los casos. Lo contrario ocurrió en apenas el 2,8 % de los casos.

El efecto también se observó en las revisiones escritas: era más probable que los revisores de IA elogiaran los métodos, las teorías y las contribuciones científicas de un artículo si sus afirmaciones se expresaban con seguridad. Como la investigación en sí no había cambiado, estas evaluaciones más favorables solo podían atribuirse a diferencias de presentación y tono.

Conclusión

Cada vez que los seres humanos usan la IA para aumentar —aunque sea inadvertidamente— la relación señal-ruido, se pone a prueba la IA como solución; en este caso, para hacer frente al gran aumento de envíos de artículos de investigación sobre inteligencia artificial, un repunte que ha aumentado últimamente el poder de selección y los parámetros de Arxiv. Sin embargo, a estas alturas debería estar claro que los LLM de vanguardia, y todos los niveles inferiores, siguen teniendo demasiadas peculiaridades como para confiarles la tarea de juzgar de manera general, salvo en las circunstancias más estrictamente parametrizadas.

En esos casos, probablemente sería mejor convertir los LLM de menor escala en herramientas especializadas de evaluación mediante el ajuste fino o los adaptadores LoRA. Sin embargo, eso exige al menos un poco más de esfuerzo, si no también una pequeña inversión adicional, mientras que las instalaciones locales «sin modificar» o las llamadas a API son más rápidas y relativamente baratas.

Aun así, este artículo, redactado de forma bastante concisa, podría interesar más de lo habitual a los usuarios finales de LLM, ya que estos ya conocerán el «entusiasmo» como un problema que deben sortear para trabajar eficazmente con la IA; y, si todavía no es posible solucionar este y otros problemas similares de los LLM, al menos se pueden tener en cuenta.

Antes de adoptar un tono demasiado desdeñoso ante esta clase de equivalencia simplista al evaluar la IA, conviene recordar que estos sistemas están tan perdidos como los demás cuando se trata de epistemología, es decir, de la búsqueda de una autoridad definitiva; históricamente, nosotros también somos muy propensos a confundir la señal con la cosa misma.

* Titulado «¿El estilo por encima del contenido? Sesgo lingüístico en la revisión por pares basada en LLM»

^† O bien parecerse al inglés académico escrito por hablantes nativos o no nativos: una hipótesis paralela que el artículo no pudo demostrar con la misma eficacia y que no se aborda en este artículo.

Publicado por primera vez el martes, 27 de octubre de 2026