Ángulo de Anderson
El progreso científico impulsado por la IA, amenazado por una extraña obsesión

Puntos claveLos revisores de IA más recientes se obsesionan con los apéndices, mientras que los…
Ver más
- Los revisores de IA más recientes se obsesionan con los apéndices, mientras que los revisores humanos se centran en los hallazgos principales de un artículo.
- Los modelos de lenguaje tratan cada pasaje como igualmente importante, por lo que pasan por alto qué secciones son realmente relevantes.
- El sesgo hacia los apéndices persiste en todos los métodos de acceso y produce comentarios superficiales que apenas ayudan a los autores a mejorar.
Un nuevo estudio estadounidense sugiere que los modelos de IA que revisan artículos científicos están desarrollando una extraña obsesión por los apéndices de los artículos, en lugar de centrarse en el cuerpo principal del texto, y que a menudo prestan más atención a detalles secundarios de apoyo que a los hallazgos principales. A medida que los modelos lingüísticos se utilizan cada vez más para ayudar a los revisores humanos o incluso reemplazarlos, esta tendencia recién identificada parece estar extendiéndose a la revisión por pares realizada por humanos, lo que podría obstaculizar el progreso de la investigación en IA:

Del nuevo artículo: el aumento de las críticas relacionadas con los apéndices en las revisiones científicas por pares realizadas por humanos. Tras mantenerse por debajo del 11% durante años, la proporción llegó al 27,6% en las revisiones más recientes, después de la publicación de modelos de IA cuyas críticas se basaban en más de la mitad de los casos en los apéndices. Las líneas discontinuas indican las principales publicaciones de modelos. Fuente
En una prueba con 2000 artículos científicos procedentes de cuatro conferencias populares, los investigadores del nuevo estudio descubrieron que los modelos más recientes basan alrededor del 50-70% de sus críticas en los apéndices, frente a menos del 30% en el caso del GPT-5, más antiguo.
Dos de los modelos de IA más recientes que, al parecer, están llevando incluso a los revisores humanos a centrarse en los apéndices y dejar de lado los resultados principales, más importantes, son GPT-6.1-Sol y GPT-6-Astra, de OpenAI, ambos publicados en 2026.
El artículo afirma*:
«La diferencia entre las generaciones es considerable. En GPT-5, solo una pequeña proporción de las debilidades está relacionada con el apéndice. Los dos modelos más recientes, GPT-6.1-Sol y GPT-6-Astra, se apoyan mucho más en él, y esto ocurre en todas las conferencias.
«Esto sugiere que el sesgo a favor del apéndice es principalmente una característica de los modelos más recientes. Aunque los nuevos modelos representan una mejora, su sesgo hacia el apéndice ha aumentado. La capacidad de leer un artículo en detalle no les ha enseñado qué partes son las más importantes».
El estudio también descubrió que esta fijación por los apéndices varía según los métodos que se utilizan para proporcionar el artículo a la IA, ya que las interfaces de API, Codex y web no analizan los PDF de la misma manera; además, Codex no lee en absoluto la parte central de un PDF de longitud promedio y, si es necesario, la revisa después solo en «fragmentos». Sin embargo, se descubrió que todos los métodos favorecían el material de los apéndices.
Hasta hace poco, las revisiones humanas y las de IA no compartían esta obsesión:
«[Human] Los revisores tratan el cuerpo principal y el material complementario de manera muy distinta a los modelos lingüísticos grandes. Estos atribuyen más del 50% de sus debilidades a material relacionado con los apéndices, mientras que los humanos les atribuyen menos del 10%.
«La diferencia también se observa en cada revisión individual. De los 200 artículos muestreados cada año entre 2021 y 2024, solo 159 en total recibieron una revisión humana que señalara alguna debilidad relacionada con los apéndices. En cambio, las 200 revisiones generadas por modelos lingüísticos grandes para ICLR 2027 incluyeron al menos una crítica sobre los apéndices».

Comparación de las críticas relacionadas con los apéndices en las revisiones por pares realizadas por humanos y las generadas por IA. Los revisores humanos atribuyeron apenas el 8,4% de las debilidades identificadas al material de los apéndices, frente al 62% en el caso de los modelos de IA. La segunda columna muestra las críticas sobre los apéndices por sí solos, sin que haya un problema correspondiente en el artículo principal.
Como muestra la tabla de la prueba anterior, los revisores de IA tenían más de siete veces más probabilidades que los humanos de identificar debilidades en los apéndices y más de tres veces más probabilidades de plantear críticas referidas únicamente al material complementario. Esto indica que algunos de los modelos de IA de frontera más recientes están dando prioridad a detalles que los revisores humanos considerarían tradicionalmente secundarios frente a la principal contribución científica de un artículo.
¿Por qué?
Hasta donde se puede determinar —este es el primer estudio que identifica el fenómeno—, parte del problema es que las IA no reconocen, o no han aprendido de su abundante material de entrenamiento, que el apéndice de un artículo no suele ser el lugar donde se encuentra su contenido esencial; su tendencia general a tratar todo el texto como si tuviera la misma importancia hace que pasen por alto el contexto del material de los apéndices, que a menudo no está seleccionado ni revisado y se presenta de forma mucho menos cuidada que el cuerpo principal:
«Los modelos lingüísticos grandes casi nunca critican las primeras páginas, donde un artículo plantea el problema y argumenta por qué es importante. Los humanos suelen cuestionar precisamente ese planteamiento, mientras que los modelos lingüísticos grandes parecen aceptarlo y pasar directamente a los números».
‘[Humans and LLMs] leyeron el apéndice de manera muy distinta. Las críticas humanas disminuyen rápidamente a medida que avanza el apéndice y casi desaparecen en sus últimas páginas. Las debilidades de los LLM no disminuyen en absoluto. De hecho, alcanzan su punto máximo bastante avanzado el apéndice, no al principio, y persisten incluso después de la página 30, donde los revisores humanos apenas plantean inquietudes.
‘Para un LLM, un detalle de la página 25 es un blanco tan válido como la tabla principal de resultados.’
Los autores señalan que el enfoque igualitario de los LLM respecto del texto puede haberlos llevado de forma natural a centrarse más en el material de los apéndices, porque, como se indicó anteriormente, ese material suele contener más errores.
Por lo tanto, la conclusión general que extraigo de este nuevo estudio es que, con el tiempo, los LLM han centrado su atención en una sección de los artículos científicos nuevos donde suelen producirse muchos errores o confusiones, simplemente porque los autores humanos suelen tratar esa parte como un cajón de sastre desordenado para incluir pruebas y evidencias secundarias.
Por este motivo, la IA encuentra cada vez más interesantes los apéndices que el cuerpo principal, cuidadosamente editado, porque allí tiene más material que analizar y corregir; por consiguiente, señala el artículo, los LLM tienden a tratar la parte inicial del trabajo como una exposición de hechos y a aceptarla tal cual:
‘Los humanos esperan que el cuerpo principal se sostenga por sí solo, por lo que objetan cuando se trasladan secciones esenciales al apéndice. Los LLM casi nunca plantean esta preocupación.
‘Esto pone de relieve una diferencia fundamental: los humanos reconocen que el cuerpo principal tiene más peso que el apéndice, mientras que los LLM no. ‘
Consecuencias y soluciones
Este inesperado interés por los detalles menores podría tener graves repercusiones para la investigación científica asistida por IA, sobre todo si se pasan por alto los hallazgos principales de un artículo. Como esta tendencia parece haber surgido únicamente con los modelos más recientes, todavía se desconocen sus efectos a largo plazo.
El artículo reconoce que los revisores de IA pueden detectar errores valiosos, incluso cuando están ocultos en lo más profundo de un apéndice. Sin embargo, advierte que se puede prestar demasiada atención a los detalles menores a costa de los hallazgos principales de un artículo, lo que da lugar a revisiones extensas de escaso valor práctico:
‘Los revisores basados en LLM elevan el nivel, ya que no dejan ninguna parte del artículo sin examinar. Sin embargo, una revisión eficaz también requiere criterio para determinar qué es lo más importante. Cuando la mayoría de las debilidades de una revisión provienen de contenido del apéndice que no guarda relación con la contribución principal, la retroalimentación se queda en la superficie. No aborda el núcleo del artículo y sirve de poco para ayudar a los autores a mejorarlo. ‘
Los autores del nuevo trabajo, titulado Las revisiones de IA están sesgadas hacia el apéndice, decidieron explorar esta línea de investigación tras observar ciertos patrones inusuales en la forma en que las revisiones asistidas o generadas por LLM evaluaban sus propios trabajos enviados. El código del estudio está disponible en GitHub.
Método y pruebas
Para las pruebas, se seleccionaron cuatro modelos de IA destacados de OpenAI y Anthropic: GPT-6-Astra; GPT-6.1-Sol; Claude-Opus-5.5; y Claude-Sonnet-5.5. Se accedió a los modelos mediante Codex y Claude Code, y se comparó su comportamiento al revisar artículos con el acceso a través de API y de la interfaz web.
Se recopilaron artículos de investigación de cuatro importantes conferencias de inteligencia artificial y procesamiento del lenguaje natural: ACL 2026; EMNLP 2026; COLM 2026; y ICLR 2027. Se eligieron porque comparten formatos similares de envío y revisión, con límites estrictos de páginas para el artículo principal, pero, por lo general, sin restricciones para los apéndices, que se incluyen después de las referencias.
Se examinaron un total de 2.000 artículos: 1.200 de ICLR 2021–2026 y 800 de cuatro conferencias recientes (se seleccionaron 200 de cada una). Los 800 artículos recientes incluían apéndices de al menos 15 páginas. Los envíos a ICLR 2027 ya eran anónimos, mientras que en los artículos de ACL, EMNLP y COLM se eliminaron los nombres, las afiliaciones, las direcciones de correo electrónico y los enlaces que permitían identificar a los autores, para evitar que los revisores de IA descubrieran quién los había escrito.
Se desactivó el acceso a Internet para los modelos, de modo que las revisiones se basaran exclusivamente en los PDF proporcionados.
En primer lugar, se pidió a la IA que redactara una revisión al estilo de la conferencia correspondiente, que incluyera los puntos fuertes y débiles del artículo, así como una puntuación general. Las instrucciones se mantuvieron deliberadamente sencillas para reflejar cómo podría utilizar la IA un revisor real. A continuación, se entregaron el artículo y la revisión terminada al mismo modelo de IA, al que se pidió que identificara a qué sección del artículo se refería cada crítica. Esto se determinó examinando cada crítica junto con el artículo original:

El proceso de revisión en tres etapas utilizado en el estudio. Se seleccionaron artículos con apéndices de al menos 15 páginas de cuatro congresos y se anonimizaron antes de que los revisaran modelos de IA. Después, cada revisión se examinó junto con el artículo original y se asignó cada crítica a la sección correspondiente.
Al separar estas tareas, fue posible examinar qué partes de los artículos habían recibido críticas sin que las revisiones originales se vieran influidas por instrucciones adicionales.
Entre los resultados que aún no hemos comentado está la prueba de los autores para determinar dónde se originan los puntos débiles de las revisiones generadas por LLM:

Comparación de los lugares donde las revisiones generadas por IA identificaron puntos débiles en cuatro congresos. El verde representa las críticas al artículo principal; el rojo, las relacionadas con los apéndices; y las zonas rayadas indican las referidas exclusivamente al apéndice. En casi todas las pruebas, más de la mitad de las críticas se atribuyeron al material de los apéndices, y GPT-6-Astra mostró el sesgo más pronunciado.
Como se muestra arriba, aproximadamente la mitad o más de las críticas formuladas por los cuatro modelos de IA se basaron en material de los apéndices, un patrón observado en los cuatro congresos. Algunas críticas se dirigieron exclusivamente al apéndice, sin guardar relación alguna con el artículo principal; estas representaron el 17.33% de los puntos débiles identificados por los modelos GPT, frente al 10.16% en el caso de Claude.
Según el artículo, los resultados indican que se prestó una atención desproporcionada al material de los apéndices y que, en ocasiones, se trataron detalles relativamente menores como motivos para criticar el artículo en su conjunto.
Se compararon distintos métodos para determinar si el sesgo hacia los apéndices dependía de cómo se accedía a la IA. Se revisaron cien envíos a ICLR 2027 con GPT-6-Astra mediante Codex, la interfaz web de ChatGPT y una API a la que se proporcionó el PDF original o el texto extraído.
Con Codex, se extrajo el texto y se examinó mediante comandos; a través de la API, se proporcionó directamente el PDF completo o el texto extraído; en cambio, los documentos cargados se procesaron mediante el sistema propio (opaco) de la interfaz web:

Comparación de las críticas relacionadas con los apéndices entre distintos modelos de IA y métodos de acceso. A la izquierda, se observa que GPT-5 cita material de los apéndices con mucha menos frecuencia que los modelos GPT más recientes en los cuatro congresos. A la derecha, se aprecia que el sesgo persiste con las cuatro formas de acceder a GPT-6-Astra: las críticas relacionadas con los apéndices representan entre el 62.2% y el 73.7% del total. Las zonas rayadas indican las críticas dirigidas exclusivamente a los apéndices.
Como se muestra arriba, las críticas relacionadas con los apéndices citaron ese material en entre el 62.2% y el 73.7% de los casos en los cuatro métodos; la proporción más alta se registró cuando se proporcionó directamente el texto extraído a través de la API. Por tanto, se observó que el sesgo persistía independientemente de cómo se accediera al modelo.
La mayor parte de las demás pruebas ya se había presentado anteriormente en el artículo; para más información, remitimos al lector al material de origen.
Artimañas en los envíos
Así como el tema es personal para los autores del nuevo trabajo, también lo es para mí, ya que leo muchos artículos científicos y he aprendido por las malas las reglas ocultas y las formas de eludirlas que determinan cómo se redactan y presentan los artículos.
En general, la IA no tiene la culpa de prestar atención a los apéndices, aunque lo haga por motivos equivocados, pues los autores suelen esconder allí los puntos problemáticos del artículo: factores o resultados que pueden prácticamente invalidar las afirmaciones del cuerpo principal o, de lo contrario, limitar considerablemente su alcance.
Tampoco se puede culpar necesariamente a los autores por trasladar material importante al apéndice, ya que las plantillas de publicaciones populares, como las que figuran entre las fuentes de datos del nuevo estudio, establecen límites máximos de páginas o palabras para el cuerpo principal del artículo.
Al presentar resultados complejos de estudios, muchos autores consideran claramente que esto supone una restricción severa; en lo que yo consideraría «los peores casos»†, el cuerpo principal del artículo se convierte simplemente en un índice del material que se ha trasladado al final para eludir las directrices (aunque estas están empezando a ponerse al día y a prohibir este «truco»).
La tensión creciente en este escenario se da entre la necesidad de las instituciones de que los autores disciplinen y contengan sus presentaciones —algo cada vez más importante a medida que aumenta el volumen de artículos presentados— y la evidente frustración de los investigadores, que desean presentar los frutos de su arduo trabajo en un contexto tan completo y exhaustivo como, a su juicio, merece el esfuerzo.
* Énfasis de los autores, no mío.
†Porque, al decidir qué artículos cubrir, incluso a la IA puede resultarle difícil detectar esta relegación de contenido a los apéndices; pero esto puede complicarle considerablemente la tarea al revisor si había reservado tiempo para evaluar diez páginas y ahora descubre que debe considerar 30 páginas de material en el mismo tiempo asignado.
Publicado por primera vez el lunes 16 de noviembre de 2026












