Por qué el texto generado por IA es más difícil de entender de lo que crees

Los modelos de IA podrían estar volviéndose más difíciles de entender porque, cada vez más, su entrenamiento premia la resolución eficiente de problemas en lugar de explicar las cosas con claridad a las personas.

La frase anterior, sin editar, la escribió ChatGPT en respuesta a una solicitud de resumen de un artículo científico en una sola oración y con una explicación sencilla; además, presenta al menos algunos de los rasgos que distorsionan el lenguaje y que se describen en ese nuevo estudio*. El nuevo trabajo concluye que este problema afecta a todos los modelos de frontera, así como a los modelos cercanos a la frontera y a algunos modelos de pesos abiertos que también se pusieron a prueba.

Por ejemplo, la primera parte del fragmento «su entrenamiento premia cada vez más la resolución eficiente de problemas» ilustra la postura del artículo según la cual, en ocasiones, los modelos de IA atribuyen acciones humanas a cosas inanimadas (pues en el ejemplo anterior se describe el «entrenamiento» como algo que premia activamente algo).

Esto puede dificultar la interpretación rápida de la frase, ya que tenemos que reconocer internamente que se trata de una atribución ilustrativa, en vez de tomarla al pie de la letra, lo cual es mucho más sencillo.

La parte final «premia cada vez más la resolución eficiente de problemas» también comprime varias ideas, lo que obliga a los lectores a averiguar qué se está premiando, qué se está resolviendo y qué se está volviendo más eficiente.

El artículo afirma^†:

«[Readers] usa la animacidad como pista durante el procesamiento, y, sin contexto adicional, una discordancia puede provocar una respuesta P600^†† asociada con la reinterpretación.

«Sin embargo, reformular estas oraciones para evitar sujetos inanimados podría alargarlas: por ejemplo, la palabra “muerde” sustituye a “causa un problema”.

«Suponemos que, durante el entrenamiento, los modelos podrían haber convergido en el uso de estas construcciones como formas eficientes, aunque no convencionales, de expresar significados que, de otro modo, requerirían más tokens».

¿Qué?

Esta es la idea central del artículo: como los modelos modernos de IA, como ChatGPT, Claude y Gemini, se optimizan para resolver distintos tipos de problemas, y no específicamente para comunicarse, tienden a presentar el lenguaje en forma de mensajes muy condensados que requieren cierta interpretación.

Esto me sorprendió, porque constantemente intento convencer a ChatGPT y a sus equivalentes de que sean menos verbosos y más concisos; se trata de un problema que la bibliografía reconoce y aborda.

En cambio, el artículo presenta la verbosidad como una especie de bomba ZIP que impide comprender fácilmente incluso una oración que no es muy larga. Por tanto, si combinamos los dos problemas —la extensión excesiva de las respuestas predeterminadas y la observación del artículo sobre la compresión excesiva—, podemos imaginar que el estilo de respuesta predeterminado característico de la IA de frontera es bastante particular (y, presumiblemente, este estilo más bien conciso se usa en parte como criterio en los detectores de texto generado por IA, aunque el artículo no aborda esta cuestión).

Los autores también examinan los compuestos nominales en serie, como el problemático titular Escuadrón ayuda a perro a morder^†:

«En inglés, los sustantivos modifican libremente a otros sustantivos con función adjetival: en la expresión tienda de café, café modifica tienda, aunque suele aparecer como sustantivo. Esta característica permite combinar varios sustantivos en palabras compuestas complejas que expresan significados muy específicos.

Sin embargo, estas combinaciones pueden generar ambigüedad en la estructura, como ocurre en el titular Escuadrón ayuda a víctima de mordedura de perro, y dificultar la lectura.

Así que, si los modelos de lenguaje grandes son verbosos por la compresión, ¿son doblemente verbosos al generar grandes volúmenes de texto comprimido en respuesta a una consulta? Eso significa que no solo hay mucho texto que leer para responder a la consulta, sino que el propio texto puede contener muchos significados «implícitos» que hay que descifrar.

Un artículo de 2023 planteó que los modelos de lenguaje grandes pueden volverse innecesariamente verbosos porque durante su entrenamiento se usan jueces de IA, que a menudo premian las respuestas más largas, incluso cuando, en las pruebas del estudio, las personas preferían las más breves.

Los autores del nuevo trabajo atribuyen (véase la cita anterior) algunas de las tendencias a la compresión de los modelos de frontera a una predisposición arquitectónica a ahorrar tokens, una idea generosa en estos tiempos.

Veamos los métodos, los datos y las pruebas que realizaron los autores para el estudio.

Datos y métodos

Se analizó la imprevisibilidad de las combinaciones inusuales de palabras (medidas mediante n-gramas, es decir, secuencias de palabras), ya que las combinaciones poco frecuentes se asocian con una mayor dificultad de lectura.

La longitud de las dependencias (la distancia entre palabras conectadas gramaticalmente) también se midió, ya que las distancias mayores exigen más recursos de la memoria de trabajo, sobre todo cuando varias palabras separan el sujeto del verbo.

Se examinaron las oraciones de relativo de objeto (construcciones como «la casa que construyeron los contratistas»), en particular cuando se omitían palabras opcionales, como «que» en «la casa que construyeron los contratistas».

También se investigaron los compuestos nominales encadenados mencionados anteriormente (tres o más sustantivos unidos, como en «generador de bandas sonoras de películas de terror»), porque las relaciones entre las palabras que los componen pueden resultar ambiguas.

Se analizaron los verbos denominales (sustantivos usados como verbos, como «tenedorearlo» en lugar de «ponerlo en el tenedor»), junto con sujetos inanimados combinados con verbos que suelen asociarse a seres vivos (como se explicó antes). Ambas construcciones permiten condensar el significado en menos palabras, pero pueden exigir una interpretación adicional por parte de los lectores.

Los contendientes

Los investigadores recopilaron conversaciones generadas por IA de 14 modelos: Kimi K2.5; GLM 5; Claude Sonnet 5, Opus 5, Opus 5.5 y Fable 5; GPT-5.6 Luna, Terra y Sol; Olmo Base, Instruct y Think; y Llama Base and Instruct.

Las pruebas constaban de diez indicaciones iniciales para conversaciones generales y cinco para programación. En cada tarea, el modelo debía clonar un repositorio público real de GitHub, encontrar errores y corregirlos en un entorno aislado.

Las conversaciones se limitaron a 12 intercambios, mientras que las sesiones de programación se limitaron a 11 y concluyeron con un mensaje de cierre predeterminado. En una prueba aparte, se pidió a cada modelo que escribiera siete ensayos basados en tareas del conjunto de datos PERSUADE 2.0.

Para la comparación, se seleccionaron textos escritos por personas de fuentes lo más similares posible a los tres tipos de contenido generado por IA: se utilizaron OpenSubtitles (una colección de subtítulos de películas y programas de televisión, ajena a la plataforma de subtítulos de código abierto) para las conversaciones generales; StackExchange (la red en línea de foros de preguntas y respuestas) para los debates sobre programación; y ensayos de estudiantes del conjunto de datos PERSUADE 2.0 mencionado anteriormente para las tareas de escritura. También se utilizó Wikipedia como fuente adicional de comparación.

Cuando había datos adecuados de textos escritos por personas, se midieron las mismas características lingüísticas en textos humanos y generados por IA; además, estas colecciones de referencia se utilizaron para evaluar la frecuencia de las combinaciones de palabras.

Se utilizó la traducción de ida y vuelta (del inglés al japonés y nuevamente al inglés, con el modelo NLLB-200) para distinguir las preferencias estilísticas de las necesidades lingüísticas. El significado se conservó en gran medida, aunque cambió la estructura de las oraciones, lo que permitió identificar formulaciones innecesariamente complejas.

Resultados

Experimento 1

Como se muestra a continuación, varias construcciones difíciles aparecían con mayor frecuencia en los textos originales generados por IA, sobre todo en los modelos de vanguardia. Esto se interpretó como evidencia de una preferencia por expresiones innecesariamente complejas:

Comparación del texto original generado por IA con versiones traducidas al japonés y de vuelta al inglés. Los puntos verdes muestran patrones lingüísticos más frecuentes en los originales; los puntos rosas, patrones más frecuentes después de la traducción. Por lo general, las diferencias eran mayores en los modelos GPT y Claude. Fuente

Se compararon seis características lingüísticas en 14 modelos de IA y en tres contextos (conversación, programación y redacción de ensayos). Se probaron doce modelos en conversación, nueve en programación y los 14 en redacción de ensayos:

Comparación de seis características lingüísticas en modelos de IA para conversación, programación y redacción de ensayos. Cada rombo representa el resultado agregado de un modelo; las barras horizontales muestran intervalos de confianza del 95 %. Las líneas verticales discontinuas indican los valores de referencia de textos escritos por personas: OpenSubtitles (conversación), StackExchange (programación) y los ensayos de estudiantes de PERSUADE 2.0 (redacción de ensayos). Las líneas de puntos indican las comparaciones con Wikipedia. Los valores más altos suelen indicar un uso más frecuente de la construcción medida o una mayor complejidad lingüística. Consulte el artículo original para ver una versión con mayor resolución.

También se comparó el texto original generado por IA con sus versiones retraducidas, lo que permitió medir las diferencias en la estructura de las oraciones:

Comparación del texto original generado por IA (rombos sólidos) con versiones traducidas al japonés y de nuevo al inglés mediante NLLB-200 (círculos huecos). Las líneas rosas indican características más frecuentes después de la traducción; las verdes, características más frecuentes en los originales. Los asteriscos indican significación estadística (uno, dos o tres asteriscos representan evidencias estadísticas progresivamente más sólidas). La traducción redujo la mayoría de las construcciones asociadas con la dificultad de lectura, en particular en los modelos de vanguardia. Consulte el artículo original para ver la imagen con mayor resolución.

Se observó que los modelos de vanguardia y cercanos a la vanguardia abusaban de combinaciones inusuales de palabras, verbos derivados de sustantivos, sujetos inanimados y oraciones de relativo con función de objeto en las que se omitían palabras opcionales (véase el gráfico anterior). Estas tendencias eran, en general, menos marcadas en Llama y Olmo Base, pero más pronunciadas en Olmo Think.

Las diferencias observadas en la redacción de ensayos fueron menores que en el chat o la programación. Esto se atribuyó a que los ensayos se basan en una sola instrucción, mientras que las conversaciones prolongadas de ida y vuelta podrían fomentar una mayor compresión lingüística.

Los autores señalan:

«Los ensayos de PERSUADE muestran cambios menores tras la traducción de ida y vuelta en varias categorías (medidas de n-gramas, longitudes de dependencias, sustantivos apilados y verbos derivados de sustantivos) que el chat y [coding].

«Suponemos que esto se debe a que implican una sola instrucción, a diferencia de los numerosos turnos iterativos del chat y la programación. Especulamos que ciertos patrones pueden surgir en conversaciones prolongadas de ida y vuelta (que pueden exigir una mayor compresión de la información)».

Los menores cambios tras la traducción se observaron en Llama y Olmo Base e Instruct, que también fueron los que más se acercaron a los ensayos de estudiantes en sus combinaciones de palabras y uso de verbos. En cambio, se observó que Olmo Think se comportaba más como los modelos de vanguardia. Se observó que Claude Opus 5.5 empleaba menos construcciones difíciles que Opus 5 en 19 de 21 comparaciones, y que en ocho de ellas los intervalos de confianza del 95 % no se superponían.

Experimento 2

El segundo experimento se diseñó para comprobar si una presión subyacente para producir respuestas más breves y con mayor densidad informativa podía hacer que los modelos prefirieran construcciones lingüísticas más difíciles de entender para las personas.

En este caso, se sometió a Qwen2.5-1.5B-Instruct a un ajuste fino mediante la Optimización de políticas relativas al grupo (GRPO), y se encargó al modelo convertir descripciones estructuradas de eventos, en formato JSON, en oraciones en inglés.

Se ajustaron dos aspectos del entrenamiento: cuánto se permitía al modelo cambiar su elección habitual de palabras (β) y con qué intensidad se le penalizaba por generar respuestas más largas (λ). Cada evento podía expresarse de dos maneras gramaticalmente válidas, cuya cantidad de tokens era distinta y conocida.

Por ejemplo, «Nos envió una foto» requería seis tokens, frente a los siete de «Nos envió una foto a nosotros». También se realizó una prueba aparte en la que dos maneras de decir lo mismo requerían la misma cantidad de tokens, para comprobar si las diferencias se debían a la longitud de las oraciones.

El efecto se evaluó con oraciones no vistas anteriormente, usando cuatro construcciones encontradas durante el entrenamiento; dos construcciones no entrenadas que incluían la palabra opcional «that»; y construcciones no relacionadas que incluían posesivos, cuantificadores, pasivas y oraciones finales.

Las pruebas se diseñaron para determinar si se aprendería la preferencia por una formulación más breve y si esta se trasladaría a construcciones nunca encontradas durante el entrenamiento:

El efecto de penalizar las respuestas más largas durante el entrenamiento. En A se muestra un ejemplo de formulaciones más cortas y más largas. En B se miden las preferencias por construcciones más breves, y en C y D se muestran pruebas con construcciones que no se habían usado durante el entrenamiento. El naranja indica el entrenamiento sin restricciones a los cambios respecto del modelo original; el azul, el entrenamiento con esa restricción. Las líneas discontinuas muestran las preferencias del modelo original. En general, las penalizaciones más fuertes aumentaron la preferencia por formulaciones más breves, incluso en construcciones ausentes del entrenamiento. Consulte el artículo original para ver una versión con mayor resolución.

A medida que aumentaba la penalización por las respuestas más largas, se elegían con mayor frecuencia formulaciones más breves (como se ilustra justo arriba). Sin la penalización KL (una restricción sobre cuánto podía alejarse el modelo de sus predicciones originales de palabras), el cambio fue rápido; con ella, se observó el mismo efecto, pero de forma más gradual. Sin ninguna de las dos penalizaciones, las preferencias variaban mucho entre las distintas ejecuciones del entrenamiento, pero incluso una penalización de longitud pequeña produjo una preferencia constante por las alternativas más breves.

Esta preferencia también se observó en construcciones oracionales nunca vistas que incluían la palabra opcional «that». La transferencia a construcciones gramaticales más alejadas fue mucho más débil: solo se detectó un efecto en los posesivos cuando no se aplicaba la penalización KL.

Los autores concluyen:

«Consideramos estos resultados una prueba de concepto de que una penalización por longitud aplicada durante el aprendizaje por refuerzo con GRPO puede afectar directamente a los rasgos gramaticales.

Señalamos que no se indicó directamente al modelo que utilizara un lenguaje comprimido o denso, ni se le proporcionó información sobre la disponibilidad de alternancias sintácticas.

Más bien, la penalización dio lugar a una preferencia emergente por las variantes más breves de las alternancias sintácticas».

Conclusión

Desde hace tiempo me interesan los marcadores —tanto involuntarios como intencionales— que caracterizan los textos generados por IA. Por eso, este nuevo estudio arroja luz sobre el aparente conflicto entre la conocida verbosidad de los LLM y su tendencia, igualmente conocida hoy en día, a comprimir la información de maneras que parecen «fáciles de leer», simplemente porque se usan pocas palabras; pero, sin duda, esa es una interpretación equivocada de esa señal.

En los LLM, la brevedad de los textos generados puede indicar complejidad, en lugar de una síntesis esencial, como si la IA nos planteara un acertijo en vez de ofrecernos los conceptos directos que hay detrás de las palabras. Todo, al parecer, para que un solo modelo pueda programar y escribir.

* Con el título «¿Por qué es tan difícil entender el lenguaje generado por IA?», el estudio es obra de dos autores de New York University y The University of Texas.

^† Mi conversión de las citas insertadas de los autores en hipervínculos.

^†† https://mikeydoes.com/glossary/p600/

Publicado por primera vez el lunes 26 de octubre de 2026