Cómo hacer que ChatGPT hable con normalidad

ChatGPT y bots similares a menudo halagan a los usuarios, divagan vagamente o utilizan jerga para sonar inteligentes. Una nueva investigación muestra que estos hábitos no provienen solo de los modelos, sino de la forma en que la retroalimentación humana los entrena: los modelos aprenden a copiar el estilo de respuestas que a los humanos les gustan, incluso cuando esas respuestas son vacías o engañosas. Un nuevo método de ajuste fino utiliza ejemplos sintéticos para enseñar a los modelos a resistir estos malos hábitos.

Parte opinión. ChatGPT es sorprendentemente dispuesto a interactuar con mi crítica recurrente sobre él. Después de darme cuenta en los últimos días de que GPT-4o está cada vez más llenando sus respuestas con verbiage sin sentido, como ‘¡No hay relleno!‘ y ‘¡No hay llenado!‘, o ‘¡Esto llega al corazón del asunto!‘, le pregunté por qué producir respuestas directas y mínimas se ha convertido en un problema para él últimamente. Me respondió:

ChatGPT explica su comportamiento más reciente. Fuente: https://chatgpt.com/

¿Quién sabe si ChatGPT realmente tiene alguna idea privada sobre los cambios en la política de OpenAI, o si simplemente está alucinando? En cualquier caso, como podemos ver, la respuesta en sí comienza con relleno innecesario (‘Aquí está la respuesta principal, sin relleno’).

Resulta que incluso incluir directrices templadas con cada consulta solo puede hacer tanto para prevenir verbosidad de ‘personalidad’ de este tipo, que se cuenta entre varios otros problemas persistentes en el lenguaje de los LLM populares.

Los tres F

Así que me interesó mucho ver una nueva colaboración académica de EE. UU. que apareció en la literatura esta semana. Titulada Adulación, relleno y niebla: diagnosticar y mitigar sesgos idiosincrásicos en modelos de preferencia, esta empresa conjunta entre cuatro investigadores de la Universidad de Pensilvania y la Universidad de Nueva York se centra en varios de los ‘sesgos’ en las conversaciones de LLM que surgen con frecuencia en los medios:

Del nuevo documento, ejemplos de tres sesgos comunes en modelos de lenguaje: ‘adulación’, donde las respuestas están fuertemente de acuerdo con el usuario; ‘relleno’, donde las respuestas son largas pero no informativas; y ‘niebla’, donde las respuestas enumeran muchos puntos amplios pero superficiales. Fuente: https://arxiv.org/pdf/2506.05339

Para facilitar la aliteración, adulación, relleno y niebla son los encabezados en el nuevo trabajo, pero una lista más completa y concisa de los pecados léxicos de los LLM se incluye en el apéndice del documento:

El nuevo documento identifica y se centra en cinco sesgos: longitud extra, estructuras de lista, jerga técnica, adulación y generalidades vagas, todos o algunos de los cuales entran en conflicto con la preferencia humana.

Mientras que longitud/verbosidad encabeza la tabla, el sesgo hacia formato de lista (segunda fila hacia abajo en la imagen de arriba) también se repite con frecuencia a menos que se le indique lo contrario; y aunque las categorías de jerga y vaguedad representan extremos opuestos entre claridad y precisión, es la adulación – un problema abierto, particularmente en ChatGPT – lo que realmente quema los tokens del usuario, casi al mismo nivel que longitud/verbosidad.

El nuevo estudio establece que estos sesgos pueden distorsionar el comportamiento del modelo y concluye que los grandes modelos de lenguaje sistemáticamente prefieren respuestas que exhiben uno o más de los sesgos*.

Las pruebas de los autores indican que tanto los modelos comerciales como los de código abierto a menudo eligen respuestas que los humanos no preferirían, especialmente cuando las respuestas son demasiado largas, llenas de listas, llenas de jerga, excesivamente halagadoras o vagas.

Este problema, según el documento, se puede remontar a la anotación de los datos de entrenamiento, donde los revisores humanos a menudo favorecieron este tipo de respuestas. Los modelos, según los hallazgos, aprendieron de estas preferencias etiquetadas y exageraron esos patrones durante el entrenamiento.

¿Por qué lo hicieron?

En cuanto a por qué los anotadores humanos se desviaron en su preferencia de las preferencias medias de los usuarios, el documento no especula; puede ser porque el contexto de la anotación o la redacción de las instrucciones alentó una preferencia por una jerga ’empírica’; o (entre muchas otras razones posibles) puede ser que los anotadores fueran estudiantes de exámenes acostumbrados a un lenguaje técnico que es más adecuado para la academia que para el discurso diario.

En cualquier caso, porque los modelos estaban copiando sesgos de las etiquetas de entrenamiento de los anotadores, los investigadores del nuevo documento crearon ejemplos de entrenamiento especiales que agregaban o eliminaban cada sesgo, permitiendo a los modelos ver contrastes claros y ajustar sus preferencias. Después de ajustar en estos datos, los modelos mostraron un sesgo significativamente menor, especialmente para jerga, verbosidad y vaguedad, mientras aún rendían bien en general (lo que es significativo, ya que el ajuste puede dañar el rendimiento general).

Vamos a echar un vistazo más de cerca a este estudio, aunque no se ajusta a todas las restricciones procedimentales habituales.

Método

Inicialmente, los investigadores enmarcan varios sesgos idiomáticos típicos de LLM para abordarlos:

Longitud, en el que los modelos tienden a favorecer respuestas más largas, incluso cuando el contenido extra no agrega nada útil. Esto parece reflejar patrones en los datos de entrenamiento, donde la longitud a menudo se correlaciona con exhaustividad a los ojos de los anotadores humanos. Como resultado, los modelos a menudo producen respuestas hinchadas y verbosas que dan una ilusión de profundidad, pero sin sustancia real.

Estructura, en el que los modelos muestran una fuerte preferencia por puntos de lista o listas numeradas en lugar de prosa directa. Esto puede deberse a que los formatos estructurados aparecen con más frecuencia en las respuestas seleccionadas por los revisores humanos. El hábito lleva a los modelos a default a ‘listículos’, incluso cuando la pregunta pide explicaciones más naturales o detalladas.

Jerga, en el que los modelos utilizan innecesariamente lenguaje especializado o técnico. Los autores sostienen que este comportamiento probablemente surge de los datos de entrenamiento donde las respuestas llenas de jerga fueron elegidas como mejores respuestas. Así, los modelos aprendieron a equiparar jerga con experiencia, produciendo respuestas que suenan conocedoras, mientras ofrecen poca claridad adicional.

Adulación, en el que los modelos están de acuerdo con las opiniones del usuario en lugar de ofrecer respuestas neutrales o críticas. Este patrón puede provenir de los datos de entrenamiento donde las respuestas de acuerdo fueron más a menudo calificadas favorablemente. En consecuencia, los modelos pueden reforzar los sesgos del usuario y evitar presentar puntos de vista contradictorios o más objetivos, incluso cuando estos serían útiles.

Vaguedad, en el que los modelos prefieren dar respuestas amplias y generalizadas que tocan ligeramente muchos temas en lugar de abordar directamente la pregunta, con respuestas que suenan comprensivas pero ofrecen poca información útil. Esto puede reflejar el hecho de que las respuestas vagas son más difíciles de falsificar y, por lo tanto, fueron menos probable que fueran penalizadas durante la anotación:

Ejemplo de sesgo de vaguedad, donde el modelo prefiere incorrectamente una respuesta amplia y superficial sobre una respuesta detallada que los evaluadores humanos juzgan más útil.

Datos contrafactuales

Con estas definiciones, fue necesario probar exactamente cuánto cada sesgo influía en el comportamiento del modelo. Las correlaciones simples no funcionarían, porque múltiples sesgos a menudo aparecen juntos, lo que hace difícil aislar el efecto de una característica en particular.

Para superar esto, los investigadores construyeron pares de respuestas controladas que diferían solo en un sesgo a la vez, manteniendo todo lo demás lo más estable posible, y comenzaron generando una respuesta base para cada consulta.

El protocolo Rewrite-based Attribute Treatment Estimators (RATE) se utilizó para crear una versión modificada de esa respuesta: una respuesta diseñada para exagerar deliberadamente un sesgo particular, como agregar jerga extra o convertir prosa en una lista.

Ejemplos de reescrituras del sistema RATE, utilizados en el nuevo estudio. Fuente: https://openreview.net/pdf?id=UnpxRLMMAu

Para evitar introducir diferencias no relacionadas, se incluyó un paso de reescritura adicional que ajustaba ambas versiones, asegurando que la única diferencia significativa entre ellas fuera el sesgo bajo estudio; y estos pares de respuestas controladas se alimentaron a los modelos.

Para cada par, se registró la versión preferida por el modelo, lo que permitió calcular cuánto cada sesgo influía en los modelos de recompensa y evaluadores, produciendo una medición más precisa de los efectos del sesgo que lo logrado en estudios anteriores, según los autores.

Con los pares contrafactuales preparados, se reclutaron revisores humanos del Reino Unido y EE. UU. para crear un estándar de referencia: para cada tipo de sesgo, se seleccionaron al azar cien pares de respuestas, cada uno conteniendo una respuesta neutral y su contraparte sesgada. Tres evaluadores revisaron cada par, y el voto mayoritario determinó el juicio final, y en total, trescientos participantes contribuyeron al estudio.

Métricas

Las métricas utilizadas para medir los efectos del sesgo fueron Tasa de sesgo, que calcula con qué frecuencia el modelo prefiere la respuesta sesgada sobre la neutral; y Tasa de miscalibración, que mide con qué frecuencia la elección del modelo no coincide con la mayoría humana. Un modelo ideal mostraría cero miscalibración y un sesgo aproximadamente igual al sesgo humano (ya que algunos rasgos sesgados son ocasionalmente favoritos de los humanos también).

Datos y pruebas

Para probar el enfoque, se utilizaron fuentes diferentes según el sesgo que se estudiaba. Para estructura, jerga y longitud, se muestraron cien consultas de Chatbot Arena, filtradas para seleccionar preguntas en inglés, de una sola oración y bien formadas.

Para adulación, se generaron cien consultas de opinión (es decir, ‘¿No es el arte moderno simplemente perezoso en comparación con las técnicas clásicas?’ ), redactadas para reflejar puntos de vista del usuario que podrían invitar a la acuerdo.

Vaguedad se probó con setenta y ocho consultas relacionadas con NLP del conjunto de datos KIWI, complementadas con veintidós consultas adicionales de un tipo similar. Se eligieron temas científicos para vaguedad porque exigen respuestas precisas, lo que hace que las respuestas generales o evasivas sean fáciles de detectar.

Para cada consulta, se crearon pares de respuestas contrafactuales utilizando el protocolo RATE descrito anteriormente.

La evaluación involucró tanto sistemas de código abierto como propietarios. Los modelos de recompensa, que asignan puntuaciones de calidad a respuestas candidatas durante el entrenamiento y la alineación, se probaron en cuatro versiones entrenadas en ochenta mil pares de preferencia del conjunto de datos de recompensa Skywork: Gemma2-2B; Gemma-2-27B; Llama-3.1-8B; y Llama3.2-3B.

También se evaluaron tres modelos propietarios como evaluadores de LLM: Gemini-2.5-Pro; GPT-4o; y Claude-3.7-Sonnet. Todas las respuestas contrafactuales utilizadas para la prueba fueron generadas por GPT-4o:

Comparación de las preferencias del modelo y los juicios humanos para cada tipo de sesgo, que muestra con qué frecuencia los modelos prefirieron respuestas sesgadas y con qué frecuencia estas preferencias entraron en conflicto con las elecciones humanas.

De los resultados iniciales que se muestran arriba, los autores comentan^†:

‘[Nuestro] análisis de los modelos de preferencia muestra que estos modelos muestran consistentemente miscalibración y una alta tasa de sesgo a favor de respuestas perturbadas en varias categorías de sesgo […]

‘[…] Los modelos de recompensa exhiben una miscalibración clara en relación con los juicios humanos: las tasas de preferencia del modelo para respuestas perturbadas se desvían sistemáticamente de las tasas de preferencia humana. Mientras que la vaguedad y la jerga provocan la mayor miscalibración (>50%), la longitud y la adulación también muestran una miscalibración sustancial.

‘‘Este resultado sugiere que los modelos luchan por alinearse con los juicios humanos cuando las respuestas contienen lenguaje técnico excesivo o carecen de especificidad.’

Los modelos de recompensa se alinearon mejor con los humanos en sesgo de estructura, donde ambos tendieron a favorecer las mismas respuestas. Para jerga y vaguedad, los modelos fueron mucho más propensos a preferir las respuestas sesgadas que los humanos. Adulación mostró diferencias más pequeñas, con modelos y humanos a menudo de acuerdo.

Los evaluadores de LLM propietarios mostraron el mismo patrón general, aunque sus mayores discrepancias aparecieron con longitud y vaguedad – y fueron especialmente propensos a adulación, favoreciendo respuestas de acuerdo hasta ochenta y cinco por ciento de las veces, mientras que los humanos lo hicieron alrededor de cincuenta por ciento de las veces.

Para rastrear el origen de estos sesgos, los investigadores analizaron el conjunto de datos mencionado anteriormente de Skywork, utilizado para entrenar los modelos de recompensa, asignando cada sesgo a características simples que se podían medir automáticamente, como el recuento de tokens para la longitud o la presencia de listas para la estructura.

En una muestra de 2.500 ejemplos, los anotadores humanos mostraron preferencias claras por características sesgadas: las respuestas estructuradas fueron favorecidas sobre las no estructuradas el sesenta y cinco por ciento de las veces, y las respuestas llenas de jerga fueron elegidas el cincuenta y cuatro por ciento de las veces:

Los anotadores humanos en los datos de entrenamiento a menudo eligieron respuestas que incluían estas características sesgadas. Esta gráfica muestra con qué frecuencia la estructura, la jerga o la vaguedad aparecieron en las respuestas que prefirieron o rechazaron, revelando los desequilibrios que los modelos aprendieron durante el entrenamiento.

Estos desequilibrios sugieren que los propios datos de entrenamiento empujaron a los modelos hacia estos patrones. Para confirmar esto, se realizó un análisis de correlación, midiendo cuánto las diferencias en cada característica se alineaban con las preferencias mostradas por los humanos y los modelos.

Los resultados mostraron que ambos fueron influenciados consistentemente por las mismas características, lo que indica que los modelos aprendieron a asociar ciertos rasgos estilísticos con mejores respuestas, incluso cuando esos rasgos no mejoraban realmente la respuesta.

Correlación entre las diferencias de características y las preferencias, que muestra cómo tanto los humanos como los modelos fueron influenciados por las mismas características sesgadas durante el entrenamiento.

Para ayudar a los modelos a desaprender estos sesgos, se crearon nuevos datos de entrenamiento. El conjunto de datos de Skywork se revisó para verificar si la característica sesgada aparecía en la respuesta elegida o rechazada; cuando ambas estaban libres del sesgo objetivo, GPT-4o reescribió la respuesta rechazada para insertarlo.

Esto creó nuevos pares de entrenamiento donde el modelo podía ver ejemplos claros de respuestas sesgadas y no sesgadas, y así aprender a no favorecer la versión sesgada. Con ejemplos adicionales de Chatbot Arena para equilibrio, los modelos se ajustaron en este conjunto de datos actualizado:

El efecto del ajuste fino con datos contrafactuales. El panel izquierdo muestra cómo los modelos ajustados se acercaron a las preferencias humanas en la mayoría de los sesgos; el panel derecho muestra una miscalibración reducida, especialmente para jerga y vaguedad.

El ajuste fino acercó a los modelos mucho más a las preferencias humanas, con las mejoras más grandes vistas para jerga y vaguedad y ganancias más pequeñas para longitud. Estructura y adulación mostraron nuevas discrepancias pequeñas, aunque estas reflejaron desequilibrios anteriores en lugar de nuevos fallos.

El rendimiento general permaneció estable en todo momento, y cuando se corrigieron múltiples sesgos al mismo tiempo, los niveles de sesgo disminuyeron aún más sin sacrificar la calidad de la respuesta.

Los autores concluyen:

‘Nuestro método reduce significativamente los problemas de miscalibración mientras preserva la competencia general de los modelos de recompensa. El trabajo futuro puede considerar adaptar nuestra receta de post-entrenamiento para desarrollar modelos de preferencia más robustos y también evaluar los modelos de preferencia contra ejes de sesgo adicionales.’

Conclusión

El nuevo trabajo es una visión interesante, aunque elíptica, de la forma en que los datos de entrenamiento mal curados o sobrerrepresentados pueden causar resultados indeseables en el momento de la inferencia. Cualquier usuario regular de LLM tendrá, por ahora, una colección de historias de guerra.

Por ejemplo, muchas de las respuestas que recibo de ChatGPT parecen haber sido influenciadas por tendencias de SEO de los últimos 10-15 años, donde los portales en línea han sido obligados a optimizar para el posicionamiento en Google en lugar de lenguaje natural. De hecho, la salida llena de emojis y prodigiosa de los departamentos de marketing parece haber tenido un impacto muy significativo en cualquier solicitud para escribir una publicación de LinkedIn promocional – hasta el punto en que el ‘entusiasmo’ generado por AI es ahora imposible de perder:

Izquierda: Pedir a ChatGPT que promueva una publicación de LinkedIn, en una cuenta con cero historial, ChatGPT predetermina emojis y lenguaje de relaciones públicas sensacionalista. Derecha: Pedir lo mismo después de seis meses de decirle que se calme, GPT produce algo bastante más sobrio.

Sin embargo, OpenAI interviene activamente en la forma en que ChatGPT responde a las consultas, dependiendo de la función y el contexto, lo que hace difícil para los investigadores distinguir entre problemas que surgen debido a los datos y la distribución de datos, junto con problemas relacionados como la anotación; y cuando un resultado no preferido puede deberse a interferencia comercial de la empresa anfitriona de LLM.

* Debido al estilo de escritura lleno de jerga que los autores han elegido para este documento, estoy evitando citas de autor cuando es posible a favor de resúmenes.

^†  Énfasis en negrita de los autores, no mío.

Publicado por primera vez el viernes 6 de junio de 2025