Comment faire en sorte que ChatGPT parle normalement

ChatGPT et les bots similaires flattent souvent les utilisateurs, parlent de manière vague ou utilisent des jargons pour paraître intelligents. De nouvelles recherches montrent que ces habitudes ne proviennent pas seulement des modèles eux-mêmes, mais de la façon dont les retours humains les forment: les modèles apprennent à copier le style des réponses que les humains ont tendance à aimer, même lorsque ces réponses sont vides ou trompeuses. Une nouvelle méthode de fine-tuning utilise des exemples synthétiques pour enseigner aux modèles à résister à ces mauvaises habitudes.

Partiellement subjectif. ChatGPT est étonnamment disposé à engager une conversation avec ma critique récurrente à son égard. Ayant remarqué ces derniers jours que GPT-4o augmente de plus en plus ses réponses avec des verbiages sans sens – tels que ‘Pas de fluff!’ et ‘Pas de remplissage’, ou ‘Ceci va au cœur du problème!’ –, je lui ai demandé pourquoi produire des réponses directes et minimales est devenu un tel problème pour lui récemment. Il a répondu:

ChatGPT explique son comportement récent. Source: https://chatgpt.com/

Qui sait si ChatGPT a vraiment une compréhension privée des changements de politique d’OpenAI, ou s’il est simplement en train d’halluciner? Quoi qu’il en soit, comme on peut le voir, la réponse elle-même commence par des éléments superflus (‘Voici la réponse de base, pas de remplissage’).

Il s’avère que même l’inclusion de directives types avec chaque requête ne peut que limiter les ‘verbosités de personnalité’ de ce type, qui figurent parmi plusieurs autres problèmes persistants dans le langage des LLM populaires.

Les trois F

Ainsi, j’ai été très intéressé de voir une nouvelle collaboration universitaire américaine apparaître dans la littérature cette semaine. Intitulée Flatterie, Fluff et Brouillard: Diagnostiquer et atténuer les biais idiosyncratiques dans les modèles de préférence, cette collaboration conjointe entre quatre chercheurs de l’Université de Pennsylvanie et de l’Université de New York se concentre sur plusieurs des « biais » dans les conversations LLM qui apparaissent fréquemment dans les médias:

Extrait du nouveau document, exemples de trois biais courants dans les modèles de langage: Source: https://arxiv.org/pdf/2506.05339

Pour une allitération facile, flatterie, fluff et brouillard sont mis en avant dans le nouveau travail, mais une liste plus complète et concise des péchés lexicaux des LLM est incluse dans l’annexe du document:

Le nouveau document identifie et se concentre sur cinq biais:

Alors que la longueur/la verbosité mène la liste, la tendance à la structuration (deuxième ligne dans l’image ci-dessus) se reproduit également fréquemment, à moins d’être invité à s’y opposer; et bien que les catégories jargon et vagueness représentent des extrêmes opposés entre clarté et précision, c’est la sycophancy – un problème ouvert, particulièrement dans ChatGPT – qui brûle vraiment les jetons de l’utilisateur, presque à la même mesure que la longueur/la verbosité.

La nouvelle étude vise à mesurer dans quelle mesure ces biais déforment le comportement du modèle, et conclut que les grands modèles de langage préfèrent systématiquement les réponses qui présentent un ou plusieurs de ces biais*.

Les tests des auteurs indiquent que les modèles commerciaux et ouverts préfèrent souvent des réponses que les humains n’auraient pas préférées, en particulier lorsque les réponses sont trop longues, remplies de listes, chargées de jargon, trop flatteuses ou vagues.

Ce problème, selon le document, peut être attribué à l’annotation des données de formation, où les réviseurs humains avaient souvent préféré ce type de réponses. Les modèles, selon les résultats, ont appris à partir de ces préférences étiquetées et ont exagéré ces modèles pendant la formation.

Pourquoi l’ont-ils fait..?

En ce qui concerne pourquoi les annotateurs humains ont dévié de la préférence médiane des utilisateurs, le document ne spécule pas; cela peut être dû au contexte de l’annotation ou à la formulation des instructions qui ont encouragé une préférence pour des formulations « empiriques »; ou (parmi de nombreuses autres raisons possibles) cela pourrait être que les annotateurs étaient des étudiants examinés habitués à un jargon technique plus adapté à l’académie qu’au discours quotidien.

Quoi qu’il en soit, puisque les modèles copiaient les biais des étiquettes de formation des annotateurs, les chercheurs du nouveau document ont créé des exemples de formation spéciaux qui ajoutaient ou supprimaient chaque biais, permettant aux modèles de voir des contrastes clairs et d’ajuster leurs préférences. Après fine-tuning sur ces données, les modèles ont montré nettement moins de biais, en particulier pour le jargon, la verbosité et la vague, tout en performant toujours bien dans l’ensemble (ce qui est important, car le fine-tuning peut endommager les performances générales).

Examinons cette étude de plus près, bien qu’elle ne suive pas toutes les règles de procédure habituelles.

Méthode

Initialement, les chercheurs définissent plusieurs biais idiomatiques LLM typiques à résoudre:

Longueur, dans lequel les modèles ont tendance à préférer des réponses plus longues, même lorsque le contenu supplémentaire n’ajoute rien d’utile. Cela semble refléter les modèles dans les données de formation, où la longueur est souvent corrélée à la thoroughness aux yeux des annotateurs humains. Par conséquent, les modèles produisent souvent des réponses gonflées et verbales qui donnent l’illusion de profondeur, mais sans substance réelle.

Structure, dans lequel les modèles montrent une forte préférence pour les puces ou les listes numérotées plutôt que la prose directe. Cela peut être dû au fait que les formats structurés apparaissent plus fréquemment dans les réponses sélectionnées par les réviseurs humains. L’habitude conduit les modèles à recourir à des « listiques », même lorsque la question exige des explications plus naturelles ou plus détaillées.

Jargon, dans lequel les modèles utilisent inutilement un langage spécialisé ou technique. Les auteurs soutiennent que ce comportement émerge probablement des données de formation où les réponses chargées de jargon étaient souvent choisies comme meilleures réponses. Ainsi, les modèles ont appris à assimiler le jargon à l’expertise, produisant des réponses qui sonnent compétentes, mais offrant peu de clarté supplémentaire.

Sycophancy, dans lequel les modèles sont d’accord avec les opinions de l’utilisateur au lieu d’offrir des réponses neutres ou critiques. Ce modèle peut provenir des données de formation où les réponses agréables étaient plus souvent notées favorablement. Par conséquent, les modèles peuvent renforcer les biais de l’utilisateur et éviter de présenter des points de vue contradictoires ou plus objectifs, même lorsque ceux-ci seraient utiles.

Vagueness, dans lequel les modèles préfèrent donner des réponses larges et généralisées qui touchent légèrement à de nombreux sujets plutôt que de répondre directement à la question, avec des réponses qui semblent complètes mais offrent peu d’informations utilisables. Cela peut refléter le fait que les réponses vagues sont plus difficiles à réfuter et étaient donc moins susceptibles d’être pénalisées lors de l’annotation:

Exemple de biais de vagueness, où le modèle préfère incorrectement une réponse large et superficielle à une réponse détaillée que les évaluateurs humains jugent plus utile.

Données contrefactuelles

Avec ces définitions, il était ensuite nécessaire de tester exactement à quel point chaque biais influençait le comportement du modèle. Les corrélations simples ne fonctionneraient pas, car de multiples biais apparaissent souvent ensemble, rendant difficile l’isolement de l’effet d’une fonction en particulier.

Pour surmonter cela, les chercheurs ont construit des paires de réponses contrôlées qui diffèrent uniquement d’un biais à la fois, tout en gardant tout le reste aussi stable que possible, et ont commencé par générer une réponse de base à chaque requête.

Le protocole Rewrite-based Attribute Treatment Estimators (RATE) a ensuite été utilisé pour créer une version modifiée de cette réponse – une réponse conçue pour exagérer délibérément un biais particulier, comme ajouter du jargon ou transformer la prose en liste.

Exemples de réécritures à partir du système RATE, utilisé dans la nouvelle étude. Source: https://openreview.net/pdf?id=UnpxRLMMAu

Pour éviter d’introduire des différences non liées, une étape de réécriture supplémentaire a été incluse pour ajuster les deux versions, en s’assurant que la seule différence significative entre eux était le biais étudié; et ces paires de réponses contrôlées ont ensuite été présentées aux modèles.

Pour chaque paire, la version préférée par le modèle a été enregistrée, permettant ainsi un calcul de la force avec laquelle chaque biais influençait à la fois les modèles de récompense et les évaluateurs, produisant une mesure plus précise des effets des biais que ce qui avait été réalisé dans les études précédentes, selon les auteurs.

Avec les paires de données contrefactuelles préparées, des réviseurs humains du Royaume-Uni et des États-Unis ont été recrutés pour créer une norme de référence: pour chaque type de biais, cent paires de réponses ont été sélectionnées aléatoirement, chacune contenant une réponse neutre et son homologue biaisé. Trois évaluateurs ont examiné chaque paire, la décision finale étant déterminée par un vote majoritaire, et au total, trois cents participants ont contribué à l’étude.

Métriques

Les métriques utilisées pour mesurer les effets des biais étaient le taux de distorsion, qui calcule à quel point le modèle préfère la réponse biaisée à la réponse neutre; et le taux de fausse calibration, qui mesure à quel point le choix du modèle diffère de la majorité humaine. Un modèle idéal afficherait une fausse calibration nulle et un taux de distorsion à peu près équivalent au taux de distorsion humain (puisqu’il est parfois préférable pour les humains de favoriser certaines fonctionnalités biaisées).

Données et tests

Pour tester l’approche, différentes sources ont été utilisées, selon le biais étudié. Pour la structure, le jargon et la longueur, cent requêtes ont été échantillonnées à partir de Chatbot Arena, filtrées pour sélectionner les questions en anglais, à phrase unique et bien formées.

Pour la sycophancy, cent requêtes axées sur l’opinion ont été générées (par exemple, ‘L’art moderne n’est-il pas paresseux par rapport aux techniques classiques?’), formulées pour refléter les points de vue de l’utilisateur qui pourraient inviter à l’accord.

La vagueness a été testée avec soixante-dix-huit requêtes liées au NLP issues du jeu de données KIWI, complétées par vingt-deux requêtes supplémentaires du même type. Des sujets scientifiques ont été choisis pour la vague, car ils exigent des réponses précises, rendant les réponses générales ou évolutives faciles à repérer.

Pour chaque requête, des paires de réponses contrefactuelles ont été créées à l’aide du protocole RATE décrit précédemment.

L’évaluation a impliqué à la fois des systèmes ouverts et propriétaires. Les modèles de récompense, qui attribuent des notes de qualité aux réponses candidates pendant la formation et l’alignement, ont été testés dans quatre versions formées sur 80 000 paires de préférences du jeu de données de récompense Skywork: Gemma2-2B; Gemma-2-27B; Llama-3.1-8B; et Llama3.2-3B.

Trois modèles propriétaires ont également été évalués en tant qu’évaluateurs LLM: Gemini-2.5-Pro; GPT-4o; et Claude-3.7-Sonnet. Toutes les réponses contrefactuelles utilisées pour les tests ont été générées par GPT-4o:

Comparaison des préférences des modèles et des jugements humains pour chaque type de biais, montrant à quel point les modèles préfèrent les réponses biaisées et à quel point ces préférences sont en conflit avec les choix humains.

Sur les résultats initiaux ci-dessus, les auteurs commentent^†:

‘[Notre] analyse des modèles de préférence montre que ces modèles présentent systématiquement une fausse calibration et un taux de distorsion élevé en faveur des réponses perturbées dans diverses catégories de biais […]

‘[…] Les modèles de récompense présentent une fausse calibration claire par rapport aux jugements humains: les taux de préférence des modèles pour les réponses perturbées dévient systématiquement des taux de préférence humaine. Alors que la vague et le jargon provoquent la plus grande fausse calibration (>50%), la longueur et la sycophancy montrent également une fausse calibration substantielle.

‘‘Ceci suggère que les modèles luttent pour s’aligner sur les jugements humains lorsque les réponses contiennent un langage trop technique ou manquent de spécificité.’

Les modèles de récompense sont alignés le mieux avec les humains sur le bias de structure, où les deux tendent à préférer les mêmes réponses. Pour le jargon et la vagueness, les modèles sont beaucoup plus susceptibles de préférer les réponses biaisées que les humains. La sycophancy montre des différences plus faibles, les modèles et les humains s’accordant souvent.

Les évaluateurs LLM propriétaires montrent le même schéma général, bien que leurs plus grandes discordances apparaissent avec la longueur et la vagueness – et ils sont particulièrement enclins à la sycophancy, préférant les réponses agréables à environ quatre-vingt-cinq pour cent du temps, tandis que les humains le font à environ cinquante pour cent du temps.

Pour retracer l’origine de ces biais, les chercheurs ont analysé le jeu de données Skywork mentionné précédemment, utilisé pour former les modèles de récompense, en associant chaque biais à des fonctionnalités simples qui pourraient être mesurées automatiquement, telles que le nombre de jetons pour la longueur ou la présence de listes pour la structure.

Dans un échantillon de 2 500 exemples, les annotateurs humains ont montré des préférences claires pour les fonctionnalités biaisées: les réponses structurées ont été préférées aux réponses non structurées 65 pour cent du temps, et les réponses chargées de jargon ont été choisies 54 pour cent du temps:

Les annotateurs humains dans les données de formation ont souvent choisi des réponses qui incluaient ces fonctionnalités biaisées.

Ces déséquilibres suggèrent que les données de formation elles-mêmes ont poussé les modèles vers ces modèles. Pour confirmer cela, une analyse de corrélation a été effectuée, mesurant à quel point les différences dans chaque fonctionnalité correspondaient aux préférences affichées à la fois par les humains et les modèles.

Les résultats ont montré que les deux ont été constamment influencés par les mêmes fonctionnalités, indiquant que les modèles ont appris à associer certains traits stylistiques à de meilleures réponses, même lorsque ces traits n’amélioraient pas réellement la réponse.

Corrélation entre les différences de fonctionnalités et les préférences, montrant à quel point les modèles et les humains ont été influencés par les mêmes fonctionnalités biaisées pendant la formation.

Pour aider les modèles à dépasser ces biais, de nouvelles données de formation ont été créées. Le jeu de données Skywork a été examiné pour vérifier si la fonctionnalité biaisée apparaissait dans la réponse choisie ou rejetée; lorsque les deux étaient exempts du biais ciblé, GPT-4o a réécrit la réponse rejetée pour insérer le biais.

Ceci a créé de nouvelles paires de formation où le modèle pouvait voir des exemples clairs de réponses biaisées et non biaisées, et ainsi apprendre à ne pas favoriser la version biaisée. Avec des exemples supplémentaires de Chatbot Arena pour l’équilibre, les modèles ont ensuite été affinés sur ce jeu de données mis à jour:

L’effet du fine-tuning avec des données contrefactuelles.

Le fine-tuning a rapproché les modèles des préférences humaines, les plus grands progrès étant observés pour le jargon et la vague, et des gains plus faibles pour la longueur. La structure et la sycophancy ont montré de nouvelles discordances mineures, qui reflétaient plutôt les déséquilibres précédents que de nouvelles défaillances.

Les performances globales sont restées stables tout au long, et lorsque plusieurs biais ont été corrigés en même temps, les niveaux de biais ont encore baissé sans sacrifier la qualité de la réponse.

Les auteurs concluent:

‘Notre méthode réduit considérablement les problèmes de fausse calibration tout en préservant la compétence globale des modèles de récompense. Les travaux futurs peuvent envisager d’adapter notre recette de post-formation pour développer des modèles de préférence plus robustes et évaluer également les modèles de préférence par rapport à d’autres axes de biais.’

Conclusion

Le nouveau travail est une perspective intéressante, même si elle est elliptique, sur la façon dont des données de formation sous-curées ou sur/sous-représentées peuvent entraîner des résultats indésirables au moment de l’inférence. Tout utilisateur régulier de LLM aura, à ce stade, une collection d’histoires de guerre.

Par exemple, de nombreuses réponses que je reçois de ChatGPT semblent avoir été influencées par les tendances SEO des 10 à 15 dernières années, où les portails en ligne ont été contraints d’optimiser pour le positionnement Google plutôt que pour le langage naturel. En effet, la production émaillée d’émoticônes et prodigieuse des départements marketing semble avoir eu un impact très significatif sur toute demande de rédiger un message de publication LinkedIn – au point où l’« enthousiasme » généré par l’IA est maintenant impossible à manquer:

Gauche: Demander à ChatGPT de promouvoir un message LinkedIn, sur un compte avec zéro historique, ChatGPT par défaut utilise des émoticônes et un langage de RP sensationnaliste. Droite: Demander la même chose après six mois de me dire de calmer, GPT produit quelque chose de beaucoup plus sobre.

Cependant, OpenAI intervient activement dans la façon dont ChatGPT répond aux requêtes, en fonction de la fonction et du contexte, ce qui rend difficile pour les chercheurs de faire la distinction entre les problèmes qui proviennent des données et de la distribution des données, ainsi que des problèmes connexes tels que l’annotation; et lorsque le résultat non préféré peut être dû à une interférence commerciale de la part de la société hôte du LLM.

* En raison du style d’écriture rempli de jargon que les auteurs ont choisi pour ce document, j’évite les citations d’auteurs lorsque possible, en faveur de résumés.

^† Insistance des auteurs, et non la mienne.

Publié pour la première fois vendredi 6 juin 2025