Pourquoi les textes générés par l’IA sont plus difficiles à comprendre qu’on ne le pense

Les modèles d’IA pourraient devenir plus difficiles à comprendre, car leur entraînement récompense de plus en plus la résolution efficace des problèmes plutôt que des explications claires pour les humains.

La phrase ci-dessus, non retouchée, a été rédigée par ChatGPT en réponse à une demande de résumé d’un article scientifique en une seule phrase, dans un langage accessible à un enfant de cinq ans ; elle présente au moins quelques-uns des traits de déformation du langage expliqués dans cette nouvelle étude*. Les auteurs concluent que ce problème touche tous les modèles de pointe, ainsi que les modèles proches de ce niveau et certains modèles à poids ouverts également évalués.

Ainsi, le début du passage « leur entraînement récompense de plus en plus la résolution efficace des problèmes » illustre l’idée défendue dans l’article selon laquelle les modèles d’IA attribuent parfois des actions humaines à des choses inanimées (puisque, dans l’exemple ci-dessus, l’« entraînement » est décrit comme récompensant activement quelque chose).

Cela peut ralentir le traitement rapide de l’expression, car nous devons mentalement comprendre qu’il s’agit d’une attribution à titre d’illustration, et non la prendre au pied de la lettre (ce qui est beaucoup plus simple).

La dernière partie, « récompense de plus en plus la résolution efficace des problèmes », condense également plusieurs idées et oblige les lecteurs à déterminer ce qui est récompensé, ce qui est résolu et ce qui devient plus efficace.

L’article indique^† :

« [Readers] utilisent l’animacité comme indice lors du traitement ; en l’absence de contexte supplémentaire, une discordance peut susciter une réponse P600^†† associée à une réanalyse.

« Toutefois, reformuler ces phrases pour éviter les sujets inanimés pourrait nécessiter de les allonger : par exemple, le mot “mord” remplace “cause un problème”.

« Nous supposons que, pendant l’entraînement, les modèles ont peut-être fini par utiliser de telles constructions comme des moyens efficaces, quoique non conventionnels, d’exprimer un sens qui nécessiterait autrement davantage de jetons. »

Comment ?

C’est là l’idée centrale de l’article : comme les modèles d’IA modernes tels que ChatGPT, Claude et Gemini sont optimisés pour résoudre différents types de problèmes plutôt que pour communiquer en particulier, ils tendent à produire des textes très condensés qui nécessitent un certain décryptage.

Cela m’a surpris, car je ne cesse d’essayer de convaincre ChatGPT et ses semblables d’être moins prolixes et plus concis — un problème reconnu et pris en compte dans la littérature scientifique.

L’article présente plutôt la prolixité comme une sorte de bombe zip qui empêche de comprendre facilement même une phrase assez courte. Ainsi, si l’on associe le problème de la longueur excessive des réponses par défaut à l’observation de l’article sur la compression excessive, on peut imaginer que le style de réponse caractéristique des modèles d’IA de pointe est tout à fait particulier (et que ce style plutôt laconique sert probablement en partie de critère dans les détecteurs de textes générés par l’IA, même si l’article n’aborde pas cette question).

Les auteurs étudient également les composés nominaux empilés, illustrés par le titre problématique Une escouade aide un chien à mordre^† :

« En anglais, les noms peuvent librement en modifier d’autres à la manière d’adjectifs : dans l’expression boutique de café, café modifie boutique, bien qu’il soit généralement employé comme un nom. Cette caractéristique permet d’empiler plusieurs noms pour former des mots composés riches, qui désignent des significations très précises.

Cependant, ces empilements peuvent créer une ambiguïté de rattachement, comme dans le titre Une escouade aide une victime de morsure de chien, et perturber la lecture. »

Si les grands modèles de langage sont prolixes par compression, sont-ils deux fois plus prolixes parce qu’ils produisent des volumes excessifs de texte condensé en réponse à une requête ? Cela signifie que non seulement la réponse à votre requête contient beaucoup de texte à lire, mais que ce texte lui-même peut receler beaucoup de sens « implicite » qu’il faut décrypter.

Un article de 2023 avançait que les grands modèles de langage pouvaient devenir inutilement prolixes parce que des juges d’IA étaient utilisés pendant l’entraînement, ceux-ci ayant souvent tendance à récompenser les réponses plus longues — même lorsque, dans les tests de l’étude, les humains préféraient les réponses plus courtes.

Les auteurs de la nouvelle étude attribuent (voir la citation précédente) certaines tendances à la concision des modèles de pointe à une prédisposition architecturale à économiser des jetons, ce qui est une interprétation généreuse de nos jours.

Examinons les méthodes, les données et les tests utilisés par les auteurs dans le cadre de cette étude.

Données et méthodes

Les combinaisons de mots inhabituelles (mesurées à l’aide de n-grammes, c’est-à-dire des séquences de mots) ont été étudiées afin d’évaluer leur imprévisibilité ; les combinaisons rares étant associées à une plus grande difficulté de lecture.

La longueur des dépendances (la distance entre des mots reliés grammaticalement) a également été mesurée, car des distances plus importantes sollicitent davantage la mémoire de travail, en particulier lorsque plusieurs mots s’intercalent entre un sujet et son verbe.

Les propositions relatives objet (des constructions telles que « la maison que les entrepreneurs ont construite ») ont été étudiées, en particulier lorsque des mots facultatifs étaient omis (comme « that » dans « the house that the contractors built »).

Les groupes nominaux à noms empilés mentionnés précédemment (trois noms ou plus réunis, comme dans « générateur de bandes originales de films d’horreur ») ont également été étudiés, car les relations entre les mots qui les composent peuvent être ambiguës.

Les verbes dénominaux (des noms employés comme verbes, par exemple « fourchette-le » (littéralement, « fork it ») au lieu de « mets-le sur la fourchette ») ont été étudiés, de même que les sujets inanimés associés à des verbes habituellement liés aux êtres vivants (comme indiqué précédemment). Les deux constructions permettent de condenser le sens en moins de mots, mais peuvent nécessiter un effort d’interprétation supplémentaire de la part des lecteurs.

Les modèles étudiés

Les chercheurs ont recueilli des conversations générées par 14 modèles d’IA : Kimi K2.5 ; GLM 5 ; Claude Sonnet 5, Opus 5, Opus 5.5 et Fable 5 ; GPT-5.6 Luna, Terra et Sol ; Olmo Base, Instruct et Think ; ainsi que Llama Base and Instruct.

Les tests comprenaient dix amorces pour une conversation générale et cinq pour le codage. Pour chaque tâche, le modèle devait cloner un dépôt GitHub public existant, repérer des bogues et les corriger dans un environnement bac à sable.

Les conversations étaient limitées à 12 échanges, et les sessions de codage à 11, avant l’envoi d’un message de clôture prédéfini. Lors d’un test distinct, chaque modèle devait rédiger sept dissertations à partir de sujets tirés du jeu de données PERSUADE 2.0.

À des fins de comparaison, les textes rédigés par des humains provenaient de sources aussi proches que possible des trois types de production de l’IA : OpenSubtitles (un corpus de sous-titres de films et de séries télévisées, sans lien avec la plateforme de sous-titres open source) a servi pour les conversations générales ; StackExchange (le réseau en ligne de forums de questions-réponses), pour les discussions sur le codage ; et des dissertations d’étudiants issues du jeu de données PERSUADE 2.0 mentionné précédemment, pour les tâches de rédaction. Wikipédia a également servi de source de comparaison supplémentaire.

Lorsque des données humaines adaptées étaient disponibles, les mêmes caractéristiques linguistiques étaient mesurées dans les textes humains et générés par l’IA. Ces corpus de référence servaient également à évaluer la fréquence des combinaisons de mots.

Une traduction aller-retour (de l’anglais vers le japonais, puis de nouveau vers l’anglais, à l’aide du modèle NLLB-200) a permis de distinguer les préférences stylistiques des contraintes linguistiques. Le sens était largement préservé malgré la modification de la structure des phrases, ce qui permettait de repérer les formulations inutilement complexes.

Résultats

Expérience 1

Comme le montre le graphique ci-dessous, plusieurs constructions difficiles étaient plus fréquentes dans les textes originaux générés par l’IA, en particulier parmi les modèles de pointe. Les chercheurs y ont vu le signe d’une préférence pour des formulations inutilement complexes :

Comparaison de textes originaux générés par l’IA avec des versions traduites en japonais, puis de nouveau en anglais. Les points verts indiquent les structures linguistiques plus fréquentes dans les textes originaux ; les points roses, celles qui apparaissent plus souvent après la traduction. Les écarts étaient généralement plus importants pour les modèles GPT et Claude. Source

Les six caractéristiques linguistiques ont été comparées pour 14 modèles d’IA dans trois contextes (conversation, codage et rédaction de dissertations). Douze modèles ont été testés en conversation, neuf en codage et les 14 en rédaction de dissertations :

Comparaison de six caractéristiques linguistiques entre des modèles d’IA utilisés pour la conversation, le codage et la rédaction de dissertations. Chaque losange représente le résultat agrégé d’un modèle ; les barres horizontales indiquent les intervalles de confiance à 95 %. Les lignes verticales en tirets marquent les valeurs de référence pour les textes rédigés par des humains : OpenSubtitles (conversation), StackExchange (codage) et les dissertations d’étudiants du jeu de données PERSUADE 2.0 (rédaction). Les lignes en pointillés indiquent les comparaisons avec Wikipédia. Des valeurs plus élevées indiquent généralement un emploi plus fréquent de la construction mesurée ou une complexité linguistique accrue. Pour une meilleure résolution, veuillez consulter l’article source.

Le texte initial généré par l’IA a également été comparé à ses versions retraduites, ce qui a permis de mesurer les différences de structure des phrases :

Comparaison du texte initial généré par l’IA (losanges pleins) et des versions traduites en japonais, puis retraduites en anglais à l’aide de NLLB-200 (cercles vides). Les lignes roses indiquent les caractéristiques plus fréquentes après la traduction ; les lignes vertes, celles qui sont plus fréquentes dans les textes originaux. Les astérisques indiquent la significativité statistique (un, deux ou trois astérisques signalent un niveau de preuve statistique de plus en plus élevé). La traduction a réduit la plupart des constructions associées à la difficulté de lecture, en particulier dans les modèles de pointe. Pour une meilleure résolution, veuillez consulter l’article source.

Les modèles de pointe et proches de la pointe avaient tendance à abuser des combinaisons de mots inhabituelles, des verbes dénominaux, des sujets inanimés et des propositions relatives objet dont les mots facultatifs sont omis (voir le graphique ci-dessus). Ces tendances étaient généralement moins marquées dans Llama et Olmo Base, mais plus prononcées dans Olmo Think.

Les différences observées dans la rédaction de dissertations étaient moins importantes que dans les conversations ou le codage. Les auteurs l’attribuent au fait que les dissertations reposent sur une seule consigne, tandis que les échanges prolongés, avec leurs nombreuses interactions, peuvent favoriser une plus grande compression linguistique.

Les auteurs notent :

« Les dissertations PERSUADE présentent des changements moins importants après traduction aller-retour dans plusieurs catégories (mesures des n-grammes, longueurs des dépendances, noms empilés, verbes dénominaux) que les conversations et le [coding]. »

« Nous supposons que cela s’explique par le fait qu’elles reposent sur une seule consigne, contrairement aux nombreux échanges successifs des conversations et du codage. Nous avançons que certains schémas peuvent apparaître au cours de longues conversations, avec leurs nombreux allers-retours, qui peuvent exiger une plus grande compression de l’information. »

Les changements les moins importants après traduction ont été observés dans Llama et Olmo Base et Instruct, qui se rapprochaient également le plus des dissertations d’étudiants par leurs combinaisons de mots et leur usage des verbes. À l’inverse, Olmo Think se comportait davantage comme les modèles de pointe. Claude Opus 5.5 utilisait moins de constructions difficiles qu’Opus 5 dans 19 des 21 comparaisons ; dans huit d’entre elles, les intervalles de confiance à 95 % ne se chevauchaient pas.

Expérience 2

La deuxième expérience visait à déterminer si une pression sous-jacente visant à produire des réponses plus courtes et plus denses en information pouvait inciter les modèles à privilégier des constructions linguistiques plus difficiles à comprendre pour les humains.

Ici, Qwen2.5-1.5B-Instruct a été ajusté finement à l’aide de l’optimisation de politique relative de groupe (GRPO), puis chargé de convertir des descriptions d’événements structurées au format JSON en phrases anglaises.

Les deux paramètres d’entraînement modifiés étaient la marge de manœuvre laissée au modèle pour changer son choix habituel de mots (β) et la pénalité appliquée à la production de réponses plus longues (λ). Chaque événement pouvait être exprimé de deux façons grammaticalement correctes, dont le nombre de jetons différait de manière connue.

Par exemple, « Il nous a envoyé une photo » nécessitait six jetons, contre sept pour « Il a envoyé une photo à nous ». Un test distinct a également été réalisé : il comparait deux formulations ayant le même sens et nécessitant le même nombre de jetons, afin de vérifier si les différences étaient dues à la longueur des phrases.

L’effet a été évalué sur des phrases jamais vues auparavant, à l’aide de quatre constructions rencontrées pendant l’entraînement, de deux constructions non entraînées faisant intervenir le mot facultatif « que », ainsi que de constructions sans rapport portant sur les possessifs, les quantificateurs, les formes passives et les propositions de but.

Les tests visaient à déterminer si une préférence pour des formulations plus courtes serait acquise et s’étendrait à des constructions jamais rencontrées pendant l’entraînement :

Effet de la pénalisation des réponses plus longues pendant l’entraînement. Un exemple de formulation courte et longue est présenté en A. Les préférences pour les constructions plus courtes sont mesurées en B, tandis que des tests portant sur des constructions qui n’avaient pas été entraînées sont présentés en C et D. L’orange indique un entraînement sans restriction des modifications apportées au modèle d’origine ; le bleu, un entraînement avec cette restriction. Les lignes en pointillé montrent les préférences du modèle d’origine. En général, des pénalités plus fortes ont entraîné une préférence accrue pour les formulations plus courtes, même dans les constructions absentes de l’entraînement. Veuillez consulter l’article scientifique d’origine pour une meilleure résolution.

À mesure que la pénalité visant les réponses plus longues augmentait, les formulations plus courtes étaient choisies plus souvent (comme l’illustre le graphique juste au-dessus). En l’absence de pénalité KL (une restriction limitant l’écart entre les prédictions de mots du modèle et ses prédictions initiales), le changement était rapide ; avec cette pénalité, le même effet s’observait plus progressivement. En l’absence de l’une et l’autre pénalité, les préférences variaient considérablement d’un entraînement à l’autre, mais même une pénalité de longueur faible produisait une préférence constante pour les options plus courtes.

Cette préférence a également été observée dans des constructions de phrases inédites comportant le mot facultatif « that ». Le transfert à des constructions grammaticales plus éloignées était beaucoup plus faible : un effet n’a été constaté pour les possessifs qu’en l’absence de la pénalité KL.

Les auteurs concluent :

« Nous considérons ces résultats comme une preuve de concept montrant qu’une pénalité de longueur appliquée pendant l’apprentissage par renforcement avec GRPO peut directement influer sur des caractéristiques grammaticales. »

« Nous soulignons que le modèle n’a pas reçu pour consigne directe d’employer un langage condensé ou dense, et qu’aucune information ne lui a été directement communiquée sur l’existence d’alternances syntaxiques. »

« La pénalité a plutôt fait émerger une préférence pour les formes plus courtes des alternances syntaxiques. »

Conclusion

Depuis quelque temps, je m’intéresse aux marqueurs — tant involontaires que délibérés — qui caractérisent les textes générés par l’IA. Cette nouvelle publication éclaire donc le conflit apparent entre la verbosité souvent relevée des LLM et leur tendance, tout aussi souvent signalée, à condenser l’information d’une manière qui semble « facile à lire », simplement parce qu’elle mobilise peu de mots — mais c’est manifestement une mauvaise interprétation de cet indice.

Dans les textes produits par les LLM, la brièveté peut signaler la complexité plutôt qu’une synthèse essentielle, comme si l’IA nous proposait une énigme au lieu de nous donner directement les concepts qui sous-tendent les mots. Tout cela, apparemment, pour qu’un même modèle puisse coder et écrire.

* Intitulé « Pourquoi le langage généré par l’IA est-il si difficile à comprendre ? », cet article est signé par deux auteurs affiliés à New York University et à The University of Texas.

^† J’ai transformé les citations intégrées des auteurs en hyperliens.

^†† https://mikeydoes.com/glossary/p600/

Première publication : lundi 26 octobre 2026