L’écriture générée par l’IA ne « s’épuise » jamais, révélant ainsi sa nature

Les IA de type ChatGPT se trahissent en augmentant leur cohérence, tandis que l’écriture humaine reste erratique tout au long.

La fenêtre de contexte limitée de la plupart des modèles de langage à grande échelle (LLM) destinés aux consommateurs est l’un des facteurs qui peut les amener à oublier ou à rappeler incorrectement les parties antérieures des conversations des utilisateurs – des erreurs de rappel qui peuvent progressivement transformer la sortie en un nonsense total – ou, pire encore, un texte qui semble cohérent mais qui contient des erreurs subtiles.

Étant donné que ces circonstances conduisent à des hallucinations, et que les hallucinations sont toujours le plus grand obstacle à l’avance totale de l’IA sur le marché, beaucoup d’efforts de recherche ont été déployés pour créer des systèmes d’IA génératifs capables de créer des tranches de texte plus longues mais beaucoup plus cohérentes.

En fait, tant de progrès est réalisé que la reconnaissance de contenu à longue forme généré par l’IA (c’est-à-dire du contenu purement généré par l’IA, avec – probablement – un minimum ou aucun soin humain après-coup) est considérée comme un problème croissant.

Démasquer un filibuster de l’IA

Néanmoins, des études empiriques récentes soutiennent que plus l’IA génère de texte en une seule fois, plus il est facile de déterminer si ce texte a été écrit par un humain ou non; mais la sagesse conventionnelle à ce sujet a supposé que l’IA peut être discernée parce que ce qu’elle fait différemment des humains, elle a la chance de le faire plus souvent dans des tranches plus longues.

Aucune hypothèse n’est faite sur la répartition de ces « indices » dans le texte lui-même.

Pour remettre en question cela et élargir le problème, une étude de recherche récente et intéressante de Chine propose une méthode novatrice pour distinguer les nouveaux générateurs de contenu à longue forme de l’IA des véritables auteurs humains. Les chercheurs derrière le travail affirment que la nature token-par-token par laquelle le texte de l’IA est généré signifie qu’il devient plus cohérent avec une plus grande longueur, alors que les excentricités des personnes ne ne diminuent pas avec la longueur.

De cette façon, les auteurs suggèrent que leur insight offre un nouveau métrique potentiel pour les systèmes de détection de texte de l’IA*:

‘Les jetons générés par l’IA dans la dernière partie du texte présentent des fluctuations de probabilité plus petites et plus stables à mesure que les prédictions du modèle deviennent de plus en plus cohérentes à mesure que le contexte s’accumule.

‘Nous appelons ce modèle Décroissance de la volatilité en phase tardive. Ce phénomène reflète le comportement inhérent de la génération autoregressive: à mesure que plus de contexte est disponible, la distribution de prédiction du modèle se précise, conduisant à une variabilité réduite dans les statistiques au niveau des jetons.

‘L’écriture humaine, en revanche, continue d’introduire des choix lexicaux inattendus et maintient une volatilité plus élevée tout au long.’

Pour capturer cette étrange « fluidité » qui s’accumule dans le texte de l’IA vers la fin, les chercheurs définissent deux caractéristiques simples: la première mesure à quel point le comportement statistique de l’écriture « saute » entre les jetons; la seconde vérifie à quel point les choses restent stables sur de courtes étendues de texte.

Ces deux signaux sont calculés uniquement à partir de la seconde moitié de la sortie, où l’IA devient de plus en plus régulière et où l’écriture humaine ne l’est pas. Les auteurs notent que même si ces signaux fonctionnent bien seuls, ils sont encore plus efficaces lorsqu’ils sont combinés avec des méthodes de détection plus anciennes qui analysent des modèles plus larges. Ils notent également que cette approche fonctionne mieux sur des textes plus longs, où le contraste peut devenir plus évident.

Le nouveau document propose une méthodologie pour tester la « nature IA » via l’analyse des caractéristiques temporelles de la seconde moitié, sans nécessiter de formation ou de réglage supplémentaire, ni d’accès privilégié au modèle.

Le nouveau travail s’intitule Quand l’IA se stabilise: La stabilité en phase tardive comme signature de la détection de texte généré par l’IA, et provient de quatre auteurs de l’Université Westlake à Hangzhou.

Méthode

Pour capturer la fluidité croissante dans le texte généré par l’IA, les chercheurs ont conçu deux mesures qui ne portent que sur la seconde moitié d’un passage. Ces mesures reposent sur des scores de log-probabilité d’un modèle de langage standard et ne nécessitent pas de réglage, de réentraînement ou d’échantillons supplémentaires:

Du nouveau document – chaque ligne montre le comportement d’une métrique de base à partir d’EvoBench sur la séquence de jetons: valeur brute (gauche), dérivée absolue (centre) et écart-type local (droite). Les lignes humaines et IA sont affichées en bleu et en rouge. La plupart des divergences apparaissent dans la seconde moitié du texte, en particulier pour la probabilité logarithmique et la discordance d’échantillonnage, qui montrent une séparation et une sortie plus lisse de l’IA. L’entropie et la concentration Top-K montrent peu de changement dans le temps. Source

La première mesure, appelée Dispersion de la dérivée (DD), suit à quel point la confiance du modèle change brusquement d’un mot à l’autre. Le texte de l’IA a tendance à se stabiliser dans un rythme, de sorte que ces changements deviennent plus petits et plus prévisibles dans la seconde moitié. En revanche, l’écriture humaine reste « inégale ».

La seconde mesure, Volatilité locale (LV), examine à quel point la confiance du modèle « saute » dans une petite fenêtre de texte. Encore une fois, l’IA a tendance à devenir plus stable avec le temps, tandis que les choix humains restent plus surprenants et moins cohérents:

Le texte de l’IA devient plus lisse à mesure qu’il progresse, tandis que l’écriture humaine reste inégale. Ces graphiques suivent à quel point la confiance du modèle change au cours d’un passage, reflétant à la fois la netteté du changement entre les mots successifs et la quantité de variation dans les étendues locales de texte. Dans les deux cas, la baisse est beaucoup plus prononcée dans la sortie générée par la machine, avec un contraste devenant particulièrement clair après le point médian. Les boîtes jaunes mettent en évidence ce fossé élargi dans la seconde moitié, où l’écriture de l’IA atteint jusqu’à 32 % de stabilité supérieure à l’écriture humaine.

Encore une fois, les deux métriques sont calculées uniquement à partir de la seconde moitié du texte, où la différence entre l’écriture humaine et la machine est la plus évidente. Ces métriques sont ensuite incorporées dans une valeur unique appelée le Score de détection de stabilité temporelle (TSD) – qui a tendance à augmenter à mesure que l’écriture devient « plus lisse » (et donc plus susceptible d’être générée par l’IA). Un simple seuil est ensuite utilisé pour décider si un passage donné est probablement écrit par une machine.

Puisque ces caractéristiques se concentrent sur quand un modèle émerge, plutôt que sur ce que ce modèle ressemble, elles sont complétées par des méthodes plus anciennes qui recherchent des anomalies statistiques dans tout le passage. L’ajout du score TSD à la sortie de l’offre de fin 2024 Fast‑DetectGPT (également en collaboration avec Westlake) offre une amélioration supplémentaire des résultats (en particulier pour le contenu à longue forme où l’effet de lissage en phase tardive est le plus fort).

Données et tests

Les auteurs ont mené des tests sur deux ensembles de données de référence liés: EvoBench contient 32 000 paires de texte humain/IA générées sur sept familles de modèles, y compris GPT-4; GPT-4o; Claude; Google Gemini; LLaMA-3; et Qwen, avec un total de 29 versions de modèles présentées.

L’autre cadre était MAGE, qui propose 30 000 paires de test sur huit familles de modèles, y compris (mais pas limité à) la série GPT d’OpenAI, et les familles LLaMA, OPT et FLAN-T5.

Concurrents

La nouvelle méthode a été testée contre une gamme de détecteurs à zéro tir utilisant le même modèle de remplacement. Probabilité, Entropie, Classement et Classement logarithmique (DetectGPT) mesuraient les statistiques au niveau des jetons sur tout le passage; LLR (DetectLLM) appliquait une normalisation pour permettre une comparaison directe entre les modèles; et Fast-Detect estimait la courbure locale via des perturbations basées sur l’échantillonnage.

Lastde analysait les sous-séquences discriminatives dans le signal de probabilité, tandis que FourierGPT opérait dans le domaine fréquentiel. Diveye capturait les changements dans la diversité de « surprise » dans la séquence.

Enfin, UCE évaluait le profil d’incertitude des prédictions de jetons, pour identifier les modèles de confiance non naturels.

Mise en œuvre et résultats

Toutes les méthodes de détection ont été exécutées en utilisant Llama-3-8B-Instruct en tant que modèle de remplacement partagé, avec des séquences d’entrée limitées à 512 jetons. Les caractéristiques temporelles ont été extraites uniquement de la seconde moitié de chaque passage, en utilisant une fenêtre glissante de 20 jetons pour mesurer la volatilité. Une version fusionnée de la méthode, appelée TSD+, combinait le signal proposé avec Fast-DetectGPT.

La surface sous la courbe de caractéristique de fonctionnement du récepteur (AUROC) était le métrique d’évaluation principal^†:

Performance diversifiée parmi les différentes méthodes testées contre le texte généré par l’IA. La précision de détection est affichée sur deux références: EvoBench, qui couvre plusieurs LLM de haute visibilité, et MAGE, un ensemble de données complémentaire. Les métriques sont regroupées par type de méthode: statistiques globales, caractéristiques temporelles et variants proposés. Les scores AUROC moyens sont donnés dans les colonnes finales. Les résultats des variants de méthode des auteurs surpassent constamment les références antérieures, avec TSD+ obtenant les scores les plus élevés dans presque tous les paramètres de modèle.

Sur ces résultats initiaux, les auteurs déclarent:

‘Nos caractéristiques temporelles simples atteignent les meilleures performances parmi les méthodes autonomes, avec TSD atteignant 83,36 % sur EvoBench et 71,56 % sur MAGE, surpassant toutes les références, y compris Fast-DetectGPT.

‘Ceci est notable étant donné la simplicité de notre méthode: nous calculons uniquement des statistiques d’ordre deux à partir de la seconde moitié des séquences, sans échantillonnage de perturbation ou transformation de domaine fréquentiel.’

La nouvelle méthode a fonctionné particulièrement bien sur les nouveaux modèles d’IA tels que GPT-4 et GPT-4o, en identifiant le texte écrit par l’IA avec plus de précision que le détecteur leader le plus proche, avec un écart de performance allant jusqu’à 9,66 %. Bien que les modèles avancés plus récents produisent un texte moins évidemment « cohérent », qui cache certains signes d’automatisation, certains modèles de temporisation subtils sont toujours évidents près de la fin.

Les approches concurrentes qui se concentrent sur les caractéristiques structurelles plus larges ont échoué à capturer ces modèles en phase tardive. En intégrant un détecteur global, le système hybride récupère apparemment ces signaux manqués, et améliore les performances, en particulier sur les références où les sorties plus courtes de l’IA peuvent affaiblir les indices temporels.

Conclusion

Un aspect qui n’est pas directement abordé dans le nouveau travail est la tendance des écrivains humains à itérer leur travail à travers des ébauches et des couches de surveillance diverses – parfois, y compris une surveillance externe, telle que les entrées d’éditeurs et de correcteurs, ainsi que des changements suggérés possibles provenant de services juridiques, selon le contexte.

Les multiples parties prenantes impliquées dans des documents aussi simples qu’un article de journal bien enterré peuvent pratiquement effacer les excentricités sur lesquelles le nouveau système proposé se base, et cela équivaut en effet à une sorte de « version analogique » d’un processus de rédaction aidé par l’IA.

En outre, les systèmes étudiés ont eux-mêmes été formés sur de tels travaux, et – dans la mesure où les données de formation sont de plus en plus classées par autorité lors de la formation – les sources les plus « pondérées » ou les plus respectées peuvent être les moins « naturelles »; du moins, par rapport à quelqu’un qui compose rapidement un e-mail informel à un collègue, plutôt que de rédiger un rapport annuel pour une assemblée générale.

Une considération supplémentaire et contrastée est que le contenu textuel auquel plusieurs personnes ont contribué peut également être parmi les pièces de prose les plus fragmentées, erronées et répétitives qui entrent dans un ensemble de données, car elles n’auront souvent pas eu le bénéfice d’une voix unificatrice finale, laissant la nature pièce par pièce de leur développement évidente dans la prose.

* Stylisation originale des auteurs reproduite à partir du document; pas mes emphases.

^† Les auteurs déclarent « principal », tout en n’énumérant aucune autre métrique d’évaluation.

Publié pour la première fois lundi 26 janvier 2026