Détecter les idées d’IA, pas le texte d’IA

Et si un détecteur de texte IA pouvait reconnaître que vous avez écrit quelque chose à partir d’une idée fournie par l’IA – même si toute la rédaction réelle (c’est‑à‑dire le texte) était votre propre travail original ?

Nous connaissons tous les détecteurs de texte IA embarrassant célébrités et politiciens, entre autres – des algorithmes qui ont étudié les caractéristiques du texte créé par l’IA et qui peuvent déceler ces schémas lorsqu’ils apparaissent.

Ces cas représentent une simple externalisation d’une tâche de communication, dans laquelle des modèles de langage tels que ChatGPT et Google Gemini prédire le prochain jeton le plus probable dans une réponse à l’invite d’un utilisateur – non pas en prenant du recul pour examiner le cadre global du problème ou de la proposition d’abord, mais simplement en devinant le mot le plus probable suivant.

Néanmoins, ce patchwork de prédictions finit par produire une structure sous‑jacente, selon des recherches récentes : le besoin que les sections de texte adjacentes soient cohérentes et pertinentes les unes par rapport aux autres engendre une signature unique qui se développe dans le « plan » ou la dimension supérieure de l’œuvre – qui peut déceler la main de l’IA même lorsque le texte est largement réécrit pour le « humaniser » :

La forme « haute dimensionnelle » distincte de l’écriture sous divers LLM, et – à gauche – écriture purement humaine. Source

Idéation IA ciblée

Une nouvelle collaboration académique dirigée par l’University of Maryland va plus loin, en proposant une méthodologie capable de détecter si les idées elles‑mêmes proviennent de l’IA, quel que soit l’auteur final des mots.

L’approche, baptisée IdeaLens et entraînée sur un million de plans extraits de documents Web, se concentre sur la réduction de chaque document à un plan qui conserve ses idées tout en éliminant le libellé – et est accompagnée d’une démo en ligne :

À gauche, l’un de mes propres articles est reconnu comme humain dans la démo en ligne, tandis qu’un autre article que j’ai soumis (écrit par un autre auteur) semble avoir reçu une contribution IA considérable. Source

Comme le montrent les résultats d’exemple de la démo ci‑dessus, les méthodes de détection utilisées peuvent distinguer les idées humaines de la prose humaine, ainsi que les idées IA de la prose IA, et les évaluer de manière granulaire et distincte – même si les deux détecteurs ont été entraînés sur les mêmes documents, étiquettes et architecture de modèle sous‑jacente, tout en étant conçus pour détecter essentiellement des choses opposées : la provenance des idées et la provenance de la prose.

Ce type de champ de détection, on le soupçonne, pourrait rendre nerveuses plusieurs catégories d’écrivains, des rédacteurs de discours politiques aux romanciers et chroniqueurs, ainsi que d’autres qui, jusqu’à présent, ont valorisé leur propre style d’écriture tout en laissant l’IA alimenter leurs sujets.

Une raison pour laquelle les LLM sont susceptibles de produire des idées reconnaissables (et donc traçables) n’est pas seulement que certains concepts et textes ont statistiquement dominé les données d’entraînement sous‑curatées du modèle, les rendant plus susceptibles d’apparaître dans un plus large éventail de requêtes ; mais aussi parce que les LLM ont des obsessions mystérieuses et répétitives qui ne semblent même pas liées à des données d’entraînement spécifiques, et pourtant apparaissent souvent sans être sollicitées.

Les auteurs déclarent* :

‘Alors que les détecteurs d’IA modernes identifient qui a écrit les mots, les politiques émergentes sur l’utilisation de l’IA reposent de plus en plus sur une question différente : qui a eu les idées ?Nous présentons IdeaLens, un détecteur qui identifie si les idées d’un document proviennent d’un humain ou d’une IA (provenance des idées), quel que soit l’auteur des mots.

‘Pour concentrer IdeaLens sur les idées plutôt que sur la prose, nous représentons les documents sous forme de plans : des listes d’éléments qui associent chaque rôle discursif à une brève description paraphrasée du contenu, en minimisant le chevauchement au niveau des mots avec le texte brut.’

Données et méthodes

L’article affirme que la nouvelle méthode peut identifier les idées humaines dans des documents générés par l’IA (c’est‑à‑dire, quelqu’un a dit à une IA « Rédigez‑moi un essai sur ce sujet ») ; et peut également identifier les idées IA dans une écriture humaine (c’est‑à‑dire, quelqu’un a dit à une IA « Suggérez‑moi quelque chose à écrire »).

Résultats des tests sur quatre combinaisons d’idées et de prose humaines et IA. Les quatre détecteurs fonctionnent fortement lorsque les idées et la prose partagent la même origine, mais divergent nettement lorsque la provenance est mixte : IdeaLens reconnaît correctement 94,7 % des documents rédigés par IA basés sur des idées humaines comme d’origine humaine, et identifie les idées IA dans 68 % des récits écrits par des humains, contre seulement 8 % pour Pangram 4 et 0 % pour ProseLens et EditLens-3B. Source

La détection est la plus simple lorsque la provenance est la plus claire – par exemple, lorsqu’un texte rédigé par un humain repose sur des idées générées par IA, ou lorsqu’une production générée par IA provient d’une idée humaine. Lorsque ces forces de provenance varient, la détection devient plus difficile.

Les chercheurs ont testé cette distinction en modifiant progressivement la part du plan sous‑jacent d’un document provenant d’une personne. Dans une expérience, les modèles d’IA ont reçu des plans humains de plus en plus détaillés, allant d’un simple sujet à un plan complet.

À mesure que la contribution humaine augmentait, le taux de drapeau IA d’IdeaLens est passé de 94,9 % à 6,8  %; et les détecteurs de prose conventionnels ont continué à identifier massivement le texte résultant comme IA :

Résultats des tests montrant ce qui se passe lorsque le plan sous‑jacent d’un document rédigé par IA est progressivement fourni par un humain. IdeaLens reconnaît de plus en plus l’origine humaine des idées, son taux de drapeau IA passant de 94,9 % pour une invite ne contenant qu’un sujet à 6,8 % pour un plan humain complet ; les détecteurs de texte conventionnels ProseLens et Pangram classifient encore la plupart des écrits résultants comme IA.

Comme les idées doivent être séparées du langage utilisé pour les exprimer, et qu’il n’existe aucun grand jeu de données enregistrant qui a réellement originé les idées dans un document, les chercheurs ont plutôt entraîné IdeaLens sur des étiquettes d’écriture IA existantes – mais ont supprimé la majeure partie du texte lui‑même :

Comment IdeaLens sépare les idées de la prose pendant l’entraînement et le test, comparé au détecteur de texte conventionnel ProseLens. Un article d’opinion de 1 321 mots est réduit à un plan étiqueté par rôle, les points étant classés selon leur fonction, comme un compte rendu d’événement ou une évaluation. Pendant l’entraînement, ces plans ont été en outre paraphrasés afin d’éliminer le libellé hérité des documents sources avant qu’IdeaLens n’apprenne à partir des étiquettes IA existantes de Pangram. Pour les nouveaux documents, le plan extrait peut alors être directement transmis à IdeaLens pour estimer la probabilité que les idées soient d’origine IA. La partie inférieure de la figure montre un second détecteur – « ProseLens » – utilisé par les chercheurs à titre de comparaison, qui reçoit quant à lui le texte complet et estime si la prose elle‑même est générée par IA.

Comme indiqué ci‑dessus, chaque document a été réduit à un plan décrivant ce qui est dit, et le rôle que chaque point joue dans le document. Pendant l’entraînement, ces plans ont été paraphrasés afin d’éliminer davantage les traces du libellé original des auteurs. IdeaLens peut donc formuler ses prédictions principalement à partir des idées qui restent, plutôt qu’à partir de caractéristiques révélatrices de la prose.

Trois ensembles de données ont été créés pour le projet : IdeaShift; IdeaShift-X; et TwiceTold. IdeaShift a été créé à partir de 500 documents sources rédigés par des humains et générés par l’IA, prélevés dans le corpus de test existant des chercheurs. GPT-5.6 Sol pour transformer chacun en invites de plus en plus détaillées, du « topic‑only » à un plan complet. GPT-5.6 a ensuite été utilisé pour générer de nouveaux documents.

IdeaShift‑X, en revanche, a utilisé 10 000 documents rédigés par des humains FineWeb2 dans 24 langues, en appliquant le protocole IdeaShift sus‑mentionné pour générer des versions IA dans chaque langue.

Le troisième ensemble de données, TwiceTold, a été rédigé par des étudiants universitaires sous la supervision des auteurs, afin d’éviter l’éventuelle utilisation d’IA inhérente dans la collecte participative de telles données. Cinquante histoires ont été écrites de zéro, mais en utilisant un plan de 500 mots fourni par ChatGPT-5.6 Sol.

Tests

Les détecteurs propres aux chercheurs comprenaient IdeaLens sous forme de plan et de document ; le ProseLens susmentionné ; les versions ModernBERT-L des deux systèmes ; les versions Qwen3.5-9B d’IdeaLens ; et une variante d’IdeaLens logistic-classifier.

Ces derniers ont été comparés à Pangram 4 ; EditLens-Llama-3B ; Binoculars ; EditLens-RoBERTa ; MELD ; Desklib-academic ; Desklib ; Entropy ; Fast-DetectGPT ; Likelihood ; Log-rank ; LRR ; MAGE ; OpenAI-RoBERTa-base ; OpenAI-RoBERTa-large ; RADAR ; et Rank.

Pour les tests, la précision a été mesurée en fonction de la concordance entre l’étiquette AI ou humaine prédite et la source des idées. IdeaLens, ProseLens et EditLens ont utilisé un seuil global de 1 % de taux de faux positifs ; les étiquettes AI, assistées par IA et humaines de Pangram 4 ont été binarisées ; et Fast-DetectGPT, Binoculars, MELD et Desklib ont utilisé leurs seuils par défaut.

L’évaluation plus large a utilisé 19 référentiels externes, dont 14 couvrant du matériel entièrement humain ou entièrement IA, et 10 contenant des textes humains ensuite modifiés par l’IA. Un supplémentaire de 50 000 documents internes a été testé, tandis que 10 000 documents C4 antérieurs à ChatGPT ont servi à évaluer les faux positifs :

Résultats des tests comparant la précision des détecteurs lorsque les idées et le texte proviennent de la même source ou de sources différentes. IdeaLens conserve une précision élevée dans les deux cas, à 95,3 % pour une provenance partagée et à 81,3 % pour une provenance mixte ; les détecteurs concurrents affichent des performances nettement inférieures lorsque la source des idées diffère de celle du texte.

Sur 51 tests issus de 22 référentiels, IdeaLens était le seul détecteur à obtenir de bons résultats lorsque les idées et le texte provenaient de la même source ou de sources différentes, atteignant respectivement 95,3 % et 81,3 %.

En comparaison, ProseLens et Pangram 4 ont obtenu plus de 98 % lorsque les idées et le texte partageaient une même source, mais sont tombés à environ 25 % lorsqu’ils ne le faisaient pas.

Les auteurs déclarent à propos de ces résultats *:

‘Étant donné que ProseLens possède la même architecture, les mêmes documents d’entraînement et les mêmes étiquettes d’entraînement qu’IdeaLens, cela met en évidence l’impact de notre représentation de plan, qu’une ModernBERT-based pair reproduit avec une architecture différente.

‘IdeaLens se transfère également de façon inattendue très bien aux entrées de texte brut lors des tests, affichant une précision élevée pour la provenance partagée et une précision nettement supérieure pour la provenance mixte par rapport à ProseLens.’

Les trois détecteurs ont identifié avec succès presque toutes les histoires originales rédigées par l’IA. Sur TwiceTold, IdeaLens a identifié des idées d’origine IA dans 68 % des histoires écrites par des humains, contre 0 % pour ProseLens et 8 % pour Pangram 4 :

IdeaLens attribue des probabilités d’IA similaires aux histoires originales rédigées par l’IA et aux versions humaines de TwiceTold basées sur les mêmes plans générés par l’IA, tandis que les probabilités d’IA de ProseLens chutent brutalement une fois le texte réécrit par des humains.

Bien qu’entraîné en anglais, IdeaLens s’est généralisé aux 24 langues d’IdeaShift‑X, signalant 95,3 % des documents basés sur des idées d’IA – mais seulement 0,7 % lorsqu’un plan humain détaillé a fourni les idées. Sur 10 000 documents humains antérieurs à ChatGPT dans les mêmes langues, le taux de faux positifs n’était que de 0,1 %.

Les auteurs admettent qu’un jeu de données plus important serait souhaitable dans les travaux futurs, et que le bruit des étiquettes du jeu de données pourrait nécessiter une correction. Néanmoins, ceux qui souhaitent s’appuyer sur cette première étude intéressante peuvent se tourner vers le GitHub repository que les auteurs de l’article ont mis à disposition ; et les simples curieux peuvent coller des tests « suspects » sur le demo site du projet, et vérifier par eux‑mêmes si la méthode concorde avec leurs propres estimations, ou celles d’autres approches.

Conclusion

Que cette méthode de détection de ce type soit importante ou non dépendra de la manière dont l’acceptation, l’intégration ou le rejet de l’IA évolueront (sans doute différemment selon les secteurs et les circonstances) au cours des 6 à 12 prochains mois.

Il se peut que le public d’un politicien soit plus indulgent envers son utilisation de l’IA pour peaufiner et présenter ses propres idées, qu’il ne le serait face à une présentation lisse d’idées générées par un LLM (après tout, statistiquement, le public est probablement favorable à l’usage de l’IA comme simple outil de présentation).

Cependant, en même temps, que recherchons‑nous réellement dans l’IA sinon qu’elle produise des angles, des idées et des alternatives que nous n’aurions pas envisagés ou jamais considérés ; et sous cet angle, est‑ce vraiment une mauvaise idée de confier le volant à l’intelligence artificielle ?

Eh bien, en termes d’optique, et compte tenu de la propension bien connue et croissante de l’IA aux erreurs et – récemment – comportement erratique, il est peut‑être encore trop tôt pour laisser les LLM proposer des suggestions de politique, ou en général devenir une force motrice dans l’idéation.

*Mises en avant des auteurs, pas les miennes, mais ma conversion des citations en ligne des auteurs en hyperliens, le cas échéant.

Première publication mardi 6 octobre 2026