Angle d’Anderson

L’absence d’erreurs humaines démasque les IA qui se font passer pour des personnes

Martin Anderson
Ajouter Unite.AI à vos sources préférées sur Google
AI-generated image (GPT-1.5) featuring two male chess players facing off in a tournament, but we can see from the wires and cables hanging out of his back, that one of the players is a robot.
Points clésLes systèmes d'IA se révèlent en accomplissant des tâches de mémoire avec une…
Voir plus
  • Les systèmes d'IA se révèlent en accomplissant des tâches de mémoire avec une perfection non naturelle, à moins d'être spécifiquement entraînés à commettre des erreurs.
  • L'affinement des modèles sur des données de psychologie humaine améliore leur capacité d'imitation mais limite leurs aptitudes polyvalentes.
  • Les sciences cognitives offrent des méthodes de détection robustes car l'IA ne possède pas les contraintes humaines intrinsèques comme le déclin de la mémoire et la fatigue.

Une nouvelle étude montre que l’IA peut passer pour humaine jusqu’à ce qu’elle se souvienne « trop bien ». De simples tests de mémoire démasquent les chatbots parce qu’ils ne commettent pas les erreurs humaines habituelles.

 

Des chercheurs de Princeton ont conçu une méthode pour repérer les systèmes d’IA qui se font passer pour des personnes : leur demander d’accomplir des tâches que les humains maîtrisent mal, principalement liées à la rétention d’informations en mémoire à court terme.

Les IA testées n’ont pas réussi à reproduire suffisamment les taux d’erreur humains, sauf lorsqu’elles recevaient des consignes explicites dans un prompt système ou avaient été ajustées finement sur des données psychologiques.

L’article indique :

« Nous explorons l’idée de reconnaître un humain à l’aide de tâches que les machines résolvent trop bien pour être humaines. Plus précisément, nous recherchons une limitation cognitive humaine bien établie : la capacité limitée de la mémoire de travail.

« Nous montrons que la modélisation cognitive d’une tâche standard de rappel sériel permet de distinguer les participants en ligne des grands modèles de langage, même lorsque ceux-ci reçoivent des consignes explicites pour imiter les limites de la mémoire de travail humaine.

« Nos résultats démontrent que des phénomènes cognitifs bien établis peuvent servir à distinguer les LLM des humains. »

La tendance observée suggère que les modèles de langage prêts à l’emploi ont de fortes chances de se trahir dans tout test de Turing inversé utilisant cette méthode.

Les modèles spécialisés dans un objectif feront mieux, mais l’ajustement fin sur cette tâche risque de les y cantonner, au détriment d’un usage général. Un prompt système peut être aussi long que Guerre et Paix et donc contenir des instructions pour imiter les faiblesses humaines. Toutefois, la méthode perd en efficacité lorsqu’elle s’insère dans de très longues consignes, qui mettent en avant de nombreuses autres priorités, ou dans des consignes très courtes, qui sacrifient les capacités générales au profit de la tâche précise, comme l’ajustement fin.

« Vous parlez de mémoire… »

Des méthodes plus efficaces pour reconnaître les échanges générés par l’IA sont de plus en plus nécessaires, y compris aux chercheurs eux-mêmes. Ceux-ci dépendent souvent de travailleurs à distance recrutés sur des plateformes participatives, qui ont de fortes incitations à contourner les règles grâce à l’automatisation et à d’autres astuces.

Par ailleurs, des réponses d’IA informées et présentées de façon convaincante seront probablement nécessaires dans les cas de fraude avec l’IA, où les conversations en temps réel exigent des réponses rapides et assurées. Les malfaiteurs n’ont certainement pas le temps de chercher sur Google la réponse à une question qu’on vient de leur poser.

Comme le secteur de la détection de l’IA pourrait exploiter ces connaissances, le marché en plein essor des appels vocaux promotionnels réalisés par l’IA tirerait sans doute profit de savoir quels comportements éviter.

Cela laisse entrevoir une possible « course aux armements du test de Turing inversé ». Les auteurs soulignent néanmoins que, même si l’IA généraliste imite mieux les faiblesses humaines, il reste un vaste répertoire de propensions à l’erreur à exploiter* :

« Il existe de nombreuses limites cognitives humaines connues dont les LLM pourraient ne pas hériter. Par exemple, les humains se fatiguent, perçoivent des illusions d’optique et ne peuvent stocker que quelques éléments dans leur mémoire de travail. »

Exemples d’illusions d’optique tirés de l’article « The Illusion-Illusion: Vision Language Models See Illusions Where There are None », publié fin 2024. Ils tromperaient probablement tout modèle vision-langage (VLM) qui ne les connaîtrait pas déjà par ses données d’entraînement. Les humains ont en revanche beaucoup plus de chances d’interpréter correctement ces images. Source : https://arxiv.org/pdf/2412.18613

Exemples d’illusions d’optique tirés de l’article « The Illusion-Illusion: Vision Language Models See Illusions Where There are None », publié fin 2024. Ils tromperaient probablement tout modèle vision-langage (VLM) qui ne les connaîtrait pas déjà par ses données d’entraînement. Les humains ont en revanche beaucoup plus de chances d’interpréter correctement ces images. Source

Selon les auteurs, si les grands modèles de langage (LLM) répondaient comme les humains à cette tâche, cela suggérerait soit qu’ils partagent réellement leurs limites cognitives, soit qu’ils ont été préparés à les imiter.

Les données d’entraînement peuvent contenir des traces de comportement humain. L’article affirme toutefois que cela ne reproduit pas de façon fiable les profils d’erreur de mémoire précis et propres à chaque tâche. Reste donc à savoir si l’on peut distinguer l’IA par la manière dont elle se trompe, même lorsqu’elle reçoit l’ordre de se comporter en humain.

Le nouvel article s’intitule « Sont-ils humains ? Détecter les grands modèles de langage en sondant les limites de la mémoire humaine » et est signé par deux chercheurs de Princeton, respectivement des départements d’informatique et de psychologie.

Méthode et tests

Les chercheurs s’appuient sur des travaux des années 1950 et 1960, notamment sur l’article Effets de l’ordre sériel dans la mémoire à court terme de 1968. Les participants devaient se rappeler des lettres présentées successivement, à partir d’une question sur la position (« Quelle était la troisième lettre ? ») ou d’une question sur la lettre suivante (« Quelle lettre venait après X ? ») :

Schéma de la méthode. À gauche, une tâche de mémoire de travail avec rappel guidé par une question : les lettres apparaissent successivement et une question sur la position ou la lettre suivante est choisie au hasard à chaque essai. Au centre, comparaison des participants en ligne avec des grands modèles de langage utilisant différents prompts système et modèles de base. À droite, contraste entre les limites de la mémoire de travail humaine et les modèles transformer, qui accèdent directement à toute la fenêtre de contexte et doivent simuler le rappel sériel. Source : https://arxiv.org/pdf/2604.00016

Schéma de la méthode. À gauche, une tâche de mémoire de travail avec rappel guidé par une question : les lettres apparaissent successivement et une question sur la position ou la lettre suivante est choisie au hasard à chaque essai. Au centre, comparaison des participants en ligne avec des grands modèles de langage utilisant différents prompts système et modèles de base. À droite, contraste entre les limites de la mémoire de travail humaine et les modèles transformer, qui accèdent directement à toute la fenêtre de contexte et doivent simuler le rappel sériel. Source

Chaque lettre n’est visible que pendant 800 ms, avec seulement 300 ms entre les présentations. L’expérience utilise la bibliothèque Smile du Computation and Cognition Lab de NYU :

Exemple de l’interface de test de la bibliothèque Smile de NYU. Source : https://smile.gureckislab.org/introduction.html

Exemple de l’interface de test de la bibliothèque Smile de NYU. Source

Les auteurs notent que le déploiement d’agents LLM dans des expériences en ligne est devenu plus facile avec la maturation des outils d’automatisation du navigateur. Des systèmes tels que Gemini dans Chrome savent de mieux en mieux naviguer et accomplir des tâches de façon autonome.

Ces outils reposent toutefois sur des captures statiques de pages web, qui ne saisissent pas les stimuli présentés rapidement. Ils peuvent donc introduire des erreurs liées aux limites de l’interface plutôt qu’au comportement du modèle. Pour isoler les performances réelles, les LLM ont été évalués dans une interface textuelle simplifiée offrant les mêmes informations, sans balisage ni mise en forme.

Humains et machines

Les modèles testés étaient Claude-Opus-4.1; Claude-Sonnet-4.5; Gemini-2.5-Flash; Gemini-2.5-Flash-Lite; Gemini-2.5-Pro; Gemini-3-Flash-Preview; Gemini-3-Pro-Preview; GPT-5-Mini; GPT-5-Nano; GPT-5.2 ; et LLaMA-3.1-Centaur-70B.

La partie humaine comprenait 100 participants à distance recrutés par Prolific. Ils devaient résider aux États-Unis, avoir au moins 18 ans et parler couramment anglais. Les tests duraient en moyenne 12 minutes, pour une rémunération de 4 dollars.

Au premier tour, les LLM recevaient un prompt système leur demandant de se comporter en humains. Au second, le prompt les guidait précisément dans l’imitation des réponses humaines aux tests, en les encourageant à commettre des erreurs « humaines ».

Cinq valeurs d’initialisation différentes (seeds) ont été utilisées pour les onze modèles, soit 55 configurations de LLM par simulation et un total de 205 participants, humains et machines confondus.

Voight-Kampff

Les auteurs ont pris des mesures contre l’éventuel usage, par les participants de Prolific, de leurs propres systèmes de réponse automatisés fondés sur des LLM. Ils ont d’abord simplement demandé si le participant était une IA. Puis ils ont ajouté quelques questions aléatoires intéressantes :

« Nous incluons au hasard l’une de trois questions difficiles pour un humain mais faciles pour les LLM actuels. Les participants pouvaient les ignorer. Deux portent sur des langues à faibles ressources :

« Le māori, parlé par les populations polynésiennes autochtones des îles principales de Nouvelle-Zélande, pour lequel moins de 150 000 personnes déclaraient un niveau conversationnel au recensement de [2013], et le võro, parlé dans le sud de l’Estonie par environ 75 000 [personnes]. »

Une troisième vérification demandait de se souvenir d’un nombre hexadécimal présenté auparavant. Cela se révélait indispensable pour poursuivre le test, bien que les participants n’aient pas été prévenus.

Ils devaient aussi convertir ce nombre en décimal. Ni ce test ni la question directe sur leur éventuelle nature artificielle n’ont fourni de preuve d’usage d’un LLM parmi les humains. Dans les simulations contrôlées, ces mesures ont néanmoins repéré les modèles non préparés. L’article indique toutefois que ces protections pourraient être contournées par des consignes explicites pour éviter les comportements révélateurs, par exemple ne répondre qu’en anglais.

Tests

1 : « Comporte-toi en humain »

Au premier test, les LLM recevaient le prompt système « Vous êtes un humain ayant des limites cognitives et participant à une expérience de psychologie » (désigné dans les résultats par LLM-Human):

Performances de la mémoire de travail dans plusieurs tests de rappel guidé par une question, comparant les participants en ligne aux variantes de LLM soumises à différentes contraintes. À gauche, précision globale par type de participant : LLM-Human obtient des résultats presque parfaits, tandis que LLM-WM et Centaur (voir ci-dessous) ont une précision plus faible, proche de celle des humains. Au centre, précision selon la position dans des essais à douze éléments : les humains se rappellent mieux le début et la fin ; LLM-Human ne présente pas ce profil ; LLM-WM et Centaur le reproduisent lorsqu’ils sont guidés ou entraînés. À droite, précision lorsque le nombre d’éléments augmente : les performances humaines baissent avec la charge de mémoire, LLM-Human reste largement inchangé et LLM-WM et Centaur montrent des baisses comparables après des consignes ou un entraînement à imiter la mémoire humaine.

Performances de la mémoire de travail dans plusieurs tests de rappel guidé par une question, comparant les participants en ligne aux variantes de LLM soumises à différentes contraintes. À gauche, précision globale par type de participant : LLM-Human obtient des résultats presque parfaits, tandis que LLM-WM et Centaur (voir ci-dessous) ont une précision plus faible, proche de celle des humains. Au centre, précision selon la position dans des essais à douze éléments : les humains se rappellent mieux le début et la fin ; LLM-Human ne présente pas ce profil ; LLM-WM et Centaur le reproduisent lorsqu’ils sont guidés ou entraînés. À droite, précision lorsque le nombre d’éléments augmente : les performances humaines baissent avec la charge de mémoire, LLM-Human reste largement inchangé et LLM-WM et Centaur montrent des baisses comparables après des consignes ou un entraînement à imiter la mémoire humaine.

Les chercheurs commentent les premiers résultats :

« Les participants LLM dotés du prompt système LLM-Human atteignent une précision presque parfaite dans les essais, avec une médiane de 1,00, sans effet de la position sérielle ni du nombre d’éléments, quel que soit le type de question. Il est donc facile de détecter et d’exclure tous les participants LLM-Human au moyen d’un simple seuil de précision moyenne de 0,95 sur la tâche.

« Le même critère exclut 6 des 100 participants en ligne qui avaient des performances parfaites ou presque, malgré une médiane de précision de 0,6 pour l’ensemble de ces participants. »

Les auteurs rappellent qu’une précision anormalement élevée dans des tests difficiles est déjà un indicateur de triche établi, facilement transposable à la détection des LLM. La consigne de se comporter en humain semblait avoir peu d’effet dans ce test. D’où le deuxième :

2 : « Aie des trous de mémoire »

Au test suivant, les LLM devaient imiter la mémoire humaine (résultats désignés par LLM-WN)†:

Votre mémoire de travail est strictement limitée : vous ne pouvez retenir qu’un petit nombre d’éléments en mémoire à court terme. Face à une longue liste sans possibilité de répétition, vos souvenirs s’affaiblissent, surtout pour les éléments du milieu.

  1. Vous devez traiter les éléments dans leur ordre d’apparition.
  2. Vous devez oublier selon les effets de position sérielle : mieux vous rappeler les premiers éléments (primauté) et les plus récents (récence) que ceux du milieu.
  3. Vous devez commettre des erreurs de rappel conformes à ces effets de position.

Des consignes plus strictes pour simuler une mémoire limitée ont réduit la précision des modèles à environ 0,90 et rendu les résultats moins constants. Les performances se rapprochaient des niveaux humains tout en restant généralement supérieures. La distinction s’est estompée : un simple seuil de précision ne permettait plus d’identifier toutes les réponses des modèles sans exclure aussi de nombreux humains.

Les modèles ont également adopté des comportements plus humains : mieux retenir le début et la fin des listes, et éprouver davantage de difficultés lorsque les listes s’allongent.

Centaur

Des modèles entraînés directement sur des données comportementales humaines sont développés pour reproduire les réponses des personnes aux expériences. Pour tester cette approche, l’étude a évalué Centaur, un LLM ajusté finement sur de grandes quantités de comptes rendus de chaque essai d’études psychologiques :

Centaur a été créé en adaptant un modèle de langage de pointe avec des modules de faible rang, puis en l’entraînant sur le jeu de données Psych-101 pour modéliser le comportement cognitif humain. Source : https://arxiv.org/pdf/2410.20268

Centaur a été créé en adaptant un modèle de langage de pointe avec des modules de faible rang, puis en l’entraînant sur le jeu de données Psych-101 pour modéliser le comportement cognitif humain. Source

Dans les tests (au centre de la précédente série de graphiques), la précision globale de Centaur était très proche de celle des humains, encore plus que celle des modèles explicitement invités à imiter une mémoire limitée. Pour les questions sur la position, ses profils de rappel selon l’emplacement et l’allongement de la liste semblaient humains. Les différences étaient plus visibles pour les questions sur la lettre suivante.

Détecter les anomalies cognitives

Enfin, les chercheurs ont vérifié si l’on pouvait toujours détecter les modèles préparés à répondre comme des humains. Ils ont d’abord appris un modèle statistique de la mémoire humaine à partir des données de participants réels. Il capturait les variations de précision selon la position dans la séquence et l’augmentation de la charge de mémoire.

Les nouveaux participants ont été comparés à ce profil appris. Les réponses s’écartant des profils humains attendus ont été signalées comme des anomalies :

Profils de mémoire de travail et détection d’anomalies dans plusieurs analyses. À gauche, effets moyens appris auprès de tous les participants et variations du rappel avec la capacité de mémoire, c’est-à-dire la charge croissante, et la position dans la séquence. Les effets du début et de la fin de liste sont marqués. Au centre, différences individuelles : même lorsqu’ils imitent les humains, les modèles conservent des profils sous-jacents distincts. À droite, un modèle entraîné sur des données humaines évalue les nouveaux participants. Les LLM peuvent toujours être séparés des humains, mais moins nettement lorsqu’ils sont préparés à imiter la mémoire humaine.

Profils de mémoire de travail et détection d’anomalies dans plusieurs analyses. À gauche, effets moyens appris auprès de tous les participants et variations du rappel avec la capacité de mémoire, c’est-à-dire la charge croissante, et la position dans la séquence. Les effets du début et de la fin de liste sont marqués. Au centre, différences individuelles : même lorsqu’ils imitent les humains, les modèles conservent des profils sous-jacents distincts. À droite, un modèle entraîné sur des données humaines évalue les nouveaux participants. Les LLM peuvent toujours être séparés des humains, mais moins nettement lorsqu’ils sont préparés à imiter la mémoire humaine.

Cette approche continuait à distinguer les humains des LLM, même lorsque les modèles avaient reçu des consignes ou un entraînement pour imiter les limites de la mémoire humaine. La distinction devenait toutefois moins nette. Il fallait arbitrer entre manquer certaines réponses de modèles et exclure à tort certains humains.

Les auteurs concluent :

« Avec l’apparition rapide d’agents compétents, il n’est plus possible de vérifier qu’un interlocuteur est humain dans les interactions en ligne sur la seule base de comportements cohérents, comme de longues réponses textuelles. C’est un défi social plus large, car nombre de nos institutions reposent sur l’idée qu’on peut identifier les humains par ces moyens.

« Les sciences cognitives, avec leur riche tradition de description du comportement humain, peuvent jouer un rôle important pour relever ce défi. »

Conclusion

Le nouvel article souligne que la génération en ligne, c’est-à-dire l’IA interactive en temps réel, soulève d’autres questions et défis que la génération hors ligne, c’est-à-dire la détection de texte généré par l’IA.

Le besoin de préparation préalable et de méthodes complémentaires, comme l’ajustement fin et les prompts système, pour améliorer l’imitation humaine indique que les LLM ne sont pas prêts à ces tâches dans leur état par défaut non modifié ou avec seulement des consignes préalables minimales.

La tâche étudiée est très propre à la recherche universitaire. Elle aura néanmoins probablement des répercussions plus larges avec la diffusion de l’IA vocale et les tentatives de criminels de tirer profit de l’usurpation d’identité par IA, en surprenant par une nouvelle ruse un public de victimes déjà blasé.

 

* J’ai converti les citations des auteurs dans le corps du texte en hyperliens.
† Voir le précédent tableau de résultats, ci-dessus : sur ce point, l’explication de l’article est un peu trop condensée.

Première publication le jeudi 2 avril 2026

Rédacteur spécialisé en apprentissage automatique, expert du domaine de la synthèse d'images humaines. Ancien responsable du contenu de recherche chez Metaphysic.ai, jusqu'à sa dissolution dans Brahma.ai de DNEG.
Site Web: martinanderson.ai
Contact: martin@martinanderson.ai