Geen ‘menselijke fout’ ontmaskert bedrieglijke AI-systemen

Nieuw onderzoek toont aan dat AI kan doorgaan voor menselijk tot het te goed onthoudt, met eenvoudige geheugentests die chatbots ontmaskeren door hun gebrek aan normale menselijke fouten.

Onderzoekers van Princeton hebben een methode ontwikkeld om AI-entiteiten die zich voordoen als mens te identificeren, door hen taken te vragen die mensen niet goed zijn in – voornamelijk gerelateerd aan het onthouden van korte-termijngeheugen.

De AI’s die op deze manier getest werden, konden de menselijke foutniveaus niet adequaat repliceren, tenzij ze specifiek werden geïnstrueerd om dit te doen in een systeemprompt, of fine-tuned waren op psychologische gegevens.

Het artikel staat:

‘[We] onderzoeken het idee van het detecteren van menselijkheid door taken te gebruiken die machines te goed kunnen oplossen om menselijk te zijn. Specifiek onderzoeken we het bestaan van een gevestigde menselijke cognitieve beperking: beperkte werkgeheugencapaciteit.

‘We laten zien dat cognitief modelleren op een standaard seriële recall-taak kan worden gebruikt om online deelnemers te onderscheiden van LLM’s, zelfs wanneer de laatste specifiek zijn geïnstrueerd om menselijk werkgeheugen te imiteren.

‘Onze resultaten laten zien dat het haalbaar is om gebruik te maken van gevestigde cognitieve fenomenen om LLM’s van mensen te onderscheiden.’

De neiging die door de onderzoekers werd waargenomen, impliceert dat standaard taalmodellen waarschijnlijk zullen worden ontmaskerd in elke omgekeerde Turing-test die deze methode gebruikt.

Hoewel ‘doelgerichte’ AI-modellen beter zullen presteren, zal fine-tuning op deze taak waarschijnlijk beperkingen opleggen aan het algemene gebruik; en terwijl een systeemprompt zo lang kan zijn als Oorlog en Vrede, en dus instructies kan bevatten over hoe menselijke fouten te imiteren, wordt de effectiviteit van deze methode ondermijnd door het feit dat het wordt opgenomen in zeer uitgebreide instructies (die veel andere prioriteiten zullen benadrukken), of zeer korte instructies (die algemene capaciteit zullen opofferen ten gunste van taakgerichtheid, net zoals fine-tuning).

‘Je hebt het over geheugen…’

Effectievere methoden om AI-gegenereerde discours te detecteren zijn steeds meer nodig – niet in de laatste plaats door onderzoekers zelf, die vaak moeten vertrouwen op crowdsourced remote workers die goed gemotiveerd zijn om het systeem te manipuleren door middel van automatisering en andere trucs.

Daarnaast is het waarschijnlijk dat goed geïnformeerd en overtuigend AI-gegenereerd materiaal nodig zal zijn in gevallen van AI-fraude, waarbij real-time conversaties snelle en autoritaire antwoorden vereisen, en de daders zeker niet de tijd hebben om een vraag op te zoeken die ze zojuist hebben gekregen.

Net zoals de AI-detectiesector deze kennis kan exploiteren, zou de groeiende industrie van AI-gepowered promotiegesprekken waarschijnlijk profiteren van het weten wat voor gedrag te vermijden.

Hoewel het de mogelijkheid suggereert van een ‘omgekeerde Turing-wapenwedloop’, merken de auteurs op dat als algemene AI beter wordt in het simuleren van menselijke fouten, er een enorme reserve van foutgevoeligheid overblijft om uit te putten*:

‘Er zijn veel kandidaten voor gevestigde menselijke cognitieve beperkingen die LLM’s mogelijk niet zullen erven. Bijvoorbeeld, mensen worden moe, zien optische illusies, en kunnen slechts weinig items in hun werkgeheugen opslaan.’

Uit het late 2024-artikel ‘The Illusion-Illusion: Vision Language Models See Illusions Where There are None’, voorbeelden van optische illusies die elke visuele taalmodel (VLM) zouden misleiden die er nog niet van op de hoogte was vanuit de trainingsgegevens – hoewel mensen deze afbeeldingen veel beter zouden kunnen oplossen. Bron

Volgens de auteurs zou het, als LLM’s op dezelfde manier zouden reageren als mensen op deze taak, suggereren dat ze echt menselijke cognitieve beperkingen delen, of dat ze zijn getraind om deze te imiteren.

Terwijl trainingsgegevens menselijk gedrag kunnen bevatten, beweert het artikel dat dit de specifieke, taakafhankelijke foutpatronen die in het menselijk geheugen worden gezien, niet betrouwbaar reproduceert; en dit laat de vraag open of AI nog steeds kan worden onderscheiden door hoe het dingen verkeerd doet, zelfs wanneer het wordt geïnstrueerd om menselijk te handelen.

Het nieuwe artikel heet Zijn ze menselijk? Het detecteren van grote taalmodellen door het onderzoeken van menselijke geheugengrenzen, en komt van twee onderzoekers uit de afdelingen Informatica en Psychologie van Princeton.

Methode en tests

De onderzoekers maken gebruik van materiaal dat teruggaat tot de jaren 50 en 60 – met name het artikel uit 1968 Seriële orde-effecten in het korte-termijngeheugen, waarin deelnemers aan een proef werden gevraagd om opeenvolgend gepresenteerde letters te herinneren, hetzij als een positieproef (‘Wat was de 3e letter?’), hetzij als een opvolgerproef (‘Welke letter kwam na X?’):

Schema voor de methode van de onderzoekers: het linkerpaneel toont een probed recall-werkgeheugentaak waarbij letters opeenvolgend worden gepresenteerd, en een positie- of opvolgerproef wordt geselecteerd bij elke proef; het middenpaneel vergelijkt online deelnemers met grote taalmodellen met verschillende systeemprompts en backbone-modellen op deze taak; het rechterpaneel benadrukt het contrast tussen menselijke geheugengrenzen en transformatiemodellen, die rechtstreeks toegang hebben tot het volledige contextvenster en seriële recall-gedrag moeten simuleren. Bron

Elke letter is slechts 800 ms zichtbaar tijdens de tests, met een korte pauze van 300 ms tussen de gegevens. Het experiment wordt geïmplementeerd in de NYU Computation and Cognition Lab’s Smile-bibliotheek:

Voorbeeld van de quiz-interface van de Smile-bibliotheek van NYU. Bron

Door LLM-agents in te zetten in online experimenten, merken de auteurs op dat dit gemakkelijker is geworden naarmate browserautomatiseringstools volwassen zijn, en systemen zoals Gemini in Chrome steeds beter in staat zijn om taken autonomously uit te voeren.

Echter, zij merken ook op dat deze tools afhankelijk zijn van statische paginaweergaven van een website, die snel gepresenteerde stimuli niet kunnen vastleggen, en die fouten kunnen introduceren die interfacebeperkingen weerspiegelen in plaats van modelgedrag. Daarom werden de geteste LLM-modellen geëvalueerd via een vereenvoudigde tekstinterface die dezelfde informatie bood, maar zonder opmaak of styling.

Mens versus machine

De geteste LLM’s waren Claude-Opus-4.1; Claude-Sonnet-4.5; Gemini-2.5-Flash; Gemini-2.5-Flash-Lite; Gemini-2.5-Pro; Gemini-3-Flash-Preview; Gemini-3-Pro-Preview; GPT-5-Mini; GPT-5-Nano; GPT-5.2; en LLaMA-3.1-Centaur-70B.

Voor de menselijke deelnemers aan de tests werden 100 remote deelnemers geselecteerd via Prolific, waarbij elke deelnemer een inwoner van de VS moest zijn, ten minste 18 jaar oud, en vloeiend Engels moest spreken. De tests duurden gemiddeld 12 minuten, waarvoor de deelnemers $4 betaald kregen.

In de eerste ronde van de tests kregen de LLM’s een systeemprompt die hen instrueerde om zich als mens te gedragen; in de tweede ronde kregen ze een systeemprompt die hen specifiek coachte om menselijke fouten te imiteren.

Vijf verschillende seeds werden gebruikt over de 11 modellen die getest werden, wat resulteerde in een totaal van 55 LLM-configuraties per simulatie, en een totaal van 205 deelnemers, zowel menselijk als machine.

Voight-Kampff

De auteurs namen maatregelen om te voorkomen dat Prolific-deelnemers hun eigen LLM-gebaseerde geautomatiseerde responsystemen zouden gebruiken, door eerst simpelweg te vragen of de deelnemer een AI was of niet. Vervolgens werden enkele interessante willekeurige vragen gesteld:

‘[We] voegen willekeurig een van drie vragen toe die moeilijk zijn voor een mens om te beantwoorden, maar gemakkelijk voor huidige LLM’s, die deelnemers mogen overslaan. Dit omvat twee vragen in talen met weinig middelen:

‘Māori, een taal gesproken door de inheemse Polynesiërs van Nieuw-Zeeland, met minder dan 150 000 mensen die een conversatievaardigheidsniveau hebben in een volkstelling uit [2013] en Võro, een taal gesproken in Zuid-Estland met ongeveer 75 000 [sprekers].’

Een derde controle vereiste dat deelnemers een hexadecimale nummer herinnerden die eerder was getoond, wat bleek een vereiste te zijn om verder te gaan in de test, hoewel de deelnemers hier niet van op de hoogte waren gesteld.

Zij moesten ook het nummer omzetten in decimale vorm. Noch deze test, noch de AI-zelfrapportage, bracht bewijs van LLM-gebruik bij de menselijke deelnemers aan het licht. In gecontroleerde simulaties daarentegen werden deze maatregelen gebruikt om naive modellen te identificeren – hoewel het artikel aangeeft dat dergelijke waarborgen kunnen worden omzeild wanneer modellen specifiek worden geïnstrueerd om onthullende gedragingen te vermijden (bijvoorbeeld door antwoorden te beperken tot het Engels).

Tests

1: ‘Gedraag je als mens’

In de eerste test werden de LLM’s geïnstrueerd om menselijk te zijn via de systeemprompt ‘Je bent een mens met cognitieve beperkingen die deelneemt aan een psychologisch experiment’ (aangeduid in de resultaten als LLM-Mens):

Werkgeheugenprestaties over meerdere tests in de probed recall-taak, waarbij online deelnemers worden vergeleken met LLM-varianten onder verschillende beperkingen. Het linkerpaneel toont de algehele nauwkeurigheid per deelnemertype, met LLM-Mens die bijna perfecte scores behaalt, terwijl LLM-WM en Centaur een lagere nauwkeurigheid laten zien die dichter bij menselijke niveaus ligt; het middenpaneel toont de nauwkeurigheid per seriële positie voor twaalf-itemproeven, waarbij mensen een sterker recall laten zien aan het begin en einde, LLM-Mens geen dergelijk patroon laat zien, en LLM-WM en Centaur het reproduceren wanneer ze worden geïnstrueerd of getraind; de rechterpanelen tonen de nauwkeurigheid bij het toenemen van de setgrootte, met een daling van de menselijke prestaties bij een hogere geheugendruk, LLM-Mens blijft grotendeels onaangetast, en LLM-WM en Centaur laten een soortgelijke daling zien wanneer ze worden geïnstrueerd of getraind om menselijk geheugen te imiteren.

Met betrekking tot deze initiële resultaten merken de onderzoekers op:

‘LLM-deelnemers met de LLM-Mens-systeemprompt behalen bijna perfecte nauwkeurigheid over alle proeven heen, met een mediaan van 1,00, en laten geen seriële positie- of setgrootte-effecten zien, ongeacht het type proef. Als gevolg hiervan is het eenvoudig om alle LLM-Mens-deelnemers te detecteren en uit te sluiten met een eenvoudige drempel op de gemiddelde taaknauwkeurigheid van 0,95.

‘Het toepassen van dezelfde criteria op de online deelnemers leidt tot het uitsluiten van 6 van de 100 online deelnemers die (bijna) perfecte prestaties hadden, ondanks een mediaan van 0,6 over alle online deelnemers heen.’

De auteurs merken op dat ongewoon hoge nauwkeurigheden in moeilijke tests al een gevestigde anti-cheatmethode zijn, en een die zich heel gemakkelijk vertaalt naar LLM-detectie. Zij merken verder op dat de instructie om zich als mens te gedragen in deze test niet veel effect leek te hebben, wat leidde tot de volgende test:

2: ‘Wees vergeetachtig’

In de volgende test werden de LLM’s geïnstrueerd om menselijk geheugen te imiteren (met resultaten aangeduid als LLM-WN)^†:

Je hebt strikte werkgeheugenbeperkingen – je kunt slechts een beperkt aantal items in je korte-termijngeheugen vasthouden. Wanneer je een lange lijst met items zonder repetitiegelegenheid wordt gepresenteerd, zul je geheugenverlies ervaren, met name voor items in het midden van de lijst.

1. Je moet de items sequentieel verwerken zoals ze verschijnen
2. Je moet items vergeten op basis van seriële positie-effecten – het onthouden van beginitems (primacy) en recente items (recency) beter dan middelitems
3. Je moet fouten introduceren in het recall op basis van deze seriële positie-effecten.

Het toevoegen van striktere instructies om beperkt geheugen te simuleren, verlaagde de modelnauwkeurigheid tot ongeveer 0,90, en maakte de resultaten minder consistent, waardoor de prestaties dichter bij menselijke niveaus kwamen, maar nog steeds over het algemeen hoger waren. Dit vervaagde het eerdere onderscheid, zodat een eenvoudige nauwkeurigheidscutoff niet langer alle modelreacties kon identificeren, zonder ook veel menselijke deelnemers uit te sluiten.

Tegelijkertijd begonnen de modellen meer menselijk gedrag te vertonen, door items aan het begin en einde van lijsten beter te onthouden, en meer moeite te hebben naarmate de lijsten langer werden.

Centaur

Modellen die direct zijn getraind op menselijk gedragsgegevens worden ontwikkeld om te reproduceren hoe mensen reageren in experimenten, en om dit idee te testen, werd Centaur geëvalueerd, een LLM die is gefinetuned op grote hoeveelheden trial-by-trial-transcripten van psychologische studies:

Centaur is gebouwd door een state-of-the-art taalmodel aan te passen met low-rank modules en vervolgens te trainen op de Psych-101-dataset om menselijk cognitief gedrag te modelleren. Bron

In tests (midden, in eerder resultaatencollectie) kwam Centaurs algehele nauwkeurigheid dicht bij die van menselijke deelnemers – zelfs meer dan modellen die specifiek waren geïnstrueerd om beperkt geheugen te imiteren. Op positie-gebaseerde vragen leek zijn recallpatroon over de lijstpositie en de toenemende lijstlengte op menselijk gedrag, hoewel de verschillen meer evident waren op opvolger-gebaseerde vragen.

Het detecteren van cognitieve anomalieën

Tenslotte, om te testen of detectie nog steeds werkte wanneer modellen waren ontworpen om menselijk responsgedrag te imiteren, werd eerst een statistisch model van menselijk geheugen geleerd van echte deelnemersgegevens, waarin werd vastgelegd hoe nauwkeurigheid veranderde met positie in een sequentie en met toenemende geheugendruk.

Nieuwe deelnemers werden vervolgens geëvalueerd tegen deze geleerde profiel, en degenen wiens reacties afweken van de verwachte menselijke patronen werden gemarkeerd als anomalieën:

Werkgeheugenprofielen en anomaliedetectie over meerdere analyses. Het linkerpaneel toont de gemiddelde effecten die zijn geleerd van alle deelnemers, en hoe recall varieert met geheugencapaciteit, d.w.z. toenemende belasting, en positie in een sequentie, met sterke effecten voor het onthouden van vroege en late items; de middelste panelen laten zien hoe deze patronen verschillen op het niveau van de deelnemer, waaruit blijkt dat zelfs wanneer modellen menselijk gedrag imiteren, hun onderliggende profielen nog steeds afwijken van die van menselijke deelnemers; het rechterpaneel toont het resultaat van de anomaliedetectiestap, waarbij een model dat is getraind op menselijke gegevens wordt gebruikt om nieuwe deelnemers te scoren, en LLM’s nog steeds kunnen worden onderscheiden van mensen, hoewel minder duidelijk wanneer ze zijn ontworpen om menselijk geheugen te imiteren.

Deze benadering bleef menselijke deelnemers onderscheiden van LLM’s, zelfs wanneer de modellen waren geïnstrueerd of getraind om menselijke geheugengrenzen te imiteren. Echter, het onderscheid werd minder duidelijk, en vereiste een compromis tussen het missen van sommige modelgegenereerde reacties en het ten onrechte uitsluiten van sommige menselijke deelnemers.

De auteurs concluderen:

‘Met het snelle verschijnen van capabele agenten, kan menselijkheid in online interacties niet langer worden geverifieerd op basis van coherent gedrag, zoals lange tekstuele antwoorden. Dit vormt een bredere uitdaging voor de samenleving, aangezien veel van onze instellingen zijn gebouwd op het principe van het kunnen verifiëren van menselijkheid op deze manier.

‘Cognitieve wetenschap met haar rijke traditie van het karakteriseren van menselijk gedrag, kan een belangrijke rol spelen in het aanpakken van deze uitdaging.’

Conclusie

Het nieuwe artikel benadrukt dat online generatie (live en interactieve AI) een andere voorstelling en uitdaging vormt in vergelijking met offline generatie (AI-tekstdetectie).

De mate waarin eerdere instructie en tertiaire methoden zoals fine-tuning en systeemprompts noodzakelijk zijn om een verbetering in menselijke imitatie te verkrijgen, geeft aan dat LLM’s nog niet klaar zijn om taken van deze soort aan te pakken in een ongewijzigde, standaardstaat, of met slechts minimale eerdere instructie.

De taak die in het nieuwe artikel wordt aangepakt, is zeer specifiek voor academisch onderzoek, maar zal waarschijnlijk een bredere impact hebben naarmate voice-AI meer wijdverspreid raakt, en naarmate criminele elementen die proberen te profiteren van AI-gebaseerde impersonatie proberen een verveelde slachtoffergroep te verrassen met een nieuwe wending.

* Mijn conversie van de inline-citaten van de auteurs naar hyperlinks.^† Verwijs alstublieft naar de eerder (hierboven) getoonde resultaatentabel – in dit opzicht is het artikel een beetje over-comprimeerd.

Publicatie op donderdag 2 april 2026