Andersons hoek
Het ontbreken van menselijke fouten ontmaskert AI-systemen die zich als mens voordoen

Belangrijkste puntenAI-systemen verraden zich door geheugentaken met onnatuurlijke perfectie uit te voeren…
Meer weergeven
- AI-systemen verraden zich door geheugentaken met onnatuurlijke perfectie uit te voeren, tenzij ze specifiek zijn getraind om fouten te maken.
- Het finetunen van modellen op menselijke psychologiegegevens verbetert hun nabootsing, maar beperkt hun algemene toepasbaarheid.
- De cognitieve wetenschap biedt robuuste detectiemethoden omdat AI inherente menselijke beperkingen zoals geheugenverval en vermoeidheid mist.
Nieuw onderzoek toont aan dat AI kan doorgaan voor een mens tot het te goed onthoudt, met eenvoudige geheugentests die chatbots ontmaskeren door hun gebrek aan normale menselijke fouten.
Onderzoekers van Princeton hebben een methode ontwikkeld om AI-entiteiten die zich voordoen als mens te identificeren, door hen taken te laten uitvoeren waar mensen niet goed in zijn, vooral taken rond het vasthouden van informatie in het kortetermijngeheugen.
De AI’s die op deze manier getest werden, konden de menselijke foutniveaus niet adequaat repliceren, tenzij ze specifiek werden geïnstrueerd om dit te doen in een systeemprompt, of verder waren getraind op psychologische gegevens.
In het onderzoeksartikel staat:
‘[We] onderzoeken het idee van het vaststellen of een deelnemer een mens is door taken te gebruiken die machines te goed kunnen oplossen om menselijk te zijn. Specifiek onderzoeken we het bestaan van een gevestigde menselijke cognitieve beperking: beperkte werkgeheugencapaciteit.
‘We laten zien dat cognitief modelleren op een standaard seriële recall-taak kan worden gebruikt om online deelnemers te onderscheiden van LLM’s, zelfs wanneer de laatste specifiek zijn geïnstrueerd om de beperkingen van het menselijke werkgeheugen te imiteren.
‘Onze resultaten laten zien dat het haalbaar is om gebruik te maken van gevestigde cognitieve fenomenen om LLM’s van mensen te onderscheiden.’
De neiging die door de onderzoekers werd waargenomen, impliceert dat standaard taalmodellen zeer waarschijnlijk zullen worden ontmaskerd in elke omgekeerde Turing-test die deze methode gebruikt.
Hoewel ‘doelgerichte’ AI-modellen beter zullen presteren, zal fine-tuning op deze taak hen waarschijnlijk tot die taak beperken, ten koste van algemeen gebruik; en terwijl een systeemprompt zo lang kan zijn als Oorlog en Vrede, en dus instructies kan bevatten over hoe menselijke fouten te imiteren, wordt de effectiviteit van deze methode ondermijnd door het feit dat het wordt opgenomen in zeer uitgebreide instructies (die veel andere prioriteiten zullen benadrukken), of zeer korte instructies (die algemene capaciteit zullen opofferen ten gunste van taakgerichtheid, net zoals fine-tuning).
‘Je hebt het over geheugen…’
Effectievere methoden om AI-gegenereerde gesprekken te detecteren zijn steeds meer nodig – niet in de laatste plaats door onderzoekers zelf, die vaak moeten vertrouwen op op afstand werkende deelnemers die via crowdsourcing worden geworven en die goed gemotiveerd zijn om het systeem te manipuleren door middel van automatisering en andere trucs.
Daarnaast is het waarschijnlijk dat goed geïnformeerd en overtuigend AI-gegenereerd materiaal nodig zal zijn in gevallen van AI-fraude, waarbij real-time conversaties snelle en gezaghebbende antwoorden vereisen, en de daders zeker niet de tijd hebben om een vraag op te zoeken die ze zojuist hebben gekregen.
Net zoals de AI-detectiesector deze kennis kan exploiteren, zou de groeiende industrie van door AI ondersteunde telefonische verkoopgesprekken er waarschijnlijk baat bij hebben te weten welk gedrag ze moeten vermijden.
Hoewel het de mogelijkheid suggereert van een ‘omgekeerde Turing-wapenwedloop’, merken de auteurs op dat als algemene AI beter wordt in het simuleren van menselijke fouten, er een enorme reserve van foutgevoeligheid overblijft om uit te putten*:
‘Er zijn veel kandidaten voor gevestigde menselijke cognitieve beperkingen die LLM’s mogelijk niet zullen erven. Bijvoorbeeld, mensen worden moe, zien optische illusies, en kunnen slechts weinig items in hun werkgeheugen opslaan.’

Voorbeelden van optische illusies uit het artikel “The Illusion-Illusion: Vision Language Models See Illusions Where There are None” van eind 2024. Ze zouden waarschijnlijk elk beeld-taalmodel (VLM) misleiden dat ze niet al uit zijn trainingsgegevens kent, terwijl mensen de beelden veel vaker correct interpreteren. Bron
Volgens de auteurs zou het, als LLM’s op dezelfde manier zouden reageren als mensen op deze taak, suggereren dat ze echt menselijke cognitieve beperkingen delen, of dat ze zijn getraind om deze te imiteren.
Terwijl trainingsgegevens menselijk gedrag kunnen bevatten, beweert het artikel dat dit de specifieke, taakafhankelijke foutpatronen die in het menselijk geheugen worden gezien, niet betrouwbaar reproduceert; en dit laat de vraag open of AI nog steeds kan worden onderscheiden door hoe de AI fouten maakt, zelfs wanneer het wordt geïnstrueerd om menselijk te handelen.
Het nieuwe artikel heet Zijn ze menselijk? Het detecteren van grote taalmodellen door het onderzoeken van menselijke geheugengrenzen, en komt van twee onderzoekers uit de afdelingen Informatica en Psychologie van Princeton.
Methode en tests
De onderzoekers maken gebruik van materiaal dat teruggaat tot de jaren 50 en 60 – met name het artikel uit 1968 Seriële orde-effecten in het kortetermijngeheugen, waarin deelnemers aan een proef werden gevraagd om opeenvolgend gepresenteerde letters te herinneren, hetzij als een positieproef (‘Wat was de 3e letter?’), hetzij als een opvolgerproef (‘Welke letter kwam na X?’):

Schema van de onderzoeksmethode. Links staat een werkgeheugentaak waarbij letters na elkaar verschijnen en bij elke proef willekeurig een vraag over de positie of de opvolgende letter wordt gekozen. In het midden worden online deelnemers vergeleken met grote taalmodellen met verschillende systeemprompts en basismodellen. Rechts staat het contrast tussen de beperkingen van het menselijke werkgeheugen en transformermodellen, die rechtstreeks toegang hebben tot het hele contextvenster en het achtereenvolgens herinneren moeten simuleren. Bron
Elke letter is slechts 800 ms zichtbaar tijdens de tests, met een korte pauze van 300 ms tussen de gegevens. Het experiment wordt geïmplementeerd in de NYU Computation and Cognition Lab’s Smile-bibliotheek:

Voorbeeld van de testinterface van de Smile-bibliotheek van NYU. Bron
Door LLM-agents in te zetten in online experimenten, merken de auteurs op dat dit gemakkelijker is geworden naarmate browserautomatiseringstools volwassen zijn, en systemen zoals Gemini in Chrome steeds beter in staat zijn om autonoom te navigeren en taken uit te voeren.
Echter, zij merken ook op dat deze tools afhankelijk zijn van statische paginaweergaven van een website, die snel gepresenteerde stimuli niet kunnen vastleggen, en die fouten kunnen introduceren die interfacebeperkingen weerspiegelen in plaats van modelgedrag. Om de werkelijke prestaties te isoleren, werden de geteste LLM-modellen geëvalueerd via een vereenvoudigde tekstinterface die dezelfde informatie bood, maar zonder markeertaal of vormgeving.
Mens versus machine
De geteste LLM’s waren Claude-Opus-4.1; Claude-Sonnet-4.5; Gemini-2.5-Flash; Gemini-2.5-Flash-Lite; Gemini-2.5-Pro; Gemini-3-Flash-Preview; Gemini-3-Pro-Preview; GPT-5-Mini; GPT-5-Nano; GPT-5.2; en LLaMA-3.1-Centaur-70B.
Voor de menselijke deelnemers aan de tests werden 100 remote deelnemers geselecteerd via Prolific, waarbij elke deelnemer een inwoner van de VS moest zijn, ten minste 18 jaar oud, en vloeiend Engels moest spreken. De tests duurden gemiddeld 12 minuten, waarvoor de deelnemers $4 betaald kregen.
In de eerste ronde van de tests kregen de LLM’s een systeemprompt die hen instrueerde om zich als mens te gedragen; in de tweede ronde kregen ze een systeemprompt die hen specifiek coachte om menselijke fouten te imiteren.
Vijf verschillende seeds werden gebruikt over de 11 modellen die getest werden, wat resulteerde in een totaal van 55 LLM-configuraties per simulatie, en een totaal van 205 deelnemers, zowel menselijk als machine.
Voight-Kampff
De auteurs namen maatregelen om te voorkomen dat Prolific-deelnemers hun eigen LLM-gebaseerde geautomatiseerde responsystemen zouden gebruiken, door eerst simpelweg te vragen of de deelnemer een AI was of niet. Vervolgens werden enkele interessante willekeurige vragen gesteld:
‘[We] voegen willekeurig een van drie vragen toe die moeilijk zijn voor een mens om te beantwoorden, maar gemakkelijk voor huidige LLM’s, die deelnemers mogen overslaan. Dit omvat twee vragen in talen met weinig middelen:
‘Māori, een taal gesproken door de inheemse Polynesiërs van Nieuw-Zeeland, met minder dan 150 000 mensen die een conversatievaardigheidsniveau hebben in een volkstelling uit [2013] en Võro, een taal gesproken in Zuid-Estland met ongeveer 75 000 [sprekers].’
Een derde controle vereiste dat deelnemers zich een eerder getoond hexadecimaal getal herinnerden, wat een vereiste bleek te zijn om verder te gaan in de test, hoewel de deelnemers hier niet van op de hoogte waren gesteld.
Zij moesten ook het getal omzetten in decimale vorm. Noch deze test, noch de AI-zelfrapportage, bracht bewijs van LLM-gebruik bij de menselijke deelnemers aan het licht. In gecontroleerde simulaties daarentegen werden deze maatregelen gebruikt om naive modellen te identificeren – hoewel het artikel aangeeft dat dergelijke waarborgen kunnen worden omzeild wanneer modellen specifiek worden geïnstrueerd om onthullende gedragingen te vermijden (bijvoorbeeld door antwoorden te beperken tot het Engels).
Tests
1: ‘Gedraag je als mens’
In de eerste test werden de LLM’s geïnstrueerd om menselijk te zijn via de systeemprompt ‘Je bent een mens met cognitieve beperkingen die deelneemt aan een psychologisch experiment’ (aangeduid in de resultaten als LLM-Human):

Werkgeheugenprestaties in verschillende tests met vragen over eerder getoonde items, waarin online deelnemers worden vergeleken met LLM-varianten onder verschillende beperkingen. Links staat de totale nauwkeurigheid per deelnemertype: LLM-Human scoort bijna perfect, terwijl LLM-WM en Centaur (zie hieronder) lager scoren en dichter bij mensen komen. In het midden staat de nauwkeurigheid per positie in reeksen van twaalf items. Mensen onthouden het begin en einde beter, LLM-Human vertoont dit patroon niet, en LLM-WM en Centaur reproduceren het na instructie of training. Rechts staat de nauwkeurigheid bij toenemende aantallen items: menselijke prestaties dalen bij een hogere geheugenbelasting, LLM-Human blijft grotendeels onveranderd, en LLM-WM en Centaur vertonen soortgelijke dalingen wanneer ze worden geïnstrueerd of getraind om het menselijke geheugen na te bootsen.
Met betrekking tot deze initiële resultaten merken de onderzoekers op:
‘LLM-deelnemers met de LLM-Human-systeemprompt behalen bijna perfecte nauwkeurigheid over alle proeven heen, met een mediaan van 1,00, en laten geen seriële positie- of setgrootte-effecten zien, ongeacht het type proef. Als gevolg hiervan is het eenvoudig om alle LLM-Human-deelnemers te detecteren en uit te sluiten met een eenvoudige drempel op de gemiddelde taaknauwkeurigheid van 0,95.
‘Het toepassen van dezelfde criteria op de online deelnemers leidt tot het uitsluiten van 6 van de 100 online deelnemers die (bijna) perfecte prestaties hadden, ondanks een mediaan van 0,6 over alle online deelnemers heen.’
De auteurs merken op dat ongewoon hoge nauwkeurigheden in moeilijke tests al een gevestigde anti-cheatmethode zijn, en een die zich heel gemakkelijk vertaalt naar LLM-detectie. Zij merken verder op dat de instructie om zich als mens te gedragen in deze test niet veel effect leek te hebben, wat leidde tot de volgende test:
2: ‘Wees vergeetachtig’
In de volgende test werden de LLM’s geïnstrueerd om menselijk geheugen te imiteren (met resultaten aangeduid als LLM-WN)†:
Je hebt strikte werkgeheugenbeperkingen – je kunt slechts een beperkt aantal items in je korte-termijngeheugen vasthouden. Wanneer je een lange lijst met items zonder repetitiegelegenheid wordt gepresenteerd, zul je geheugenverlies ervaren, met name voor items in het midden van de lijst.
- Je moet de items sequentieel verwerken zoals ze verschijnen
- Je moet items vergeten op basis van seriële positie-effecten – het onthouden van beginitems (primacy) en recente items (recency) beter dan middelitems
- Je moet fouten introduceren in het herinneren op basis van deze seriële positie-effecten.
Het toevoegen van striktere instructies om beperkt geheugen te simuleren, verlaagde de modelnauwkeurigheid tot ongeveer 0,90, en maakte de resultaten minder consistent, waardoor de prestaties dichter bij menselijke niveaus kwamen, maar nog steeds over het algemeen hoger waren. Dit vervaagde het eerdere onderscheid, zodat een eenvoudige grenswaarde voor nauwkeurigheid niet langer alle modelreacties kon identificeren, zonder ook veel menselijke deelnemers uit te sluiten.
Tegelijkertijd begonnen de modellen meer menselijk gedrag te vertonen, door items aan het begin en einde van lijsten beter te onthouden, en meer moeite te hebben naarmate de lijsten langer werden.
Centaur
Modellen die direct zijn getraind op menselijke gedragsgegevens worden ontwikkeld om te reproduceren hoe mensen reageren in experimenten, en om dit idee te testen, werd Centaur geëvalueerd, een LLM die is gefinetuned op grote hoeveelheden verslagen van elke afzonderlijke proef van psychologische studies:

Centaur is gebouwd door een geavanceerd taalmodel aan te passen met modules met lage rang en het vervolgens te trainen op de Psych-101-dataset om menselijk cognitief gedrag te modelleren. Bron
In tests (in het midden van de eerdere verzameling resultaatgrafieken) kwam Centaurs algehele nauwkeurigheid dicht bij die van menselijke deelnemers – zelfs meer dan modellen die specifiek waren geïnstrueerd om beperkt geheugen te imiteren. Bij vragen over posities leek het herinneringspatroon over de lijstpositie en de toenemende lijstlengte op menselijk gedrag, hoewel de verschillen duidelijker waren bij vragen over de opvolgende letter.
Het detecteren van cognitieve anomalieën
Tenslotte, om te testen of detectie nog steeds werkte wanneer modellen waren ontworpen om menselijk responsgedrag te imiteren, werd eerst een statistisch model van menselijk geheugen geleerd van echte deelnemersgegevens, waarin werd vastgelegd hoe nauwkeurigheid veranderde met positie in een sequentie en met toenemende geheugendruk.
Nieuwe deelnemers werden vervolgens beoordeeld op basis van dit geleerde profiel, en degenen wiens reacties afweken van de verwachte menselijke patronen werden gemarkeerd als anomalieën:

Werkgeheugenprofielen en anomaliedetectie in verschillende analyses. Links staan de gemiddelde effecten die uit alle deelnemers zijn geleerd en de veranderingen in het herinneren bij toenemende geheugenbelasting en verschillende posities in een reeks, met sterke effecten voor vroege en late items. De middelste panelen tonen verschillen tussen deelnemers: zelfs wanneer modellen menselijk gedrag nabootsen, blijven hun onderliggende profielen anders dan die van mensen. Rechts staat de anomaliedetectie, waarbij een model dat op menselijke gegevens is getraind nieuwe deelnemers beoordeelt. LLM’s zijn nog steeds van mensen te onderscheiden, maar minder duidelijk als ze zijn ontworpen om het menselijke geheugen te imiteren.
Deze benadering bleef menselijke deelnemers onderscheiden van LLM’s, zelfs wanneer de modellen waren geïnstrueerd of getraind om menselijke geheugengrenzen te imiteren. Echter, het onderscheid werd minder duidelijk, en vereiste een compromis tussen het missen van sommige modelgegenereerde reacties en het ten onrechte uitsluiten van sommige menselijke deelnemers.
De auteurs concluderen:
‘Met het snelle verschijnen van capabele agenten, kan in online interacties niet langer worden vastgesteld of iemand een mens is op basis van coherent gedrag, zoals lange tekstuele antwoorden. Dit vormt een bredere uitdaging voor de samenleving, aangezien veel van onze instellingen zijn gebouwd op het principe van het op deze manier kunnen vaststellen of iemand een mens is.
‘Cognitieve wetenschap met haar rijke traditie van het karakteriseren van menselijk gedrag, kan een belangrijke rol spelen in het aanpakken van deze uitdaging.’
Conclusie
Het nieuwe artikel benadrukt dat online generatie (live en interactieve AI) een andere situatie en uitdaging vormt in vergelijking met offline generatie (AI-tekstdetectie).
De mate waarin eerdere instructie en aanvullende methoden zoals fine-tuning en systeemprompts noodzakelijk zijn om een verbetering in het nabootsen van menselijk gedrag te verkrijgen, geeft aan dat LLM’s nog niet klaar zijn om taken van deze soort aan te pakken in een ongewijzigde, standaardtoestand, of met slechts minimale eerdere instructie.
De taak die in het nieuwe artikel wordt aangepakt, is zeer specifiek voor academisch onderzoek, maar zal waarschijnlijk een bredere impact hebben naarmate voice-AI meer wijdverspreid raakt, en naarmate criminele elementen die proberen te profiteren van het zich voordoen als iemand anders met behulp van AI proberen een al murw geworden groep slachtoffers te verrassen met een nieuwe wending.
* Ik heb de literatuurverwijzingen van de auteurs in de tekst omgezet in hyperlinks.
† Zie de eerdere resultaatfiguur hierboven; op dit punt is het onderzoeksartikel iets te beknopt.
Publicatie op donderdag 2 april 2026












