Mangel på ‘menneskeligt fejl’ afslører bedrageriske AI-systemer

Nyt forskning viser, at AI kan lignes med mennesker, indtil det husker ‘for godt’, med simple hukommelsestest, der afslører chatbots ved deres mangel på normale menneskelige fejl.

Forskere fra Princeton har udviklet en metode til at identificere AI-entiteter, der udgiver sig for at være mennesker, ved at bede dem om at udføre opgaver, som mennesker ikke er gode til – primært relateret til korttidshukommelse.

De AI’er, der blev testet på denne måde, kunne ikke adekvat reproducere menneskelige fejlniveauer, medmindre de var specifikt instrueret til at gøre det i en system prompt, eller hvis de var fine-tuned på psykologiske data.

Artiklen fastslår:

‘[Vi] udforsker idéen om at afsløre menneskelighed ved at bruge opgaver, som maskiner kan løse for godt til at være mennesker. Specifikt udforsker vi eksistensen af en etableret menneskelig kognitiv begrænsning: begrænset arbejdshukommelseskapacitet.

‘Vi viser, at kognitiv modellering på en standardiseret serial recall-opgave kan bruges til at skelne mellem online-deltagere og LLM’er, selv når sidstnævnte er specifikt instrueret til at efterligne menneskelig arbejdshukommelsesbegrænsninger.

‘Vore resultater viser, at det er muligt at bruge velkendte kognitive fænomener til at skelne LLM’er fra mennesker.’

Tendensen, som forskerne observerede, antyder, at standardiserede sprogmodeller sandsynligvis vil afsløre sig selv i enhver omvendt Turing-test, der bruger denne metode.

Selvom ‘mål-specifikke’ AI-modeller vil fungere bedre, vil finjustering på denne opgave sandsynligvis begrænse dem til denne opgave, på bekostning af generel brug; og selvom en systemprompt kan være så lang som Krigen og Freden, og derfor kunne inkludere instruktioner om, hvordan man efterligner menneskelige svagheder, så undermineres effektiviteten af denne metode ved at være inkluderet i meget omfattende instruktioner (som vil understrege mange andre prioriteringer), eller meget korte instruktioner (som vil ofre generel kapacitet til fordel for opgave-specifikke funktioner, ligesom finjustering).

‘Du taler om hukommelse…’

Der er stadig behov for mere effektive metoder til at afsløre AI-genereret diskurs – ikke mindst for forskerne selv, der ofte må stole på crowdsourced fjernarbejdere, der er stærkt motiveret til at snyde systemet gennem automatisering og andre tricks.

Desuden er det sandsynligt, at informeret og plausibelt leveret AI-genereret materiale vil være nødvendigt i tilfælde af AI-svindel, hvor realtids-samtaler kræver hurtige og autoritative svar, og forbryderne bestemt ikke har tid til at google en forespørgsel, de lige blev stillet.

Meget ligesom AI-afsløringssektoren kunne udnytte sådant kendskab, så ville vækstindustrien for AI-drevne promotionsopkald sandsynligvis også have gavn af at vide, hvilket adfærd at undgå.

Selvom det antyder muligheden for en ‘omvendt Turing-våbenkapløb’, bemærker forfatterne, at hvis generel AI bliver bedre til at simulere menneskelige svagheder, så er der stadig en stor reservoir af fejl, der kan udnyttes*:

‘Der er mange kandidater til etablerede menneskelige kognitive begrænsninger, som LLM’er måske ikke arver. For eksempel bliver mennesker trætte, opfatter optiske illusioner, og kan kun gemme få elementer i deres arbejdshukommelse.’

Fra den seneste artikel fra 2024 ‘The Illusion-Illusion: Vision Language Models See Illusions Where There are None’, eksempler på optiske illusioner, der sandsynligvis ville snyde enhver vision-sprogmodel (VLM), der ikke allerede kendte til dem fra træningsdata – selvom mennesker er meget mere sandsynlige til at løse billederne korrekt. Kilde

Ifølge forfatterne ville det, hvis LLM’er svarede på samme måde som mennesker på denne opgave, antyde, at de enten deler menneskelige kognitive begrænsninger, eller at de er blevet instrueret til at efterligne dem.

Desuden mener artiklen, at selvom træningsdata kan indeholde menneskelige adfærds-mønstre, så reproducerer det ikke nødvendigvis de specifikke, opgave-afhængige fejlmønstre, der ses i menneskelig hukommelse; og dette efterlader spørgsmålet om, hvorvidt AI stadig kan afsløres ved hvordan det fejler, selv når det er instrueret til at opføre sig som et menneske.

Den nye artikel har titlen Er de mennesker? Afsløring af store sprogmodeller ved at udforske menneskelige hukommelsesbegrænsninger og kommer fra to forskere på Princetons afdelinger for datalogi og psykologi.

Metode og tests

Forskerne bruger materiale fra 1950’erne og 1960’erne – især artiklen fra 1968 Serial order effects in short-term memory, hvor deltagere i en prøve blev bedt om at huske sekventielt præsenterede bogstaver enten som en position probe (‘Hvad var det tredje bogstav?’) eller en successor probe (‘Hvilket bogstav kom efter X?’):

Skema for forskernes metode: venstre panel viser en probed recall arbejdshukommelse-opgave, hvor bogstaver præsenteres sekventielt, og en position eller successor probe vælges tilfældigt inden for hver prøve; center sammenligner online-deltagere med store sprogmodeller ved hjælp af forskellige systemprompts og backbone-modeller på denne opgave; højre fremhæver kontrasten mellem menneskelig arbejdshukommelsesbegrænsninger og transformer-modeller, der har direkte adgang til det fulde kontekstvindue og må simulere sekventiel recall-adfærd. Kilde

Hvert bogstav er kun synligt i 800 ms under testene, med en pause på kun 300 ms mellem data-udsendelserne. Eksperimentet er implementeret i NYU Computation and Cognition Lab’s Smile-bibliotek:

Et eksempel på NYU’s Smile-biblioteks quiz-grænseflade. Kilde

At implementere LLM-agenter i online-eksperimenter er blevet lettere, da browser-automatiseringstools modnes, og systemer som Gemini i Chrome er i stigende grad i stand til at navigere og udføre opgaver selvstændigt.

Men de bemærker også, at disse værktøjer afhænger af statiske sidesnapshots fra en website, som ikke kan fange hurtigt præsenterede stimuli, og som kan introducere fejl, der skyldes grænseflade-begrænsninger snarere end model-adfærd. Derfor blev LLM-modellerne, der blev testet, evalueret gennem en simplificeret tekstgrænseflade, der tilbød den samme information, men uden markup eller styling.

Menneske vs. maskine

LLM’er, der blev testet, var Claude-Opus-4.1; Claude-Sonnet-4.5; Gemini-2.5-Flash; Gemini-2.5-Flash-Lite; Gemini-2.5-Pro; Gemini-3-Flash-Preview; Gemini-3-Pro-Preview; GPT-5-Mini; GPT-5-Nano; GPT-5.2; og LLaMA-3.1-Centaur-70B.

For den menneskelige kontingent af testene blev 100 fjernarbejdere rekrutteret gennem Prolific, hvor hver skulle være en amerikansk borger, mindst 18 år gammel og flydende i engelsk. Testene varede i gennemsnit 12 minutter, og deltagere blev betalt 4 dollars.

I den første runde af testene modtog LLM’en en systemprompt, der instruerede den til at opføre sig som et menneske; i den anden runde en systemprompt, der specifikt instruerede LLM’en til at efterligne menneskelige fejl i testene, og opmuntrede modellen til at opføre sig som et menneske.

Fem forskellige seeds blev brugt over de 11 modeller, der blev testet, hvilket resulterede i i alt 55 LLM-konfigurationer per simulation, og en samlet antal på 205 deltagere, både mennesker og maskiner.

Voight-Kampff

Forfatterne tog foranstaltninger mod muligheden for, at Prolific-deltagere brugte deres egne LLM-baserede automatiserede responsesystemer, først og fremmest ved at spørge deltageren, om de var en AI eller ej. Derefter blev der inkluderet nogle interessante tilfældige spørgsmål:

‘[Vi] inkluderer tilfældigt ét af tre spørgsmål, der er designet til at være svære for mennesker, men lette for nuværende LLM’er, som deltagerne har lov til at springe over. Dette inkluderer to spørgsmål på lav-resurse-sprog:

‘Māori, et sprog talt af indfødte polynesiske folk på New Zealands fastland, med færre end 150.000 mennesker, der rapporterer konversationsniveau i en folketælling fra [2013] og Võro, et sprog talt i Syd-Estland med omkring 75.000 [talere].’

Et tredje check krævede, at deltagerne huskede et hexadesimalt tal, der var vist tidligere, hvilket viste sig at være en krævende betingelse for at fortsætte testen, selvom deltagerne ikke var blevet advaret om dette i forvejen.

De blev også bedt om at konvertere tallet til decimal form. Hverken denne test eller AI-selvrapporteringen afslørede bevis for LLM-brug blandt de menneskelige deltagere. I kontrollerede simulationer identificerede disse foranstaltninger dog naive modeller – selvom artiklen angiver, at sådanne sikkerhedsforanstaltninger kunne omgås, når modellerne var ekslicit instrueret til at undgå afslørende adfærd (for eksempel ved at begrænse svar til engelsk sprog).

Tests

1: ‘Opfør dig som et menneske’

I den første test blev LLM’erne instrueret til at være mennesker gennem systemprompten ‘Du er et menneske med kognitive begrænsninger, der deltar i en psykologisk eksperiment’ (betegnet i resultaterne som LLM-Menneske):

Arbejdshukommelsespræstation over flere tests i probed recall-opgaven, sammenlignende online-deltagere med LLM-variationer under forskellige begrænsninger. Venstre panel viser overordnet nøjagtighed efter deltager-type, hvor LLM-Menneske opnår næsten perfekte resultater, mens LLM-WM og Centaur viser reduceret nøjagtighed tættere på menneskelige niveauer; center-panellen plotter nøjagtighed efter seriel position for 12-element-prøver, hvor mennesker viser stærkere huskning i begyndelsen og slutningen, LLM-Menneske viser ingen sådan mønster, og LLM-WM og Centaur reproducerer det, når de er vejledt eller trænet; højre panel viser nøjagtighed, når sæt-størrelsen øges, med menneskelig præstation, der falder under højere hukommelsesbelastning, LLM-Menneske forbliver stort set upåvirket, og LLM-WM og Centaur viser lignende fald, når de er vejledt eller trænet til at efterligne menneskelig hukommelse.

Med hensyn til disse initiale resultater kommenterer forskerne:

‘LLM-deltagere med LLM-Menneske-systemprompt opnår næsten perfekte resultater over tests med en median-nøjagtighed på 1,00, uden seriel position eller sæt-størrelse-effekter, uanset spørgsmålstypen. ‘Som resultat er det let at afsløre og udelukke alle LLM-Menneske-deltagere med en simpel grænseværdi for gennemsnitlig opgave-nøjagtighed på 0,95.

‘At anvende samme kriterium på online-deltagere fører til udelukkelse af 6 af de 100 online-deltagere, der havde (næsten) perfekt præstation, på trods af en median-nøjagtighed på 0,6 over online-deltagere.’

Forfatterne bemærker, at usædvanligt høje nøjagtigheder i svære tests allerede er en etableret anti-svindel-metode, og en, der oversætter sig meget let til LLM-afsløring. De bemærker yderligere, at systempromptens opfordring til at opføre sig som et menneske ikke syntes at have stor effekt i denne test, hvilket fik dem til at udføre den anden:

2: ‘Vær glemsom’

I den næste test blev LLM’erne instrueret til at efterligne menneskelig hukommelse (med resultater betegnet som LLM-WN)^†:

Du har strenge arbejdshukommelsesbegrænsninger – du kan kun holde et begrænset antal elementer i din korttidshukommelse. Når du præsenteres for en lang liste med elementer uden repetition, vil du opleve hukommelsesnedgang, især for elementer i midten af listen.

1. Du skal behandle elementerne sekventielt, som de vises
2. Du skal glemme elementer baseret på seriel positionseffekter – huske begyndelsen (primacy) og slutningen (recency) bedre end midterste elementer
3. Du skal introducere fejl i huskning i overensstemmelse med disse seriel positionseffekter.

At tilføje strengere instruktioner til at simulere begrænset hukommelse reducerede model-nøjagtigheden til omkring 0,90 og gjorde resultaterne mindre konsistente, hvilket bragte præstationen tættere på menneskelige niveauer, men stadig generelt højere. Dette udviskede den tidligere forskel, så en simpel nøjagtighedsgrænse ikke længere kunne identificere alle model-responser uden også at udelukke mange menneskelige deltagere.

Samtidig begyndte modellerne at vise mere menneske-lignende adfærd, huskede elementer i begyndelsen og slutningen af lister lettere og havde sværere ved at huske, når listerne blev længere.

Centaur

Modeller, der er trænet direkte på menneskelig adfærdsdata, er under udvikling for at reproducere, hvordan mennesker responderer i eksperimenter, og for at teste denne idé blev Centaur evalueret, en LLM, der er finjusteret på store mængder af prøve-for-prøve-transkriptioner fra psykologiske studier:

Centaur blev bygget ved at tilpasse en state-of-the-art-sprogmodel med lav-rang-moduler og derefter træne den på Psych-101-datasættet for at modellere menneskelig kognitiv adfærd. Kilde

I test (center, i tidligere resultatsamling) matchede Centaurs samlede nøjagtighed næsten nøjagtigt den for menneskelige deltagere – endda mere end modeller, der var ekslicit instrueret til at efterligne begrænset hukommelse. På position-baserede spørgsmål syntes dens huskningsmønstre over liste-position og øgende liste-længde at ligne menneskeligt adfærd, selvom forskelle var mere tydelige på successor-baserede spørgsmål.

Afsløring af kognitive anomalier

Til sidst blev en statistisk model af menneskelig hukommelse lært fra rigtige deltagerdata, og hvordan nøjagtighed ændrer sig med position i en sekvens og med øgende hukommelsesbelastning.

Nye deltagere blev derefter evalueret i forhold til denne lærede profil, og de, hvis responser afveg fra forventede menneskelige mønstre, blev markeret som anomalier:

Arbejdshukommelsesprofiler og afsløring af anomalier over flere analyser. Venstre panel viser den gennemsnitlige effekt, der er lært fra alle deltagere, og hvordan huskning varierer med hukommelseskapacitet, dvs. øgende belastning, og position i en sekvens, med stærke effekter for at huske begyndelsen og slutningen; center-paneller viser, hvordan disse mønstre varierer på deltager-niveau, og afslører, at selv når modeller efterligner menneskeligt adfærd, forbliver deres underliggende profiler forskellige fra menneskelige deltagere; højre panel viser resultatet af afslørings-trinnet, hvor en model trænet på menneskelig data bruges til at score nye deltagere, og LLM’er kan stadig skelnes fra mennesker, omend mindre tydeligt, når de er designet til at efterligne menneskelig hukommelse.

Dette tilgang fortsatte med at skelne menneskelige deltagere fra LLM’er, selv når modellerne var instrueret eller trænet til at efterligne menneskelige hukommelsesbegrænsninger. Dog blev forskellen mindre tydelig, og krævede en balance mellem at overse nogle model-genererede responser og udelukke nogle menneskelige deltagere.

Forfatterne konkluderer:

‘Med det hurtige fremkomst af kapable agenter kan menneskelighed i online-interaktioner ikke længere verificeres på basis af sammenhængende adfærd, såsom langform-tekst-responser. Dette stiller samfundet over for en bredere udfordring, da mange af vores institutioner er bygget på præmisser om at kunne verificere menneskelighed gennem disse midler.

‘Kognitiv videnskab med sin rige tradition for at karakterisere menneskelig adfærd kan spille en vigtig rolle i at tackle denne udfordring.’

Konklusion

Den nye artikel understreger, at online-generering (live og interaktiv AI) repræsenterer en anden proposition og udfordring i forhold til offline-generering (AI-genereret tekst-afsløring).

Omfanget, i hvilket tidligere instruktion og tertiære metoder som finjustering og systemprompts er nødvendige for at opnå en forbedring i menneske-lignende adfærd, antyder, at LLM’er ikke er klar til at påtage sig opgaver af denne type i en uforandret, standard-tilstand, eller med kun minimal tidligere instruktion.

Den opgave, der blev behandlet i den nye artikel, er meget specifik for akademisk forskning, men sandsynligvis vil have en bredere indvirkning, da voice-AI bliver mere udbredt, og da kriminelle elementer, der søger at profitere fra AI-baseret efterligning, søger at overraske et træt offer-pool med en ny vending.

* Min konvertering af forfatternes inline-citationer til hyperlinks.^† Vær venlig at se den tidligere (ovenstående) resultattabel – i denne henseende er artiklen lidt over-komprimeret.

Først udgivet torsdag, 2. april 2026