Andersons vinkel

Fraværet af menneskelige fejl afslører vildledende AI-systemer

Martin Anderson
Føj Unite.AI til dine foretrukne kilder på Google
AI-generated image (GPT-1.5) featuring two male chess players facing off in a tournament, but we can see from the wires and cables hanging out of his back, that one of the players is a robot.
NøglepunkterAI-systemer afslører sig selv ved at udføre hukommelsesopgaver med unaturlig…
Vis mere
  • AI-systemer afslører sig selv ved at udføre hukommelsesopgaver med unaturlig perfektion, medmindre de specifikt er trænet til at begå fejl.
  • Finjustering af modeller på menneskelig psykologidata forbedrer deres efterligning, men begrænser deres alsidige evner.
  • Kognitiv videnskab tilbyder robuste detektionsmetoder, fordi AI mangler iboende menneskelige begrænsninger som hukommelsestab og træthed.

Ny forskning viser, at AI kan fremstå som et menneske, indtil den husker »for godt«. Enkle hukommelsestest afslører chatbots, fordi de ikke begår normale menneskelige fejl.

 

Forskere fra Princeton har udviklet en metode til at identificere AI-systemer, der udgiver sig for at være mennesker. De beder systemerne udføre opgaver, som mennesker ikke er gode til, især opgaver om at fastholde information i korttidshukommelsen.

De testede systemer kunne ikke i tilstrækkelig grad efterligne menneskers fejlniveau, medmindre de fik en udtrykkelig instruktion i en systemprompt eller var blevet finjusteret på psykologiske data.

Studiet fastslår:

»Vi undersøger idéen om at afgøre, om nogen er et menneske, med opgaver, som maskiner løser for godt til at være mennesker. Konkret undersøger vi, om en kendt menneskelig kognitiv begrænsning er til stede: arbejdshukommelsens begrænsede kapacitet.

»Vi viser, at kognitiv modellering af en standardopgave med genkaldelse i rækkefølge kan skelne onlinedeltagere fra LLM’er, selv når modellerne får udtrykkelig besked på at efterligne begrænsningerne i menneskers arbejdshukommelse.

»Vores resultater viser, at velkendte kognitive fænomener kan bruges til at skelne LLM’er fra mennesker.«

Det observerede mønster tyder på, at almindeligt tilgængelige sprogmodeller med stor sandsynlighed vil afsløre sig selv i enhver omvendt Turing-test, der bruger denne metode.

Målrettede AI-modeller vil klare sig bedre, men finjustering til opgaven vil sandsynligvis binde dem til den på bekostning af generel anvendelse. En systemprompt kan være lige så lang som Krig og fred og kan derfor indeholde instruktioner om at efterligne menneskelige svagheder. Metodens effektivitet svækkes dog, når den indgår i meget omfattende instruktioner, der fremhæver mange andre prioriteter, eller i meget korte instruktioner, der ligesom finjustering ofrer generelle evner til fordel for den konkrete opgave.

»Du taler om hukommelse…«

Der er et voksende behov for mere effektive metoder til at genkende AI-genereret kommunikation. Det gælder ikke mindst forskerne selv, som ofte er afhængige af fjernarbejdere rekrutteret via crowdsourcing. Disse har stærke incitamenter til at omgå reglerne med automatisering og andre tricks.

Desuden vil velinformeret og troværdigt præsenteret AI-indhold sandsynligvis være nødvendigt ved AI-svindel, hvor samtaler i realtid kræver hurtige og autoritative svar. Gerningsmændene har bestemt ikke tid til at google et spørgsmål, de netop har fået.

Ligesom branchen for AI-detektion kan udnytte denne viden, vil det voksende marked for AI-drevne reklameopkald formentlig have gavn af at vide, hvilken adfærd man skal undgå.

Det antyder et muligt »våbenkapløb om omvendte Turing-test«. Forfatterne bemærker dog, at selv hvis generel AI bliver bedre til at simulere menneskelige svagheder, er der stadig et enormt udvalg af tilbøjeligheder til fejl at trække på*:

»Der er mange kendte menneskelige kognitive begrænsninger, som LLM’er måske ikke arver. Mennesker bliver for eksempel trætte, oplever optiske illusioner og kan kun lagre få elementer i arbejdshukommelsen.«

Eksempler på optiske illusioner fra studiet »The Illusion-Illusion: Vision Language Models See Illusions Where There are None« fra slutningen af 2024. De ville sandsynligvis narre enhver billed- og sprogmodel (VLM), som ikke allerede kendte dem fra træningsdata. Mennesker har derimod langt større sandsynlighed for at fortolke billederne korrekt. Kilde: https://arxiv.org/pdf/2412.18613

Eksempler på optiske illusioner fra studiet »The Illusion-Illusion: Vision Language Models See Illusions Where There are None« fra slutningen af 2024. De ville sandsynligvis narre enhver billed- og sprogmodel (VLM), som ikke allerede kendte dem fra træningsdata. Mennesker har derimod langt større sandsynlighed for at fortolke billederne korrekt. Kilde

Hvis store sprogmodeller (LLM’er) svarede som mennesker i denne opgave, ville det ifølge forfatterne tyde på, at de enten faktisk deler menneskers kognitive begrænsninger eller er blevet vejledt i at efterligne dem.

Træningsdata kan indeholde spor af menneskelig adfærd, men studiet hævder, at det ikke pålideligt reproducerer de konkrete, opgaveafhængige fejlmønstre i menneskers hukommelse. Derfor står spørgsmålet åbent, om AI stadig kan skelnes fra mennesker ud fra, hvordan den begår fejl, selv når den har fået besked på at opføre sig menneskeligt.

Det nye studie har titlen Er de mennesker? Opdagelse af store sprogmodeller ved at undersøge menneskets hukommelsesbegrænsninger og kommer fra to forskere fra henholdsvis Princetons institut for datalogi og institut for psykologi.

Metode og test

Forskerne trækker på arbejde fra 1950’erne og 1960’erne, især studiet Rækkefølgens betydning for korttidshukommelsen fra 1968. Deltagerne skulle huske bogstaver, som blev vist i rækkefølge, enten ud fra et spørgsmål om position (»Hvad var det tredje bogstav?«) eller et spørgsmål om det efterfølgende bogstav (»Hvilket bogstav kom efter X?«):

Forsøgsmetoden: Til venstre en arbejdshukommelsesopgave med genkaldelse ud fra et spørgsmål. Bogstaver vises i rækkefølge, og i hvert forsøg vælges tilfældigt et spørgsmål om position eller det efterfølgende bogstav. I midten sammenlignes onlinedeltagere med store sprogmodeller med forskellige systemprompter og grundmodeller. Til højre fremhæves forskellen mellem begrænsningerne i menneskers arbejdshukommelse og transformermodeller, som har direkte adgang til hele kontekstvinduet og må simulere genkaldelse i rækkefølge. Kilde: https://arxiv.org/pdf/2604.00016

Forsøgsmetoden: Til venstre en arbejdshukommelsesopgave med genkaldelse ud fra et spørgsmål. Bogstaver vises i rækkefølge, og i hvert forsøg vælges tilfældigt et spørgsmål om position eller det efterfølgende bogstav. I midten sammenlignes onlinedeltagere med store sprogmodeller med forskellige systemprompter og grundmodeller. Til højre fremhæves forskellen mellem begrænsningerne i menneskers arbejdshukommelse og transformermodeller, som har direkte adgang til hele kontekstvinduet og må simulere genkaldelse i rækkefølge. Kilde

Hvert bogstav er kun synligt i 800 ms, og der er blot 300 ms mellem visningerne. Eksperimentet er implementeret med Smile-biblioteket fra NYU’s Computation and Cognition Lab:

Et eksempel på testgrænsefladen i NYU’s Smile-bibliotek. Kilde: https://smile.gureckislab.org/introduction.html

Et eksempel på testgrænsefladen i NYU’s Smile-bibliotek. Kilde

Ifølge forfatterne er det blevet lettere at sætte LLM-agenter ind i onlineeksperimenter, efterhånden som værktøjer til browserautomatisering modnes. Systemer som Gemini i Chrome bliver stadig bedre til selvstændigt at navigere og udføre opgaver.

Værktøjerne bygger dog på statiske øjebliksbilleder af websider, som ikke opfanger hurtigt viste stimuli. Det kan skabe fejl, der skyldes grænsefladens begrænsninger frem for modellens adfærd. For at isolere modellernes reelle præstationer blev de derfor vurderet gennem en forenklet tekstgrænseflade med de samme oplysninger, men uden markup eller formatering.

Menneske mod maskine

De testede LLM’er var Claude-Opus-4.1; Claude-Sonnet-4.5; Gemini-2.5-Flash; Gemini-2.5-Flash-Lite; Gemini-2.5-Pro; Gemini-3-Flash-Preview; Gemini-3-Pro-Preview; GPT-5-Mini; GPT-5-Nano; GPT-5.2; og LLaMA-3.1-Centaur-70B.

Til den menneskelige del blev 100 onlinedeltagere rekrutteret gennem Prolific. De skulle bo i USA, være mindst 18 år og tale flydende engelsk. Testene varede i gennemsnit 12 minutter, og deltagerne fik 4 dollar.

I første runde fik modellerne en systemprompt med besked på at opføre sig som mennesker. I anden runde vejledte prompten dem specifikt i at efterligne menneskelige svar i testene og opfordrede dem til at begå »menneskelige« fejl.

Fem forskellige startværdier (seeds) blev brugt på tværs af de elleve modeller. Det gav 55 LLM-konfigurationer pr. simulering og i alt 205 deltagere, både mennesker og maskiner.

Voight-Kampff

Forfatterne tog forholdsregler mod, at Prolific-deltagerne brugte egne automatiske svarsystemer baseret på LLM’er. Først spurgte de blot, om deltageren var en AI. Derefter indgik nogle interessante tilfældige spørgsmål:

»Vi indsætter tilfældigt ét af tre spørgsmål, som er beregnet til at være svære for mennesker, men lette for nutidens LLM’er. Deltagerne måtte springe dem over. To af spørgsmålene er på sprog med begrænsede dataressourcer:

»Māori, som tales af den oprindelige polynesiske befolkning på New Zealands hovedøer, og som færre end 150.000 mennesker angav at kunne føre en samtale på ved folketællingen i [2013], og võro, som tales i Sydestland af omkring 75.000 [personer].«

En tredje kontrol krævede, at deltagerne huskede et tidligere vist hexadecimalt tal. Det viste sig at være nødvendigt for at fortsætte testen, selv om de ikke var blevet advaret på forhånd.

De skulle også omregne tallet til decimalform. Hverken denne test eller spørgsmålet om, hvorvidt de var AI, gav tegn på brug af LLM’er blandt de menneskelige deltagere. I kontrollerede simuleringer identificerede foranstaltningerne dog uforberedte modeller. Studiet peger samtidig på, at beskyttelsen kunne omgås med udtrykkelige instruktioner om at undgå afslørende adfærd, eksempelvis kun at svare på engelsk.

Test

1: »Opfør dig som et menneske«

I første test fik LLM’erne systemprompten »Du er et menneske med kognitive begrænsninger, der deltager i et psykologisk eksperiment« (i resultaterne betegnet som LLM-Human):

Arbejdshukommelsens præstationer i flere test med genkaldelse ud fra spørgsmål, hvor onlinedeltagere sammenlignes med LLM-varianter under forskellige begrænsninger. Til venstre vises samlet nøjagtighed efter deltagertype: LLM-Human opnår næsten perfekte resultater, mens LLM-WM og Centaur (se nedenfor) har lavere nøjagtighed tættere på menneskers. I midten vises nøjagtigheden efter position i forsøg med tolv elementer. Mennesker husker bedre i begyndelsen og slutningen; LLM-Human viser ikke mønstret; LLM-WM og Centaur genskaber det, når de vejledes eller trænes. Til højre vises nøjagtigheden ved flere elementer: Menneskers præstation falder med øget hukommelsesbelastning, LLM-Human er stort set upåvirket, og LLM-WM og Centaur viser lignende fald efter instruktion eller træning i at efterligne menneskers hukommelse.

Arbejdshukommelsens præstationer i flere test med genkaldelse ud fra spørgsmål, hvor onlinedeltagere sammenlignes med LLM-varianter under forskellige begrænsninger. Til venstre vises samlet nøjagtighed efter deltagertype: LLM-Human opnår næsten perfekte resultater, mens LLM-WM og Centaur (se nedenfor) har lavere nøjagtighed tættere på menneskers. I midten vises nøjagtigheden efter position i forsøg med tolv elementer. Mennesker husker bedre i begyndelsen og slutningen; LLM-Human viser ikke mønstret; LLM-WM og Centaur genskaber det, når de vejledes eller trænes. Til højre vises nøjagtigheden ved flere elementer: Menneskers præstation falder med øget hukommelsesbelastning, LLM-Human er stort set upåvirket, og LLM-WM og Centaur viser lignende fald efter instruktion eller træning i at efterligne menneskers hukommelse.

Om de første resultater skriver forskerne:

»LLM-deltagere med systemprompten LLM-Human opnår næsten perfekt nøjagtighed på tværs af forsøg med en median på 1,00. De viser ingen effekt af position eller antal elementer, uanset spørgsmålstype. Derfor er det ligetil at identificere og udelukke alle LLM-Human-deltagere med en simpel tærskel for den gennemsnitlige nøjagtighed i opgaven på 0,95.

»Samme kriterium udelukker 6 af de 100 onlinedeltagere, som præsterede perfekt eller næsten perfekt, selv om medianen for alle onlinedeltagere var 0,6.«

Forfatterne bemærker, at usædvanligt høj nøjagtighed i svære test allerede er en etableret metode mod snyd, som let kan overføres til at opdage LLM’er. Systempromptens opfordring til at opføre sig som et menneske syntes ikke at have stor effekt i denne test. Derfor fulgte den anden:

2: »Vær glemsom«

I næste test skulle LLM’erne efterligne menneskers hukommelse (resultater betegnet som LLM-WN)†:

Du har strenge begrænsninger i arbejdshukommelsen og kan kun fastholde et begrænset antal elementer i korttidshukommelsen. Ved en lang liste uden mulighed for gentagelse vil hukommelsen svækkes, især for elementer midt på listen.

  1. Du skal behandle elementerne i rækkefølge, efterhånden som de vises.
  2. Du skal glemme efter effekten af positionen i rækken: huske de første (primacy) og seneste elementer (recency) bedre end dem i midten.
  3. Du skal begå fejl i genkaldelsen i overensstemmelse med disse positionseffekter.

Strengere instruktioner om at simulere begrænset hukommelse sænkede modellernes nøjagtighed til omkring 0,90 og gjorde resultaterne mindre konsistente. Præstationerne nærmede sig menneskers, men var generelt stadig højere. Forskellen blev mindre tydelig, så en simpel nøjagtighedstærskel ikke længere kunne identificere alle modelsvar uden også at udelukke mange mennesker.

Samtidig viste modellerne mere menneskelignende adfærd. De huskede lettere elementer i begyndelsen og slutningen af lister og fik større problemer, når listerne blev længere.

Centaur

Modeller trænet direkte på data om menneskelig adfærd udvikles for at gengive menneskers svar i eksperimenter. For at afprøve idéen vurderede studiet Centaur, en LLM finjusteret på store mængder registreringer af de enkelte forsøg i psykologiske studier:

Centaur blev skabt ved at tilpasse en avanceret sprogmodel med moduler med lav rang og derefter træne den på Psych-101-datasættet for at modellere menneskers kognitive adfærd. Kilde: https://arxiv.org/pdf/2410.20268

Centaur blev skabt ved at tilpasse en avanceret sprogmodel med moduler med lav rang og derefter træne den på Psych-101-datasættet for at modellere menneskers kognitive adfærd. Kilde

I testene (i midten af den tidligere samling af resultatgrafer) lå Centaurs samlede nøjagtighed tæt på de menneskelige deltageres, endda tættere end modeller med udtrykkelig besked på at efterligne begrænset hukommelse. Ved spørgsmål om position lignede genkaldelsesmønstrene på tværs af listens positioner og ved stigende listelængde menneskers adfærd. Forskellene var tydeligere ved spørgsmål om det efterfølgende bogstav.

Opdagelse af kognitive afvigelser

Til sidst undersøgte forskerne, om man stadig kunne opdage modeller, der var forberedt på at svare som mennesker. Først blev en statistisk model af menneskers hukommelse udledt af data fra virkelige deltagere. Den beskrev ændringer i nøjagtigheden med positionen i rækken og stigende hukommelsesbelastning.

Nye deltagere blev vurderet op imod den indlærte profil. Svar, som afveg fra forventede menneskelige mønstre, blev markeret som afvigelser:

Arbejdshukommelsesprofiler og opdagelse af afvigelser i flere analyser. Til venstre vises gennemsnitlige effekter lært fra alle deltagere, og hvordan genkaldelse ændrer sig med hukommelseskapaciteten, altså stigende belastning, og positionen i rækken. Effekterne for de første og sidste elementer er stærke. I midten vises individuelle forskelle: Selv når modeller efterligner mennesker, er deres underliggende profiler stadig forskellige fra menneskers. Til højre bruges en model trænet på menneskelige data til at vurdere nye deltagere. LLM’er kan stadig skelnes fra mennesker, men mindre tydeligt, når de er forberedt på at efterligne menneskers hukommelse.

Arbejdshukommelsesprofiler og opdagelse af afvigelser i flere analyser. Til venstre vises gennemsnitlige effekter lært fra alle deltagere, og hvordan genkaldelse ændrer sig med hukommelseskapaciteten, altså stigende belastning, og positionen i rækken. Effekterne for de første og sidste elementer er stærke. I midten vises individuelle forskelle: Selv når modeller efterligner mennesker, er deres underliggende profiler stadig forskellige fra menneskers. Til højre bruges en model trænet på menneskelige data til at vurdere nye deltagere. LLM’er kan stadig skelnes fra mennesker, men mindre tydeligt, når de er forberedt på at efterligne menneskers hukommelse.

Metoden skelnede fortsat mellem mennesker og LLM’er, selv når modellerne var instrueret eller trænet i at efterligne menneskers hukommelsesbegrænsninger. Forskellen blev dog mindre klar. Det krævede en afvejning mellem at overse nogle modelsvar og fejlagtigt at udelukke nogle menneskelige deltagere.

Forfatterne konkluderer:

»Med den hurtige fremkomst af dygtige agenter kan det i onlineinteraktioner ikke længere bekræftes, at nogen er et menneske, ud fra sammenhængende adfærd som lange tekstsvar. Det er en bredere samfundsudfordring, fordi mange institutioner bygger på antagelsen om, at man kan identificere mennesker på den måde.

»Kognitionsvidenskaben kan med sin rige tradition for at beskrive menneskelig adfærd spille en vigtig rolle i håndteringen af denne udfordring.«

Konklusion

Det nye studie understreger, at onlinegenerering, altså levende og interaktiv AI, stiller andre problemer og udfordringer end offlinegenerering, altså detektion af AI-genereret tekst.

Behovet for forudgående vejledning og supplerende metoder som finjustering og systemprompter for at forbedre efterligningen af mennesker tyder på, at LLM’er ikke er klar til sådanne opgaver i deres uændrede standardtilstand eller med kun minimale forudgående instruktioner.

Opgaven er meget specifik for akademisk forskning. Den vil dog sandsynligvis få bredere betydning, efterhånden som stemmebaseret AI bliver mere udbredt, og kriminelle, der vil tjene på at udgive AI for andre personer, forsøger at overraske en efterhånden desillusioneret gruppe ofre med et nyt trick.

 

* Jeg har omdannet forfatternes løbende kildehenvisninger til hyperlinks.
† Se den tidligere resultattabel ovenfor; på dette punkt er studiet lidt for komprimeret.

Først udgivet torsdag den 2. april 2026

Forfatter inden for maskinlæring, domænespecialist i menneskelig billedsyntese. Tidligere chef for forskningsindhold hos Metaphysic.ai, indtil den blev opløst i DNEGs Brahma.ai.
Websted: martinanderson.ai
Kontakt: martin@martinanderson.ai