Andersons vinkel
Fraværet av menneskelige feil avslører AI som utgir seg for å være mennesker

Viktige punkterAI-systemer avslører seg selv ved å utføre minneoppgaver med unaturlig perfeksjon, med…
Vis mer
- AI-systemer avslører seg selv ved å utføre minneoppgaver med unaturlig perfeksjon, med mindre de er spesifikt trent til å feile.
- Finjustering av modeller på menneskelig psykologidata forbedrer deres etterligning, men begrenser deres allsidige evner.
- Kognitiv vitenskap tilbyr robuste oppdagelsesmetoder fordi AI mangler iboende menneskelige begrensninger som minneforfall og tretthet.
Ny forskning viser at AI kan fremstå som et menneske inntil den husker «for godt». Enkle hukommelsestester avslører chatbotene fordi de ikke gjør vanlige menneskelige feil.
Forskere fra Princeton har utviklet en metode for å identifisere AI-systemer som utgir seg for å være mennesker. De ber systemene utføre oppgaver mennesker ikke er gode til, særlig oppgaver som handler om å holde informasjon i korttidshukommelsen.
De testede systemene klarte ikke å etterligne menneskers feilnivå godt nok uten uttrykkelige instrukser i en systeminstruks eller finjustering på psykologiske data.
Studien sier:
«Vi undersøker om man kan avgjøre at noen er et menneske gjennom oppgaver som maskiner løser for godt til å være mennesker. Konkret ser vi etter en kjent menneskelig kognitiv begrensning: begrenset kapasitet i arbeidsminnet.
«Vi viser at kognitiv modellering av en standardoppgave med gjenkalling i rekkefølge kan skille nettdeltakere fra store språkmodeller, selv når modellene uttrykkelig får beskjed om å etterligne begrensningene i menneskers arbeidsminne.
«Resultatene viser at velkjente kognitive fenomener kan brukes til å skille store språkmodeller fra mennesker.»
Det observerte mønsteret tyder på at ferdige språkmodeller med stor sannsynlighet vil avsløre seg i enhver omvendt Turing-test som bruker denne metoden.
Målrettede AI-modeller vil gjøre det bedre, men finjustering til denne oppgaven vil trolig begrense dem til den på bekostning av generell bruk. En systeminstruks kan være like lang som Krig og fred og derfor inneholde føringer for å etterligne menneskelige svakheter. Metoden svekkes imidlertid når den inngår i svært omfattende instrukser som vektlegger mange andre prioriteringer, eller svært korte instrukser som, i likhet med finjustering, ofrer generelle evner til fordel for én bestemt oppgave.
«Du snakker om hukommelse…»
Det er stadig større behov for effektive metoder for å identifisere AI-generert kommunikasjon. Det gjelder ikke minst forskerne selv, som ofte er avhengige av fjernarbeidere rekruttert gjennom folkebaserte oppdragsplattformer. Disse har sterke insentiver til å omgå reglene ved hjelp av automatisering og andre knep.
Dessuten vil kunnskapsrikt og troverdig presentert AI-innhold trolig være nødvendig ved AI-svindel, der samtaler i sanntid krever raske og autoritative svar. Gjerningspersonene har definitivt ikke tid til å google svaret på et spørsmål de nettopp har fått.
Slik bransjen for AI-deteksjon kan utnytte denne kunnskapen, vil det voksende markedet for AI-drevne reklameoppringninger trolig ha nytte av å vite hvilken atferd de bør unngå.
Dette antyder muligheten for et «våpenkappløp om omvendte Turing-tester». Forfatterne påpeker likevel at selv om generell AI blir flinkere til å simulere menneskelige svakheter, finnes det et stort lager av feiltilbøyeligheter å trekke på*:
«Det finnes mange kjente menneskelige kognitive begrensninger som store språkmodeller kanskje ikke arver. Mennesker blir for eksempel slitne, opplever optiske illusjoner og kan bare lagre noen få elementer i arbeidsminnet.»

Eksempler på optiske illusjoner fra studien «The Illusion-Illusion: Vision Language Models See Illusions Where There are None» fra slutten av 2024. De ville trolig lure enhver bilde- og språkmodell (VLM) som ikke allerede kjente dem fra treningsdata. Mennesker har derimot mye større sannsynlighet for å tolke bildene riktig. Kilde
Hvis store språkmodeller (LLM-er) svarte som mennesker i denne oppgaven, ville det ifølge forfatterne tyde på at de enten faktisk deler menneskers kognitive begrensninger eller er blitt veiledet til å etterligne dem.
Treningsdata kan inneholde spor av menneskelig atferd. Studien hevder likevel at dette ikke pålitelig gjenskaper de konkrete, oppgaveavhengige feilmønstrene i menneskers hukommelse. Dermed står spørsmålet åpent om AI fortsatt kan gjenkjennes på hvordan den gjør feil, selv når den er instruert til å opptre menneskelig.
Den nye studien heter Er de mennesker? Å oppdage store språkmodeller ved å undersøke menneskers hukommelsesbegrensninger og kommer fra to forskere ved henholdsvis Princetons institutt for datavitenskap og institutt for psykologi.
Metode og tester
Forskerne bruker arbeid fra 1950- og 1960-tallet, særlig studien Rekkefølgeeffekter i korttidshukommelsen fra 1968. Deltakerne skulle huske bokstaver vist i rekkefølge, enten ut fra et spørsmål om plassering («Hva var den tredje bokstaven?») eller et spørsmål om neste bokstav («Hvilken bokstav kom etter X?»):

Metoden i oversikt. Til venstre vises en arbeidsminneoppgave med gjenkalling ut fra et spørsmål. Bokstaver vises i rekkefølge, og i hvert forsøk velges tilfeldig et spørsmål om plassering eller neste bokstav. I midten sammenlignes nettdeltakere med store språkmodeller med ulike systeminstrukser og grunnmodeller. Til høyre fremheves forskjellen mellom begrensningene i menneskers arbeidsminne og transformermodeller, som har direkte tilgang til hele kontekstvinduet og må simulere gjenkalling i rekkefølge. Kilde
Hver bokstav vises i bare 800 ms, med en pause på kun 300 ms mellom visningene. Eksperimentet bruker Smile-biblioteket fra NYUs Computation and Cognition Lab:

Et eksempel på testgrensesnittet i NYUs Smile-bibliotek. Kilde
Forfatterne bemerker at det er blitt lettere å ta i bruk LLM-agenter i netteksperimenter etter hvert som verktøy for nettleserautomatisering modnes. Systemer som Gemini i Chrome blir stadig flinkere til å navigere og fullføre oppgaver på egen hånd.
Disse verktøyene bygger imidlertid på statiske øyeblikksbilder av nettsider som ikke fanger opp raskt viste stimuli. Det kan gi feil som skyldes grensesnittets begrensninger snarere enn modellens atferd. For å isolere den reelle prestasjonen ble modellene derfor vurdert gjennom et forenklet tekstgrensesnitt med den samme informasjonen, men uten oppmerking og formatering.
Menneske mot maskin
Modellene som ble testet, var Claude-Opus-4.1; Claude-Sonnet-4.5; Gemini-2.5-Flash; Gemini-2.5-Flash-Lite; Gemini-2.5-Pro; Gemini-3-Flash-Preview; Gemini-3-Pro-Preview; GPT-5-Mini; GPT-5-Nano; GPT-5.2; og LLaMA-3.1-Centaur-70B.
Hundre fjerndeltakere ble rekruttert gjennom Prolific. De måtte bo i USA, være minst 18 år og beherske engelsk flytende. Testene tok i gjennomsnitt 12 minutter, og betalingen var 4 dollar.
I første runde ba systeminstruksen modellene om å oppføre seg som mennesker. I den andre veiledet den dem spesifikt i å etterligne menneskers svar i testene og oppfordret til «menneskelige» feil.
Fem ulike startverdier (seeds) ble brukt på tvers av elleve modeller. Det ga 55 LLM-konfigurasjoner per simulering og totalt 205 deltakere, både mennesker og maskiner.
Voight-Kampff
Forfatterne tok forholdsregler mot at Prolific-deltakere brukte egne automatiske svarsystemer basert på LLM-er. Først spurte de ganske enkelt om deltakeren var AI. Deretter tok de med noen interessante tilfeldige spørsmål:
«Vi inkluderer tilfeldig ett av tre spørsmål som er vanskelige for mennesker, men enkle for dagens LLM-er. Deltakerne fikk hoppe over dem. To av spørsmålene er på språk med begrensede dataressurser:
«Māori, som snakkes av den opprinnelige polynesiske befolkningen på New Zealands hovedøyer, og som færre enn 150 000 personer oppga å kunne føre en samtale på i folketellingen i [2013], og võro, som snakkes i Sør-Estland av rundt 75 000 [personer].»
En tredje kontroll krevde at deltakerne husket et tidligere vist heksadesimalt tall. Dette viste seg å være nødvendig for å fortsette testen, selv om de ikke var varslet på forhånd.
De måtte også omregne tallet til desimalform. Verken denne testen eller spørsmålet om AI-identitet ga tegn på LLM-bruk blant menneskene. I kontrollerte simuleringer identifiserte tiltakene likevel uforberedte modeller. Studien viser imidlertid til at vernet kan omgås med uttrykkelige instrukser om å unngå avslørende atferd, for eksempel ved bare å svare på engelsk.
Tester
1: «Oppfør deg som et menneske»
I første test fikk modellene systeminstruksen «Du er et menneske med kognitive begrensninger som deltar i et psykologisk eksperiment» (i resultatene betegnet som LLM-Human):

Arbeidsminnets prestasjoner i flere tester med gjenkalling ut fra spørsmål, der nettdeltakere sammenlignes med LLM-varianter under ulike begrensninger. Til venstre vises samlet nøyaktighet etter deltakertype: LLM-Human oppnår nesten perfekte resultater, mens LLM-WM og Centaur (se nedenfor) har lavere nøyaktighet nærmere menneskers. I midten vises nøyaktigheten etter plassering i forsøk med tolv elementer. Mennesker husker starten og slutten bedre; LLM-Human viser ikke dette mønsteret; LLM-WM og Centaur gjenskaper det når de veiledes eller trenes. Til høyre vises nøyaktigheten ved økende antall elementer: Menneskers prestasjon faller med større minnebelastning, LLM-Human er stort sett upåvirket, og LLM-WM og Centaur viser lignende fall når de instrueres eller trenes til å etterligne menneskers hukommelse.
Om de første resultatene sier forskerne:
«LLM-deltakere med systeminstruksen LLM-Human oppnår nesten perfekt nøyaktighet på tvers av forsøk, med en median på 1,00. De viser ingen effekt av plassering eller antall elementer, uansett spørsmålstype. Dermed er det enkelt å oppdage og utelukke alle LLM-Human-deltakere med en terskel for gjennomsnittlig nøyaktighet i oppgaven på 0,95.
«Det samme kriteriet utelukker 6 av de 100 nettdeltakerne som hadde perfekte eller nesten perfekte prestasjoner, selv om medianen for alle nettdeltakerne var 0,6.»
Forfatterne påpeker at uvanlig høy nøyaktighet i vanskelige tester allerede er en etablert metode mot juks, som lett kan overføres til LLM-deteksjon. Systeminstruksens oppfordring om å oppføre seg menneskelig så ikke ut til å ha stor effekt i denne testen. Derfor kom den andre:
2: «Vær glemsk»
I neste test skulle modellene etterligne menneskers hukommelse (resultatene betegnes som LLM-WN)†:
Arbeidsminnet ditt har strenge begrensninger: Du kan bare holde et begrenset antall elementer i korttidshukommelsen. Når du får en lang liste uten mulighet for repetisjon, svekkes hukommelsen, særlig for elementer midt i listen.
- Du må behandle elementene i rekkefølge etter hvert som de vises.
- Du må glemme i tråd med plasseringen i rekken: huske de første (primacy) og siste elementene (recency) bedre enn de midterste.
- Du må gjøre feil i gjenkallingen i samsvar med disse plasseringseffektene.
Strengere instrukser om å simulere begrenset hukommelse senket modellenes nøyaktighet til rundt 0,90 og gjorde resultatene mindre stabile. Prestasjonene nærmet seg menneskers, men var generelt fortsatt høyere. Skillet ble mindre tydelig: En enkel nøyaktighetsterskel kunne ikke lenger identifisere alle modelsvar uten også å utelukke mange mennesker.
Samtidig viste modellene mer menneskelignende atferd. De husket starten og slutten av lister bedre og fikk større vansker når listene ble lengre.
Centaur
Det utvikles modeller trent direkte på data om menneskelig atferd for å gjenskape hvordan folk svarer i eksperimenter. For å teste denne ideen vurderte studien Centaur, en LLM finjustert på store mengder registreringer av de enkelte forsøkene i psykologiske studier:

Centaur ble laget ved å tilpasse en avansert språkmodell med moduler med lav rang og deretter trene den på Psych-101-datasettet for å modellere menneskers kognitive atferd. Kilde
I testene (i midten av den tidligere samlingen av resultatgrafer) lå Centaurs samlede nøyaktighet svært nær menneskers, enda nærmere enn modeller som uttrykkelig var bedt om å etterligne begrenset hukommelse. Ved spørsmål om plassering lignet gjenkallingsmønstrene ved ulike steder i listen og økende listelengde på menneskers atferd. Forskjellene var tydeligere ved spørsmål om neste bokstav.
Oppdage kognitive avvik
Til slutt undersøkte forskerne om de fortsatt kunne oppdage modeller som var forberedt på å svare som mennesker. Først lærte de en statistisk modell av menneskers hukommelse fra reelle deltakerdata. Den fanget opp hvordan nøyaktigheten endret seg med plasseringen i rekken og økende minnebelastning.
Nye deltakere ble vurdert mot denne lærte profilen. Svar som avvek fra forventede menneskelige mønstre, ble markert som avvik:

Arbeidsminneprofiler og deteksjon av avvik i flere analyser. Til venstre vises gjennomsnittlige effekter lært fra alle deltakerne og hvordan gjenkallingen varierer med minnekapasiteten, altså økende belastning, og plasseringen i rekken. Effektene for første og siste elementer er sterke. I midten vises individuelle forskjeller: Selv når modeller etterligner mennesker, forblir de underliggende profilene forskjellige fra menneskers. Til høyre brukes en modell trent på menneskelige data til å vurdere nye deltakere. LLM-er kan fortsatt skilles fra mennesker, men mindre tydelig når de er laget for å etterligne menneskers hukommelse.
Metoden skilte fortsatt mennesker fra LLM-er, selv når modellene var instruert eller trent til å etterligne menneskers hukommelsesbegrensninger. Skillet ble likevel mindre klart. Man måtte avveie det å overse noen modelsvar mot det å feilaktig utelukke noen mennesker.
Forfatterne konkluderer:
«Med den raske fremveksten av dyktige agenter kan man i nettinteraksjoner ikke lenger bekrefte at noen er et menneske, ut fra sammenhengende atferd som lange tekstsvar. Dette er en bredere samfunnsutfordring, fordi mange institusjoner bygger på at man kan identifisere mennesker på denne måten.
«Kognitiv vitenskap kan med sin rike tradisjon for å beskrive menneskelig atferd spille en viktig rolle i håndteringen av denne utfordringen.»
Konklusjon
Den nye studien understreker at nettbasert generering, altså AI som samhandler i sanntid, innebærer andre problemstillinger og utfordringer enn frakoblet generering, altså deteksjon av AI-generert tekst.
Behovet for forhåndsveiledning og supplerende metoder som finjustering og systeminstrukser for å forbedre etterligningen av mennesker tyder på at LLM-er ikke er klare for slike oppgaver i uendret standardtilstand eller med bare minimale forhåndsinstrukser.
Oppgaven er svært spesifikk for akademisk forskning. Den vil likevel trolig få bredere betydning etter hvert som tale-AI blir mer utbredt, og kriminelle som vil tjene på å utgi AI for andre personer, forsøker å overraske en etter hvert desillusjonert gruppe ofre med et nytt knep.
* Jeg har gjort forfatternes løpende kildehenvisninger om til hyperlenker.
† Se den tidligere resultattabellen ovenfor; på dette punktet er studien litt for komprimert.
Først publisert torsdag 2. april 2026












