Andersons vinkel

Avsaknaden av mänskliga misstag avslöjar AI-system som utger sig för att vara människor

Martin Anderson
Lägg till Unite.AI bland dina föredragna källor på Google
AI-generated image (GPT-1.5) featuring two male chess players facing off in a tournament, but we can see from the wires and cables hanging out of his back, that one of the players is a robot.
Viktiga punkterAI-system avslöjar sig genom att utföra minnesuppgifter med onaturlig perfektion, om de…
Visa mer
  • AI-system avslöjar sig genom att utföra minnesuppgifter med onaturlig perfektion, om de inte specifikt tränats att göra fel.
  • Finjustering av modeller på psykologidata från människor förbättrar deras förmåga att efterlikna mänskligt beteende men begränsar deras generella användbarhet.
  • Kognitionsvetenskapen erbjuder robusta detekteringsmetoder eftersom AI saknar inneboende mänskliga begränsningar som minnesförfall och trötthet.

Ny forskning visar att AI kan utge sig för att vara mänsklig tills den minns “för väl”, med enkla minnestester som avslöjar chatbots genom bristen på vanliga mänskliga fel.

 

Forskare från Princeton har utvecklat en metod för att identifiera AI-enheter som utger sig för att vara mänskliga, genom att be dem utföra uppgifter som människor inte är bra på – främst relaterade till korttidsminne.

De AI-system som testades på detta sätt kunde inte adekvat reproducera mänskliga felnivåer, såvida de inte specifikt instruerades att göra det i en systemprompt, eller om de var finjusterade på psykologiska data.

I forskningsartikeln står det:

‘[Vi] utforskar idén att avgöra om en motpart är människa genom att använda uppgifter som maskiner kan lösa för väl för att vara mänskliga. Vi undersöker särskilt förekomsten av en etablerad mänsklig kognitiv begränsning: begränsad arbetsminneskapacitet.

‘Vi visar att kognitiv modellering på en standardiserad uppgift i återgivning av sekvenser kan användas för att skilja online-deltagare från LLM:er, även när de senare specifikt instrueras att imitera begränsningarna i människans arbetsminne.’

‘Våra resultat visar att det är möjligt att använda etablerade kognitiva fenomen för att skilja LLM:er från människor.’

Benägenheten som observerades av forskarna antyder att standardmodeller med mycket stor sannolikhet avslöjar sig i varje omvänt Turingtest som använder denna metod.

Även om “målspecifika” AI-modeller kommer att fungera bättre, kommer finjustering på denna uppgift sannolikt att begränsa dem till just den uppgiften, på bekostnad av allmän användning; och medan en systemprompt kan vara så lång som Krig och fred, och därför kan innehålla instruktioner om hur man imiterar mänskliga svagheter, så försvagas effektiviteten i denna metod av att den ingår i mycket omfattande instruktioner (som kommer att betona många andra prioriteringar), eller mycket korta instruktioner (som kommer att offra generell förmåga till förmån för uppgiftsspecifikhet, liknande finjustering).

‘Du pratar om minne…’

Mer effektiva metoder för att identifiera AI-genererade samtal behövs alltmer – inte minst av forskare själva, som ofta måste förlita sig på crowdsourcade fjärrarbetare som är starkt motiverade att manipulera systemet genom automation och andra trick.

Dessutom är kunnigt och trovärdigt presenterat AI-genererat material sannolikt nödvändigt i fall av AI-bedrägeri, där realtidskonversationer kräver snabba och auktoritativa svar, och förövarna definitivt inte har tid att googla en fråga som de just fått.

På samma sätt som sektorn för AI-detektering skulle kunna utnyttja sådan kunskap, skulle den växande industrin av AI-drivna säljsamtal förmodligen också dra nytta av att veta vilket beteende de ska undvika.

Även om det antyder möjligheten till en “kapprustning kring omvända Turingtest”, noterar författarna att om allmän AI blir bättre på att simulera mänskliga svagheter, finns det en stor reserv av felbenägenhet kvar att dra på*:

‘Det finns många kandidater för etablerade mänskliga kognitiva begränsningar som LLM:er kanske inte ärver. Till exempel blir människor trötta, uppfattar optiska illusioner och kan bara lagra få objekt i sitt arbetsminne.’

Exempel på optiska illusioner från artikeln ”The Illusion-Illusion: Vision Language Models See Illusions Where There are None” från slutet av 2024. De skulle sannolikt lura en syn- och språkmodell (VLM) som inte redan känner till dem från träningsdata, medan människor har mycket större sannolikhet att tolka bilderna korrekt. Källa: https://arxiv.org/pdf/2412.18613

Exempel på optiska illusioner från artikeln ”The Illusion-Illusion: Vision Language Models See Illusions Where There are None” från slutet av 2024. De skulle sannolikt lura en syn- och språkmodell (VLM) som inte redan känner till dem från träningsdata, medan människor har mycket större sannolikhet att tolka bilderna korrekt. Källa

Enligt författarna, om stora språkmodeller (LLM:er) skulle svara på samma sätt som människor på denna uppgift, skulle det antyda att de antingen delar mänskliga kognitiva begränsningar, eller att de har coachats för att imitera dem.

Medan träningsdata kan innehålla spår av mänskligt beteende, hävdar artikeln att detta inte tillförlitligt återger de specifika, uppgiftsberoende felmönster som ses i mänskligt minne; och detta lämnar frågan öppen om AI fortfarande kan identifieras utifrån hur det tar fel, även när det instrueras att bete sig som en människa.

Den nya artikeln heter Är de mänskliga? Upptäcka stora språkmodeller genom att undersöka människans minnesbegränsningar, och kommer från två forskare vid Princetons institutioner för datavetenskap och psykologi.

Metod och tester

Forskarna använder material som går tillbaka till 1950- och 1960-talen – främst artikeln från 1968 Serial order effects in short-term memory, där deltagare i en studie ombads att återkalla sekventiellt presenterade bokstäver med antingen en fråga om position (‘Vilken var den tredje bokstaven?’), eller en fråga om efterföljande bokstav (‘Vilken bokstav kom efter X?’):

Schema över metoden: till vänster visas en arbetsminnesuppgift där bokstäver presenteras i följd och en fråga om position eller efterföljande bokstav väljs slumpmässigt i varje försök. I mitten jämförs deltagare på nätet med stora språkmodeller som använder olika systempromptar och grundmodeller. Till höger visas skillnaden mellan människans begränsade arbetsminne och transformermodeller, som har direkt tillgång till hela kontextfönstret och måste simulera seriell återgivning. Källa: https://arxiv.org/pdf/2604.00016

Schema över metoden: till vänster visas en arbetsminnesuppgift där bokstäver presenteras i följd och en fråga om position eller efterföljande bokstav väljs slumpmässigt i varje försök. I mitten jämförs deltagare på nätet med stora språkmodeller som använder olika systempromptar och grundmodeller. Till höger visas skillnaden mellan människans begränsade arbetsminne och transformermodeller, som har direkt tillgång till hela kontextfönstret och måste simulera seriell återgivning. Källa

Varje bokstav är synlig i endast 800 ms under testerna, med en paus på 300 ms mellan dataexponeringarna. Experimentet genomförs i NYU Computation and Cognition Labs Smile-bibliotek:

Exempel på testgränssnittet i NYU:s Smile-bibliotek. Källa: https://smile.gureckislab.org/introduction.html

Exempel på testgränssnittet i NYU:s Smile-bibliotek. Källa

Att distribuera LLM-agenter i online-experiment har blivit lättare allteftersom webbautomatiseringsverktyg mognar, och system som Gemini i Chrome är alltmer i stånd att navigera och slutföra uppgifter autonomt.

Men de observerar också att dessa verktyg förlitar sig på statiska sidsnapshots från en webbplats, som inte fångar snabbt presenterade stimuli, och som kan införa fel som reflekterar gränssnittsbegränsningar snarare än modellbeteende. Därför, för att isolera äkta prestation, utvärderades de testade LLM-modellerna genom ett förenklat textgränssnitt som erbjöd samma information, men utan markup eller formatering.

Människa vs. maskin

LLM:er som testades var Claude-Opus-4.1; Claude-Sonnet-4.5; Gemini-2.5-Flash; Gemini-2.5-Flash-Lite; Gemini-2.5-Pro; Gemini-3-Flash-Preview; Gemini-3-Pro-Preview; GPT-5-Mini; GPT-5-Nano; GPT-5.2; och LLaMA-3.1-Centaur-70B.

Till testerna rekryterades 100 mänskliga distansdeltagare via Prolific. Var och en måste vara bosatt i USA, minst 18 år gammal och tala engelska flytande. Testerna tog i genomsnitt 12 minuter, och deltagarna fick 4 dollar för sin medverkan.

I den första omgången av testerna fick LLM:en en systemprompt som instruerade den att bete sig som en människa; i den andra omgången fick den en systemprompt som specifikt coachade LLM:en att imitera mänskliga svar på testerna, och uppmuntrade modellen att agera ut “mänskliga fel”.

Fem olika slumpfrön användes över de 11 modellerna som testades, vilket resulterade i totalt 55 LLM-konfigurationer per simulering, och en total på 205 deltagare, både mänskliga och maskinella.

Voight-Kampff

Författarna vidtog åtgärder mot möjligheten att Prolific-deltagare använde sina egna LLM-baserade automatiserade svarssystem, först genom att enkelt fråga deltagaren om de var en AI eller inte. Efter detta inkluderades några intressanta slumpmässiga frågor:

‘[Vi] slumpmässigt inkluderar en av tre frågor som är svåra att besvara för en människa men lätta för nuvarande LLM:er, och som deltagarna fick lov att hoppa över. Detta inkluderar två frågor på lågresursspråk:

‘Māori, ett språk talat av ursprungsbefolkningen i Nya Zeeland, med färre än 150 000 personer som rapporterade konversationsnivå i en folkräkning från [2013] och Võro, ett språk talat i södra Estland med cirka 75 000 [talare].’

En tredje kontroll krävde att deltagarna skulle komma ihåg ett hexadecimalt tal som hade visats tidigare, som visade sig vara ett krav för att fortsätta testet, även om deltagarna inte hade varnats för detta i förväg.

De skulle också omvandla talet till decimal form. Varken detta test eller AI-självrapporten avslöjade några bevis på LLM-användning bland de mänskliga deltagarna. I kontrollerade simuleringar identifierade dock dessa åtgärder naiva modeller – även om artikeln anger att sådana säkerhetsåtgärder kan kringgås när modeller uttryckligen instrueras att undvika avslöjande beteenden (till exempel genom att begränsa svar till engelska).

Tester

1: ‘Bete dig mänskligt’

I det första testet instruerades LLM:erna att vara mänskliga genom systemprompten ‘Du är en människa med kognitiva begränsningar som deltar i en psykologisk undersökning’ (betecknad i resultaten som LLM-Human):

Arbetsminnesprestation i flera tester av återgivning med frågor, där deltagare på nätet jämförs med LLM-varianter under olika begränsningar. Till vänster visas total träffsäkerhet för varje deltagartyp: LLM-Human får nästan perfekta resultat, medan LLM-WM och Centaur ligger lägre, närmare människor. I mitten visas träffsäkerhet efter serieposition i försök med tolv objekt. Människor minns början och slutet bättre, LLM-Human visar inget sådant mönster, och LLM-WM och Centaur återskapar det efter instruktion eller träning. Till höger visas träffsäkerheten när antalet objekt ökar: människors prestation sjunker med högre minnesbelastning, LLM-Human är i stort sett opåverkad, och LLM-WM och Centaur visar liknande nedgångar när de instrueras eller tränas att imitera mänskligt minne.

Arbetsminnesprestation i flera tester av återgivning med frågor, där deltagare på nätet jämförs med LLM-varianter under olika begränsningar. Till vänster visas total träffsäkerhet för varje deltagartyp: LLM-Human får nästan perfekta resultat, medan LLM-WM och Centaur (se nedan) ligger lägre, närmare människor. I mitten visas träffsäkerhet efter serieposition i försök med tolv objekt. Människor minns början och slutet bättre, LLM-Human visar inget sådant mönster, och LLM-WM och Centaur återskapar det efter instruktion eller träning. Till höger visas träffsäkerheten när antalet objekt ökar: människors prestation sjunker med högre minnesbelastning, LLM-Human är i stort sett opåverkad, och LLM-WM och Centaur visar liknande nedgångar när de instrueras eller tränas att imitera mänskligt minne.

Med avseende på dessa initiala resultat kommenterar forskarna:

‘LLM-deltagare med LLM-Human-systemprompten uppnår nästan perfekt noggrannhet över försöken med en median noggrannhet på 1,00, och visar inga effekter av serieposition eller antal objekt oavsett provtyp.Som ett resultat är det lätt att upptäcka och utesluta alla LLM-Human-deltagare med en enkel tröskel på den genomsnittliga uppgiftsnoggrannheten på 0,95.

‘Att tillämpa samma kriterium på online-deltagarna leder till uteslutning av 6 av de 100 online-deltagarna som hade (nästan) perfekt prestation trots en median noggrannhet på 0,6 över online-deltagarna.’

Författarna noterar att ovanligt höga noggrannheter i svåra tester redan är en etablerad anti-fuskmetod, och en som översätts mycket lätt till LLM-identifiering. De observerar vidare att systempromptens uppmaning att bete sig som en människa inte tycktes ha så stor effekt i detta test, vilket ledde till den andra:

2: ‘Var glömsk’

I nästa test instruerades LLM:erna att imitera mänskligt minne (med resultat som betecknades som LLM-WN)†:

Du har strikta arbetsminnesbegränsningar – du kan bara hålla ett begränsat antal objekt i ditt korttidsminne. När du presenteras med en lång lista med objekt utan repetitionsmöjligheter kommer du att uppleva minnesförlust, särskilt för objekt i mitten av listan.

  1. Du måste bearbeta objekten sekventiellt allteftersom de visas
  2. Du måste glömma objekt baserat på seriepositionseffekter – komma ihåg början (primacy) och senaste objekten (recency) bättre än mittobjekten
  3. Du måste införa fel i återkallande enligt dessa seriepositionseffekter.

Att lägga till strängare instruktioner för att simulera begränsat minne sänkte modellens noggrannhet till cirka 0,90, och gjorde resultaten mindre konsekventa, vilket förde prestationen närmare mänskliga nivåer, men fortfarande generellt högre. Detta suddade ut den tidigare distinktionen, så att en enkel noggrannhetströskel inte längre kunde identifiera alla modellsvar, utan att samtidigt utesluta många mänskliga deltagare.

Samtidigt började modellerna visa mer mänskligt beteende, komma ihåg objekt i början och slutet av listor lättare, och kämpa mer allteftersom listorna växte.

Centaur

Modeller som tränats direkt på spår av mänskligt beteende utvecklas för att reproducera hur människor svarar i experiment, och för att testa denna idé utvärderade studien Centaur, en LLM som finjusterats på stora mängder transkriptioner från varje enskilt försök från psykologiska studier:

Centaur byggdes genom att anpassa en avancerad språkmodell med lågrankmoduler och sedan träna den på datamängden Psych-101 för att modellera mänskligt kognitivt beteende. Källa: https://arxiv.org/pdf/2410.20268

Centaur byggdes genom att anpassa en avancerad språkmodell med lågrankmoduler och sedan träna den på datamängden Psych-101 för att modellera mänskligt kognitivt beteende. Källa

I testerna (i mitten, i tidigare resultatgrafsamling) matchade Centaurs totala noggrannhet den hos mänskliga deltagare – ännu mer än modeller som uttryckligen instruerats att imitera begränsat minne. På frågor om position liknade dess minnesmönster över listpositioner och ökande listlängd människors beteende, även om skillnaderna var mer tydliga på frågor om efterföljande objekt.

Upptäcka kognitiva anomalier

Slutligen, för att testa om detekteringen fortfarande fungerade när modeller utformades för att imitera mänskligt beteende, lärdes en statistisk modell av mänskligt minne först in från riktiga deltagar-data, som fångade hur noggrannheten förändrades med position i en sekvens och med ökande minnesbelastning.

Nya deltagare utvärderades sedan mot denna inlärda profil, och de som avvek från förväntade mänskliga mönster flaggades som anomalier:

Arbetsminnesprofiler och anomalidetektering i flera analyser. Till vänster visas genomsnittliga effekter inlärda från alla deltagare och hur återgivningen varierar med minneskapacitet, alltså ökande belastning, och serieposition, med tydliga effekter för tidiga och sena objekt. Mittpanelerna visar skillnader på deltagarnivå: även när modeller imiterar människor skiljer sig deras underliggande profiler från människors. Till höger visas anomalidetekteringen, där en modell tränad på mänskliga data bedömer nya deltagare. LLM:er kan fortfarande skiljas från människor, men mindre tydligt när de är utformade för att imitera mänskligt minne.

Arbetsminnesprofiler och anomalidetektering i flera analyser. Till vänster visas genomsnittliga effekter inlärda från alla deltagare och hur återgivningen varierar med minneskapacitet, alltså ökande belastning, och serieposition, med tydliga effekter för tidiga och sena objekt. Mittpanelerna visar skillnader på deltagarnivå: även när modeller imiterar människor skiljer sig deras underliggande profiler från människors. Till höger visas anomalidetekteringen, där en modell tränad på mänskliga data bedömer nya deltagare. LLM:er kan fortfarande skiljas från människor, men mindre tydligt när de är utformade för att imitera mänskligt minne.

Denna metod fortsatte att skilja mänskliga deltagare från LLM:er, även när modellerna hade instruerats eller tränats för att imitera mänskliga minnesbegränsningar. Men distinktionen blev mindre tydlig, och krävde en avvägning mellan att missa vissa modellgenererade svar och felaktigt utesluta vissa mänskliga deltagare.

Författarna drar slutsatsen:

‘Med det snabba framträdandet av kapabla agenter går det inte längre att verifiera att en motpart är människa i interaktioner på nätet baserat på sammanhängande beteende som längre textsvar. Detta utgör en bredare utmaning för samhället, eftersom många av våra institutioner byggdes på antagandet att kunna verifiera att någon är människa på detta sätt.

‘Kognitiv vetenskap med sin rika tradition av att karakterisera mänskligt beteende kan spela en viktig roll i att hantera denna utmaning.’

Slutsats

Den nya artikeln betonar att online-generation (live och interaktiv AI) representerar en annan situation och utmaning jämfört med offline-generation (AI-genererad text-detektion).

Den utsträckning i vilken tidigare coaching och kompletterande metoder som finjustering och systemprompts är nödvändiga för att uppnå en förbättring av imitation av mänskligt beteende, indikerar att LLM:er inte är redo att ta på sig uppgifter av detta slag i ett oförändrat standardtillstånd, eller med endast minimal tidigare instruktion.

Uppgiften som behandlas i den nya artikeln är mycket specifik för akademisk forskning, men kommer sannolikt att ha en bredare inverkan allteftersom röst-AI blir mer utbrett, och allteftersom kriminella element som försöker tjäna pengar på AI-baserad imitation försöker överraska en redan luttrad grupp offer med ett nytt grepp.

 

* Jag har omvandlat författarnas källhänvisningar i löptexten till hyperlänkar.
† Se den tidigare resultatfiguren ovan; på denna punkt är artikeln något för komprimerad.

Publicerad torsdag, 2 april 2026

Skribent inom maskininlärning, domänspecialist på mänsklig bildsyntes. Tidigare chef för forskningsinnehåll på Metaphysic.ai, fram till dess upplösning i DNEG:s Brahma.ai.
Webbplats: martinanderson.ai
Kontakt: martin@martinanderson.ai