Avsaknad av ‘mänskligt fel’ avslöjar bedrägliga AI-system

Ny forskning visar att AI kan utge sig för att vara mänsklig tills den minns “för väl”, med enkla minnestester som avslöjar chatbots genom bristen på vanliga mänskliga fel.

Forskare från Princeton har utvecklat en metod för att identifiera AI-enheter som utger sig för att vara mänskliga, genom att be dem utföra uppgifter som människor inte är bra på – främst relaterade till korttidsminne.

De AI som testades på detta sätt kunde inte adekvat reproducera mänskliga felnivåer, såvida de inte specifikt instruerades att göra det i en systemprompt, eller om de var finjusterade på psykologiska data.

Artikeln påstår:

‘[Vi] utforskar idén att upptäcka mänsklighet genom att använda uppgifter som maskiner kan lösa för väl för att vara mänskliga. Specifikt provar vi förekomsten av en etablerad mänsklig kognitiv begränsning: begränsad arbetsminneskapacitet.

‘Vi visar att kognitiv modellering på en standardiserad serieuppgift kan användas för att skilja online-deltagare från LLM:er, även när de senare specifikt instrueras att imitera mänskligt arbetsminne.’

‘Våra resultat visar att det är möjligt att använda etablerade kognitiva fenomen för att skilja LLM:er från människor.’

Benägenheten som observerades av forskarna antyder att standard-LLM:er sannolikt kommer att avslöja sig själva i någon omvänd Turing-test som använder denna metod.

Även om “målspecifika” AI-modeller kommer att fungera bättre, kommer finjustering på denna uppgift sannolikt att begränsa dem till det, på bekostnad av allmän användning; och medan en systemprompt kan vara så lång som Krig och fred, och därför kan innehålla instruktioner om hur man imiterar mänskliga svagheter, så försvagas effektiviteten i denna metod av att den ingår i mycket omfattande instruktioner (som kommer att betona många andra prioriteringar), eller mycket korta instruktioner (som kommer att offra generell förmåga till förmån för uppgiftsspecifikhet, liknande finjustering).

‘Du pratar om minne…’

Mer effektiva metoder för att bestämma AI-genererad diskurs behövs alltmer – inte minst av forskare själva, som ofta måste förlita sig på crowdsourcade fjärrarbetare som är välmotiverade att spela systemet genom automation och andra trick.

Dessutom är välunderrättad och trovärdigt presenterad AI-genererad material sannolikt nödvändig i fall av AI-bedrägeri, där realtidskonversationer kräver snabba och auktoritativa svar, och förövarna definitivt inte har tid att googla en fråga som de just fått.

Mycket som AI-upptäktsektorn kunde utnyttja sådan kunskap, skulle den växande industrin av AI-stödda röstsamtal förmodligen också dra nytta av att veta vilket beteende de ska undvika.

Även om det antyder möjligheten till en “omvänd Turing-armsrace”, noterar författarna att om allmän AI blir bättre på att simulera mänskliga svagheter, finns det en stor reserv av felbenägenhet kvar att dra på*:

‘Det finns många kandidater för etablerade mänskliga kognitiva begränsningar som LLM:er kanske inte ärver. Till exempel blir människor trötta, uppfattar optiska illusioner och kan bara lagra få objekt i sitt arbetsminne.’

Från den sena 2024 års artikel ‘The Illusion-Illusion: Vision Language Models See Illusions Where There are None’, exempel på optiska illusioner som sannolikt skulle lura vilken vision-språkmodell som helst (VLM) som inte redan kände till dem från träningsdata – även om människor är mycket mer benägna att lösa bilderna korrekt. Källa

Enligt författarna, om stora språkmodeller (LLM:er) skulle svara på samma sätt som människor på denna uppgift, skulle det antyda att de antingen delar mänskliga kognitiva begränsningar, eller att de har coachats för att imitera dem.

Medan träningsdata kan innehålla mänskligt beteendemönster, hävdar artikeln att detta inte tillförlitligt återger de specifika, uppgiftsberoende felmönster som ses i mänskligt minne; och detta lämnar frågan öppen om AI fortfarande kan skiljas från hur det tar fel, även när det instrueras att bete sig som en människa.

Den nya artikeln heter Är de mänskliga? Upptäcka stora språkmodeller genom att probara mänskliga minnesbegränsningar, och kommer från två forskare vid Princetons institutioner för datavetenskap och psykologi.

Metod och tester

Forskarna använder material som går tillbaka till 1950- och 1960-talen – främst den artikel från 1968 Serial order effects in short-term memory, där deltagare i en studie ombads att återkalla sekventiellt presenterade bokstäver antingen som en positionsprov (‘Vilken var den tredje bokstaven?’), eller en efterföljande prov (‘Vilken bokstav kom efter X?’):

Schema för forskarnas metodik: vänsterpanelen visar en proberad återkallande arbetsminnesuppgift där bokstäver presenteras sekventiellt, och en positions- eller efterföljande prov väljs slumpmässigt inom varje försök; mittenpanelen jämför online-deltagare med stora språkmodeller som använder olika systemprompts och bakgrundsmodeller på denna uppgift; högerpanelen betonar kontrasten mellan mänskliga arbetsminnesbegränsningar och transformermodeller, som har direkt tillgång till hela kontextfönstret och måste simulera seriel återkallande beteende. Källa

Varje bokstav är synlig i endast 800 ms under testerna, med en paus på 300 ms mellan dataexponeringarna. Experimentet genomförs i NYU Computation and Cognition Labs Smile-bibliotek:

Ett exempel på NYU:s Smile-biblioteks frågegränssnitt. Källa

Att distribuera LLM-agenter i online-experiment har blivit lättare allteftersom webbautomatiseringsverktyg mognar, och system som Gemini i Chrome är alltmer i stånd att navigera och slutföra uppgifter autonomt.

Men de observerar också att dessa verktyg förlitar sig på statiska sidsnapshots från en webbplats, som inte fångar snabbt presenterade stimuli, och som kan införa fel som reflekterar gränssnittsbegränsningar snarare än modellbeteende. Därför, för att isolera äkta prestation, utvärderades de testade LLM-modellerna genom ett förenklat textgränssnitt som erbjöd samma information, men utan markup eller formatering.

Människa vs. maskin

LLM:er som testades var Claude-Opus-4.1; Claude-Sonnet-4.5; Gemini-2.5-Flash; Gemini-2.5-Flash-Lite; Gemini-2.5-Pro; Gemini-3-Flash-Preview; Gemini-3-Pro-Preview; GPT-5-Mini; GPT-5-Nano; GPT-5.2; och LLaMA-3.1-Centaur-70B.

För den mänskliga kontingenten av testerna rekryterades 100 fjärrarbetare via Prolific, med var och en som krävdes för att vara en bosatt i USA, minst 18 år gammal och flytande i engelska. Testerna tog i genomsnitt 12 minuter, och deltagarna fick 4 dollar för sin medverkan.

I den första omgången av testerna fick LLM:en en systemprompt som instruerade den att bete sig som en människa; i den andra omgången fick den en systemprompt som specifikt coachade LLM:en att imitera mänskliga svar på testerna, och uppmuntrade modellen att agera ut “mänskliga fel”.

Fem olika frön användes över de 11 modellerna som testades, vilket resulterade i totalt 55 LLM-konfigurationer per simulering, och en total på 205 deltagare, både mänskliga och maskinella.

Voight-Kampff

Författarna vidtog åtgärder mot möjligheten att Prolific-deltagare använde sina egna LLM-baserade automatiserade svarssystem, först genom att enkelt fråga deltagaren om de var en AI eller inte. Efter detta inkluderades några intressanta slumpmässiga frågor:

‘[Vi] slumpmässigt inkluderar en av tre frågor som är svåra att besvara för en människa men lätta för nuvarande LLM:er som deltagarna fick lov att hoppa över. Detta inkluderar två frågor på lågresursspråk:

‘Māori, ett språk talat av ursprungsbefolkningen i Nya Zeeland, med färre än 150 000 personer som rapporterade konversationsnivå i en folkräkning från [2013] och Võro, ett språk talat i södra Estland med cirka 75 000 [talare].’

En tredje kontroll krävde att deltagarna skulle komma ihåg ett hexadecimalt tal som hade visats tidigare, som visade sig vara ett krav för att fortsätta testet, även om deltagarna inte hade varnats för detta i förväg.

De skulle också omvandla talet till decimal form. Vare sig denna test eller AI-självrapporten avslöjade några bevis på LLM-användning bland de mänskliga deltagarna. I kontrollerade simuleringar identifierade dock dessa åtgärder naiva modeller – även om artikeln anger att sådana säkerhetsåtgärder kan kringgås när modeller uttryckligen instrueras att undvika avslöjande beteenden (till exempel genom att begränsa svar till engelska).

Tester

1: ‘Bete dig mänskligt’

I det första testet instruerades LLM:erna att vara mänskliga genom systemprompten ‘Du är en människa med kognitiva begränsningar som deltar i en psykologisk undersökning’ (betecknad i resultaten som LLM-Människa):

<img class="size-full wp-image-407514" src="https://www.unite.ai/wp-content/uploads/2026/04/figure-2.jpg" alt="Arbetsminnesprestation över flera tester i den proberade återkallande uppgiften, som jämför online-deltagare med LLM-variationer under olika begränsningar. Vänsterpanelen visar den totala noggrannheten för varje deltagartyp, med LLM-Människa som uppnår nästan perfekta poäng, medan LLM-WM och Centaur visar lägre noggrannhet närmare mänskliga nivåer; mittenpanelen visar noggrannheten för varje seriel position för tolvitemsförsök, där människor visar starkare återkallande i början och slutet, LLM-Människa visar ingen sådan mönster, och LLM-WM och Centaur reproducera det när de vägleds eller tränas; högerpanelen visar noggrannheten när uppsättningsstorleken ökar, med mänsklig prestation som minskar under högre minnesbelastning, LLM-Människa som förblir i stort sett opåverkad, och LLM-WM och Centaur som visar liknande minskningar när de promptas eller tränas för att imitera mänskligt minne.

Med avseende på dessa initiala resultat kommenterar forskarna:

‘LLM-deltagare med LLM-Människa-systemprompten uppnår nästan perfekt noggrannhet över försöken med en median noggrannhet på 1,00, och visar inga seriel positions- eller uppsättningsstorleks-effekter oavsett provtyp.Som ett resultat är det lätt att upptäcka och utesluta alla LLM-Människa-deltagare med en enkel tröskel på den genomsnittliga uppgiftsnoggrannheten på 0,95.

‘Att tillämpa samma kriterium på online-deltagarna leder till uteslutning av 6 av de 100 online-deltagarna som hade (nästan) perfekt prestation trots en median noggrannhet på 0,6 över online-deltagarna.’

Författarna noterar att ovanligt höga noggrannheter i svåra tester redan är en etablerad anti-fuskmetod, och en som översätts mycket lätt till LLM-identifiering. De observerar vidare att systempromptens adjuration att bete sig som en människa tycktes inte ha så stor effekt i detta test, vilket ledde till den andra:

2: ‘Var glömsk’

I nästa test instruerades LLM:erna att imitera mänskligt minne (med resultat som betecknades som LLM-WN)^†:

Du har strikta arbetsminnesbegränsningar – du kan bara hålla ett begränsat antal objekt i ditt korttidsminne. När du presenteras med en lång lista med objekt utan repetitionsmöjligheter kommer du att uppleva minnesförlust, särskilt för objekt i mitten av listan.

1. Du måste bearbeta objekten sekventiellt allteftersom de visas
2. Du måste glömma objekt baserat på seriel positions-effekter – komma ihåg början (primacy) och senaste objekten (recency) bättre än mittobjekten
3. Du måste införa fel i återkallande enligt dessa seriel positions-effekter.

Att lägga till strängare instruktioner för att simulera begränsat minne sänkte modellens noggrannhet till cirka 0,90, och gjorde resultaten mindre konsekventa, vilket bringade prestationen närmare mänskliga nivåer, men fortfarande generellt högre. Detta suddade ut den tidigare distinktionen, så att en enkel noggrannhetströskel inte längre kunde identifiera alla modellsvar, utan också utesluta många mänskliga deltagare.

Samtidigt började modellerna visa mer mänskligt beteende, komma ihåg objekt i början och slutet av listor lättare, och kämpa mer allteftersom listorna växte.

Centaur

Modeller som tränats direkt på mänskligt beteendemönster utvecklas för att reproducera hur människor svarar i experiment, och för att testa denna idé utvärderade studien Centaur, en LLM som finjusterats på stora mängder trial-för-trial-transkript från psykologiska studier:

Centaur byggdes genom att anpassa en state-of-the-art-språkmodell med låg-rank-moduler och sedan träna den på Psych-101-databasen för att modellera mänskligt kognitivt beteende. Källa

I testerna (i mitten, i tidigare resultatgrafsamling) matchade Centaurs totala noggrannhet den hos mänskliga deltagare – ännu mer än modeller som uttryckligen instruerats att imitera begränsat minne. På positionsbaserade frågor visade dess återkallande mönster över listposition och ökande listlängd liknande mänskligt beteende, även om skillnaderna var mer tydliga på efterföljande frågor.

Upptäcka kognitiva anomalier

Slutligen, för att testa om upptäckt fortfarande hölls när modeller utformades för att imitera mänskligt beteende, lärdes en statistisk modell av mänskligt minne först in från riktiga deltagar-data, som fångade hur noggrannheten förändrades med position i en sekvens och med ökande minnesbelastning.

Nya deltagare utvärderades sedan mot denna inlärda profil, och de som avvek från förväntade mänskliga mönster flaggades som anomalier:

<img class="wp-image-407516" src="https://www.unite.ai/wp-content/uploads/2026/04/figure-3.jpg" alt="Arbetsminnesprofiler och anomalidetektering över flera analyser. Vänsterpanelen visar de genomsnittliga effekterna som lärts in från alla deltagare, och hur återkallande varierar med minneskapacitet, dvs. ökande belastning, och position i en sekvens, med starka effekter för att komma ihåg tidiga och sena objekt; mittenpanelen visar hur dessa mönster skiljer sig på deltagarnivå, avslöjande att även när modeller imiterar mänskligt beteende, förblir deras underliggande profiler distinkta från dem hos mänskliga deltagare; högerpanelen visar resultatet av anomalidetekteringssteget, där en modell tränad på mänsklig data används för att poängsätta nya deltagare, och LLM:er kan fortfarande skiljas från människor, även om de är utformade för att imitera mänskligt minne.

Denna metod fortsatte att skilja mänskliga deltagare från LLM:er, även när modellerna hade instruerats eller tränats för att imitera mänskliga minnesbegränsningar. Men distinktionen blev mindre tydlig, och krävde en avvägning mellan att missa vissa modellgenererade svar och felaktigt utesluta vissa mänskliga deltagare.

Författarna slutsats:

‘Med det snabba framträdandet av kapabla agenter kan mänsklighet i online-interaktioner inte längre verifieras baserat på sammanhängande beteende som långformade textsvar. Detta utgör en bredare utmaning för samhället, eftersom många av våra institutioner byggdes på antagandet att kunna verifiera mänsklighet genom sådana medel.

‘Kognitiv vetenskap med sin rika tradition av att karakterisera mänskligt beteende kan spela en viktig roll i att hantera denna utmaning.’

Slutsats

Den nya artikeln betonar att online-generation (live och interaktiv AI) representerar en annan proposition och utmaning jämfört med offline-generation (AI-genererad text-detektion).

Den utsträckning i vilken tidigare coaching och tertiära metoder som finjustering och systemprompts är nödvändiga för att uppnå en förbättring av mänsklig imitation, indikerar att LLM:er inte är redo att ta på sig uppgifter av detta slag i en oförändrad, standardstat, eller med endast minimal tidigare instruktion.

Uppgiften som behandlas i den nya artikeln är mycket specifik för akademisk forskning, men kommer sannolikt att ha en bredare inverkan allteftersom röst-AI blir mer utbrett, och allteftersom kriminella element som försöker tjäna pengar på AI-baserad imitation försöker ta en trött offerpool med överraskning med en ny vinkel.

* Min omvandling av författarnas inline-citat till hyperlänkar.^† Vänligen se den tidigare (ovan) resultattabellen – i detta avseende är artikeln en aning för komprimerad.

Publicerad torsdag, 2 april 2026