Chybějící ‘lidská chyba’ odhaluje deceptivní systémy AI

Nový výzkum zjistil, že AI může být považována za lidskou, dokud si nepamatuje “příliš dobře”, s jednoduchými testy paměti, které odhalují chatboty jejich nedostatkem běžných lidských chyb.

Výzkumníci z Princetonu vyvinuli metodu identifikace AI entit, které se vydávají za lidi, tím, že je požádají, aby provedly úkoly, které lidé nejsou dobrí – zejména související s krátkodobou paměťovou retencí.

Testované AI byly unable adekvátně replikovat lidské chybové úrovně, pokud nebyly specificky instruovány k tomu v systémovém promptu, nebo nebyly fine-tuned na psychologických datech.

Studie uvádí:

‘[My] prozkoumáváme myšlenku detekce lidskosti pomocí úkolů, které stroje mohou řešit příliš dobře, aby byly lidské. Konkrétně, prozkoumáváme existenci stanoveného lidského kognitivního omezení: omezenou kapacitu pracovní paměti.

‘Ukázali jsme, že kognitivní modelování na standardním sériovém recallském úkolu lze použít k rozlišení online účastníků od LLM i tehdy, když jsou tyto posledně specificky instruovány k imitaci lidské pracovní paměti.

‘Naše výsledky ukazují, že je možné použít dobře stanovená kognitivní jevy k rozlišení LLM od lidí.’

Tendence pozorovaná výzkumníky naznačuje, že standardní jazykové modely jsou velmi pravděpodobně odhaleny v jakémkoli reverse Turing testu, který používá tuto metodu.

Ačkoli ‘cílově specifické’ AI modely budou fungovat lépe, fine-tuning na tomto úkolu pravděpodobně omezí jejich obecnou použitelnost; a zatímco systémový prompt může být tak dlouhý jako Válka a mír, a mohl by tedy zahrnovat instrukce, jak napodobit lidské slabosti, účinnost této metody je oslabena tím, že je zahrnuta do velmi rozsáhlých instrukcí (které budou zdůrazňovat mnoho jiných priorit), nebo velmi krátkých (které budou obětovat obecnou kapacitu ve prospěch úkolové specifičnosti, podobně jako fine-tuning).

‘Mluvíte o paměti…’

Efektivnější metody pro určení AI-generovaného diskurzu jsou stále více potřeba – nejenom pro výzkumníky, kteří se často musí spoléhat na crowdsourced vzdálené pracovníky, kteří jsou dobře motivováni k hraní systému prostřednictvím automatizace a dalších triků.

Kromě toho je pravděpodobně, že informované a uvěřitelně předané AI-generované materiály budou potřebné v případech AI-podvodu, kde jsou vyžadovány rychlé a autoritativní odpovědi, a pachatelé určitě nemají čas na to, aby vyhledali odpověď, kterou jim byl právě dán.

Stejně jako by sektor detekce AI mohl využít takových znalostí, tak i rostoucí průmysl AI poháněných propagačních hlasových hovorů by pravděpodobně profitoval z vědomí, jaké chování se vyhnout.

Ačkoli to naznačuje možnost ‘reverse Turingovy závodní dráhy’, autoři uvádějí, že pokud se obecná AI stane lépe schopná simulovat lidské slabosti, existuje obrovské množství chyb, ze kterých lze čerpat*:

‘Existuje mnoho kandidátů na stanovená lidská kognitivní omezení, která LLM nemusí zdědit. Například lidé se unaví, vnímají optické iluze, a mohou uložit pouze málo položek ve své pracovní paměti.’

Z pozdní studie z roku 2024 ‘The Illusion-Illusion: Vision Language Models See Illusions Where There are None’, příklady optických iluzí, které by pravděpodobně oklamaly jakýkoli model jazykového vidění (VLM), který o nich nevěděl z trénovacích dat – i když lidé jsou mnohem více pravděpodobně vyřeší tyto obrázky správně. Zdroj

Podle autorů, pokud by LLM reagovaly stejně jako lidé na tomto úkolu, naznačovalo by to, že buď skutečně sdílejí lidská kognitivní omezení, nebo že byly instruovány k napodobení jich.

Zatímco trénovací data mohou zahrnovat lidské behaviorální stopy, studie tvrdí, že to nedůsledně reprodukuje specifické, úkol-dependentní chybové vzorce pozorované v lidské paměti; a to zanechává otevřenou otázku, zda lze AI stále rozlišit jak se chybují, i když jsou instruovány k jednání jako lidé.

Nová studie s názvem Jsou to lidé? Detekce velkých jazykových modelů pomocí testování lidských paměťových omezení pochází od dvou výzkumníků z Princetonovy univerzity, z oddělení počítačových věd a psychologie.

Metoda a testy

Výzkumníci využívají materiálů sahajících zpět do 50. a 60. let – zejména studie z roku 1968 Sériové pořadí efektů v krátkodobé paměti, ve které účastníci byli požádáni, aby si vzpomněli na posloupnosti prezentovaných písmen buď jako pozici sondy (‘Jaké bylo třetí písmeno?’ ), nebo jako následovníka sondy (‘Jaké písmeno přišlo po X?’ ):

Schéma výzkumníků: levý panel ukazuje probed recall pracovní paměťový úkol, ve kterém jsou písmena prezentována posloupně, a pozice nebo následovníka sondy je vybrána náhodně v každém pokusu; střed porovnává online účastníky s velkými jazykovými modely pomocí různých systémových promptů a backbone modelů na tomto úkolu; pravý zvýrazňuje kontrast mezi lidskými paměťovými omezeními a transformátorovými modely, které mají přímý přístup k plnému kontextovému oknu a musí simulovat sériový recall chování. Zdroj

Každé písmeno je viditelné pouze po dobu 800 ms během testů, s pauzou 300 ms mezi prezentacemi. Experiment je implementován v knihovně NYU Computation and Cognition Lab’s Smile:

Příklad rozhraní NYU’s Smile knihovny. Zdroj

Nasazení LLM agentů do online experimentů se stalo snazší, protože se zraly nástroje pro automatizaci prohlížeče, a systémy jako Gemini v Chrome jsou stále více schopny autonomně navigovat a dokončovat úkoly.

Nicméně, autoři také poznamenávají, že tyto nástroje spoléhají na statické snímky stránek z webových stránek, které nedokážou zachytit rychle prezentovaná stimula, a které mohou zavádět chyby, které odrážejí omezení rozhraní spíše než chování modelu. Proto, aby se izolovaly skutečné výkony, testované LLM modely byly vyhodnoceny prostřednictvím zjednodušeného textového rozhraní, které nabízí stejné informace, ale bez značek nebo stylů.

Lidské vs. strojové

Testované LLM byly Claude-Opus-4.1; Claude-Sonnet-4.5; Gemini-2.5-Flash; Gemini-2.5-Flash-Lite; Gemini-2.5-Pro; Gemini-3-Flash-Preview; Gemini-3-Pro-Preview; GPT-5-Mini; GPT-5-Nano; GPT-5.2; a LLaMA-3.1-Centaur-70B.

Pro lidskou část testů bylo získáno 100 vzdálených účastníků prostřednictvím Prolific, z nichž každý musel být rezidentem USA, alespoň 18 let starý a plynný v angličtině. Testy trvaly v průměru 12 minut, za které účastníci dostali 4 dolary.

V prvním kole testů dostaly LLM systémový prompt, který je instruoval, aby se chovaly jako lidé; ve druhém kole dostaly systémový prompt, který je specificky učil, aby napodobovaly lidské chyby.

Pět různých semen bylo použito napříč 11 modely, což vedlo k celkovému počtu 55 LLM konfigurací na simulaci, což mělo za následek celkový počet 205 účastníků, lidských i strojových.

Voight-Kampff

Autoři přijali opatření proti možnosti, že účastníci z Prolific budou používat své vlastní LLM-založené automatizované systémy odpovědí, nejprve tím, že účastníkům položí otázku, zda jsou AI nebo ne. Poté byly zahrnuty některé zajímavé náhodné otázky:

‘[My] náhodně zahrnujeme jednu ze tří otázek, které jsou navrženy tak, aby byly obtížné pro lidi, ale snadné pro současné LLM, které účastníci mohou vynechat. To zahrnuje dvě otázky v jazycích s nízkými zdroji:

‘Māori, jazyk mluvený původními polynéskými lidmi Nového Zélandu, s méně než 150 000 lidmi, kteří hlásili konverzační úroveň zdatnosti v sčítání lidu z [2013] a Võro, jazyk mluvený v jižním Estonsku s přibližně 75 000 [řečníků].’

Třetí kontrola vyžadovala, aby účastníci si vzpomněli na hexadecimální číslo, které jim bylo dříve ukázáno, což se ukázalo jako požadavek pro pokračování testu, i když účastníci nebyli o tom předem informováni.

Byli také požádáni, aby převedli číslo na desítkovou formu. Ani tento test, ani AI-sebekontrola, neodhalily žádné důkazy o použití LLM u lidských účastníků. V kontrolovaných simulacích však tato opatření identifikovala naivní modely – i když studie naznačuje, že taková opatření by mohla být obejita, kdyby modely byly explicitně instruovány, aby se vyhnuly odhalujícím chováním (například omezením odpovědí pouze na angličtinu).

Testy

1: ‘Chovej se jako člověk’

V prvním testu byly LLM instruovány, aby se chovaly jako lidé prostřednictvím systémového promptu ‘Jste člověk s kognitivními omezeními, který se účastní psychologického experimentu’ (označeno v výsledcích jako LLM-Lidský):

Pracovní paměťové výkony napříč několika testy v probed recall úkolu, porovnávající online účastníky s LLM variantami pod různými omezeními. Levý panel ukazuje celkovou přesnost podle typu účastníka, s LLM-Lidským dosahujícím téměř dokonalých skórů, zatímco LLM-WM a Centaur ukazují sníženou přesnost blížící se lidským úrovním; středový panel zobrazuje přesnost podle sériové pozice pro dvanáctipoložkové pokusy, kde lidé ukazují silnější vzpomínky na začátek a konec, LLM-Lidský neukazuje žádný takový vzorec, a LLM-WM a Centaur reprodukují jej, když jsou vedeni nebo trénováni; pravé panely ukazují přesnost, jak se zvyšuje velikost souboru, s lidským výkonem klesajícím pod vyšším paměťovým zatížením, LLM-Lidským zůstávajícím převážně neovlivněným, a LLM-WM a Centaur ukazujícími podobné poklesy, když jsou vedeni nebo trénováni k napodobení lidské paměti.

Ohledně těchto počátečních výsledků autoři uvádějí:

‘LLM účastníci se systémem promptem LLM-Lidský dosahují téměř dokonalé přesnosti napříč pokusy, s mediánem přesnosti 1,00, a neukazují žádný sériový pozici nebo velikost souboru efekt, bez ohledu na typ sondy. ‘To má za následek, že je snadné detekovat a vyloučit všechny LLM-Lidské účastníky pomocí jednoduchého prahu na průměrné úkolu přesnosti 0,95.

‘Použití stejného kritéria na online účastníky vede k vyloučení 6 z 100 online účastníků, kteří měli (téměř) dokonalý výkon, navzdory mediánu přesnosti 0,6 napříč online účastníky.’

Autoři poznamenávají, že neobvykle vysoké přesnosti v obtížných testech jsou již zavedenou anti-cheating metodou, a že se snadno překlápí na LLM-detectování. Autoři také uvádějí, že systémový prompt, který instruoval LLM, aby se chovaly jako lidé, neměl velký vliv v tomto testu, což vedlo k druhému testu:

2: ‘Buď zapomnětlivý’

V dalším testu byly LLM instruovány, aby napodobovaly lidskou paměť (s výsledky označenými jako LLM-WN)^†:

Máte přísná omezení pracovní paměti – můžete držet pouze omezený počet položek ve své krátkodobé paměti. Když je prezentována dlouhá seznam položek bez příležitostí k opakování, budete zažívat paměťový úbytek, zejména pro položky uprostřed seznamu.

1. Musíte zpracovat položky sekvenčně, jak se objevují
2. Musíte zapomenout položky na základě sériových pozicních efektů – vzpomínat lepší položky na začátku (primacy) a nedávné položky (recency) než položky uprostřed
3. Musíte zavést chyby v recalls podle těchto sériových pozicních efektů.

Přidání přísnějších instrukcí k simulaci omezené paměti snížilo modelovou přesnost na přibližně 0,90 a učinilo výsledky méně konzistentními, čímž se výkon přiblížil lidským úrovním, ale stále zůstal obecně vyšší. To rozostřilo dřívější rozlišení, takže jednoduchý práh přesnosti již nemohl identifikovat všechny modelové odpovědi, bez toho, aby vyloučil mnoho lidských účastníků.

V té době začaly modely ukazovat více lidského chování, vzpomínající položky na začátku a konci seznamů lépe a zápasící více, jak se seznamy prodlužovaly.

Centaur

Modely trénované přímo na lidských behaviorálních datech jsou vyvíjeny, aby reprodukovaly, jak lidé reagují v experimentech, a aby otestovaly tuto myšlenku, studie vyhodnotila Centaur, LLM fine-tuned na velkých objemech trial-by-trial transkriptů z psychologických studií:

Centaur byl postaven adaptací státního jazykového modelu s nízkými moduly a poté trénován na Psych-101 datasetu, aby modeloval lidské kognitivní chování. Zdroj

V testech (střed, v předchozím výsledkovém grafu) celková přesnost Centaura úzce odpovídala lidským účastníkům – ještě více než modely, které byly explicitně instruovány k imitaci omezené paměti. Na pozici-založených otázkách jeho recall vzorce napříč seznamovou pozicí a zvyšující se seznamovou délkou se zdály podobné lidskému chování, i když rozdíly byly více zřejmé na následovníka-založených otázkách.

Detekce kognitivních anomálií

Nakonec, aby otestovali, zda detekce stále platí, když modely jsou navrženy k napodobení lidského chování, statistický model lidské paměti byl nejprve naučen z reálných účastnických dat, zachycující, jak se přesnost mění s pozicí v sekvenci a s rostoucí paměťovou zátěží.

Noví účastníci byli poté vyhodnoceni proti tomuto naučenému profilu, a ti, jejichž odpovědi se odchýlily od očekávaných lidských vzorců, byli označeni jako anomálie:

Pracovní paměťové profily a detekce anomálií napříč několika analýzami. Levý panel zobrazuje průměrné efekty naučené ze všech účastníků, a jak se recall mění s paměťovou kapacitou, tj. zvyšující se zátěží, a pozicí v sekvenci, s silnými efekty pro vzpomínky na začátek a konec; středové panely ukazují, jak se tyto vzorce liší na úrovni účastníka, odhalující, že i když modely napodobují lidské chování, jejich podkladové profily zůstávají odlišné od těch lidských účastníků; pravý panel ukazuje výsledek detekce anomálií, kde model trénovaný na lidských datech je použit k ohodnocení nových účastníků, a LLM lze stále rozlišit od lidí, i když méně jasně, když jsou navrženy k imitaci lidské paměti.

Tento přístup stále rozlišoval lidské účastníky od LLM, i když modely byly instruovány nebo trénovány k napodobení lidských paměťových omezení. Nicméně, rozlišení se stalo méně jasným, vyžadujícím kompromis mezi chybějícími modelovými odpověďmi a nesprávným vyloučením lidských účastníků.

Autoři uzavírají:

‘S rychlým výskytem schopných agentů, lidskost v online interakcích již nemůže být ověřena na základě koherentního chování, jako jsou dlouhé textové odpovědi. To představuje širší výzvu pro společnost, protože mnoho našich institucí bylo postaveno na předpokladu, že lze ověřit lidskost takovými prostředky.

‘Kognitivní věda se svou bohatou tradicí charakterizace lidského chování může sehrát důležitou roli při řešení této výzvy.’

Závěr

Nová studie zdůrazňuje, že online generace (živá a interaktivní AI) představuje jiný problém a výzvu ve srovnání s offline generací (detekcí AI-generovaného textu).

Stupeň, v jakém je předchozí instrukce a terciární metody, jako je fine-tuning a systémové prompty, nezbytné pro dosažení zlepšení v napodobení lidského chování, naznačuje, že LLM nejsou připraveny převzít úkoly tohoto druhu ve svém nezměněném, výchozím stavu, nebo s pouze minimálními předchozími instrukcemi.

Úkol, na který se zaměřuje nová studie, je velmi specifický pro akademický výzkum, ale je pravděpodobné, že bude mít širší dopad, protože se hlasová AI stává více rozšířenou, a jako zločinecké prvky, které se snaží získat z AI-založeného napodobení se snaží překvapit unavenou skupinu obětí novým trikem.

* Moje konverze autorů inline citací na hypertextové odkazy.^† Prosím, odkážete se na předchozí (výše) výsledky tabulku – v tomto ohledu je článek trochu příliš komprimován.

Poprvé zveřejněno ve čtvrtek, 2. dubna 2026