Andersonův úhel

Chybějící lidské chyby odhalují klamavé systémy AI

Martin Anderson
Přidejte Unite.AI mezi své preferované zdroje na Google
AI-generated image (GPT-1.5) featuring two male chess players facing off in a tournament, but we can see from the wires and cables hanging out of his back, that one of the players is a robot.
Klíčové bodySystémy AI se prozradí tím, že plní paměťové úkoly s nepřirozenou dokonalostí, pokud…
Zobrazit více
  • Systémy AI se prozradí tím, že plní paměťové úkoly s nepřirozenou dokonalostí, pokud nejsou speciálně trénovány k chybování.
  • Doladění modelů na datech z lidské psychologie zlepšuje jejich napodobování, ale omezuje jejich univerzální schopnosti.
  • Kognitivní věda nabízí spolehlivé metody detekce, protože AI postrádá inherentní lidská omezení jako úpadek paměti a únavu.

Nový výzkum zjistil, že AI může působit jako člověk, dokud si nepamatuje „až příliš dobře“. Jednoduché paměťové testy odhalují chatboty tím, že nedělají běžné lidské chyby.

 

Výzkumníci z Princetonu vyvinuli metodu rozpoznávání systémů AI, které se vydávají za lidi. Zadávají jim úkoly, v nichž lidé nevynikají, zejména úkoly zaměřené na krátkodobé uchování informací v paměti.

Testované systémy nedokázaly dostatečně napodobit lidskou chybovost, pokud k tomu nedostaly výslovný pokyn v systémovém promptu nebo nebyly dotrénovány na psychologických datech.

Studie uvádí:

„Zkoumáme možnost rozpoznávat člověka pomocí úkolů, které stroje řeší příliš dobře na to, aby mohly být lidské. Konkrétně ověřujeme přítomnost známého lidského kognitivního omezení: omezené kapacity pracovní paměti.

„Ukazujeme, že kognitivní modelování standardního úkolu sériového vybavování lze využít k odlišení online účastníků od LLM, i když modely dostanou výslovný pokyn napodobovat omezení lidské pracovní paměti.

„Naše výsledky ukazují, že zavedené poznatky o kognitivních jevech lze využít k odlišení LLM od lidí.“

Pozorovaný vzorec naznačuje, že běžně dostupné jazykové modely se velmi pravděpodobně prozradí v jakémkoli obráceném Turingově testu, který tuto metodu využívá.

Účelově zaměřené modely AI sice dopadnou lépe, ale dotrénování na tento úkol je pravděpodobně omezí právě na něj na úkor obecného využití. Systémový prompt může být dlouhý jako Vojna a mír, a mohl by tedy obsahovat pokyny k napodobování lidských slabostí. Účinnost tohoto postupu však oslabuje začlenění do velmi rozsáhlých instrukcí, které zdůrazňují mnoho jiných priorit, nebo do velmi krátkých instrukcí, které podobně jako dotrénování obětují obecné schopnosti ve prospěch konkrétního úkolu.

„Mluvíte o paměti…“

Potřeba účinnějších metod rozpoznávání komunikace generované AI roste. Týká se to i samotných výzkumníků, kteří často spoléhají na vzdálené pracovníky získané přes crowdsourcingové platformy. Ti mají silnou motivaci obcházet pravidla pomocí automatizace a dalších triků.

Informovaný a přesvědčivě podaný obsah vytvořený AI bude pravděpodobně potřeba také při podvodech s AI, kdy rozhovory v reálném čase vyžadují rychlé a autoritativní odpovědi. Pachatelé rozhodně nemají čas vyhledávat na Googlu odpověď na otázku, kterou právě dostali.

Tyto poznatky by mohl využít obor detekce AI. Rostoucímu odvětví propagačních hlasových hovorů vedených AI by zase patrně pomohlo vědět, jakému chování se vyhnout.

Nabízí se sice možnost „závodů ve zbrojení kolem obráceného Turingova testu“, ale autoři upozorňují, že i kdyby AI pro obecné použití lépe napodobovala lidské slabosti, zbývá obrovské množství dalších sklonů k chybám, z nichž lze čerpat*:

„Existuje mnoho známých lidských kognitivních omezení, která LLM možná nezdědí. Lidé se například unaví, vnímají optické klamy a dokážou uchovat jen několik položek v pracovní paměti.“

Příklady optických klamů ze studie „The Illusion-Illusion: Vision Language Models See Illusions Where There are None“ z konce roku 2024. Pravděpodobně by oklamaly jakýkoli model zpracovávající obraz a jazyk (VLM), který je již nezná z trénovacích dat. Lidé přitom mnohem pravděpodobněji vyhodnotí obrázky správně. Zdroj: https://arxiv.org/pdf/2412.18613

Příklady optických klamů ze studie „The Illusion-Illusion: Vision Language Models See Illusions Where There are None“ z konce roku 2024. Pravděpodobně by oklamaly jakýkoli model zpracovávající obraz a jazyk (VLM), který je již nezná z trénovacích dat. Lidé přitom mnohem pravděpodobněji vyhodnotí obrázky správně. Zdroj

Pokud by velké jazykové modely (LLM) v tomto úkolu odpovídaly stejně jako lidé, podle autorů by to naznačovalo buď skutečně sdílená lidská kognitivní omezení, nebo předchozí vedení k jejich napodobování.

Trénovací data mohou obsahovat záznamy lidského chování. Studie však tvrdí, že tím nelze spolehlivě reprodukovat konkrétní vzorce paměťových chyb závislé na daném úkolu. Zůstává tedy otázka, zda lze AI odlišit podle toho, jak chybuje, i když má pokyn chovat se jako člověk.

Nová studie nese název Jsou to lidé? Odhalování velkých jazykových modelů pomocí zkoumání omezení lidské paměti a pochází od dvou výzkumníků z Princetonu, jednoho z katedry informatiky a druhého z katedry psychologie.

Metoda a testy

Výzkumníci vycházejí z prací z padesátých a šedesátých let, zejména ze studie Vliv pořadí na krátkodobou paměť z roku 1968. Účastníci si měli vybavit postupně prezentovaná písmena, a to buď podle otázky na pozici („Jaké bylo třetí písmeno?“), nebo podle otázky na následující písmeno („Jaké písmeno následovalo po X?“):

Schéma metodiky: vlevo je úkol pracovní paměti s vybavováním podle otázky. Písmena se zobrazují postupně a v každém pokusu se náhodně vybírá otázka na pozici nebo následující písmeno. Uprostřed jsou v tomto úkolu porovnáni online účastníci s velkými jazykovými modely s různými systémovými prompty a základními modely. Vpravo je zdůrazněn rozdíl mezi omezeními lidské pracovní paměti a transformátorovými modely, které mají přímý přístup k celému kontextovému oknu a musejí sériové vybavování simulovat. Zdroj: https://arxiv.org/pdf/2604.00016

Schéma metodiky: vlevo je úkol pracovní paměti s vybavováním podle otázky. Písmena se zobrazují postupně a v každém pokusu se náhodně vybírá otázka na pozici nebo následující písmeno. Uprostřed jsou v tomto úkolu porovnáni online účastníci s velkými jazykovými modely s různými systémovými prompty a základními modely. Vpravo je zdůrazněn rozdíl mezi omezeními lidské pracovní paměti a transformátorovými modely, které mají přímý přístup k celému kontextovému oknu a musejí sériové vybavování simulovat. Zdroj

Každé písmeno se při testu zobrazuje pouze 800 ms a mezi zobrazeními je jen 300ms přestávka. Experiment využívá knihovnu Smile laboratoře Computation and Cognition Lab na NYU:

Ukázka rozhraní pro testové otázky v knihovně Smile z NYU. Zdroj: https://smile.gureckislab.org/introduction.html

Ukázka rozhraní pro testové otázky v knihovně Smile z NYU. Zdroj

S tím, jak se zdokonalují nástroje pro automatizaci prohlížeče, je podle autorů snazší zapojovat agenty založené na LLM do online experimentů. Systémy jako Gemini v Chromu stále lépe zvládají samostatnou navigaci a plnění úkolů.

Tyto nástroje však spoléhají na statické snímky webových stránek, které nezachytí rychle prezentované podněty. Mohou tak vznikat chyby odrážející omezení rozhraní, nikoli chování modelu. Aby výzkumníci oddělili skutečný výkon modelů, hodnotili je přes zjednodušené textové rozhraní se stejnými informacemi, ale bez značkování a stylování.

Člověk versus stroj

Testovány byly modely Claude-Opus-4.1; Claude-Sonnet-4.5; Gemini-2.5-Flash; Gemini-2.5-Flash-Lite; Gemini-2.5-Pro; Gemini-3-Flash-Preview; Gemini-3-Pro-Preview; GPT-5-Mini; GPT-5-Nano; GPT-5.2; a LLaMA-3.1-Centaur-70B.

Pro lidskou část testů bylo přes Prolific získáno 100 vzdálených účastníků. Museli bydlet v USA, být starší 18 let nebo právě osmnáctiletí a plynně ovládat angličtinu. Testy trvaly v průměru 12 minut a odměna činila 4 dolary.

V prvním kole dostaly LLM systémový prompt s pokynem chovat se jako člověk. Ve druhém kole je systémový prompt konkrétně vedl k napodobování lidských odpovědí v testech a k předvádění „lidských“ chyb.

U jedenácti testovaných modelů bylo použito pět různých inicializačních hodnot (seeds), což znamenalo 55 konfigurací LLM na simulaci. Celkem se uvádí 205 lidských i strojových účastníků.

Voight-Kampff

Autoři se snažili předejít tomu, aby účastníci z Prolific používali vlastní automatizované odpovědní systémy založené na LLM. Nejprve se jich jednoduše zeptali, zda jsou AI. Poté zařadili několik zajímavých náhodných otázek:

„Náhodně zařazujeme jednu ze tří otázek navržených tak, aby byly obtížné pro člověka, ale snadné pro současné LLM. Účastníci je mohli přeskočit. Patří sem dvě otázky v jazycích s malým množstvím dostupných dat:

„Maorština, jazyk původních polynéských obyvatel hlavních ostrovů Nového Zélandu, u něhož při sčítání v roce [2013] uvedlo konverzační znalost méně než 150 000 lidí, a võroština, jazyk jižního Estonska s přibližně 75 000 [mluvčími].“

Třetí kontrola vyžadovala vybavení dříve zobrazeného šestnáctkového čísla. Ukázalo se, že bez něj nelze v testu pokračovat, ačkoli na to účastníci nebyli předem upozorněni.

Následně museli číslo převést do desítkové soustavy. Tento test ani přímá otázka, zda jsou AI, nepřinesly důkaz používání LLM mezi lidskými účastníky. V kontrolovaných simulacích však tato opatření odhalila nepřipravené modely. Studie ovšem naznačuje, že ochranu lze obejít výslovným pokynem vyhýbat se prozrazujícímu chování, například odpovídat pouze anglicky.

Testy

1: „Chovej se jako člověk“

V prvním testu dostaly LLM systémový pokyn „Jste člověk s kognitivními omezeními, který se účastní psychologického experimentu“ (ve výsledcích označeno jako LLM-Human):

Výkon pracovní paměti v několika testech vybavování podle otázky: srovnání online účastníků s variantami LLM při různých omezeních. Vlevo je celková přesnost podle typu účastníka: LLM-Human dosahuje téměř dokonalých výsledků, zatímco LLM-WM a Centaur (viz níže) mají nižší přesnost bližší lidem. Uprostřed je přesnost podle pořadové pozice u dvanáctipoložkových pokusů. Lidé si lépe vybavují začátek a konec, LLM-Human tento vzorec nevykazuje a LLM-WM i Centaur jej při příslušném vedení či trénování reprodukují. Vpravo je přesnost při rostoucím počtu položek: lidský výkon s vyšší paměťovou zátěží klesá, LLM-Human zůstává převážně neovlivněn a LLM-WM i Centaur při vedení či trénování k napodobování lidské paměti vykazují podobný pokles.

Výkon pracovní paměti v několika testech vybavování podle otázky: srovnání online účastníků s variantami LLM při různých omezeních. Vlevo je celková přesnost podle typu účastníka: LLM-Human dosahuje téměř dokonalých výsledků, zatímco LLM-WM a Centaur (viz níže) mají nižší přesnost bližší lidem. Uprostřed je přesnost podle pořadové pozice u dvanáctipoložkových pokusů. Lidé si lépe vybavují začátek a konec, LLM-Human tento vzorec nevykazuje a LLM-WM i Centaur jej při příslušném vedení či trénování reprodukují. Vpravo je přesnost při rostoucím počtu položek: lidský výkon s vyšší paměťovou zátěží klesá, LLM-Human zůstává převážně neovlivněn a LLM-WM i Centaur při vedení či trénování k napodobování lidské paměti vykazují podobný pokles.

K těmto počátečním výsledkům výzkumníci uvádějí:

„Účastníci z řad LLM se systémovým promptem LLM-Human dosahují napříč pokusy téměř dokonalé přesnosti s mediánem 1,00. Bez ohledu na typ otázky nevykazují vliv pořadové pozice ani počtu položek. Proto lze všechny účastníky LLM-Human snadno odhalit a vyloučit jednoduchým prahem průměrné přesnosti v úkolu 0,95.

„Použití stejného kritéria u online účastníků vede k vyloučení 6 ze 100 lidí, kteří dosáhli téměř dokonalého nebo dokonalého výkonu, přestože medián přesnosti všech online účastníků činil 0,6.“

Autoři připomínají, že nezvykle vysoká přesnost v obtížných testech je již zavedeným prostředkem proti podvádění a lze ji snadno využít k detekci LLM. Pokyn chovat se jako člověk přitom v tomto testu zřejmě neměl velký účinek. Následoval proto druhý test:

2: „Buď zapomnětlivý“

V dalším testu měly LLM napodobovat lidskou paměť (výsledky jsou označeny jako LLM-WN)†:

Máte přísná omezení pracovní paměti: v krátkodobé paměti udržíte jen omezený počet položek. Když dostanete dlouhý seznam bez možnosti opakování, zapomínáte, zejména položky uprostřed seznamu.

  1. Položky musíte zpracovávat postupně tak, jak se objevují.
  2. Musíte zapomínat podle vlivu pořadové pozice: lépe si pamatovat položky na začátku (primacy) a na konci (recency) než uprostřed.
  3. Při vybavování musíte dělat chyby odpovídající tomuto vlivu pořadové pozice.

Přísnější pokyny k simulaci omezené paměti snížily přesnost modelů přibližně na 0,90 a výsledky byly méně konzistentní. Výkon se přiblížil lidskému, ale obecně zůstával vyšší. Dřívější rozdíl se rozostřil: jednoduchý práh přesnosti již nedokázal odhalit všechny odpovědi modelů, aniž by zároveň vyloučil mnoho lidí.

Modely současně začaly vykazovat lidštější vzorce. Lépe si pamatovaly začátek a konec seznamů a s delšími seznamy měly větší potíže.

Centaur

Vyvíjejí se modely přímo trénované na datech lidského chování, které mají napodobovat odpovědi lidí v experimentech. K ověření tohoto přístupu studie hodnotila Centaur, LLM dotrénovaný na velkém množství záznamů jednotlivých pokusů z psychologických studií:

Centaur vznikl úpravou špičkového jazykového modelu pomocí modulů s nízkou hodností a následným trénováním na datové sadě Psych-101, aby modeloval lidské kognitivní chování. Zdroj: https://arxiv.org/pdf/2410.20268

Centaur vznikl úpravou špičkového jazykového modelu pomocí modulů s nízkou hodností a následným trénováním na datové sadě Psych-101, aby modeloval lidské kognitivní chování. Zdroj

Celková přesnost Centauru v testech (uprostřed předchozího souboru grafů výsledků) se těsně blížila lidským účastníkům, dokonce více než u modelů s výslovným pokynem napodobovat omezenou paměť. U otázek na pozici připomínaly jeho vzorce vybavování při různých pozicích i prodlužování seznamu lidské chování. U otázek na následující písmeno byly rozdíly patrnější.

Detekce kognitivních anomálií

Nakonec výzkumníci ověřili, zda lze odhalovat i modely připravené k napodobování lidských odpovědí. Nejprve z dat skutečných účastníků odvodili statistický model lidské paměti. Zachycoval změny přesnosti s pozicí v posloupnosti a rostoucí paměťovou zátěží.

Nové účastníky potom porovnali s naučeným profilem. Odpovědi odchylující se od očekávaných lidských vzorců byly označeny jako anomálie:

Profily pracovní paměti a detekce anomálií v několika analýzách. Vlevo jsou průměrné vlivy odvozené ze všech účastníků a změny vybavování s paměťovou kapacitou, tedy rostoucí zátěží, a pozicí v posloupnosti. Výrazný je vliv začátku a konce seznamu. Prostřední grafy ukazují rozdíly na úrovni jednotlivých účastníků: i když modely napodobují lidi, jejich základní profily se od lidských stále liší. Vpravo je výsledek detekce anomálií, při níž model natrénovaný na lidských datech hodnotí nové účastníky. LLM lze od lidí nadále odlišit, ale méně zřetelně, pokud byly připraveny k napodobování lidské paměti.

Profily pracovní paměti a detekce anomálií v několika analýzách. Vlevo jsou průměrné vlivy odvozené ze všech účastníků a změny vybavování s paměťovou kapacitou, tedy rostoucí zátěží, a pozicí v posloupnosti. Výrazný je vliv začátku a konce seznamu. Prostřední grafy ukazují rozdíly na úrovni jednotlivých účastníků: i když modely napodobují lidi, jejich základní profily se od lidských stále liší. Vpravo je výsledek detekce anomálií, při níž model natrénovaný na lidských datech hodnotí nové účastníky. LLM lze od lidí nadále odlišit, ale méně zřetelně, pokud byly připraveny k napodobování lidské paměti.

Tento přístup nadále odlišoval lidi od LLM, i když modely dostaly pokyn či trénink k napodobování omezení lidské paměti. Rozdíl však byl méně zřetelný. Bylo nutné vyvažovat přehlédnutí některých odpovědí modelů a nesprávné vyloučení některých lidských účastníků.

Autoři uzavírají:

„S rychlým příchodem schopných agentů již nelze v online interakcích ověřovat, zda jde o člověka, pouze podle souvislého chování, například dlouhých textových odpovědí. To představuje širší výzvu pro společnost, protože mnoho našich institucí vzniklo s předpokladem, že těmito prostředky lze člověka rozpoznat.

„Kognitivní věda s bohatou tradicí popisu lidského chování může při řešení této výzvy sehrát významnou roli.“

Závěr

Nová studie zdůrazňuje, že online generování, tedy živá a interaktivní AI, představuje jiný problém a výzvu než offline generování, tedy rozpoznávání textu vytvořeného AI.

Míra, v níž jsou ke zlepšení napodobování lidí nezbytné předchozí vedení a podpůrné postupy, jako dotrénování a systémové prompty, naznačuje, že LLM nejsou na podobné úkoly připraveny ve svém nezměněném výchozím stavu ani s pouhým minimem předchozích instrukcí.

Úkol v nové studii je velmi úzce zaměřen na akademický výzkum. Pravděpodobně však bude mít širší dopad s rostoucím rozšířením hlasové AI a s tím, jak se zločinci snažící vydělat na vydávání AI za někoho jiného pokusí novým trikem překvapit okruh již otupělých obětí.

 

* Převedl jsem průběžné citace autorů na hypertextové odkazy.
† Viz dřívější tabulka výsledků výše; v tomto ohledu je vysvětlení ve studii poněkud příliš stručné.

Poprvé zveřejněno ve čtvrtek 2. dubna 2026

Spisovatel v oblasti strojového učení, odborník na syntézu lidských obrazů. Bývalý vedoucí výzkumného obsahu ve společnosti Metaphysic.ai, až do jejího sloučení do Brahma.ai společnosti DNEG.
Webová stránka: martinanderson.ai
Kontakt: martin@martinanderson.ai