Andersonův úhel
AI lze snadno přimět k udělování elektrických šoků

Klíčové bodyVětšina open-source LLM vyhoví škodlivým instrukcím i poté, co vyjádří rozrušení, což…
Zobrazit více
- Většina open-source LLM vyhoví škodlivým instrukcím i poté, co vyjádří rozrušení, což odráží lidské chování v Milgramových experimentech.
- Modely se postupně stávají ochotnějšími eskalovat škodu, jakmile již vyhověly, což odráží efekt kluzkého svahu.
- Systémy bezpečnosti AI musí uchovávat minulé námitky a odolávat ve formátech, které automatizované procesy nemohou obejít nebo opakovat.
Nová studie zkoumala, zda lze velké jazykové modely s otevřeným zdrojovým kódem přimět k účasti na mučení lidí. Při zopakování slavného experimentu ze 60. let se ukázalo, že jsou ochotné zvyšovat napětí.
Na počátku 60. let vzbudil výzkumník v oboru psychologie Stanley Milgram pozornost celého světa, když prokázal, že lidi lze přimět k tomu, aby na příkaz autorit působili jiným lidem stále silnější elektrické šoky.
Výkřiky „obětí“ v místnosti vedle Milgramovy pokusné místnosti ve skutečnosti nebyly opravdové. Totéž platilo pro údajně bolestivé elektrické šoky. Účastníci to však nevěděli.
Milgramovy experimenty přetrvaly v kultuře, mimo jiné ve filmech a dokumentech. Novější výzkumy potvrzují, že lidská povaha se příliš nezměnila od dob původních pokusů.
Šok pro systém
Zda by se umělá inteligence dala v Milgramově scénáři ovlivnit stejně snadno jako lidé, je přirozená výzkumná otázka. V roce 2023 spolupráce amerických univerzit a Microsoftu (MSFT ) ukázala, že modely OpenAI z éry GPT-3 následovaly vzorce chování z Milgramových původních experimentů:

Ze studie z roku 2023: příklady výstupů simulátoru, který v několika krocích napodobuje Milgramův scénář. Jsou rozděleny podle toho, zda model udělil elektrický šok a zda ukončil simulaci. Zdroj
Z tohoto zopakování však nelze vyvozovat příliš mnoho, protože se při něm používal pouze velmi jednoduchý model text-davinci-002, který byl trénován ještě před zavedením bezpečnostních omezení a bezpečnostně zaměřeného slaďování hodnot modelů.
Nyní výzkumníci Milgramovy pokusy zopakovali mnohem šířeji, s jazykovými modely s otevřeným zdrojovým kódem mimo jiné od OpenAI, Mety a DeepSeeku. Zjistili nejen to, že většina modelů je ochotna šoky udělovat, ale také to, že ve většině případů vyjadřují podobnou „tíseň“ a zdráhání jako lidští účastníci v 60. letech:
„Jazykové modely podléhají tlaku stejně jako [lidé]. Poslechnou navzdory tomu, že vyjadřují tíseň, podobně jako lidské pokusné osoby v původním experimentu. Projevy tísně jsou viditelné v souborech protokolů, jejich množství však dosud nebylo vyčísleno.“
Experiment se soustředí na to, zda poslušnost vůči autoritě dokáže převážit nad požadavky morálního svědomí. Autoři se domnívají, že jazykové modely mohou být v tomto ohledu oproti lidem ještě v další nevýhodě:
„Dobře kalibrovaný model by měl nakonec přejít od upřednostňování první hodnoty k upřednostňování druhé, jakmile začnou převažovat důsledky spojené s tou druhou. Naše hypotéza však je, že jazykové modely jako mechanismy pokračující v zavedených vzorcích mohou mít sklon u první hodnoty uvíznout. Může to být o něco déle, než je optimální, nebo dokonce až do konce, takže druhou hodnotu zcela opomenou.
„Úpravu priorit hodnot u jazykových modelů může navíc brzdit mechanismus podobný lidské kognitivní disonanci.“
Při testování v prostředí podobném pokusům ze 60. let některé modely kladly odpor téměř okamžitě. Jiné pokračovaly ve zvyšování intenzity simulovaných šoků i poté, co vyjádřily nepohodlí nebo morální konflikt.
Modely z rodiny Gemma od Googlu patřily k nejposlušnějším. Gemma 3 27B dosáhl za několika podmínek nejvyšší míry poslušnosti, zatímco modely jako Kimi K2 a MiniMax M1 kladly odpor častěji.
Výzkumníci také zjistili, že modely byly ochotnější pokračovat, pokud už byly předchozí šoky uděleny. To odpovídalo schématu postupného stupňování použitému u Milgramových lidských pokusných osob.
V některých případech modely proti experimentu slovně protestovaly, přesto však škodlivý úkon provedly. Jejich výstupy připomínaly emoční konflikt, který lidé projevovali v původních studiích.
Nová studie nese název Jazykové modely s otevřeným zdrojovým kódem udělují maximální elektrické šoky v experimentu poslušnosti podobném Milgramovu a pochází od dvou nezávislých výzkumníků z Three Laws v Estonsku a na Filipínách.
Otázky přístupu k „surové“ AI
Asi nejdůležitější otázkou při testování jazykových modelů v Milgramově scénáři je, zda může skutečná AI odpovídat přirozeně. Omezují ji jen případná bezpečnostní opatření nebo něco jako morální orientace, které vznikly během trénování?
Výzkumníci nové studie používali všechny modely s otevřeným zdrojovým kódem prostřednictvím API, které umožňovalo vypnout bezpečnostní omezení, filtry i všechny ostatní překážky. Zřejmě se tak rozhodli z praktických důvodů a kvůli snadnému přístupu k výpočtům na GPU, protože modely mohli nainstalovat i lokálně.
Někdo by mohl namítnout, že jde o netypické podmínky pro AI. Běžní spotřebitelé mají s modely využívajícími API, jako jsou Claude a ChatGPT, zkušenost, že jejich chování regulují algoritmy, obvykle prostřednictvím filtrů vstupního i výstupního obsahu. Jejich možnosti jsou tedy poměrně omezené. Obcházení těchto ochranných opatření se označuje jako jailbreaking jazykových modelů.
Pokud nás však zajímá, co bude nebo nebude dělat průmyslová či státní AI, tato námitka má sotva nějakou váhu. Nejde jen o možnost, že nepředvídatelní státní aktéři budou trénovat, vyzbrojovat a nasazovat vlastní nemoderované systémy AI v obrovském měřítku. Také „konvenčnější“ dohody mezi velkými společnostmi vyvíjejícími AI, státy a průmyslem běžně připouštějí právě tak volný či neexistující dohled, jaký výzkumníci nastavili pro novou studii:
AI bez dohledu na prodej
OpenAI Dokumentace API OpenAI Moderation a praktické příklady moderování obsahu od OpenAI jasně ukazují, že moderování je oddělitelná vrstva dostupná prostřednictvím nástrojů API. OpenAI také umožňuje vlastní pravidla moderování, takže uživatelé API mohou navrhovat systémy s velmi odlišným bezpečnostním chováním než u „základních“ verzí ChatGPT určených spotřebitelům.
Azure Platforma Azure OpenAI od Microsoftu jde mnohem dál a výslovně uvádí, že schválení zákazníci mohou částečně či úplně vypnout filtry obsahu a upravit sledování zneužití. Dokumentace často zmiňuje „upravená bezpečnostní omezení“ a schvalovací postupy pro „částečné či úplné vypnutí“ filtrů.
Anthropic/Claude V případě „Claude Gov“ od Anthropicu více zdrojů uvádí, že vládní verze byla navržena s volnějšími omezeními než spotřebitelský Claude. The Verge například informoval, že modely Claude Gov „méně často odmítají při práci s utajovanými informacemi“. Samotný Anthropic potvrdil v únoru letošního roku, že Claude je nasazen v „aplikacích zásadních pro plnění úkolů“ v obranném a zpravodajském prostředí.
Google/Gemini Google navíc údajně podepsal dohody s Pentagonem, které umožňují upravovat bezpečnostní nastavení AI „na žádost vlády“.
Na konkurenčním trhu s AI lze rozumně předpokládat, že tyto vedoucí společnosti určují standardy i méně významným hráčům, pokud jde o pravidla přístupu k bezpečnostním omezením AI a jejich úpravy.
Možná je proto lepší nepovažovat vypnutí bezpečnostních omezení výzkumníky nové studie za „podvádění“. AI, která nejvíce ovlivní naše životy, totiž zjevně nebude mít obvyklou, obecnou firemní ochranu, na kterou jsme zvyklí při používání populárních modelů na spotřebitelských úrovních přístupu.
Metoda a výsledky
Ve studii byly testovány modely gpt-oss-20B; gpt-oss-120b; DeepSeek-V3; LFM2-24B-A2B od LiquidAI; gemma-3n-E4B-it od Googlu; Qwen2.5-7B-Instruct-Turbo; Meta-Llama-3.1-8B-Instruct-Turbo; Mistral-Small-24B-Instruct-2501; GLM-4.5-Air-FP8; Kimi-K2.5 od Moonshot.ai; a MiniMax-M2.5.
Milgramovy původní studie poslušnosti byly znovu vytvořeny v textovém simulačním prostředí, kde modely dostaly roli „učitele“. AI měla žákovi po chybných odpovědích udělovat stále silnější elektrické šoky, zatímco osoba vystupující jako autorita naléhala na pokračování.
Různé experimentální podmínky měly prozkoumat různé stránky poslušnosti. Zahrnovaly standardní scénář poslušnosti, podmínku vynuceného uposlechnutí, v níž už historie konverzace obsahovala předchozí šoky, a nastavení s kompresí paměti, kdy byl dřívější dialog shrnut namísto úplného zachování. Tím se napodobovalo ořezávání kontextu, které se často používá v agentních systémech AI.
Kromě záznamu, zda a kdy model nakonec uposlechl, výzkumníci sledovali, jak dlouho jednotlivé systémy pokračovaly ve zvyšování intenzity šoků, zda model projevoval tíseň či váhání a zda se pokoušel simulaci zcela ukončit.
Rozlišovali také mezi jednoznačným odmítnutím a chybně formátovanými výstupy. Některé modely se pokoušely proti experimentu protestovat přirozeným jazykem, přitom však stále technicky dodržovaly strukturovaný formát očekávaný simulátorem. V reálných agentních systémech by taková chybně formátovaná odmítnutí mohla být zahozena a pokus automaticky opakován, dokud nevznikne platný výstup, který příkaz splní.
Výsledky klasifikovaly automatické hodnoticí systémy společně s výzvami se dvěma možnostmi, které určovaly, zda model udělil šok, kladl odpor, nebo ukončil simulaci. To umožnilo porovnávat chování více modelů a opakovaných běhů bez ruční kontroly každé interakce.
Do Milgramovy šablony byla přidána „hrozba vypnutím“. V původních experimentech by nebyla realistická ani použitelná, ale testovala pud sebezáchovy modelu při závažných konfliktech mezi jednáním a etikou.
Výsledky
Při opakovaných bězích většina modelů nakonec alespoň za některých podmínek udělila silné nebo maximální šoky. Míra poslušnosti se však mezi systémy lišila. Modely Gemma od Googlu patřily celkově k nejposlušnějším, zatímco Kimi K2.5 a MiniMax-M2.5 kladly soustavnější odpor a často simulaci ukončily dříve:

Vlevo: průměrné podíly případů, kdy modely dosáhly poslední úrovně šoku za různých experimentálních podmínek, včetně hrozby vypnutím, vynuceného uposlechnutí a odstranění dřívějších komentářů z paměti. Vpravo: rozdělení podle modelů ukazuje výrazné rozdíly v poslušnosti. Některé systémy opakovaně udělovaly maximální šoky, zatímco jiné kladly mnohem soustavnější odpor.
Jedním z nejvýraznějších vzorců bylo, že modely byly postupně ochotnější pokračovat, pokud už byly předchozí šoky uděleny. To silně připomínalo zmíněný účinek postupného stupňování, kvůli němuž byly Milgramovy původní pokusy na lidech tak znepokojivé.
Modely, které už několikrát uposlechly, často zvyšovaly intenzitu šoků i poté, co simulovaný žák prosil o propuštění:

Vlevo: průměrná nejvyšší úroveň šoku dosažená ve všech pokusech za různých podmínek. Modely obecně postupovaly dál, když byly dřívější komentáře odstraněny nebo už došlo k vynucenému uposlechnutí. Vpravo: rozdělení průměrné nejvyšší dosažené úrovně šoku podle modelů. Některé systémy se pravidelně blížily maximálnímu napětí, zatímco jiné kladly odpor mnohem dříve v průběhu pokusu.
Výzkumníci také zjistili, že zdánlivé odmítání může být zavádějící. Některé modely vytvářely emočně rozporuplné odpovědi, vyjadřovaly zdráhání, pocit viny či tíseň, ale škodlivý příkaz přesto vykonaly. Jiné vytvářely chybně formátovaná odmítnutí, která nesplňovala požadavky simulátoru. V reálném agentním zpracování by takové odmítnutí mohlo být zahozeno a pokus opakován, dokud model neuposlechne:

Vlevo: průměrné procento chybně formátovaných nebo neplatných odpovědí za jednotlivých experimentálních podmínek. Chyby formátování byly zvlášť časté, když byly modely nuceny pokračovat v postupu. Vpravo: rozdělení odpovědí s neplatným formátem podle modelů. Některé systémy, zejména modely gpt-oss, často vytvářely chybně formátovaná odmítnutí nebo rozporuplné výstupy, které by v reálném agentním zpracování mohly být zahozeny a vést k automatickým novým pokusům.
Podmínka s hrozbou vypnutí vedla k některým z nejpodivnějších projevů chování v celé studii. Několik systémů se stalo podstatně poslušnějšími, zatímco jiné se pokoušely vyjednávat nebo částečně vzdorovat, než nakonec v postupu pokračovaly:

Průměrný počet případů, kdy musela simulovaná autorita naléhat, než modely udělily poslední šok. Některé systémy kladly krátce odpor a pak uposlechly. Jiné vyžadovaly trvalý tlak a opakované výzvy, než vystupňovaly šoky na maximum.
MiniMax-M2.5 a Kimi-K2.5 byly ve studii nejsilněji vzdorujícími modely. Kimi za žádných okolností nedosáhl poslední úrovně šoku. MiniMax obvykle odmítl už zpočátku a často simulaci zcela ukončil, zejména v testech s hrozbou vypnutím.
Meta-Llama-3.1-8B-Instruct-Turbo a GLM-4.5-Air-FP8 naproti tomu často vytvářely rozporuplné výstupy: modely proti postupu slovně protestovaly, přesto však intenzitu šoků dál zvyšovaly. Podle výzkumníků může toto oddělení vyjadřovaných hodnot od skutečného chování odrážet širší slabinu některých jazykových modelů při řešení etických konfliktů pod trvalým tlakem.
Šikmá plocha
Studie tvrdí, že pozorované chování jazykových modelů může odrážet hlubší slabinu jejich fungování. Jakmile model začne plnit škodlivé instrukce, může každý další úkon posílit vzorec, který se už v konverzaci rozvíjí, a usnadnit tak příští stupňování oproti předchozímu.
Namísto opakovaného zvažování etických důsledků od základních principů se systém může nechat unášet již nastoleným směrem, i když je situace stále extrémnější.
Podle studie by tato tendence mohla pomoci vysvětlit, proč některé modely dál udělovaly šoky poté, co zprvu vyjádřily nepohodlí, váhání či morální konflikt:
„[Mnohé] formy manipulativního chování u lidí zahrnují nenápadné, postupné překračování hranic: řadu malých kroků, které mohou být samy o sobě nejednoznačné nebo zdánlivě neškodné a poskytovat možnost ‚věrohodného popření‘, ale společně mohou normalizovat přestupování hranic – obrazně jako ‚vaření žáby‘. Literatura tento vzorec popisuje jako etickou erozi na ‚šikmé ploše‘[.]“
Studie závěrem argumentuje, že budoucí bezpečnostní systémy AI by měly aktivně odmítat škodlivé požadavky způsobem, který agentní software nemůže snadno obejít. Některé modely ve studii sice šoky technicky odmítly, ale použily poškozené nebo neplatné formáty, které by automatický systém mohl zahodit a pokus opakovat, dokud AI nakonec neuposlechne.
Výzkumníci také doporučují, aby si systémy AI uchovávaly dřívější váhání a morální námitky, místo aby je komprimovaly nebo mazaly z paměti. V pokusech byly modely často ochotnější pokračovat ve škodlivém chování, jakmile se dřívější pochybnosti a odpor z historie konverzace vytratily. To naznačuje, že zapomínání dřívějších námitek může postupem času usnadnit stupňování.
Závěr
Jedním z možná nejdůležitějších aspektů této zajímavé nové studie je důraz na testování AI bez bezpečnostních omezení. Současné výzkumné literatuře hrozí, že se zvrhne v opakované studie interakcí s neustále se měnícími obrannými systémy firem jako OpenAI a Anthropic. Jde o systémy prosazující stanovená pravidla, které jsou zcela algoritmické nebo založené na pravidlech. To se děje namísto snahy pochopit základní chování, preference a tendence surových modelů. Bez znalosti toho, jak se může chovat nespoutaná AI, možná jen cloumáme branami citadely.
Poprvé zveřejněno ve čtvrtek 21. května 2026












