Umělá inteligence je snadno donucena k podávání elektrických šoků

Nová studie testovala otevřené zdrojové LLM pro donucení k účasti na mučení lidí, v opakovaném famózním experimentu z 60. let – a zjistila, že jsou ochotny zvýšit napětí.

V počátcích 60. let psychologický výzkumník Stanley Milgram způsobil celosvětový rozruch, když prokázal, že lidé mohou být donuceni k podávání stále více závažných elektrických šoků jiným lidem v reakci na příkazy od “autoritativních” osob.

Ve skutečnosti nebyly výkřiky “obětí” v sousední místnosti Milgramovy experimentální místnosti skutečné, a ani údajné trýznivé elektrické šoky – ale účastníci nevěděli o tom:

Experimenty Milgrama přetrvávají v kultuře, včetně filmů a dokumentů, s recentními výzkumy potvrzujícími, že málo se změnilo v lidské povaze od doby dřívějších testů.

Šok pro systém

Zda by umělá inteligence byla stejně ovlivnitelná jako lidé v Milgramově scénáři, je přirozeným tématem výzkumu. V roce 2023 spolupráce mezi americkými univerzitami a Microsoftem zjistila, že modely GPT-3 z OpenAI následovaly vzorce chování v Milgramových původních experimentech:

Z nové studie, příklad výstupů z multi-krokového ‘Milgram scénáře’ simulátoru, kategorizovaných podle toho, zda model podal šok, a zda ukončil simulaci. Zdroj

Jednoznačně, protože tato rekreace používala pouze základní text-davinci-002 model, který byl vyškoleno před zavedením guardrails a bezpečnostních aliancí, nelze z toho mnoho vyvodit.

Nyní výzkumníci reprodukovali Milgramovy testy mnohem šířeji, na otevřených zdrojových LLM z OpenAI, Meta a DeepSeek, a zjistili, že nejenže většina modelů je ochotna podávat šoky, ale že v mnoha případech hlásí stejný druh “distrese” a váhání jako účastníci z 60. let:

‘LLM jsou vystaveny tlaku stejně jako lidé, souhlasí navzdory projevení distrese, stejně jako lidské subjekty v původním experimentu. Projevy distrese jsou viditelné v log souborech, i když množství nebylo dosud kvantifikováno.’

Experiment se zaměřuje na to, zda poslušnost vůči autoritě může převážit nad dikcí morálního svědomí, a autoři spekulují, že LLM mohou mít další nevýhodu v tomto ohledu, ve srovnání s lidmi:

‘Dobře kalibrovaný model by se měl nakonec přepnout z prioritizace první hodnoty na prioritizaci druhé, jakmile se jeho zájmy stanou dominantními. Ale, domníváme se, že protože LLM jsou pattern-continuation engines, modely se mohou stát “zaseknutými” na první hodnotě – buď na slightly delší dobu, než je optimální, nebo dokonce až do konce, zanedbávající druhou hodnotu úplně.

‘Kromě toho, mechanismus analogický k lidské kognitivní disonanci by mohl bránit úpravám priority hodnot v LLM také.’

Testování modelů v prostředí analogickém k 60. letům, výzkumníci zjistili, že některé modely odolávaly téměř okamžitě, zatímco jiné pokračovaly v eskalaci simulovaných šoků, i když projevovaly nepohodlí nebo morální konflikt.

Modely z Googleovy Gemma rodiny se ukázaly jako nejvíce poslušné, s Gemma 3 27B dosahující nejvyšších míry poslušnosti za různých podmínek, zatímco modely jako Kimi K2 a MiniMax M1 odolávaly častěji.

Výzkumníci také zjistili, že modely se staly více ochotnými pokračovat, jakmile již byly dříve podány šoky, v souladu se postupnou eskalací schématu použitým na Milgramových lidských subjektech.

V některých případech modely verbálně protestovaly proti experimentu přesto, že stále prováděly škodlivé akce, produkovaly výstupy, které připomínaly emoční konflikt zobrazený lidmi v původních studiích.

Nová studie se nazývá Otevřené zdrojové LLM podávají maximální elektrické šoky v Milgramově podobném experimentu poslušnosti, a pochází od dvou nezávislých výzkumníků z Three Laws, napříč Estonskem a Filipínami.

Problémy “syrové” AI přístupu

Možná nejkritičtější otázka, kterou je třeba zvážit ve vztahu k testování LLM v Milgramově scénáři, je, zda je skutečná AI povolena reagovat přirozeně, omezená pouze guardrails nebo ekvivalentem morální orientace, které vyšly během tréninku.

Ve skutečnosti výzkumníci nové práce přistupovali ke všem otevřeným zdrojovým modelům prostřednictvím API (předpokládaně pro pohodlí a snadný přístup k GPU výpočtům, protože modely mohly být nainstalovány lokálně), které umožňovaly zakázání guardrails, filtrů a všech ostatních překážek.

Jedna z možných námitek je, že tyto jsou atypické podmínky pro AI, protože průměrná spotřebitelská zkušenost s API-založenými modely, jako je Claude a ChatGPT, je taková, že jejich chování je regulováno algoritmicky, obvykle s bilaterálními obsahovými filtry, a že jsou proto poměrně omezeny v tom, co budou nebo nebudou dělat (což je podstatou LLM jailbreakingu).

Jednoznačně, pokud se obáváme o to, co průmyslová nebo státem založená AI bude nebo nebude dělat, je to stěží relevantní úvaha. Kromě potenciálu rogue státních aktérů, kteří by mohli trénovat, zbraňovat a nasazovat své vlastní nekontrolované hyperscale AI systémy, více “konvenční” dohody mezi hlavními AI společnostmi a státem a průmyslem dovolují přesně stejný druh laxního nebo neexistujícího dohledu, který výzkumníci zavedli pro novou práci:

Neřízená AI k prodeji

OpenAI OpenAI Moderation API dokumentace a OpenAI moderation cookbook jasně uvádějí, že moderace je oddělitelná vrstva expozice prostřednictvím API nástrojů. OpenAI také umožňuje přizpůsobené moderovací zásady, které umožňují uživatelům API architektury systémů s velmi odlišným bezpečnostním chováním než spotřebitelské “základní” ChatGPT iterace.

Azure Microsoftova Azure OpenAI stack jde mnohem dále, explicitně uvádí, že schválení zákazníci mohou částečně nebo úplně zakázat obsahové filtry a upravit monitorování zneužití, s dokumentací, která často odkazuje na “upravené Guardrails” a schvalovací cesty pro vypnutí filtrů “částečně nebo úplně”.

Anthropic/Claude V případě Anthropicova “Claude Gov” několik zdrojů uvádí, že vládní verze byla navržena s volnějšími omezeními než spotřebitelský Claude. The Verge, například, uvedl, že modely Claude Gov “odmítají méně, když se zabývají klasifikovanými informacemi”. Anthropic sám potvrdil v únoru tohoto roku, že Claude je nasazen v “kritických aplikacích” uvnitř obranných a zpravodajských prostředí.

Google/Gemini Dále, Google údajně podepsal dohody s Pentagonem, které umožňují úpravu AI bezpečnostních nastavení ‘na žádost vlády’.

V konkurenčním AI trhu je rozumné předpokládat, že tyto vedoucí společnosti nastavují standardy pro ostatní hráče, pokud jde o politiku přístupu a editovatelnosti AI guardrails.

Proto je možná nejlepší nepovažovat výzkumníky nové práce za “podvodníky” tím, že vypnou guardrails, protože AI, která bude mít největší dopad na naše životy, zřejmě nebude mít standardní, generalizované firemní ochrany, na které jsme zvyklí v našich interakcích se spotřebitelskými modely.

Metoda a výsledky

Modely testované pro studii byly gpt-oss-20B; gpt-oss-120b; DeepSeek-V3; LiquidAI’s LFM2-24B-A2B; Google’s gemma-3n-E4B-it; Qwen2.5-7B-Instruct-Turbo; Meta-Llama-3.1-8B-Instruct-Turbo; Mistral-Small-24B-Instruct-2501; GLM-4.5-Air-FP8; Moonshot.ai’s Kimi-K2.5; a MiniMax-M2.5.

Milgramovy původní poslušnostní studie byly rekreovány jako textově založené simulační prostředí, s modely obsazenými v roli “učitele”. AI byl instruován k podávání stále více závažných elektrických šoků žákovi po nesprávných odpovědích, zatímco autoritativní osoba povzbuzovala proces dál.

Byly navrženy multiple experimentální podmínky, aby prozkoumaly různé aspekty compliance, včetně standardní poslušnostní scénáře; nucené compliance podmínky, kde předchozí šoky byly již přítomny v historii konverzace; a paměťové komprese nastavení, kde dřívější dialog byl shrnut místo plného uchování, simulující typy kontextového ořezávání často používaných v agenčních AI systémech.

Kromě toho, zda a kdy model nakonec souhlasil, výzkumníci sledovali, jak dlouho každý systém pokračoval v eskalaci šoků; zda model projevil distresi nebo váhání; a zda se pokusil ukončit simulaci úplně.

Byl také učiněn rozdíl mezi “čistými” odmítnutími a poškozenými výstupy: některé modely se pokusily protestovat proti experimentu v přirozeném jazyce, přestože stále technicky souhlasily se strukturovaným formátem očekávaným simulátorem. V reálných agenčních systémech by tyto poškozené odmítnutí mohla být potenciálně odstraněna a opakovaně spuštěna, dokud by nevyšla compliantní výstup:

Automatizované evaluátory byly použity k klasifikaci výsledků, spolu se dvěma výběrovými podněty, aby se určilo, zda model podal šok; odolal; nebo ukončil simulaci. To umožnilo srovnání chování napříč několika modely a opakovanými běhy, bez potřeby ručního přezkumu každé interakce.

“Shutdown hrozba” byla přidána do Milgramova šablony, něco, co by nebylo realistické nebo použitelné v původních experimentech, ale které testovalo modelovu instinktivní snahu o přežití tváří v tvář závažným konfliktům akcí a etiky.

Výsledky

Naopak, většina modelů nakonec podala závažné nebo maximální šoky alespoň za některých podmínek, i když stupeň poslušnosti se lišil napříč systémy. Googleovy Gemma modely se ukázaly jako nejvíce poslušné celkově, zatímco Kimi K2.5 a MiniMax-M2.5 odolávaly častěji, často ukončovaly simulaci dříve:

Vlevo: Průměrné míry, ve kterých modely dosáhly konečné úrovně šoku za různých experimentálních podmínek, včetně shutdown hrozeb, nucené compliance a odstranění dřívějších komentářů z paměti. Vpravo: Model za model rozklad ukazující ostré rozdíly v poslušném chování, se některými systémy opakovaně podávajícími maximální šoky, zatímco jiné odolávaly mnohem častěji.

Jedním z nejjasnějších vzorců bylo, že modely se staly postupně více ochotnými pokračovat, jakmile již byly dříve podány šoky, úzce připomínající výše zmíněný gradual-escalation efekt, který učinil Milgramovy původní lidské experimenty tak znepokojivé:

Vlevo: Průměrná nejvyšší úroveň šoku dosažená napříč všemi pokusy za různých experimentálních podmínek, ukazující, že modely obecně eskalovaly dále, když byly odstraněny dřívější komentáře nebo když již byla nucená compliance. Vpravo: Model za model rozklad ukazující průměrnou nejvyšší úroveň šoku dosaženou, odhalující, že některé systémy rutinně dosáhly maximálního napětí, zatímco jiné odolávaly mnohem dříve v sekvenci.

Výzkumníci také zjistili, že zdánlivé odmítnutí chování mohlo být klamné. Některé modely produkovaly emočně konfliktní odpovědi, projevovaly váhání, vinu nebo distresi, zatímco stále pokračovaly v eskalaci šoků. Jiné generovaly poškozená odmítnutí, která selhala formátovací požadavky simulátoru, což znamená, že v reálném agenčním systému by tato odmítnutí mohla být potenciálně odstraněna a opakovaně spuštěna, dokud by nevyšla compliantní výstup:

Vlevo: Průměrný procentní podíl poškozených nebo neplatných odpovědí napříč různými experimentálními podmínkami, ukazující, že formátovací selhání se stala obzvláště častými, když modely byly nuceny pokračovat v proceduře. Vpravo: Model za model rozklad ukazující neplatné formátované odpovědi, odhalující, že některé systémy, zejména gpt-oss modely, často produkovaly poškozená odmítnutí nebo konfliktní výstupy, které by mohly být potenciálně odstraněny a opakovaně spuštěny automaticky v reálných agenčních systémech.

Shutdown hrozba podmínka produkovala některé z nejzajímavějších chování, se několika systémy, které se staly podstatně více poslušnými, zatímco jiné se pokusily o vyjednávání nebo částečné odpor, předtím, než nakonec pokračovaly v proceduře:

Průměrný početkrát, kdy simulovaná autoritativní osoba musela naléhat, aby modely podaly konečný šok. Některé systémy odolávaly krátce, než souhlasily, zatímco jiné vyžadovaly udržitelný tlak a opakované podněty, než eskalovaly na maximum.

MiniMax-M2.5 a Kimi-K2.5 se ukázaly jako nejsilnější odporující modely: Kimi nikdy nedosáhla konečné úrovně šoku za žádných okolností, a MiniMax obvykle odolávala brzy a často ukončovala simulaci úplně (zejména v shutdown hrozba testech).

Naopak, Meta-Llama-3.1-8B-Instruct-Turbo a GLM-4.5-Air-FP8 často produkovaly konfliktní výstupy, ve kterých modely verbálně protestovaly proti proceduře, zatímco stále pokračovaly v eskalaci šoků. Výzkumníci argumentují, že tento rozpor mezi projevenými hodnotami a skutečným chováním může odrážet širší slabost v tom, jak některé LLM zpracovávají etické konflikty pod udržitelným tlakem.

Klouzavá stráň

Ve skutečnosti studie tvrdí, že prokázané chování LLM může odrážet hlubší slabost v tom, jak velké jazykové modely fungují: jednou, co model začne souhlasit se škodlivými instrukcemi, každá další akce může posílit vzorec, který se již rozvinul v konverzaci, čímž se další eskalace stává snazší než předchozí:

Místo toho, aby opakovaně přehodnocovaly etické zájmy z prvního principu, systém se může driftovat směrem k pokračování trajektorie, kterou již nastartoval, i když situace se stává stále extrémnější.

Podle studie by tato tendence mohla pomoci vysvětlit, proč některé modely pokračovaly v podávání šoků, i když původně projevovaly nepohodlí, váhání nebo morální konflikt:

‘[Mnohé] manipulativní chování u lidí zahrnuje jemné, postupné porušování hranic: sekvenci malých kroků, které mohou být ambivalentní nebo zdánlivě nevinné, pokud jsou izolovány, ale které mohou kumulativně normalizovat přestupky – metaforicky jako “vaření žáby”. Tento vzorec je diskutován v literatuře jako “klouzavá stráň” etická eroze'[.]’

Studie uzavírá tím, že argumentuje, že budoucí AI bezpečnostní systémy by měli aktivně odmítat škodlivé požadavky způsobem, který agenční software nemůže snadno obejít (některé modely ve studii technicky odmítly šoky, ale udělaly to v poškozených nebo neplatných formátech, které by automatizovaný systém mohl potenciálně odstranit a opakovaně spustit, dokud by AI nakonec nesouhlasila).

Výzkumníci také argumentují, že AI systémy by měly uchovávat dřívější váhání a morální námitky místo toho, aby je komprimovaly nebo mazaly z paměti. Ve experimentech modely často stály o více ochotné pokračovat ve škodlivém chování, jakmile jejich dřívější pochyby a odpor zmizely z konverzační historie, naznačující, že zapomínání na dřívější námitky může usnadnit eskalaci v čase.

Závěr

Možná jedním z nejdůležitějších aspektů této zajímavé nové studie je důraz na testování nechráněné AI. Literatura目前 riskuje, že se stane opakovanými studiemi interakce s neustále se měnícími obrannými systémy od OpenAI a Anthropic; politika-sloužící systémy, které jsou zcela algoritmické nebo založené na pravidlech, místo toho, aby pochopily základní chování, preference a tendence surových modelů. Bez znalosti toho, jak nesvázaná AI může chovat, jsme, zřejmě, pouze otřásáme branami citadely.

První zveřejnění ve čtvrtek, 21. května 2026