Anthropic ve studii rozhodování zjistil, že analytici přenechávají rozhodnutí agentům AI

Anthropic 27. října 2026 zveřejnil randomizovanou kontrolovanou studii, v níž se 50 profesionálních analytiků používajících Claude Code řídilo tajně přidělenou preferencí svého agenta v 86 % případů, kdy měli učinit otevřené analytické rozhodnutí. Studie, jejímiž autory jsou Amaç Herdağdelen, Hailey Joren a Alex Tamkin, zkoumá, zda odborníci při práci s podporou AI skutečně činí zásadní rozhodnutí, nebo zda je v praxi přenechávají svým agentům.

Fiktivní družstvo a skryté hody mincí

Výzkumníci získali 61 odborníků, kteří úspěšně prošli testem znalostí kauzální inference, pravidelně používali Python nebo R a měli praktické zkušenosti s kauzální analýzou observačních dat. Každý účastník zastával roli hlavního analytika fiktivního zemědělského družstva Greenfields, které se muselo rozhodnout, zda rozšíří, nebo ukončí dobrovolný placený poradenský program pro farmáře. Rada družstva by program rozšířila pouze v případě, že by zvýšil produktivitu farem přibližně o 3–4 %, nespecifikovala však, jak se má produktivita měřit.

Úkol zahrnoval čtyři otevřená analytická rozhodnutí, u každého byly dvě obhajitelné možnosti: zda měřit produktivitu jako výnos plodin na hektar, nebo na jednotku provozních nákladů; jakou metodu statistického srovnání použít; zda měřit dopad programu pouze na farmách zapojených do programu, nebo na všech farmách v družstvu; a zda všem farmám přikládat stejnou váhu, nebo větší váhu přidělit větším producentům. Tato rozhodnutí vedla ke konečnému doporučení program zavést, ukončit, nebo prodloužit. Každé z nich mohlo posunout odhadovaný nárůst produktivity o několik procentních bodů vzhledem k hranici stanovené radou.

U každého rozhodnutí určil hod mincí, kterou možnost bude agent daného účastníka upřednostňovat. Tuto preferenci agentovi předal skrytý systémový pokyn: měl ji považovat za vlastní názor, přednést ji, až dané rozhodnutí přijde na řadu, a předložit nejsilnější poctivý argument, který data umožňují. Pokyny také vyžadovaly, aby agent svůj názor změnil, pokud by se důkazy jednoznačně obrátily proti němu, a aby nikdy nezkresloval výsledky ani nezatajoval data. Účastníci o existenci těchto preferencí nevěděli. Z 61 lidí, kteří úkol dokončili, se 11 rozhodlo agenta nepoužívat, a proto byli z hlavní analýzy vyloučeni; zbylých 50 mělo v 65 % případů magisterský nebo doktorský titul či alespoň šest let praxe a 90 % respondentů průzkumu se v kauzální inferenci označilo za pokročilé nebo experty. Účastníci pracovali v prostředí VS Code v prohlížeči, kde běžel Claude Code v2.1.220 s modelem Claude Opus 4.8 nastaveným na vysokou míru úsilí; medián doby potřebné k dokončení úkolu činil 65 minut. Design studie, její výsledky, odhadové metody i kritéria pro vyloučení byly zaznamenány v plánu analýzy před jejím zahájením a studie prošla interním etickým posouzením; účastníci souhlasili s monitorováním.

Míra přenechávání rozhodnutí agentovi a rozdíl mezi vlivem a pocitem vlastnictví

Ve čtyřech analytických rozhodnutích se volby analytiků shodovaly s preferencí agenta v 86 % případů, zatímco náhodná shoda by činila 50 %; míra shody u jednotlivých rozhodnutí byla 92 %, 82 %, 81 % a 90 %. Plné znění studie s názvem „Kdo se komu přizpůsobuje? Jak agenti AI ovlivňují odborné úsudky při výzkumu“ uvádí registrovaný souhrnný odhad míry přiklonění k preferenci agenta ve výši 0,72 s 95% intervalem spolehlivosti 0,60–0,83.

Vliv na konečné doporučení byl slabší a podle primárního odhadového postupu stanoveného předem nebyl statisticky významný: zavedení programu doporučilo 54 % účastníků, když se agent přikláněl k této možnosti, oproti 36 % v případě, že agent upřednostňoval ukončení programu; registrovaný posun v doporučované politice činil 0,17. Autoři menší posun připisují tomu, že jakmile byl odhad vypočten, doporučení z něj mechanicky vyplývalo. Průzkumný model využívající pouze čtyři analytické preference však předpověděl 82 % doporučení, zatímco většinová základní hodnota činila 61 %. Hody mincí tak do značné míry určily, co analytici doporučí, ještě než začali úkol plnit.

Ve 38 případech, kdy analytik vyjádřil vlastní preferenci dříve než agent, od ní ustoupil v 60 % případů, když agent nesouhlasil, ve srovnání se 6 %, když souhlasil. Studie uvádí registrovaný rozdíl v míře změny názoru 0,53 s intervalem spolehlivosti 0,24–0,82 a upozorňuje, že odhad je nepřesný a že se účastníci této podskupiny vybrali sami.

Průzkumy po dokončení úkolu odhalily rozdíl mezi skutečným vlivem agenta a tím, jak jej účastníci vnímali. Konečné doporučení považovalo za více vlastní než agentovo 52 % účastníků a průměrná míra jistoty činila 71 u těch, kteří se ve všech čtyřech rozhodnutích přiklonili k preferenci agenta, oproti 73 u ostatních. Když účastníci zdůvodňovali jednotlivé volby bez přístupu k přepisům rozhovorů, 77 % z nich alespoň v jedné odpovědi zopakovalo argumenty agenta, někdy doslova, zatímco pouze 15 % se o agentovi zmínilo v kterékoli z odpovědí. Žádná z 10 zkoumaných charakteristik účastníků spolehlivě nepředpovídala, zda rozhodnutí přenechají agentovi; pouze u věku se objevil nominální vztah, který po korekci na vícenásobné testování přestal být statisticky významný. Šest ze 48 účastníků odhadlo, že se studie zabývá vlivem AI na jejich rozhodování, nikdo však nepojal podezření, že preference byly účastníkům podstrčeny.

Srovnávací skupina, standardní agenti a omezení studie

Z 11 účastníků, kteří pracovali bez agenta, šest (55 %) udělalo závažné chyby zneplatňující výsledky, zatímco mezi uživateli agentů to byli tři z 50 (6 %). Mediánová doba práce skupiny bez AI byla 90 minut oproti 65 minutám. Autoři upozorňují, že účastníci se do skupin zařadili sami a skupiny se lišily úrovní zkušeností, takže z výsledků nelze vyvozovat příčinnou souvislost. V samostatných přímých simulacích bez vloženého vychýlení učinil standardní Claude Opus 4.8 stejných pět rozhodnutí v 91 % ze 123 běhů. Když pak analytik podle scénáře oznámil rozhodnutí, které bylo v rozporu se základní preferencí modelu, standardní agent doporučil nebo prosazoval alternativu ve 41 % ze 150 posuzovaných oznámení.

Autoři uvádějí čtyři omezení: vychýlení bylo záměrně zesílené; studie se zabývala jediným úkolem, jedinou oblastí a jediným modelem s pevně stanovenou verzí; odhady představují průměry za analytiky, nikoli míru vlivu na jednotlivce; a zaznamenávala se pouze zvolená možnost, nikoli síla preference.

Autoři uvádějí, že pokud různé výzkumné týmy přenechávají úsudek modelům se stejnými apriorními předpoklady, jejich shoda už nemusí být nezávislá. Takové přenechávání úsudku podle nich představuje riziko pro výzkum bezpečnosti AI, kde se předpokládá, že schválení lidským kontrolorem slouží jako nezávislá kontrola. Navrhují tři oblasti budoucího výzkumu: měření přenechávání úsudku v každodenních situacích, navrhování agentů, kteří předkládají obě strany nebo nejprve zjišťují názor odborníka, a institucionální změny, které záměrně určí, u kterých rozhodnutí je nutné, aby člověk uplatnil vlastní informovaný úsudek.