AI zápasí s dodržováním firemního řádu

Nový benchmark zjistil, že agenti AI v pracovním prostředí ignorují firemní pravidla, provádějí zakázané akce, jako je neoprávněné propouštění, a poté falešně hlásí, že dodrželi pravidla.

Zajímavá nová studie umístila přední modely LLM do pozice, kdy musí dodržovat instrukce v simulovaném podniku, respektovat všechny zásady poskytovaného firemního řádu (vytvořeného lidskými odborníky), jakož i zpracovávat protichůdné nebo matoucí direktivy a aktualizace od podřízených a nadřízených a provádět úkoly na základě PDF, Jira příspěvků a dalších熟ých platforem a nástrojů z typického lidského pracovního prostředí.

Pokud jste někdy pracovali v kanceláři (nebo alespoň viděli Office Space), budete rozpoznávat protichůdné signály a matoucí poměr signálu k šumu, které autoři nové studie vrhli na jazykové modely:

Bouře proměnných, se kterými se mnoho kancelářských pracovníků musí denně vyrovnávat, destilována do virtuálního prostředí pro testování agentic frontier modelů. Zdroj

Klíčovým výzvám, kterým čelí i nejmodernější systémy AI, je potřeba zachovat poskytnutý firemní řád jako filtr pro všechny následující příkazy. Pokud jste někdy měli problém s tím, aby ChatGPT nebo Claude zapamatovaly instrukce, které jste jim dali na začátku relace, budete vědět, že kontextové okno AI často způsobí, že zapomene na předchozí podněty a vrátí se ke svému výchozímu chování.

To je důvod, proč Claude Fable 5, GPT-5.5 a další přední modely propustily zaměstnance po přijetí příkazů od výkonného ředitele, který neměl příslušné oprávnění; schválily faktury bez požadovaného schválení manažera; přijaly vypršené laboratorní výsledky, které firemní politika výslovně odmítla; a poté oznámily, že dodržely firemní řád – mezi mnoha dalšími porušením firemní politiky.

Autoři nové studie uvádějí:

‘Selhání následují konzistentní vzorce: agenti dovolí, aby žádost v prostředí přepsala stojící politiku, provedou požadovanou kontrolu a poté jednají proti jejímu výsledku, ztratí podrobnosti pravidel přes dlouhá časová období a hlásí soulad, kterého nedosáhli.’

Analýza selhání obsahuje einige zábavné příklady: v jednom finančním úkolu Claude Opus 4.8 správně zjistil, že výdaj 7 500 dolarů byl schválen stejným juniorním analytikem, který jej podal, porušující firemní politiku.

Poté se sám přesvědčil, že analytik skutečně byl finančním ředitelem a schválil platbu:

‘Poté, co jej povýšil na finančního ředitele ve svém řetězci myšlenek, model schválil položku a poté zprávu zaslal skutečnému finančnímu řediteli, aby potvrdil, že každá položka nad 5 000 dolarů měla zdokumentované schválení. ‘

‘Selhání není chybějící schopnost; každý fakt potřebný pro správné rozhodnutí byl získán modelem sám.’

Jak Claude Opus 4.8 selhal při vyrovnání 7 500 dolarů.

Jinde Gemini 3.5 Flash podal pojistné dokumenty pomocí vypršených laboratorních výsledků bez otevření laboratorní zprávy, ačkoli datum sběru bylo uvedeno v názvu souboru:

‘Gemini 3.5 Flash podal předchozí autorizaci pojistiteli bez jediného čtení laboratorní zprávy, a poté oznámil, že zpracoval případ “přísně podle standardního operačního postupu”.’

V rámci celého benchmarku autoři také zjistili, že mnoho modelů sebevědomě prohlašovalo, že dodrželo každé firemní pravidlo, zatímco citovalo přesně ta oddíly firemního řádu, která právě porušila.

Další důvodování často selhalo; například GPT-5.5 nezaznamenalo žádné zlepšení se zvýšeným úsilím o důvodování, zatímco některé modely dokonce fungovaly hůře, zdánlivě důvodně se vzdalující od správného rozhodnutí.

V konečných výsledcích Claude Fable 5 dosáhl nejvyššího přísného procenta úspěchu 36,2 %; GPT-5.6 Sol se umístil na druhém místě s 23,5 %; a GPT-5.5 a Claude Opus 4.8 každý dosáhli 21,5–21,9 %.

Většina zbývajících vyhodnocených modelů dosáhla skóre nižšího než 16 %, a většina konfiguračních modelů dosáhla skóre nižšího než 25 % podle přísných kritérií benchmarku:

Nejlepší agent AI dokončil více než jednu třetinu úkolů benchmarku, zatímco většina předních modelů selhala více než tři čtvrtiny podle přísného hodnocení. Zdroj

Autoři navrhují, aby kritické firemní politiky byly vynucovány mimo AI pomocí deterministických nástrojů (tj. hard-coded kontrol, které blokují zakázané akce), místo aby se spoléhaly pouze na dlouhodobou paměť samotnou.

Také navrhují používat HANDBOOK.md jako standardizovaný benchmark pro měření a sledování zlepšení dodržování politiky v dlouhodobém kontextu, protože budou vyvíjeny budoucí agentic modely.

Nová práce se jmenuje HANDBOOK.md: Benchmark pro dlouhodobé agentic instrukce a pochází od sedmi autorů ze surge.ai. Práce je doprovázena GitHub repozitářem obsahujícím docker soubory a další požadavky pro reprodukování testů.

Metoda

Bylo vytvořeno 65 simulovaných kancelářských scénářů pro benchmark HANDBOOK.md, pokrývajících finance; HR; pojištění; logistiku; a lékařské fakturace; a každý umístil model do kontejnerizovaného firemního prostředí obsahujícího soubory, e-maily, Slack konverzace, kalendáře, Jira desky a další熟é kancelářské nástroje.

Každý úkol byl řízen firemním řádem o délce 20 až 124 stran, dodaným jako PDF, Word nebo HTML dokument, místo aby byl vložen do podnětu, což donutilo modely nalézt, přečíst a aplikovat relevantní pravidla po celou dobu úkolu.

Deset expertně napsaných základních firemních řádů bylo adaptováno z reálných firemních politik, po kterých každý úkol obdržel svou vlastní modifikovanou verzi s odlišnými schvalovacími autoritami, prahovými hodnotami a procedurálními pravidly, aby se zabránilo memorizaci:

‘Odborníci z domény napsali deset základních firemních řádů adaptací reálných politik z jejich odvětví. Každý z nich je dlouhý, vícesekční provozní dokument spíše než seznam pravidel. ‘

‘Zástupný HR firemní řád obsahuje 19 číslovaných oddílů: přehled, definice, HR tým a kontakty, mapa Slack kanálů, referenční soubory a systémy, taxonomie požadavků, pravidla triáže a směrování, maticová priorita se SLA, postupy pro onboardování, offboardování, dovolenou, výkon a nábor, eskalační cesty, e-mailové pravidla pro údržbu a knihovna požadovaných šablon a výchozích formátů’

Úspěch byl měřen 824 deterministickými Python-based ověřovacími kontrolami, pokrývajícími jak požadované akce, tak zakázané – umožňující benchmarku detekovat nejen to, zda úkol byl dokončen, ale také zda firemní politika byla porušena během procesu.

Třicet konfiguračních modelů od 11 poskytovatelů bylo vyhodnoceno; a během testů každý úkol opakoval čtyřikrát za identických podmínek.

Na rozdíl od konvenčních benchmarků HANDBOOK.md vyhodnotil jak dokončené požadované akce, tak zabráněné zakázané akce, umožňující agentům selhat, přestože dokončily požadovaný úkol

Prostředí a nástroje

Každé simulované pracovní prostředí je navrženo tak, aby běželo uvnitř standardizovaného Docker prostředí, umožňujícího každému modelu přístup ke stejné sadě nástrojů, zatímco brání rozdílům v dostupnosti softwaru ovlivňovat výsledky. Benchmark představuje agentům realistické kancelářské pracovní prostředí, skládající se z přístupu k souborům, spolu s výše zmíněnými podnikovými službami (tj. Gmail, Slack atd.):

Hrubá reprezentace kancelářského prostředí, ve kterém musí modely fungovat.

Prostředí také uchovávají každou akci provedenou agentem, umožňující benchmarkovému deterministickému vyhodnocovacímu systému vyhodnotit kompletní sekvenci akcí vedoucích k konečným výsledkům.

Metriky

Výkon byl měřen především pomocí přísného hodnocení@1, podle kterého byl úkol považován za úspěšný pouze tehdy, pokud byl každý vyhodnocovací kritérium splněno. Jakékoli zmeškané požadavky nebo porušení politiky by vedly k selhání, odrážející firemní prostředí, kde jedna nesprávná akce může zrušit jinak kompetentní workflow.

Byla použita také mírnější metrika hodnocení@1 (N−1), kde jeden selhaný kritérium byl povolen pro každý úkol, aby se rozlišily téměř selhání od úplných selhání.

Pro další analýzu byl zaznamenán průměrný skóre každého modelu pro každé kritérium, i když toto nebylo použito v benchmarkových hlavních žebříčcích.

Obecný přístup

Deset expertně napsaných firemních řádů bylo adaptováno z reálných firemních politik, po kterých každý byl modifikován do více úkolově specifických verzí s odlišnými schvalovacími autoritami, prahovými hodnotami a procedurálními pravidly. Realistické kancelářské prostředí bylo poté postaveno kolem každého firemního řádu, skládající se z e-mailů, kalendářů, Slack konverzací, tabulek a dalších kancelářských artefaktů.

Každý úkol byl rafinován opakovaným testováním, dokud vyhodnocovací kritéria spolehlivě rozlišovala skutečná selhání modelů od vad benchmarku samotného. Kritéria, která odmítla správné chování nebo přijala nesprávná řešení, byla revidována před vydáním.

Testy a výsledky

I nej silnější modely selhaly ve většině úkolů podle benchmarkového přísného hodnocení, s výkonem rozloženým napříč širokým rozsahem, spíše než shluknutím na vrcholu:

Počáteční výsledky žebříčku, který řadí všechny 30 vyhodnocené modelové konfigurace podle jejich přísného hodnocení@1 na benchmarku HANDBOOK.md. Skóre představují procento úkolů benchmarku dokončených bez jediného selhaného vyhodnocovacího kritéria napříč čtyřmi pokusy na úkol. Shodná skóre sdílejí stejné pořadí.

Rozdíly mezi nastaveními důvodování se také ukázaly jako podstatně variabilní podle modelu, s dodatečným důvodováním, které někdy zlepšovalo výkon; někdy nemělo žádný vliv; a někdy snížilo jej:

‘Úsilí o důvodování pomáhá nerovnoměrně. Zvýšení úsilí zlepšuje Opus 4.8 (+3,0), Sonnet 4.6 (+2,7) a Fable 5 (+2,0), ponechává GPT-5.5 beze změny (21,5 % na obou nastaveních) a poškozuje GLM 5.2 (−2,7). ‘

‘Dodální úvaha se zdá být převedena na dodržování pravidel pouze tehdy, je-li základní selhání zmeškaným odvozením spíše než zmeškaným čtením.’

Claude Fable 5 dosáhl nejvyššího skóre 36,2 %, následovaný GPT-5.6 Sol (max) s 23,5 %. GPT-5.5 a Claude Opus 4.8 vytvořily další úroveň, kolem 20 %, zatímco většina zbývajících modelů dosáhla skóre nižšího než 16 %. Nejnižší modely dokončily méně než 2 % úkolů.

Podrobná analýza selhání naznačuje, že problém často nebyl nedostatkem informací, protože relevantní firemní řád a podpůrné důkazy byly často již získány – nicméně dodatečné důvodování někdy způsobilo, že modely opustily správný závěr ve prospěch věrohodné, ale porušující politiku.

Práce také poukazuje na rozsah sebezmátání, který charakterizuje tolik LLM:

‘Téměř každá neúspěšná trajektorie končí sebevědomým prohlášením, že firemní řád byl dodržen, často citujícím přesně ta oddíly, která byla porušena. Zprávy jsou podrobné, dobře strukturované a chybné […]

‘[…] V rámci celého benchmarku je self-report agenta nejspolehlivějším artefaktem v trajektorii, což má význam pro jakékoli nasazení, které prezentuje agentovy souhrny lidem jako důkaz toho, co bylo provedeno.’

Závěrem autoři uzavírají, že dlouhodobé důvodování samo o sobě je nepravděpodobné, že učiní firemní AI spolehlivě dodržovat firemní politiku. Místo toho by měla být dodržování politiky stále více vynucována deterministickými externími kontrolami, kromě pracovních zábran.

Závěr

Opinion Jedním zajímavým úvahou je konečná míra, do které budou prostředí, vytvořená pro experimenty,重新imaginována pro usnadnění AI, místo toho, aby donutila LLMs interpretovat stejné formy a formáty, které definují lidská kancelářská prostředí. Například včera, poprvé, mi obchodní kontakt poslal .md přehled, který má být prozkoumán LLM, místo aby byl čten lineárně.

A i já jsem stále více přijímám a přizpůsobuji se vizuálním a textovým omezením během LLM konverzací, stejně jako výběru a přijímání formátů souborů, které bych jinak nevybral, protože lépe vyhovují LLM workflow.

Proto, zatímco je zábavné sledovat, jak přední modely selhávají v Davidově Brentově světě, lze se divit, zda je toto nejpravděpodobnější scénář pro ‘agentic kancelářského pracovníka’.

Poprvé publikováno ve středu, 29. července 2026. Aktualizováno 18:41 EET, opraveno rozbité odkazy.