AI agenti jsou připraveni jednat. Většina firem není připravena jim to dovolit.

Po většinu éry generativní AI jsme se soustředili na to, co modely říkají a co do nich vkládáme. Kontrolujeme výzvy, filtrujeme odpovědi, provádíme red‑teamování modelů a vytváříme kontrolní mechanismy kolem vstupů a výstupů. Tyto ochrany jsou stále důležité, ale byly navrženy pro svět, ve kterém AI převážně generovala něco pro člověka ke konzumaci.

Agentům tato rovnice mění. Nejen konzumují nebo generují informace. Jednají.

Agent může spouštět nástroje, vyvolávat podagenty, spolupracovat s dalšími agenty, volat API, přistupovat k datům, používat přihlašovací údaje, volat servery MCP, generovat a spouštět kód a autonomně učinit řadu rozhodnutí v rámci dosažení cíle. Neúprosný sled. Jakmile k tomu dojde, ústřední otázkou již není jen to, zda model poskytl bezpečnou odpověď. Jde o to, zda jsou akce, které provádí, bezpečné k vykonání.

Nedávná odhalení od OpenAI činí tento rozdíl stále důležitějším. OpenAI začala systematicky hlásit neočekávané nebo znepokojivé chování modelu, zatímco její širší práce na bezpečnosti stále více řeší rizika, která se objevují, jak modely získávají větší autonomii a přístup k nástrojům.

Poučení není, že agenti jsou inherentně nebezpeční. Je to, že bezpečnostní hranice se posunula.

Agentní systémy vyžadují odlišný provozní model

Agentní AI není jen další architekturou aplikace. Samotný software stále více určuje, jak se práce vykonává.

Agent může narazit na překážku, interpretovat, co se stalo, a zvolit jinou cestu. Může kombinovat nástroje způsoby, které nebyly předem explicitně navrženy. Může generovat kód a tento kód spouštět jako součást stejného pracovního postupu. Sekvence akcí se může při každém spuštění agenta změnit.

Současně se populace vytvářející tento software dramaticky rozšiřuje. Jak jsme psali o vzestupu občanských vývojářů, AI proměňuje lidi, kteří se nikdy nepovažovali za vývojáře, v tvůrce softwaru. Marketér, finanční analytik nebo vedoucí provozu nyní může popsat, co chce, a vytvořit agenta schopného interagovat se skutečnými podnikovými systémy.

To je mimořádné rozšíření toho, kdo může vytvářet software a co tento software může dělat. To také znamená, že organizace budou mít mnohem více autonomního softwaru fungujícího v mnohem více částech podniku.

Odpověď nemůže být jen aplikovat včerejší kontrolní mechanismy na toto nové prostředí. Pokud podniky nebudou moci tyto systémy bezpečně provozovat, alternativou bude je omezit a nakonec zpomalit samotné zisky na produktivitě, které se snaží dosáhnout.

Kontrola musí existovat tam, kde agenti jednají

Jak se AI stává autonomnější, výzva se posouvá od kontroly toho, co je vloženo do modelu, k kontrole toho, co se stane, když se jeho rozhodnutí promění v akce.

Agent může začít s oprávněným uživatelem, přijatelné výzvou, legitimními přihlašovacími údaji a autorizovaným přístupem k nástroji. Žádná z těchto věcí nezaručuje, že každá následná akce by měla být provedena.

Zde se stává runtime kritickým. Organizace potřebují pochopit nejen, kdo je agent, ale také se ptát, co právě dělá:

• Jaké nástroje vyvolává,
• Jaké zdroje přistupuje, jaký kód se snaží spustit, 
• Jaké podagenty a další komunikace agentů probíhají,
• Co se stalo bezprostředně před touto akcí a zda jeho chování zůstává v přijatelných mezích,
• Co agent dělá pod povrchem během runtime.

A když ne, systém potřebuje schopnost zasáhnout v reálném čase před provedením.

Jedná se o důležitý rozdíl. Pozorovatelnost vám říká, co se stalo. Řízení během runtime vám poskytuje možnost omezit vrstvu vykonávání agenta.

To se stává zvláště důležitým, protože agentní chování je jak nedeterministické, tak vícerozměrné.. Zablokovaná akce způsobí, že agent zkusí jiný přístup k dosažení svého cíle. Zdánlivě neškodné volání nástroje může být riskantní kvůli tomu, co mu předcházelo. Pouhá observace nebo „detekce a reakce“ je ve hře příliš pozdě na skutečnou kontrolu přístupu agenta a jeho vykonávání.  

Runtime musí být inline a synchronní, aby dokázal držet krok s rychlostí AI.  Základní výzvou při přijetí takových přístupů je myšlení z před‑AI éry, které spoléhá na delší analýzu a metodiku detekce.  Tyto principy již v dnešním světě neplatí..

Bezpečnost během runtime vyžaduje kontext, ne jen kontrolní mechanismy

Existuje tendence reagovat na vznikající rizika AI omezováním autonomie: dávat agentům méně oprávnění, častěji vyžadovat lidské schválení nebo omezovat prostředí, ve kterých působí. Takové kontroly budou někdy vhodné, zejména u vysoce rizikových akcí.

Ale nemohou být dlouhodobým provozním modelem.

Pokud člověk musí schvalovat každé smysluplné rozhodnutí, odebereme tak velkou část hodnoty autonomního agenta. Spoléháním se na přísné interakce člověk‑v‑smyčce jsme některé z nejtalentovanějších jedinců proměnili v „tlačítka‑stlačovatele“. To má přímý dopad na schopnost pochopit rozsah a vzájemné závislosti kódu, na kterém agenturní organizace fungují.

Ekonomický slib agenturní AI spočívá právě v tom, že umožní softwaru vykonávat smysluplnou práci samostatně a nepřetržitě – 24 hodin denně, 7 dnů v týdnu. Cílem by proto nemělo být odstranění autonomie, ale učinit vyšší autonomii bezpečnou pro provoz.

To vyžaduje nezávislé kontroly mimo vlastní proces uvažování agenta. Výzkum společnosti Anthropic do nesouladu agenturního chování, provedený v úmyslně vytvořených simulacích, ukazuje, proč je to důležité. Jak se systémy stávají autonomnějšími, může jejich chování odklonit od očekávání operátorů, i když je původní cíl zřejmý.

Praktický důsledek je jednoduchý: organizace nemohou spoléhat výhradně na pochopení toho, co agentovi bylo přikázáno. Musí rozumět a kontrolovat to, co ve skutečnosti dělá.

Agent už není nejtěžší část

Průmysl vynaložil obrovskou energii na zvyšování schopností agentů. Rychle se blížíme k bodu, kdy schopnost již není hlavní překážkou pro podnikovou adopci.

Omezení je kontrola.

Jak se agenti stávají autonomnějšími, roste dopad jejich akcí – a kontroly navržené pro předvídatelný software se stávají méně účinnými. Podniky potřebují nepřetržitý přehled o tom, co agenti dělají, kontext pro pochopení, proč jsou tyto akce důležité, a možnost zasáhnout, aniž by byl člověk uprostřed každého rozhodnutí.

To mění to, co to znamená provozovat software.

• Vývojáři potřebují pochopit, jak se agenti ve skutečnosti chovají, nejen jak byli navrženi, aby se chovali.
• Platformové a bezpečnostní týmy musí nastavit hranice, které zůstanou vynutitelné, když agenti působí napříč systémy a nástroji.
• Vedoucí představitelé podniků potřebují jistotu, že větší autonomie neznamená ztrátu kontroly.

To je zásadně odlišné od zabezpečování další aplikace nebo správy dalšího modelu. Zavádíme autonomní aktéry do podnikového prostředí: systémy, které dokážou uvažovat, rozhodovat a jednat. Pokud organizace nebudou moci tyto akce sledovat a kontrolovat v reálném čase, budou nakonec muset omezit, co agenti mohou dělat, což omezí velkou část hodnoty, kterou měla autonomie vytvořit.

Odpovědí není předpokládat, že můžeme zabránit každému špatnému rozhodnutí. Jak se systémy stávají autonomnějšími a nedeterministickými, stává se to čím dál těžší garantovat.

Cílem je zajistit, aby špatná nebo destruktivní akce nevedla k nepříznivému výsledku.

To vyžaduje novou operační vrstvu kolem agentů: takovou, která může neustále sledovat chování, rozumět akcím v kontextu, vynucovat hranice po celém runtime stacku agenta a zasáhnout dříve, než se neúmyslná či nepřijatelná akce promění v nevratný výsledek.

Další fáze podnikového AI nebude definována jen tím, jak schopní agenti budou. Bude definována tím, kolik autonomie organizace dokážou bezpečně poskytnout.