Spolehlivost je skutečným testem agentní AI

Poslední dva roky se odvětví ptalo na jednu otázku: jsou AI agenti dostatečně schopní zvládnout skutečnou práci? Můžeme přestat klást tuto otázku. Víme, že jsou, ale musíme být naprosto soustředěni na to, zda dokážeme rozpoznat, kdy je agent na pokraji drahé chyby – a zda ji dokážeme zastavit, než nastane.

Nejhorší selhání v produkci obvykle nevypadají jako čistá chyba modelu. Agent může úspěšně dokončit každé volání API a přesto pracovat s zastaralým kontextem, opakovat selhávající nástroj nebo směřovat k akci, která porušuje pravidlo. Spolehlivost je to, co rozhoduje, zda program agentní AI překoná fázi pilotu.

Podle zprávy „Stav AI v roce 2025: Agenti, inovace a transformace“, průzkum McKinsey62 % organizací experimentuje s AI agenty, ale jen přibližně deset procent neškáluje v žádné z těchto funkcí. Ukázat kolegům, že agent funguje, je snadné. Bezpečně jej provozovat na reálných datech a propojených systémech není.

Proč agentní AI zvyšuje riziko

Agenti kombinují pravděpodobnostní uvažování, používání nástrojů a určitou míru autonomie. Zatímco to z nich činí užitečné, také připravuje společnosti na chyby, které se kumulují rychleji než v tradičnějších aplikacích.

Kontext

Agenti mohou pracovat pouze s poskytnutým kontextem. Proto pokud je tento kontext neúplný, zastaralý nebo chybný, špatná interpretace na začátku se přenáší do každého následujícího kroku. Chybná odpověď chatbota je otravná. Chybná interpretace, která mění oprávnění k přístupu nebo zasahuje do infrastruktury, je incident. Je důležité vědět, zda agent použil správné důkazy, dodržel politiku a zůstal v přijatelném rozsahu dopadu, pokud se něco pokazí.

Znalostní báze

Agenti se také připojují k znalostním bázím, ticketovacím systémům a platebním platformám; každé spojení rozšiřuje útočný povrch. Agent může zavolat špatný nástroj, zavolat správný nástroj ve špatném pořadí nebo jednat podle pokynů skrytých v načteném obsahu. Jedná se o uznávané režimy selhání, které zahrnují konfabulaci a bezpečnostní zranitelnosti vyplývající z procesu, jakým agenti řetězí nástroje a kontext.

Zelený dashboard vás může klamat: infrastruktura vypadá v pořádku, zatímco agent tiše opakovaně dotazuje stejný nástroj. To je raný signál odchylky, nikoli běžná výpadková situace.

Nedeterminismus

Nedeterminismus také ztěžuje reakci na incidenty. Tradiční selhání služby lze obvykle reprodukovat pomocí ID požadavku a známé verze softwaru. Běh agenta závisí na verzi modelu, dokumentech, které získal, výstupech nástrojů, které obdržel, a řetězci mezilehlých rozhodnutí. Bez záznamu o tom, co agent obdržel a co se pokusil provést, se analýza příčiny a správa výrazně ztěžují.

Náklady a latence

Náklady a latence vyprávějí stejný příběh z jiného úhlu. Náhlý nárůst využití tokenů nebo opakování může signalizovat špatný plán nebo smyčku, i když uživatel nakonec získá odpověď. Náklady na inferenci výrazně kleslyběhem posledních několika let a levnější inferenci usnadňuje ignorovat neefektivní chování, dokud se toto chování neprojeví ve tisících pracovních toků. Považujte náklady, latenci a opakování za signály spolehlivosti – ne jen finanční ukazatele.

Decentralizované AI stále potřebuje centralizovanou viditelnost

Decentralizace selhává bez jasných omezujících pravidel. Vlastnictví pracovních toků a eskalací přenechte týmům na první linii, ale zachovejte identitu, přístup a reakci na incidenty na úrovni podniku. Finanční tým dokáže rozlišit legitimní výjimku faktury od nesprávného rozhodnutí o platbě způsobem, který obecný benchmark nikdy nedokáže. Ve stejném průzkumu McKinsey zjistila, že organizace, které hlásí skutečný dopad AI, jsou téměř třikrát pravděpodobnější, že přepracovaly své pracovní toky, místo aby AI jen připevňovaly k existujícím systémům.

To však znamená, že kompromis je reálný: vlastnictví se rychle rozmazává, když incident překročí systémy. Řešením je sdílený operační pohled na každého agenta, jeho nástroje, přístup k datům a historii incidentů.

Distribuované architektury usnadňují ztrátu celkového obrazu, když se něco porouchá. Mnoho týmů může vidět objem tokenů a náklady, ale nemohou zjistit, zda agent skutečně bezpečně dosáhl zamýšleného výsledku. Když jsou záznamy napříč pracovním tokem uloženy na různých místech, týmy nakonec honí symptomy místo příčin.

Standardizované telemetrické signály, jako je identita modelu a volání nástrojů, mohou pomoci. Behaviorální základní linie, jako je běžný počet kroků v pracovním toku, jsou také nezbytné k identifikaci užitečné setrvačnosti ze zaseklého systému. Hodnocení není jednorázová brána před spuštěním. Je to kontinuální smyčka.

Jak spolehlivá AI ve skutečnosti vypadá v produkci

Spolehlivá AI spočívá v řízení chyb, nikoli v jejich vyhýbání se. Týmy potřebují přehled o chování; upozornění, když výkon kolísá; a plán omezení pro situace, kdy se něco pokazí. Nejdůležitější je, aby každý agent měl jasné hranice ohledně přístupu a autonomních akcí. Také potřebují lidské schválení. 

Začněte s akcemi s nízkým rizikem, které lze zvrátit. Důležité akce, jako jsou změny v produkci a finanční transakce, držte za skutečnými kontrolami. Důležité pracovní postupy by měly být schopny být po události rekonstruovány, včetně kontextu, který agent získal, nástrojů, které volal, schválení, která získal, a zda byl výsledek skutečně správný.

Tradiční cíle úrovně služby musí být rozšířeny i na kvalitu a bezpečnost agentů; zahrnují ověřenou míru úspěšnosti úkolů, míru dodržování politik, míru lidského eskalování, náklady na úspěšný úkol a četnost výskytu nežádoucích výsledků. Prahy by se měly lišit podle konkrétního případu použití. Interní asistent znalostí může tolerovat odlišný profil chyb než agent pracující s regulovanými daty.

Nejužitečnější systémy spolehlivosti se učí rozpoznávat podmínky, které obvykle předcházejí selhání, například abnormální nárůst opakování nebo cestu, která historicky vedla k lidským zásahům. Pracovní postup s nízkým rizikem může spustit automatickou opravu. Vyšší riziko by mělo pozastavit a směrovat rozhodnutí k oprávněné osobě. Cílem není autonomní akce sama o sobě. Cílem je rychlejší, bezpečnější akce, když jsou důkazy podpůrné.

AI SRE uzavírá smyčku

Zde přichází na řadu AI SRE. Agent AI SRE může sestavit časovou osu incidentu, porovnat současné chování s předchozími incidenty a připravit doporučenou akci, zatímco organizace zachovává řízenou nápravu pro reverzibilní úkoly a lidské schválení pro vše, co je důležité.

Přijetí AI se vyvíjí rychle. Ale přijetí není totéž jako provozní zralost. Podniky, které úspěšně škálují agentní AI, nebudou nutně ty, které samostatně provozují nejvýkonnější model. Budou to ti, kteří dokážou sledovat, jak jejich agenti fungují napříč podnikem, zachytit první známky odchylek a zasáhnout dříve, než se malá chyba promění v incident týkající se zákazníka, bezpečnosti nebo souladu.

To je role, kterou AI SRE plní: propojuje decentralizovanou inovaci se centralizovanou viditelností a proměňuje agentní AI v systém, kterému může podnik důvěřovat.