Myslitelé

Architektonická změna potřebná k řízení AI agentů

Sergio Gago
Přidejte Unite.AI mezi své preferované zdroje na Google
A photorealistic widescreen image of a technician viewed from behind, seated at a dark command center with multiple monitors. A large glass wall in front of him displays a complex, glowing architectural blueprint made of blue and green light. The hologram features intricate pathways, interconnected nodes, and two small silhouettes of figures standing together, representing a human and an AI
Klíčové bodyZacházejte s agenty jako s digitálními kolegy, kteří mají přístupové odznaky a hranice…
Zobrazit více
  • Zacházejte s agenty jako s digitálními kolegy, kteří mají přístupové odznaky a hranice pro zpřístupnění, nikoli jako s opravami promptů.
  • Řízení založené na návrhu vyžaduje jednotnou řídicí rovinu pro důsledné prosazování politik napříč všemi prostředími.
  • Bez sledovatelnosti a trasování v reálném čase podniky nemohou auditovat akce agentů ani prokazovat soulad za běhu.

AI již není pouze chatbot, který generuje text. V podnikových prostředích AI agenti provádějí akce, jako je získání citlivých dat, spouštění pracovních postupů, volání nástrojů a zaznamenávání aktivit napříč systémy. Autonomie zcela mění diskusi o řízení; kontroly a postupy původně navržené pro lidské uživatele a tradiční aplikace nebyly vytvořeny pro řízení softwaru, který může provádět vícekrokové akce za běhu.

Riziko není teoretické. Malé mezery ve viditelnosti, kontrole přístupu a auditovatelnosti se mohou rychle zvětšit a proměnit v selhání za běhu, která jsou obtížná k detekci a ještě obtížnější k nápravě.

Abychom zůstali v souladu s touto novou érou, řízení AI agentů nelze provádět přidáním dalších dokumentů zásad. To vyžaduje řízení podle designu: architektonický přístup, ve kterém jsou kontroly vloženy do řídicí roviny a vynucovány nepřetržitě za běhu. Pokud mají agenti jednat jako digitální kolegové, musí zdědit stejné podnikové zábrany jako lidé, plus silnější dohled za běhu.

Proč řízení selhává v éře konvergence

Podniková architektura vstoupila do éry konvergence. Data a pracovní zátěže nyní sahají napříč několika cloudy, privátními datovými centry a edge prostředími.

Existují organizace, které provozují své platformy v paralelních systémech, protože mají několik procesů, které musí spravovat současně. To zahrnuje samostatné identifikační systémy, kanály pro zpracování protokolů, katalogy a schválené postupy. Výsledkem je to, co někteří nazývají „Frankensteinovou platformou“, kde se integrační režie zvyšuje s každým novým nástrojem nebo cloudovým prostředím. Ve skutečnosti se tato fragmentace objevuje v každodenní realitě.

Podle nedávného průzkumu 47 % respondentů uvádí jako překážku efektivního využívání dat složité požadavky a postupy pro přístup a 44 % omezený přehled o tom, kde se data nacházejí.

To je přesně tam, kde agenti odhalují švy mezi systémy.

Aby agent odpověděl na obchodní otázku, může být nutné získat data z místního ERP systému, cloudového CRM, provozní telemetrie v jiném cloudu a dokumentů v sadě nástrojů pro spolupráci. Pokud organizace vynucuje zásady odlišně na každém místě, agent buď selže, nebo, což je horší, uspěje způsobem, který nelze vysvětlit nebo kontrolovat.

To je okamžik, kdy musí podnikoví lídři věnovat pozornost. Agenti zvyšují laťku a vyžadují konzistenci napříč prostředími i odpovědnost za běhu.

Proto regulační orgány a bezpečnostní agentury dostávají řízení do popředí zájmu. Příkladem toho je NIST AI Risk Management Framework, který zdůrazňuje řízení rizik napříč životním cyklem AI, ne pouze v době sestavení. Je to připomínka, že dodržování předpisů a důvěra jsou provozní odpovědností, nikoli jednorázovými kontrolními seznamy.

Od zásad k platformě

Řízení podle designu znamená, že řízení cestuje s pracovní zátěží, namísto toho, aby bylo znovu implementováno v každém silu. V praxi to závisí na třech stavebních blocích:

  • Jednotná řídicí rovina

Jedno místo pro definici a vynucení identity, přístupu, zásad, katalogů a oprávnění napříč cloudy a datovými centry.

Cílem je napsat zásady jednou a vynucovat je všude, kde běží data a modely, spíše než přestavovat řídicí systémy systém po systému. To zabraňuje rozcházení chování agentů, kdy se stejný agent chová bezpečně v jednom prostředí, ale nebezpečně v jiném.

Praktický test je jednoduchý: pokud uživatel nemůže získat přístup k sloupci, ověřte, že k němu nemá přístup ani agent jednající jménem uživatele. To by mělo naznačit, zda jsou napsané zásady vynucovány napříč řídicí rovinou.

  • Data fabric založený na otevřených standardech

Agenti potřebují kontext, aby mohli fungovat. Když je tento kontext rozložen napříč různými strukturami vlastněnými různými týmy, data fabric pomáhá standardizovat sémantiku a vzorce přístupu, aby se agenti nemuseli učit novou sadu pravidel pro každou datovou sadu.

Otevřené formáty tabulek, jako je Apache Iceberg, podporují toto tím, že umožňují několika engineům sdílet stejná data podléhající řízení bez kopírování do nového sila. To je důležité, protože duplikace dat je tam, kde řízení obvykle selhává. Jakmile týmy začnou kopírovat „pouze to, co agent potřebuje“, vytvoříte nové, méně řízené prostředí.

Pokud agenti mohou fungovat napříč datovými sadami bez zavedení nových mezer v oprávněních, řízení funguje podle očekávání.

  • Pozorovatelnost a sledování původu dat v reálném čase

Agenty lze řídit pouze tehdy, když vidíte, co dělají za běhu.

Pozorovatelnost zde není pouze „hezkou věcí“, ale je základem pro kontroly za běhu a reakci na incidenty.

Konkrétně jsou potřeba důkazy o akcích agentů v celém řetězci od začátku do konce. Agenti by měli být schopni doložit, ke kterým datům přistoupili a které nástroje zavolali. Sledování původu dat pak může propojit výstupy zpět se vstupy. To umožňuje týmům auditovat tato rozhodnutí a řešit selhání, pokud je potřeba, a tím prokázat celkovou shodu.

Zacházet s agenty jako s „digitálními kolegy“

Jedním z nejužitečnějších mentálních modelů je zacházet s agenty jako s digitálními kolegy.

Zde je srovnání, které to vysvětluje: stejně jako zaměstnanci mají přístupové karty, které umožňují vstup do některých budov a místností, ale ne do jiných, řízení umožňuje agentům mít přístup s omezeními. Důležitým doplněním je, že agenti musí podle situace rozpoznat, co smějí zveřejnit.

Představte si agenta zákaznické podpory. Může být nutné získat přístup k předchozím případům podpory, aby se vyřešil problém, ale nesmí přitom vyzradit soukromé údaje jiného zákazníka. Jinými slovy, agent může použít znalosti s omezeným přístupem k uvažování, ale stále musí vynucovat hranice odhalení. To není problém psaní promptů takového druhu, se kterým jsme se již naučili pracovat; místo toho je to problém identity a vynucování pravidel za běhu.

Co se změní v roce 2026: agenti se přesunou z experimentů do produkce

Rok 2026 je rokem, kdy experimenty skončí a agenti se stanou produkčními.

Tato změna nutí podniky fungovat ve dvou rychlostech. Jedna je inovační rychlost, kde týmy testují nové modely, nástroje a pracovní postupy agentů, aby získaly konkurenční výhodu. A druhá je rychlost zabezpečení, kde systémy musí splňovat požadavky na shodu a provozní požadavky, které mohou zahrnovat přísné kontroly přístupu a slepá místa.

Bez architektonického řízení se tyto dvě rychlosti dostanou do konfliktu.

Pokud týmy nasadí tyto agenty předtím, než budou řízeni, bude tam patchwork jednorázových kontrol a provozních selhání. A pokud se stane opak, dostanete selhání, ve kterém zabezpečení blokuje vše, a inovace se přesune do stínového IT, což podkopává řízení.

Cílem není vybrat rychlost. Je to postavit architekturu, která podporuje obě.

Praktický kontrolní seznam pro řízení agentů za běhu

  • Pokud stavíte nebo škálujete agenty, je nezbytné položit si následující otázky, aby se odhalilo, zda řízení je skutečně architektonické: Můžete vysvětlit, od začátku do konce, která data agent získal k vygenerování odpovědi nebo provedení akce?
  • Jsou rozhodnutí o přístupu konzistentní napříč hybridními prostředími, nebo se liší podle platformy?
  • Máte telemetrii pro akce agentů, včetně volání nástrojů, kontrol zásad a eskalací na lidi?
  • Můžete omezit činnost agenta, pozastavit ji nebo agenta izolovat za běhu, pokud se chová neočekávaně?
  • Máte plán monitorování po nasazení, který je v souladu s vašimi regulačními závazky a ochotou podstupovat riziko?

Pokud na tyto otázky nemůžete odpovědět, zacházejte s nasazením agenta jako s produkčním incidentem, který čeká na to, aby se udál.

Změna řízení musí být architektonická, jinak neexistuje

Agenti se stanou standardní součástí podnikových operací. Otázkou je, zda se stanou spolehlivou součástí podnikových operací.

Pokud agenti nejsou řízeni alespoň se stejnou jistotou jako lidé a kriticky důležité softwarové systémy, důsledky budou reálné. Uvidíme tyto důsledky v úniku dat, selhání shody, provozních výpadcích a ztrátě důvěry v AI programy.

Lídři musí přestat zacházet s řízením agentů jako s dokumentačním cvičením. Jakmile se rozšíří schopnosti platformy, řízení agentů by mělo být jednou z těch, které přebírají dohled nad ostatními úlohami. To znamená vkládání kontrol do řídicí roviny, činění akcí pozorovatelnými a rozhodnutí auditovatelnými. A poté škálovat.

To je způsob, jak získat agenty, kteří jednají rychle, aniž by narušili fungování podniku.

Sergio Gago je CTO ve společnosti Cloudera, s více než 20 lety zkušeností v oblasti AI/ML, kvantového počítačového zpracování a datově řízených architektur. Předtím působil jako ředitel AI/ML a kvantového počítačového zpracování ve společnosti Moody’s Analytics, zastával také funkce CTO ve společnostech Rakuten, Qapacity a Zinio. Sergio je silným zastáncem důvěryhodné datové infrastruktury, věří, že AI se do roku 2030 vyvine v operační systém podniku.