Myslitelé

Od záměru k autonomnímu jednání: řízení AI agentů v podniku

Casey Kindiger
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodySpráva musí být součástí produktu, protože definuje, které odpovědnosti může organizace…
Zobrazit více
  • Správa musí být součástí produktu, protože definuje, které odpovědnosti může organizace bezpečně delegovat.
  • Agentní řídicí rovina propojuje identitu agenta a schválené schopnosti s vynucováním zásad a dohledem nad prováděním.
  • Organizace by měly začít s úzkým pracovním postupem a rozšiřovat pravomoci agenta pouze tehdy, pokud to podporují provozní důkazy.

Pokyn jako „obnovit službu“ zní jednoduše, dokud AI agent nemusí rozhodnout, k čemu ho opravňuje. Restart aplikace, změna konfigurace i zajištění infrastruktury mohou tomuto cíli pomoci, každá z těchto činností však má jiné důsledky. Jak agenti přecházejí od doporučování kroků k jejich provádění, potřebují organizace jasně propojit obchodní záměr s provozními oprávněními.

Řízení musí být součástí samotného produktu, protože určuje, které odpovědnosti může organizace s důvěrou delegovat. Agent, který dokáže úkol spolehlivě dokončit v dohodnutých mezích a doložit své kroky, poskytuje pro zavádění v podniku pevnější základ než agent, jehož oprávnění zůstávají nejasná. Architektonickou výzvou je začlenit tyto hranice do fungování systému.

Uplatňování těchto hranic v praxi vyžaduje jednotný způsob řízení činnosti agentů. Řídicí vrstva agentů může vytvořit potřebný základ tím, že propojí identitu agenta, schválené možnosti, vymáhání zásad, řízení paměti a dohled nad prováděním napříč stávajícími podnikovými systémy. Určuje, kdo o akci požádal, jaká oprávnění ji umožňují, na které prostředky může mít dopad a jak se ověří její výsledek.

Zde jsou tři praktické zásady, které doporučujeme pro řízení AI agentů v podniku:

Propojte schopnosti s výslovnými oprávněními

Každý agent by měl mít určeného vlastníka, jasně vymezený účel a oprávnění odpovídající jeho úkolu. To je v souladu s rámcem NIST pro řízení rizik AI, který chápe řízení jako průběžnou činnost v celém životním cyklu AI. U agentů se tato zásada musí vztahovat i na okamžik, kdy akce mění podnikový systém. Když jeden agent deleguje úkol na jiného, měly by tyto hranice zůstat zachovány.

Objevování dostupných schopností vyžaduje podobnou důslednost: schválený katalog by měl u každého nástroje popisovat jeho účel, vstupy, výstupy, povolená prostředí a možné vedlejší účinky. Objevení nástroje neznamená oprávnění jej použít, proto je nutné oprávnění ověřit při pokusu o provedení akce. Doporučení OWASP k nadměrné autonomii tento rozdíl potvrzují: doporučují omezit funkčnost a oprávnění a vynucovat autorizaci v navazujících systémech.

Představme si například postup obnovy služby, v němž agent prověřuje zpomalení aplikace a navrhuje restartovat jednu její součást. Zásady povolují přístup ke schváleným telemetrickým údajům, zatímco restart v produkčním prostředí vyžaduje důkaz, že redundance funguje správně, a souhlas vlastníka služby. Tyto podmínky mění obecný pokyn na jasně ohraničené provozní rozhodnutí.

Proměňte provozní záměry v řízené nástroje

Pokud existuje schválený nástroj pro obnovu služby, agent může s jeho pomocí připravit požadavek. Pokud takový nástroj není k dispozici, může pomoci vytvořit skript, provozní postup, schéma vstupů a popis nástroje, a převést tak provozní záměr na navrhovanou schopnost, kterou mohou ostatní zkontrolovat. V tom spočívá praktický přínos tvorby nástrojů pomocí agentů: agenti mohou přispívat k provozním procesům, nejen je využívat.

Samotné vytvoření těchto prostředků by však nemělo automaticky umožnit jejich používání v produkčním prostředí. Navrhovaná schopnost musí projít nezávislým procesem nasazení, který zahrnuje jasnou odpovědnost, bezpečnostní kontroly, správu verzí a testy neplatných vstupů, příliš širokého rozsahu, částečných selhání a opakovaného spuštění. Testy vytvořené agentem mohou posloužit jako podklady, ale o tom, zda schopnost splňuje provozní požadavky, musí před jejím zařazením do schváleného katalogu rozhodnout nezávislé ověření.

Meze provádění by pak měly omezovat rozsah prostředků, síťový přístup, dobu trvání a výdaje; případné schválení musí být vázáno na konkrétní akci, cíl a verzi. Stejnou pozornost je třeba věnovat možnostem nápravy, protože některé změny lze vrátit zpět, zatímco jiné vyžadují kompenzační kroky nebo je nelze vzít zpět. Každá schopnost by měla tato omezení jasně uvádět a poskytnout obsluze ověřený způsob, jak další provádění pozastavit.

Paměť přináší další odpovědnost za řízení, protože uchované poznatky mohou ovlivňovat budoucí rozhodnutí ještě dlouho poté, co se změní jejich původní kontext. Organizace by měly stanovit, jaké informace smějí agenti ukládat, jak dlouho zůstávají dostupné a jaké hranice přístupu se na ně vztahují, a zajistit dohledatelnost jejich původu i mechanismy pro opravy. Zapamatované oprávnění se nikdy nesmí změnit v trvalé oprávnění a zastaralé provozní znalosti by neměly potichu ovlivňovat nové akce.

Rozšiřujte autonomii na základě důkazů

Smysluplný dohled závisí na důkazech, které propojují původní požadavek, příslušné zásady, schválení, verzi nástroje, výsledek provedení a následné ověření. Lidští kontroloři potřebují dostatek kontextu, aby mohli posoudit navrhovanou změnu, míru nejistoty a možnosti nápravy, aniž by je zahltily zbytečné podrobnosti. Aby byl takový dohled možný, eskalace by se měla řídit předem stanovenými podmínkami, například rozpornými pozorováními nebo neznámým stavem systému, a neměla by záviset pouze na tom, jakou míru jistoty agent sám vyjadřuje.

Vedoucí pracovníci IT by měli začít s úzce vymezeným pracovním postupem a rozšiřovat pravomoci podle toho, jaké důkazy přináší provoz. Měli by sledovat úspěšnost výsledků spolu s počtem výjimek, dobou obnovy, porušeními zásad a náročností dohledu. Tyto ukazatele pomáhají určit, zda je agent připraven převzít větší odpovědnost a kde jsou zapotřebí další ochranná opatření nebo testování.

Příležitostí je nastavit delegování tak, aby bylo opakovatelné a každá schválená schopnost určovala, co agent smí dělat, za jakých podmínek a za co ponese odpovědnost. Takový přístup může posílit odolnost a efektivitu a zároveň organizacím poskytnout obhajitelný základ pro svěřování větší autonomie. Hlavní závěr je tento: správa a řízení mají v produktu své místo, protože umožňují tento postupný přechod.

Casey Kindiger je zakladatel a generální ředitel Droma (dříve Grokstream), podnikové AI společnosti, která posouvá prediktivní a agentní operace, a sériový podnikatel, který dříve založil Resolve Systems. S více než 25 lety v podnikovém technologickém sektoru, desetiletím vedení výzkumných týmů aplikovaného AI/ML a magisterským titulem v oboru psychologie a neurovědy duševního zdraví z King’s College London, přináší jedinečný pohled na to, jak lidské poznání může usměrňovat vývoj schopnějších, důvěryhodnějších AI systémů.