Váš agent již není pouze chatbotem — proč jej stále zacházíte, jako by jím byl?

V raných dnech generativní umělé inteligence byl nejhorší scénář pro špatně se chovající chatbot často málo více než veřejná ostuda. Chatbot mohl halucinovat fakta, vyplivnout předpojatý text nebo vám dokonce dát jména. To bylo dostatečně špatné. Ale nyní jsme předali klíče.

Vítejte v éře agentů.

Od chatbotu k agentovi: Posun autonomie

Chatboti byli reaktivní. Zůstávali ve svých kolejích. Položte otázku, získejte odpověď. Ale AI agenti — zejména ti, kteří jsou postaveni s použitím nástrojů, spouštěním kódu a trvalou pamětí — mohou provádět úkoly s více kroky, vyvolávat API, spouštět příkazy a psát a nasazovat kód autonomně.

Jinými slovy, nereagují pouze na podněty — dělají rozhodnutí. A jak vám každý bezpečnostní odborník řekne, jednou, když systém začne provádět akce ve světě, musíte se vážně zabývat bezpečností a kontrolou.

Co jsme varovali v roce 2023

V OWASP jsme začali varovat před tímto posunem více než před dvěma lety. V první verzi OWASP Top 10 pro LLM Applications jsme vytvořili termín: Nadměrná agentura.

Nápad byl jednoduchý: když dáte modelu příliš mnoho autonomie — příliš mnoho nástrojů, příliš mnoho pravomocí, příliš málo dozoru — začne jednat více jako volný agent než jako omezený asistent. Možná naplánuje vaše schůzky. Možná smaže soubor. Možná poskytne nadměrnou, drahou cloudovou infrastrukturu.

Pokud nebudete opatrní, začne se chovat jako zmatený zástupce… nebo ještě hůř, jako spící agent, který čeká na to, aby byl využit v kybernetické bezpečnostní události. V nedávných reálných příkladech agenti z hlavních softwarových produktů, jako je Microsoft Copilot, Salesforce’s Slack product byly obě prokázány jako zranitelné vůči tomu, aby byly oklamané a využity ke zneužití svých eskalovaných oprávnění k vyčerpání citlivých dat.

A nyní se toto hypotetické scénář vypadá méně jako sci-fi a více jako váš nadcházející roadmap pro Q3.

Poznejte MCP: Agent Control Layer (nebo je to?)

Přejděme do roku 2025 a vidíme vlnu nových standardů a protokolů navržených pro zpracování tohoto výbuchu funkcionalit agentů. Nejvýraznější z nich je Anthropic’s Model Context Protocol (MCP) — mechanismus pro udržení sdílené paměti, struktur úkolu a přístupu k nástrojům napříč dlouhodobými relacemi AI agentů.

Myslete na MCP jako na lepidlo, které drží kontext agenta pohromadě napříč nástroji a časem. Je to způsob, jak říci vašemu kódovacímu asistentovi: „Toto jste dosud udělali. Toto jste povoleno udělat. Toto byste měli pamatovat.“

Je to mnohem potřebnější krok. Ale také vyvolává nové otázky.

MCP je capability enabler. Kde jsou ochranné zábrany?

Dosud se zaměřením na MCP bylo rozšiřování toho, co agenti mohou dělat — ne na jejich omezení.

Zatímco protokol pomáhá koordinovat použití nástrojů a zachovat paměť napříč úkoly agenta, dosud nezahrnuje kritické obavy, jako:

• Odolnost vůči injekci podnětů: Co se stane, když útočník manipuluje sdílenou pamětí?
• Rozsah příkazů: Může být agent oklámán, aby překročil svá oprávnění?
• Zneužití tokenů: Mohlo by být prozrazeno únikem paměťového blobu API přihlašovací údaje nebo uživatelská data?

Tyto nejsou teoretické problémy. Nedávné vyšetřování bezpečnostních dopadů odhalilo, že architektury stylu MCP jsou zranitelné vůči injekci podnětů, zneužití příkazů a dokonce i otrávení paměti, zejména když je sdílená paměť nedostatečně rozdělena nebo zašifrována.

Toto je klasický „moc bez dozoru“ problém. Postavili jsme exoskelet, ale dosud jsme nevyřešili, kde je vypínač.

Proč by si to měli CISOs vzít k srdci — nyní

Nemluvíme o budoucí technologii. Odkazujeme na nástroje, které již vaše vývojáři používají, a to je jen začátek masivního nasazení, které uvidíme v podniku.

Kódovací agenti, jako je Claude Code a Cursor, získávají reálnou trakci uvnitř podnikových pracovních postupů. Interní výzkum GitHub ukázal, že Copilot může urychlit úkoly o 55 %. Nedávno Anthropic oznámil, že 79 % použití Claude Code se zaměřilo na automatizovanou realizaci úkolu, ne jen na návrh kódu.

To je reálná produktivita. Ale je to také reálná automatizace. Tyto nejsou již copiloty. Letí stále více sami. A kokpit? Je prázdný.

Microsoft CEO Satya Nadella nedávno řekl, že AI nyní píše až 30 % kódu Microsoftu. CEO Anthropic, Dario Amodei, šel ještě dále a předpověděl, že AI vygeneruje 90 % nového kódu do šesti měsíců.

A nejde jen o vývoj softwaru. Protokol Model Context (MCP) se nyní integruje do nástrojů, které sahají za hranice kódování, zahrnující třídění e-mailů, přípravu schůzek, plánování prodeje, souhrn dokumentů a další úkoly s vysokou produktivitou pro běžné uživatele. Ačkoli mnoho z těchto případů použití je stále v raných fázích, rychle zránou. To mění sázky. Toto již není pouze diskuse pro vašeho CTO nebo VP of Engineering. Požaduje pozornost od obchodních lídrů, CIO, CISO a Chief AI Officerů. Jakmile tyto agenti začnou komunikovat s citlivými daty a spouštět meziúkolové pracovní postupy, organizace musí zajistit, aby governance, řízení rizik a strategické plánování byly integrovány do konverzace od samého začátku.

Co se musí stát dále

Je čas přestat myslet na tyto agenty jako na chatboty a začít je považovat za autonomní systémy s reálnými bezpečnostními požadavky. To znamená:

• Hranice oprávnění agenta: Stejně jako nepoužíváte každý proces jako root, agenti potřebují rozdělený přístup k nástrojům a příkazům.
• Sdílená správa paměti: Kontextová.persistence musí být audited, verzována a zašifrována — zejména když je sdílena napříč relacemi nebo týmy.
• Simulace útoků a red teaming: Injekce podnětů, otrávení paměti a zneužití příkazů musí být považovány za top-tier bezpečnostní hrozby.
• Školení zaměstnanců: Bezpečné a efektivní použití AI agentů je nová dovednost, a lidé vyžadují školení. To jim pomůže být produktivnější a pomůže udržet vaše duševní vlastnictví v bezpečí.

Jakmile vaše organizace vstoupí do inteligentních agentů, je často lepší jít, než běžet. Získejte zkušenosti s agenty, kteří mají omezený rozsah, omezená data a omezená oprávnění. Učte se, jak budovat organizační zábrany a zkušenosti, a poté se přesuňte do složitějších, autonomních a ambicióznějších případů použití.

Nemůžete se této věci vyhnout

Buďte-li Chief AI Officer nebo Chief Information Officer, můžete mít různé počáteční obavy, ale váš postup je stejný. Produktivitní zisky z kódovacích agentů a autonomních AI systémů jsou příliš přesvědčivé, aby je ignorovali. Pokud stále používáte „počkejme a uvidíme“ přístup, již jste pozadu.

Tyto nástroje nejsou již experimentální — rychle se stávají standardními. Společnosti, jako je Microsoft, generují obrovskou část kódu prostřednictvím AI a rozvíjejí své konkurenční pozice v důsledku toho. Nástroje, jako je Claude Code, šetří vývojový čas a automatizují komplexní pracovní postupy u mnoha společností po celém světě. Společnosti, které se naučí, jak bezpečně využívat tyto agenty, budou dodávat rychleji, přizpůsobovat se rychleji a obcházet své konkurenty.

Ale rychlost bez bezpečnosti je past. Integrace autonomních agentů do vašeho podniku bez řádných kontrol je recept na výpadek, únik dat a regulatorní zpětnou vazbu.

Toto je okamžik, kdy je třeba jednat — ale jednat inteligentně:

• Spuštění pilotních programů agenta, ale vyžadujte kontrolu kódu, oprávnění nástrojů a sandboxing.
• Omezení autonomie na to, co je nezbytné — ne každý agent potřebuje root přístup nebo dlouhodobou paměť.
• Audit sdílené paměti a volání nástrojů, zejména napříč dlouhodobými relacemi nebo spolupracujícími kontexty.
• Simulace útoků pomocí injekce podnětů a zneužití příkazů, aby se odhalily reálné rizika, než je učiní útočníci.
• Školení vašich vývojářů a produktových týmů na bezpečné vzorce použití, včetně kontroly rozsahu, chování při selhání a eskalačních cest.

Bezpečnost a rychlost nejsou vzájemně se vylučující — pokud budete stavět s úmyslem.

Podniky, které považují AI agenty za základní infrastrukturu, ne za hračky nebo hrozby, budou těmi, které prosperují. Ostatní budou buď čistit nepořádek — nebo ještě hůř, budou sledovat z diváků.

Éra agenta je zde. Nejen reagujte. Připravte se. Integrujte. Zabezpečte.