Váš agent už není jen chatbot – tak proč s ním stále zacházíte jako s jedním?

V počátcích generativní umělé inteligence byl nejhorším scénářem pro špatně se chovajícího chatbota často jen veřejné zostuzování. Chatbot může mít halucinace faktů, chrlit zaujaté texty nebo vám dokonce nadávat. To už bylo dost zlé. Ale teď jsme vám předali klíče.

Vítejte v éře agentů.

Od chatbota k agentovi: Posun autonomie

Chatboti byli reaktivní. Drželi se svých drah. Položte otázku, dostanete odpověď. Ale agenti s umělou inteligencí – zejména ti, kteří jsou postaveni na používání nástrojů, provádění kódu a perzistentní paměti – mohou provádět vícekrokové úkoly, vyvolávat API, spouštět příkazy a autonomně psát a nasazovat kód.

Jinými slovy, nereagují jen na výzvy – dělají rozhodnutí. A jak vám řekne každý bezpečnostní profesionál, jakmile systém začne ve světě podnikat kroky, měli byste se vážně zabývat bezpečností a kontrolou.

Před čím jsme varovali v roce 2023

V OWASP jsme na tento posun začali upozorňovat již před více než dvěma lety. V prvním vydání žebříčku OWASP Top 10 pro přihlášky na LLM jsme zavedli termín: Nadměrná nezávaznost (Excessive Agency).

Myšlenka byla jednoduchá: když modelu dáte příliš mnoho autonomie – příliš mnoho nástrojů, příliš mnoho pravomocí, příliš málo dohledu – začne se chovat spíše jako nezávislý agent než jako omezený asistent. Možná plánuje vaše schůzky. Možná maže soubor. Možná zajišťuje nadměrnou a drahou cloudovou infrastrukturu.

Pokud si nedáte pozor, začne se chovat jako zmatený zástupce šerifa… nebo ještě hůř, jako nepřátelský spící agent, který jen čeká na to, až bude zneužit při kybernetickém incidentu. V nedávné praxi se objevily příklady agentů z velkých softwarových produktů, jako je Microsoft Copilot, Produkt Slack od Salesforce se ukázalo, že oba jsou zranitelné vůči podvodu a zneužití jejich zvýšených oprávnění k odcizení citlivých dat.

A teď ta hypotetická situace vypadá méně jako sci-fi a spíše jako váš nadcházející plán pro třetí čtvrtletí.

Seznamte se s MCP: Vrstva řízení agentů (nebo je to?)

V roce 2025 vidíme vlnu nových standardů a protokolů určených k řešení této exploze ve funkcionalitě agentů. Nejvýznamnějším z nich je Anthropicův Model Context Protocol (MCP) – mechanismus pro udržování sdílené paměti, struktur úloh a přístupu k nástrojům napříč dlouhodobými relacemi agentů umělé inteligence.

Představte si MCP jako lepidlo, které drží kontext agenta pohromadě napříč nástroji a časem. Je to způsob, jak svému programátorskému asistentovi říct: „Tohle jsi zatím udělal. Co můžeš dělat. Co bys měl pamatovat.“

Je to velmi potřebný krok. Zároveň však vyvolává nové otázky.

MCP je nástrojem umožňujícím schopnosti. Kde jsou zábrany?

MCP se doposud zaměřovalo na rozšíření možností agentů, nikoli na jejich omezení.

I když protokol pomáhá koordinovat používání nástrojů a zachovat paměť napříč úlohami agentů, zatím neřeší kritické problémy, jako například:

• Odpor k okamžité injekciCo se stane, když útočník manipuluje se sdílenou pamětí?
• Rozsah příkazuLze agenta obelstít, aby překročil svá oprávnění?
• Zneužití tokenů: Mohl by uniklý paměťový blob odhalit přihlašovací údaje API nebo uživatelská data?

Nejedná se o teoretické problémy. Nedávné zkoumání bezpečnostních důsledků odhalilo, že architektury ve stylu MCP jsou zranitelné vůči prompt injection, zneužití příkazů a dokonce i otravování paměti, zejména pokud sdílená paměť není dostatečně vymezena nebo šifrována.

Tohle je klasický problém „energie bez dohledu“. Postavili jsme exoskelet, ale nepřišli jsme na to, kde je vypínač.

Proč by si CISO měli dávat pozor – hned teď

Nemluvíme o technologiích budoucnosti. Mluvíme o nástrojích, které vaši vývojáři již používají, a to je jen začátek masivního zavádění, kterého se v podniku dočkáme.

Programovací agenti jako Claude Code a Cursor získávají na popularitě v podnikových pracovních postupech. Interní výzkum GitHubu ukázal, že Copilot dokáže zrychlit úkoly o 55 %. Nedávno Anthropic uvedl, že 79 % používání Claude Code se soustředilo na… automatizované provádění úloh, nejen návrhy kódu.

To je skutečná produktivita. Ale je to také skutečná automatizace. Tohle už nejsou kopiloti. Stále častěji létají sami. A kokpit? Je prázdný.

Generální ředitel Microsoftu Satya Nadella nedávno uvedl, že umělá inteligence nyní píše až 30 % kódu společnosti Microsoft. Generální ředitel společnosti Anthropic, Dario Amodei, šel ještě dál a předpověděl, že umělá inteligence vygeneruje 90 % nového kódu do šesti měsíců.

A nejde jen o vývoj softwaru. Model Context Protocol (MCP) se nyní integruje do nástrojů, které jdou nad rámec kódování a zahrnují třídění e-mailů, přípravu schůzek, plánování prodeje, shrnování dokumentů a další vysoce produktivní úkoly pro běžné uživatele. I když je mnoho z těchto případů užití stále v raných fázích, rychle dozrávají. To mění situaci. Toto už není jen diskuse pro vašeho technického ředitele nebo viceprezidenta pro inženýrství. Vyžaduje to pozornost vedoucích obchodních jednotek, CIO, CISO a ředitelů pro umělou inteligenci. Vzhledem k tomu, že tito agenti začínají komunikovat s citlivými daty a provádět mezifunkční pracovní postupy, musí organizace zajistit, aby správa a řízení rizik byly nedílnou součástí konverzace od samého začátku.

Co se musí stát dál

Je načase přestat vnímat tyto agenty jako chatboty a začít je vnímat jako autonomní systémy se skutečnými bezpečnostními požadavky. To znamená:

• Hranice oprávnění agentaStejně jako nespouštíte všechny procesy jako root, agenti potřebují omezený přístup k nástrojům a příkazům.
• Správa sdílené pamětiPerzistence kontextu musí být auditována, verzována a šifrována – zejména pokud je sdílena mezi relacemi nebo týmy.
• Simulace útoků a red teamingOkamžité vkládání kódu, otrava paměti a zneužití příkazů musí být považovány za bezpečnostní hrozby nejvyšší úrovně.
• Školení zaměstnancůBezpečné a efektivní používání agentů umělé inteligence je nová dovednost a lidé potřebují školení. To jim pomůže být produktivnější a pomůže lépe chránit vaše duševní vlastnictví.

Jakmile se vaše organizace ponoří do světa inteligentních agentů, je často lepší nejdříve odejít, než utéct. Získejte zkušenosti s agenty, kteří mají omezený rozsah, omezená data a omezená oprávnění. Učte se při budování organizačních zábran a získávání zkušeností a poté se vrhněte na složitější, autonomnější a ambicióznější případy užití.

Tohle si nemůžeš nechat ujít

Ať už jste ředitelem pro umělou inteligenci nebo ředitelem pro informační technologie, můžete mít jiné počáteční obavy, ale vaše cesta vpřed je stejná. Zvýšení produktivity plynoucí z kódovacích agentů a autonomních systémů umělé inteligence je příliš přesvědčivé na to, aby se dalo ignorovat. Pokud stále volíte přístup „vyčkáme a uvidíme“, už teď zaostáváte.

Tyto nástroje už nejsou jen experimentální – rychle se stávají klíčovými. Společnosti jako Microsoft generují obrovskou část kódu pomocí umělé inteligence a v důsledku toho posilují své konkurenční pozice. Nástroje jako Claude Code zkracují dobu vývoje a automatizují složité pracovní postupy v mnoha společnostech po celém světě. Společnosti, které se naučí, jak tyto nástroje bezpečně využívat, budou dodávat produkty rychleji, rychleji se adaptovat a předběhnou své konkurenty.

Rychlost bez bezpečnosti je ale past. Integrace autonomních agentů do vaší firmy bez řádné kontroly je receptem na výpadky, úniky dat a regulační zásahy.

Toto je chvíle jednat – ale jednejte chytře:

• Spuštění pilotních programů agentů, ale vyžadují kontroly kódu, oprávnění nástrojů a sandboxing.
• Omezte autonomii na to, co je nezbytné—ne každý agent potřebuje root přístup nebo dlouhodobou paměť.
• Audit sdílené paměti a volání nástrojů, zejména v rámci dlouhodobých relací nebo kontextů spolupráce.
• Simulujte útoky používání okamžité injekce a zneužití příkazů k odhalení reálných rizik dříve, než je útočníci dokážou odhalit.
• Školte své vývojáře a produktové týmy o bezpečných vzorcích používání, včetně kontroly rozsahu, záložního chování a eskalačních cest.

Bezpečnost a rychlost se vzájemně nevylučují – pokud stavíte s úmyslem.

Firmy, které budou s agenty umělé inteligence zacházet jako s klíčovou infrastrukturou, nikoli jako s hračkami nebo hračkami proměněnými v hrozby, budou ty, které budou prosperovat. Zbytek bude muset uklízet nepořádek – nebo, co je ještě horší, jen přihlížet.

Éra agentů je tady. Nejen reagujte. Připravte se. Integrujte se. Zabezpečte se.