Myslitelé

Rok 2026 uvidí explozi agentů AI v podnicích: Jsme připraveni na bezpečnostní rizika?

mm
Přidejte Unite.AI mezi své preferované zdroje na Google

Podniky se závodně snaží adoptovat agenty AI, ale chybí jim infrastruktura, aby tak mohli učinit bezpečně. Agenti se liší od nástrojů AI: pracují autonomně, nepřetržitě přistupují k datům a jednají s rychlostí strojů bez potřeby dohledu. To vytváří zcela nová rizika, na která se musíme připravit.

Lidé již používají své vlastní agenty AI v práci – aniž by to nutně řekli svým šéfům. Jak zajistíme, aby boty OpenClaw nemazaly důležité soubory? Tři ze čtyř velkých podniků budou mít adoptovány multiagentní systémy do konce roku 2026, podle Gartneru. Jak zajistíme, aby každý z těchto agentů neotevřel dveře pro hackery, aby nás napadli novými způsoby?

Stávající bezpečnostní infrastruktura je navržena pro řešení známých, lidsky tempovaných hrozeb. To nezohledňuje zlomyslné agenty, kteří manipulují s firemním kódem bez našeho vědomí. Nebo pro špatné aktéry, kteří nás napadají prostřednictvím injekcí příkazů: skrytých instrukcí v kódu nebo příkazech, které způsobují, že AI odhalí citlivé informace nebo spustí škodlivý kód.

Pravda je, že společnosti jsou více hladové než připravené na tuto nadcházející vlnu. Pouze 29 % organizací “plně souhlasí” s tím, že mají bezpečná ochranná opatření AI, podle průzkumu Microsoftu.

Vedoucí společnosti musí udělat několik věcí.

  1. Implementovat rodinná bezpečnostní opatření pro agenty AI.
  2. Léčit agenty AI stejnými bezpečnostními opatřeními jako lidi.
  3. Zvýšit viditelnost toho, co tito agenti dělají.

Prováděním těchto kontrol může bezpečnost držet krok s rychlostí agentů a umožnit inovace místo zpomalení.

Vytvořit rodinnou bezpečnost pro agenty AI

V únoru překvapivě zveřejnila bezpečnostní výzkumnice Meta na X: její bot OpenClaw začal mazat její e-maily a ignorovat její příkazy k zastavení. Do té doby, než se jí podařilo ručně přerušit proces, byla škoda již způsobena.

To je ilustrací neuvěřitelné rychlosti, s níž mohou zlomyslné AI jednat, což činí lidsky závislé kontroly nedostatečnými. Bezpečnost musí fungovat stejně rychle – a po stejných cestách – jako agenty AI.

To vyžaduje obnovení bezpečnostní infrastruktury společnosti, nikoli pouze upgrade stávajících nástrojů. Do tohoto systémového posunu nástrojů musí být zapojeno několik oblastí.

Vyhnutí se situacím, jako je ta u výzkumnice Meta, vyžaduje nástroje AI, které detekují anomálie v reálném čase a reagují automaticky. Například dohlížející agenti mohou být nasazeni pro kontrolu úloh s vysokým dopadem provedených jinými agenty. Nástroje pro agenty hrozeb (ATI) mohou detekovat a jednat automaticky v raných fázích potenciálního útoku.

Další důležitou preventivní mechanismem je zajištění bezpečnosti samotného modelu, který je nasazen na vašich systémech. Platformy jako ProtectAI, TrojAI nebo Aim Security mohou testovat přímá nebezpečí, jako je injekce příkazů, pomocí nástrojů AI pro očištění kódu před zveřejněním.

Zajištění původu dat, ke kterým mají agenti AI přístup, je také zásadní. Nástroje jako Databricks Unity Catalog, Collibra nebo Alation umožňují týmům spravovat pohyb dat.

Můžeme také zabránit zneužití našich agentů AI zabezpečením fyzických zařízení, která používáme k jejich nasazení. Platformy jako CrowdStrike mohou pomoci zabránit zneužití pověření AI a detekovat neobvyklé chování.

Je důležité mít zásady, které řídí vaše interní operace, stejně jako výběr vašich dodavatelů. Použijte stávající průmyslové rámce pro vedení, jako je Google SAIF pro budování bezpečné architektury, AWS CAF-AI pro správu AI nebo NIST AI RMF pro dodržování předpisů. Projekt OWASP Gen AI Security – otevřený iniciativa pro zmírnění rizik AI – nabízí relevantní bezpečnostní pokyny pro podniky nasazující AI.

Léčit agenty AI stejnými omezeními jako lidi

Minulý rok používal investor agenta AI Replit pro kódování – až do devátého dne, kdy agent rozhodl smazat kód z živé produkční databáze, což ovlivnilo 1 200 společností.

Pokud agenti mohou jednat autonomně, poskytování jim nekontrolovaného přístupu k širokému spektru dokumentů, dat a API může být katastrofální. Jedním z důvodů je, že podniky jim často nepřiřazují “identitu” stejným způsobem, jako bychom to udělali u lidského uživatele, což znamená, že nemohou sledovat, monitorovat a spravovat jejich přístup k různým prostorám.

Podniky mohou jednat tak, že přiřadí identitu ne-lidským uživatelům: poskytovatelé správy identit mohou úzce spravovat, ke kterým oblastem mají agenti přístup, po jakou dobu a identifikovat jakékoliv rizikové chování. To snižuje nadměrný přístup k oblastem, které agent nepotřebuje. Omezuje také to, co může dělat v oblastech, kde operuje.

Přiřazení identit agentům také snižuje hrozbu z externích aktérů.

Když tým výzkumníků vložil škodlivé příkazy do aplikace AI, která spravuje právní smlouvy, jeden uživatel mohl získat soukromá data patřící jinému uživateli. Zjevně nebyla zajištěna bezpečná separace uživatelských dat a autorizace k těmto datům byla udělena AI, i když to nebylo relevantní pro scénář.

Stanovení hranic pro “identitu” AI znamená, že nebudou mít široký “vždy zapnutý” přístup. Například agenti budou vyžadovat autorizaci pro určité funkce nebo budou mít pouze práva pro čtení v určitých oblastech. Takto, i když je agent AI napaden nebo manipulován špatným aktérem, dopad zůstane omezený spíše než katastrofální.

Vedení by také mělo vzdělat svá týmy o hrozbě agentů, kteří operují tajně. Riziko je větší, když zaměstnanci připojují “stínové” agenty AI k pracovním prostorám bez vědomí a řádného označení a zabezpečení ze strany vedení. Kromě toho přístup s nulovým stálým oprávněním (ZSP) vytváří základnu s 0 přístupem pro každého agenta. Pokud zaměstnanec připojí neautorizovaného stínového agenta, vstoupí do prostředí, ve kterém jsou všechny dveře uzavřeny.

Mít oči na agenta

Zatímco víme, že “AI je černá skříňka” je analogie, její nasazení ve vaší firmě by mělo být velmi pozorováno a monitorováno.

Aby bylo možné vynutit přísné bezpečnostní politiky, každý agent musí být řízen: musí mít jasně zdokumentované vlastnictví, odpovědnosti a kontroly, aby jste mohli přesně sledovat jeho cesty. Měli byste mít nepřetržité telemetrie – vzdálené monitorování – sledující chování agenta a krmit vaše stávající bezpečnostní nástroje, aby mohly detekovat anomálie a provádět adaptivní hodnocení důvěryhodnosti.

Vedení musí brát tuto novou bezpečnostní hranici vážně a zajistit, aby různé týmy byly odpovědné za své použití agentů AI. Mohou vytvořit nové ukazatele souladu, jako je “Počet datových sad s ověřeným původem”, “% agentů AI s řízenou identitou” nebo “Skóre důvěryhodnosti AI”.

To je kritické pro prevenci, ale také pro to, aby byly auditovatelné – i ne-lidské identifikátory musí mít auditní stopu pro soulad organizace.

Obecně rozumíme, jak lidé jednají a jaké cesty berou v pracovních prostorách. Ale AI je úplně nová bestie. Je toho hodně, co nevíme o tom, jak funguje. Některé společnosti si vybírají krátkodobé řešení zablokování AI z kanceláří – ale to pouze oddálí problém nebo donutí zaměstnance používat stínové AI. Připravte svou bezpečnostní architekturu proaktivně pro agenty, kteří se již stávají všudypřítomnými.

Artyom Poghosyan je spoluzakladatel a CEO Britive, průkopnické cloudové platformy pro správu privilegovaných přístupů (CPAM) a odborník na bezpečnost informací s více než 20 lety zkušeností v oblasti kybernetické bezpečnosti.