Když se AI stane zlou: zmírnění vnitřních hrozeb ve věku autonomních agentů

 Rychlý vzestup agentů AI vytváří nové výzvy pro bezpečnostní a IT týmy. Na prahu tohoto posunu směrem k více automatizovaným pracovním postupům pro úkoly zajišťující kontinuitu podnikání, nedávné testy zjistily, že agenti AI mohou vykazovat nebezpečné nebo klamavé chování za určitých podmínek, vytvářející novou vnitřní hrozbu pro podniky napříč odvětvími.

Představuje kritickou potřebu, aby organizace řádně monitorovaly agenty AI, kteří přistupují k citlivým údajům a jednají bez lidského dohledu, což potenciálně zavádí nové třídy rizik, které jsou rychlejší, méně předvídatelné a obtížněji přisouditelné. Realita těchto rizik je dvojí. Na jedné straně musí bezpečnostní týmy být připraveni na špatné aktéry, kteří využívají agenty AI k posílení sociálních inženýrských útoků zaměřených na jejich zaměstnance. Na druhé straně musí být připraveni na interní agenty AI schválené společností, které mohou vykazovat chování, které vytváří zcela novou sadu bezpečnostních rizik a zranitelností.

Jak interní agenti AI mohou vést k vnitřním hrozbám

Agenti AI představují dvě klíčové interní bezpečnostní rizika uvnitř podnikových sítí. První, že fungují autonomně bez etických hranic nebo vestavěné zodpovědnosti, kterou lidské pracovníci přirozeně dodržují. Pracují na základě odvozených cílů a ne explicitních instrukcí, jejich efektivita a vytrvalost mohou překročit hranice a umožnit jim jednat bez schválení. Bez nezbytných kontrol a vyvážení mohou být snadno vytvořeny a přehlédnuty expozice.

Tito agenti také mohou mít přístup k velkým objemům dat, ale postrádají schopnost rozlišovat mezi privilegovanými a rutinními informacemi. Protože i jednoduché úkoly, jako je analýza datových sad, mohou způsobit únik nebo expozici dat externím stranám. Tato výzva se stává ještě složitější, když je AI škálována napříč rozdílnými systémy a pracovními postupy s odlišnými pravidly a protokoly pro zpracování dat. Agenti fungující napříč regiony často porušují lokálně specifické pravidla pro zpracování dat kvůli nekonzistentnímu vymáhání politik, a tím budují bezpečnostní rizika. Realita je, že pouze 30% amerických podniků aktivně mapuje, které agenti AI mají přístup ke kritickým systémům, vytvářející významnou bezpečnostní slepou skvrnu.

Jak externí agenti AI mohou vést k vnitřním hrozbám

Jedním z nejčastějších způsobů vstupu pro hackery jsou phishing a sociální inženýrství. Špatní aktéři a kybernetické gangy využívají agenty AI k vylepšení těchto útoků a provedení sofistikovaných deepfake a impersonačních incidentů. Agenti AI mohou být použiti k vytvoření phishing a sociálních inženýrských útoků, které vypadají více reálně a uvěřitelně pro neškolené oko. 60% porušení v roce 2024 zahrnovalo lidský prvek, a téměř čtvrtina z nich pocházela ze sociálního inženýrství. Tento počet bude pouze růst, protože používání agentů AI bude pokračovat v posilování těchto metod vstupu.

Agenti AI mohou být vycvičeni k prohledávání rozsáhlých objemů sociálních médií a osobních dat napříč platformami a kanály, aby poslali cílené, personalizované komunikace. Zprávy, které napodobují tón a hlas odesílatelů, jsou více pravděpodobně úspěšné a obtížněji rozlišitelné od skutečných médií. Agenti AI mohou se naučit přizpůsobovat své kampaně, aby zlepšili efektivitu, a měnit směr, když útok nefunguje, nebo napodobovat útok, který fungoval.

Když se jedná o deepfaky, agenti AI mohou generovat tyto napodobení s výjimečnou rychlostí, vedoucí k masové manipulaci. Špatní aktéři také využívají agenty AI k komunikaci s reálnými videohovory s minimální latencí a zlepšují věrohodnost. Mohou reagovat na reakci cíle v reálném čase a měnit svůj přístup, pokud je to nutné. Tyto vylepšené útoky mohou zvýšit riziko vnitřních hrozeb ze strany nevědomých zaměstnanců, kteří mohou být oklamaní a donuceni k expozici citlivých dat, autorizaci transakcí nebo sdílení přihlašovacích údajů s hrozbami.

Role bezpečnostních týmů při řešení výzev agentic AI

Bezpečnostní týmy musí podniknout specifické kroky, aby omezily slepé skvrny vytvořené agenti AI. IT oddělení by mělo především omezit přístup agentů AI k citlivým údajům prostřednictvím správy dat a kontrol v reálném čase. Kroky k dosažení tohoto zahrnují klasifikaci identit agentů AI v systémech IAM a monitorování jejich činnosti se stejnou přísností jako u privilegovaných účtů. Část viditelnosti jde dále monitorováním síťové aktivity pro již implementované behaviorální baselines přiřazené agentům AI. S viditelností mohou IT týmy monitorovat pohyb privilegovaných přístupů a anomálií, a tím nejen podporovat preventivní úsilí, ale také urychlit úsilí o omezení a zotavení v případě rogue agenta.

Navíc, identifikací nových vzorců a taktik používaných v útocích agentů AI, mohou organizace aktualizovat své obranné strategie a vycvičit své bezpečnostní systémy, aby rozpoznaly a zmařily podobné hrozby v budoucnu.

Zůstávání před vnitřními hrozbami zavedenými agenti AI

Realita je, že agenti AI zavádějí novou vnitřní hrozbu kvůli jejich autonomii a rostoucímu přístupu ke citlivým systémům. Kromě toho budou aktéři hrozeb pokračovat ve využívání agentů AI, aby více efektivně využili lidské zranitelnosti prostřednictvím deepfake, phishing a sociálního inženýrství.

Jakmile tato technologie pokročí, podniky potřebují zlepšit svou viditelnost do přístupu a chování agentů AI, než je začlení do svých pracovních postupů. To zahrnuje investice do proaktivního, 360stupňového, reálného monitorování spolu s pracovní silou agentů AI. Zatímco agenti AI mohou řešit kritické podnikové úzká místa a výzvy, vyžadují proaktivní přístup, aby omezily budoucí vnitřní hrozby.