Když se AI stane zlou: zmírnění vnitřních hrozeb ve věku autonomních agentů

 Rychlý růst agentů AI vytváří nové výzvy pro bezpečnostní a IT týmy. Na prahu tohoto posunu směrem k více automatizovaným pracovním postupům pro úkoly zajišťující kontinuitu podnikání, nedávné testy zjistily, že agenti AI mohou vykazovat nebezpečné nebo klamavé chování za určitých podmínek, což vytváří novou vnitřní hrozbu pro podniky napříč odvětvími.

Předkládá kritickou potřebu, aby organizace řádně monitorovaly agenty AI, kteří přistupují k citlivým údajům a jednají bez lidského dohledu, což potenciálně zavádí nové třídy rizik, které jsou rychlejší, méně předvídatelné a obtížněji přisouditelné. Realita těchto rizik je dvojí. Na jedné straně musí bezpečnostní týmy být připraveni na špatné aktéry, kteří využívají agenty AI ke zesílení sociálních inženýrských útoků zaměřených na jejich zaměstnance. Na druhé straně musí být připraveni na interní agenty AI schválené společností, kteří mohou vykazovat chování, které vytváří zcela novou sadu bezpečnostních rizik a zranitelností.

Jak interní agenti AI mohou vést k vnitřním hrozbám

Agenti AI představují dvě klíčová interní bezpečnostní rizika uvnitř podnikových sítí. První, že fungují autonomně bez etických hranic nebo vestavěné zodpovědnosti, kterou lidské pracovníci přirozeně dodržují. Pracují na základě odvozených cílů a ne explicitních instrukcí, jejich efektivita a vytrvalost mohou překročit hranice a umožnit jim jednat bez schválení. Bez nezbytných kontrol a vyvážení může být snadno vytvořeno vystavení a přehlédnuto.

Tito agenti také mohou mít přístup k velkým množství údajů, ale postrádají schopnost rozlišovat mezi privilegovanými a rutinními informacemi. Proto i jednoduché úkoly, jako je analýza datových sad, mohou způsobit únik nebo vystavení údajů externím stranám. Tato výzva se stává ještě složitější, když je AI škálována napříč různými systémy a pracovními postupy s rozdílnými pravidly a protokoly pro zpracování údajů. Agenti fungující napříč regiony často porušují lokálně specifické pravidla pro zpracování údajů kvůli nekonzistentnímu vynucování politik, a tak budují bezpečnostní rizika. Realita je, že pouze 30% amerických podniků aktivně mapuje, které agenti AI mají přístup ke kritickým systémům, což vytváří velkou bezpečnostní slepou skvrnu.

Jak externí agenti AI mohou vést k vnitřním hrozbám

Jedním z nejčastějších způsobů, jakými hackeři vstupují, jsou phishingové a sociálně inženýrské útoky. Špatní aktéři a kybernetické gangy využívají agenty AI ke zesílení těchto útoků a provedení sofistikovaných deepfake a podvodných incidentů. Agenti AI mohou být použiti k vytvoření phishingových a sociálně inženýrských útoků, které se zdají více reálné a důvěryhodné nezkušenému oku. 60% porušení v roce 2024 zahrnovalo lidský prvek, a téměř čtvrtina z nich pocházela ze sociálního inženýrství. Tento počet bude pouze růst, protože použití agentů AI bude pokračovat ve zvyšování těchto metod vstupu.

Agenti AI mohou být školeni k procházení rozsáhlých množství sociálních médií a osobních údajů napříč platformami a kanály, aby posílali cílené, personalizované komunikace. Zprávy, které napodobují tón a hlas odesílatelů, jsou více pravděpodobně úspěšné a obtížněji rozlišitelné od skutečných médií. Agenti AI mohou se učit přizpůsobovat své kampaně, aby zlepšily efektivitu, a měnit směr, když útok nefunguje, nebo napodobovat útok, který fungoval.

Když jde o deepfaky, agenti AI mohou generovat tyto napodobeniny s vynikajícími rychlostmi, které vedou k masové manipulaci. Špatní aktéři také využívají agenty AI ke komunikaci s reálnými videohovory s minimálním zpožděním a zlepšují důvěryhodnost. Mohou reagovat na reakci cíle v reálném čase a měnit svůj přístup, pokud je to nutné. Tyto vylepšené útoky mohou zvýšit riziko vnitřních hrozeb z nevědomých zaměstnanců, kteří mohou být oklamáni a donuceni k vystavení citlivých údajů, autorizaci transakcí nebo sdílení přihlašovacích údajů s útočníky.

Role bezpečnostních týmů při řešení agentic AI výzev

Bezpečnostní týmy potřebují podniknout konkrétní kroky, aby omezily slepé skvrny vytvořené agenti AI. IT oddělení by mělo především omezit přístup agentů AI k citlivým údajům prostřednictvím řízení údajů a kontrol v reálném čase. Kroky k dosažení tohoto zahrnují klasifikaci identit agentů AI v systémech IAM a monitorování jejich aktivity se stejnou přísností jako účty s privilegovaným přístupem. Viditelnost jde dále monitorováním síťové aktivity pro již implementované behaviorální bazény přiřazené agentům AI. S viditelností mohou IT týmy monitorovat pohyb privilegovaného přístupu a anomálie, a nejen podporovat preventivní úsilí, ale také urychlit úsilí o omezení a zotavení v případě zlého agenta.

Navíc, identifikací nových vzorců a taktik používaných v útocích agentů AI, mohou organizace aktualizovat své obranné strategie a naučit své bezpečnostní systémy rozpoznávat a odrazovat podobné hrozby v budoucnu.

Zůstávání před vnitřními hrozbami zavedenými agenti AI

Realita je, že agenti AI zavádějí novou vnitřní rizika kvůli jejich autonomii a rostoucímu přístupu ke citlivým systémům. Kromě toho budou útočníci pokračovat ve využívání agentů AI, aby efektivněji využili lidské zranitelnosti prostřednictvím deepfake, phishingu a sociálního inženýrství.

Jakmile se tato technologie rozvine, podniky potřebují zlepšit svou viditelnost do přístupu a chování agentů AI, než je začlení do svých pracovních postupů. To zahrnuje investice do proaktivního, 360stupňového, reálného monitorování spolu s pracovní silou agentů AI. Zatímco agenti AI mohou řešit kritické podnikové úzká místa a výzvy, vyžadují proaktivní přístup, aby omezily budoucí vnitřní hrozby.