Nová éra executive impersonation už nebude涉ovat pouze výkonné ředitele

Posledních několik let byla největší digitální hrozbou pro značky executive impersonation, často prováděná prostřednictvím padělaných e-mailových adres nebo falešných sociálních médií. Dnes však čelíme mnohem komplexnějšímu a přesvědčivějšímu nepříteli: AI agentům.

Růst autonomních agentů poháněných velkými jazykovými modely (LLM), navržených pro provoz s minimálním nebo žádným lidským zásahem, otevřel nové možnosti, které se podobají vzrušení z počátků webu 2 a mobilních aplikací.

Zatímco skutečně autonomní agenti ještě úplně neskočili z vize do reality, odborníci varují, že by mohli začít procházet firemními sítěmi už příští rok. Vzrušení a přijetí, které následuje, bude nevyhnutelně spadat do radaru neustále se přizpůsobujících kyberzločinců, kteří považují autonomní agenti za novou hranici pro digitální podvody. Co se tedy stane, když tito agenti budou napodobováni? Nebo ještě hůř, když budou sami napodobovat?

Stejně jako mobilní aplikace čelily dříve vlně padělaných verzí, vytvořených pro extrakci přihlašovacích údajů nebo instalaci malwaru, AI agenti jsou nyní připraveni čelit podobné vlně napodobenin. Tentokrát však bude riziko těžší odhalit a poškození potenciálně rozsáhlejší.

Od executive impersonation k agent spoofing

AI již otevřela nové cesty pro podvody a klamání, charakterizované například voice cloning scamy, které mohou rekonstruovat řečové vzorce výkonného ředitele pomocí pouze několika sekund audiozáznamu, a nedávno bylo hlášeno použití deepfake videí a hlasových napodobenin v reálném čase. Teď si představte autonomního agenta, který údajně zastupuje vaši společnost, komunikuje se zákazníky, investory nebo partnery. Tento agent by mohl být vložen na web, integrován do chatbotu nebo dokonce komunikovat e-mailem, nabízející přesvědčivé, profesionální a zcela falešné interakce.

Předchůdcem napodobenin agentů může být „jailbreaking“ modelů, při kterém útočníci manipulují LLM, často prostřednictvím prompt injekcí nebo multi-turn technik, aby produkovali škodlivé nebo jinak falešné výstupy. Ale to je teprve začátek.

Podle dat z PitchBook, AI společnosti získaly v roce 2024 131,5 miliard dolarů, což představuje více než třetinu celkových globálních rizikových kapitálových transakcí. AI závod, poháněný ambiciózními zakladateli, hladovými investory a zanícenými vládami, bude rychle zvyšovat schopnosti této vznikající technologie, jejíž legitimní použití bude pokračovat v exploataci pro zlé úmysly.

Generativní AI již otevřela a bude pokračovat v demokratizaci vytváření takových agentů. Jak platformy závodí o integraci, málo bezpečnostních zábran existuje pro ověření jejich autenticity. To otevírá dveře nové třídě napodobenin: ne pouze lidí, ale také softwaru.

Probuzení pro nadšené značky a zvědavé spotřebitele

Spotřebitelé a značky stejně teprve začínají chápat, co znamená důvěřovat agentovi. Ale důvěra je klíčovým prvkem každé digitální interakce a když je porušena, důsledky mohou být devastující.

Jak bylo pozorováno u deepfake videí a voice cloning, falešní agenti mohou být použiti k:

• Vyslovení plateb nebo citlivých údajů pod rouškou zavedené nebo jinak důvěryhodné značky
• Přesměrování uživatelů na malware infikované weby prostřednictvím sociálních médií DM nebo placených reklam
• Podkopání důvěry zákazníků a spuštění reputačního poškození ve velkém měřítku

Podle nedávné zprávy Federal Trade Commission, napodobovací podvody byly zodpovědné za téměř 3 miliardy dolarů hlášených ztrát pouze ve Spojených státech – číslo, které se očekává, že bude prudce stoupat, jakmile se AI napodobování stane ještě více bezproblémovým a škálovatelným.

Šíření falešných agentů: reklamy, vyhledávání a sociální média

Co je obzvláště nebezpečné, je způsob, jakým budou napodobené agenti distribuováni. Nemusí mít své vlastní weby nebo domény, aby získali trakci. Špatní aktéři mohou a dělají použití placených vyhledávacích výsledků a sociálních médií k propagaci škodlivých klonů důvěryhodných značek, výkonných ředitelů nebo produktů. Sponzorovaný odkaz na Google nebo propagovaný příspěvek na Instagram, například, stačí k přesměrování nezvědavých uživatelů na falešného agenta nebo podpůrný portál.

Tento ekosystémový risk, kde špatní aktéři využívají legitimní digitální majetek k usnadnění podvodů, vyžaduje novou školu myšlení pro kybernetickou bezpečnost. Není již dostatečné zabezpečit vaši síť, váš cloud nebo zabezpečit přihlašovací údaje vašich zaměstnanců. Bezpečnostní perimetr vaší značky nyní zahrnuje každou reklamní síť, vyhledávací platformu a třetí strany, se kterými vaši zákazníci interagují.

Vzít akci předtím, než bude příliš pozdě

Vstupujeme do světa, kde je hranice mezi lidmi a agenty stále více rozmazána. Hrozbou již není pouze napodobování lidí, které je nyní na exponenciálním růstu díky dostupným AI nástrojům, ale napodobování digitálních osobností.

Jak tedy mohou podniky připravit?

1. Mapujte digitální přítomnost vaší značky: Znáte, kde vaši zákazníci interagují s vaší společností a vašimi agenty – zda na vašem webu, prostřednictvím API nebo prostřednictvím třetích stran – a aktivně monitorujte tyto vstupní body pro pokusy o napodobování.
2. Monitorujte vznikající agenty ekosystémů: Jak otevřené agenty tržiště a platformy (jako Hugging Face Spaces) získávají popularitu, buďte bdělí na podobné nebo forkované verze vašich nástrojů, které se objevují jinde.
3. Zkrácení času k detekci (TTD) a času k nápravě (TTR): Použijte řešení, která umožňují rychle identifikovat a odstranit napodobitele, zejména ty, kteří zneužívají placené reklamy nebo sociální platformy, je kritické pro omezení poškození.
4. Vyškolte své uživatele: Budujte transparentnost do vašich agentů. Vaši uživatelé by měli rozumět, kde a jak by měli očekávat interakci s vašimi nástroji a jak identifikovat červené vlajky.
5. Stanovte autentizační protokoly pro agenty: Pracujte na kryptografickém nebo metadata-založeném ověření, které může potvrdit původ a legitimitu agenta.

Řešení spočívá v zabezpečení ekosystému AI agentů, ne v jeho vyhýbání. Stejně jako jsme se naučili ověřovat domény, autentizovat e-maily a prověřovat mobilní aplikace v minulých dekádách, musíme nyní rozšířit stejnou míru bdělosti na svět AI agentů. Pokud nebudeme předstihovat napodobování agentů nyní, můžeme se brzy ocitnout v situaci, kdy budeme mluvit s agentem, který vypadá povědomě, ale pracuje pro druhou stranu.