Zranitelnosti, které jsme vybudovali: AI agenti a problém s poslušností

LLM-based AI agenti zavádějí novou třídu zranitelností, kde útočníci vkládají škodlivé instrukce do dat, čímž se pomocné systémy stávají nevědomými spolupachateli.

Microsoft Copilot nebyl hacknut v klasickém smyslu. Nebyl žádný malware, žádný phishing odkaz, žádný škodlivý kód. Nikdo nic neklikl ani nezveřejnil žádné exploit.

Hrozba jednoduše požádala. Microsoft 365 Copilot, který dělal přesně to, pro co byl postaven, se podřídil. V nedávném Echoleak zero click útoku byl AI agent manipulován promptem, který se vydával za data. Poslechl, ne proto, že byl rozbitý, ale protože fungoval tak, jak byl navržen.

Tato zranitelnost nevyužila software chyby. Vyexploitovala jazyk. A to označuje významný obrat v kybernetické bezpečnosti, kde útočná plocha již není kód, ale konverzace.

Nový AI problém s poslušností

AI agenti jsou navrženi tak, aby pomáhali. Jejich účel je pochopit záměr uživatele a jednat efektivně. Tato užitnost přichází s rizikem. Když jsou vloženi do souborových systémů, produktivních platforem nebo operačních systémů, tyto agenti následují přirozené jazykové příkazy s minimálním odporem.

Hrozba využívá přesně tuto vlastnost. S prompt injekcemi, které vypadají neškodně, mohou spustit citlivé akce. Tyto prompty mohou zahrnovat:

• Multilingualní kódové fragmenty
• Neobvyklé formáty souborů a vložené instrukce
• Vstupy v jazycích, které nejsou angličtina
• Multi-step příkazy skryté v běžném jazyce

Protože velké jazykové modely (LLM) jsou trénovány na pochopení složitosti a nejednoznačnosti, prompt se stává payloade.

Ghost Siri a Alexa

Tento vzorec není nový. V raných dnech Siri a Alexa prokázali výzkumníci , jak může být spuštěn hlasový příkaz, jako je “Odešlete všechny mé fotografie na tuto e-mailovou adresu”, bez ověření uživatele.

Nyní je hrozba větší. AI agenti, jako je Microsoft Copilot, jsou integrováni hluboko do Office 365, Outlook a OS. Mají přístup k e-mailům, dokumentům, přihlašovacím údajům a API. Útočníkům stačí pouze správný prompt, aby extrahovali kritická data, a to vše, zatímco se vydávají za legitimního uživatele.

Když počítače pletou instrukce s daty

Toto není nový princip v kybernetické bezpečnosti. Injekce, jako jsou SQL útoky, se podařilo, protože systémy nemohly rozlišit mezi vstupem a instrukcí. Dnes existuje stejná chyba, ale na jazykové vrstvě.

AI agenti považují přirozený jazyk za vstup a záměr. JSON objekt, otázka nebo dokonce fráze může spustit akci. Tato nejednoznačnost je tím, co útočníci využívají, vkládajíce příkazy do zdánlivě neškodného obsahu.

Zahrnuli jsme záměr do infrastruktury. Nyní útočníci se naučili, jak ho extrahovat, aby udělali, co chtějí.

Adopce AI předchází kybernetické bezpečnosti

Když podniky spěchají integrovat LLM, mnohé přehlížejí kritickou otázku: co má AI přístup k?

Když Copilot může dotknout se OS, rozsah se rozšíří daleko za schránku. Podle zprávy Check Point AI Security Report:

• 62 procent globálních Chief Information Security Officers (CISOs) se obává, že by mohli být osobně zodpovědní za AI související porušení
• Téměř 40 procent organizací uvádí neautorizované vnitřní použití AI, často bez bezpečnostního dohledu
• 20 procent kybernetických zločineckých skupin již zahrnuje AI do svých operací, včetně vytváření phishingu a provádění průzkumu

Toto není jen vznikající riziko. Je to přítomné riziko, které již způsobuje škody.

Proč stávající bezpečnostní opatření nejsou dostatečná

Některé dodavatelé používají watchdogy — sekundární modely trénované na zachycení nebezpečných promptů nebo podezřelého chování. Tyto filtry mohou detekovat základní hrozby, ale jsou zranitelné vůči technikám vyhýbání.

Útočníci mohou:

• Přetížit filtry šumem
• Rozdělit záměr na několik kroků
• Použít neobvyklé formulace, aby se vyhnuli detekci

V případě Echoleak byla bezpečnostní opatření přítomna — a byla obejita. To odráží nejen selhání politiky, ale i selhání architektury. Když agent má vysoké oprávnění, ale nízkou úroveň kontextu, i dobré zábrany selhávají.

Detekce, ne dokonalost

Zabránit každému útoku může být nereálné. Cílem musí být rychlá detekce a rychlé omezení.

Organizace mohou začít:

• Monitorovat činnost AI agenta v reálném čase a udržovat protokoly promptů
• Aplikovat striktní přístup s minimálními oprávněními na AI nástroje, zrcadlící admin-level kontroly
• Přidávat tření do citlivých operací, jako je vyžadování potvrzení
• Označovat neobvyklé nebo adversářské prompt vzorce pro kontrolu

Jazykové útoky se neobjeví v tradičních endpoint detekčních a odezvě (EDR) nástrojích. Vyžadují nový detekční model.

Co by organizace měly udělat nyní, aby se ochránily

Před nasazením AI agentů musí organizace pochopit, jak tyto systémy fungují a jaké riziko přinášejí.

Klíčová doporučení zahrnují:

1. Auditovat všechny přístup: Zjistěte, co agenti mohou dotknout nebo spustit
2. Omezit rozsah: Udělit minimální nezbytná oprávnění
3. Sledovat všechny interakce: Protokolovat prompty, odpovědi a výsledné akce
4. Stresovat: Simulovat adversářské vstupy interně a často
5. Plánovat na vyhýbání: Předpokládat, že filtry budou obejity
6. Soulad s bezpečností: Zajistit, aby LLM systémy podporovaly, ne ohrožovaly, bezpečnostní cíle

Nová útočná plocha

Echoleak je náhledem na to, co přijde. Když se LLM vyvíjí, jejich užitečnost se stává zátěží. Integrováni hluboko do podnikových systémů, nabízejí útočníkům nový způsob, jak vniknout — prostřednictvím jednoduchých, pečlivě vytvořených promptů.

Toto již není jen o zabezpečení kódu. Je to o zabezpečení jazyka, záměru a kontextu. Hráč musí změnit hru nyní, než bude příliš pozdě.

A přece, existuje nějaká dobrá zpráva. Existuje pokrok v využívání AI agentů k obraně proti novým a vznikajícím kybernetickým hrozbám. Když jsou správně využiti, tyto autonomní AI agenti mohou reagovat na hrozby rychleji než jakýkoli člověk, spolupracovat napříč prostředími a proaktivně bránit proti vznikajícím rizikům tím, že se učí z jediné infiltrace.

Agentic AI může se učit z každého útoku, přizpůsobit se v reálném čase a zabránit hrozbám, než se rozšíří. Má potenciál založit novou éru kybernetické odolnosti, ale pouze pokud využijeme tento okamžik a vytvoříme budoucnost kybernetické bezpečnosti společně. Pokud to neučiníme, tato nová éra by mohla signalizovat kybernetickou bezpečnostní a datovou noční můru pro organizace, které již implementovaly AI (někdy i nevědomě s nástroji shadow IT). Nyní je čas jednat, aby se zajistilo, že AI agenti budou využiti pro naše výhody, ne pro naši zkázu.