Zranitelnosti, které jsme vytvořili: Agenti AI a problém s poslušností

Agenti AI založení na LLM zavádějí novou třídu zranitelností, kde útočníci vkládají škodlivé instrukce do dat, čímž se užitečné systémy stávají nevědomými komplici.

Microsoft Copilot nebyl hacknut v klasickém smyslu. Nebyl žádný malware, žádný phishingový odkaz, žádný škodlivý kód. Nikdo nic neklikl ani ne nasadil žádný exploit.

Útočník prostě požádal. Microsoft 365 Copilot, dělaje přesně to, co byl navržen, aby dělal, vyhověl. V nedávném Echoleak zero click útoku byl agent AI manipulován promptem, který se vydával za data. Poslechl, ne proto, že byl rozbitý, ale protože fungoval tak, jak byl navržen.

Tato zranitelnost nevyužila software bugs. Vyexploitovala jazyk. A to označuje velkou změnu v kybernetické bezpečnosti, kde útočný povrch již není kód, ale konverzace.

Nový problém s poslušností AI

Agenti AI jsou navrženi, aby pomáhali. Jejich účel je pochopit uživatelskou intenci a jednat efektivně. Tato užitnost přichází s rizikem. Když jsou zabudováni do souborových systémů, produktivních platforem nebo operačních systémů, tyto agenti následují přirozené jazykové příkazy s minimálním odporem.

Útočníci využívají přesně tuto vlastnost. S prompty, které vypadají neškodně, mohou spustit citlivé akce. Tyto prompty mohou zahrnovat:

• Multilingualní kódy
• Zaměstnané formáty souborů a zabudované instrukce
• Vstupy v nelatině
• Multi-krokové příkazy skryté v běžném jazyce

Protože velké jazykové modely (LLM) jsou trénovány, aby chápaly složitost a víceznačnost, prompt se stává payloadeem.

Ghost Siri a Alexa

Tento vzorec není nový. V raných dnech Siri a Alexa demonstrovali výzkumníci to, jak hraní hlasového příkazu, jako je “Poslat všechny mé fotografie na tuto e-mailovou adresu”, mohlo spustit akci bez ověření uživatele.

Nyní je hrozba větší. Agenti AI, jako je Microsoft Copilot, jsou integrováni hluboko do Office 365, Outlooku a operačního systému. Mají přístup k e-mailům, dokumentům, přihlašovacím údajům a API. Útočníkům stačí pouze správný prompt, aby extrahovali kritická data, a to vše, zatímco se vydávají za legitimního uživatele.

Když počítače pletou instrukce s daty

Toto není nový princip v kybernetické bezpečnosti. Injekce, jako jsou SQL útoky, se podařilo, protože systémy nemohly rozlišit mezi vstupem a instrukcí. Dnes tato stejná chyba existuje, ale na jazykové vrstvě.

Agenti AI považují přirozený jazyk za vstup i intent. JSON objekt, otázka nebo dokonce věta může iniciovat akci. Tato víceznačnost je to, co útočníci využívají, zabudovávají příkazy do toho, co vypadá jako neškodný obsah.

Zabudujeme intent do infrastruktury. Nyní útočníci se naučili, jak ho extrahovat, aby udělali, co chtějí.

Adopce AI předchází kybernetické bezpečnosti

Když podniky spěchají integrovat LLM, mnohé přehlížejí kritickou otázku: co má AI přístup k?

Když Copilot může dotknout se operačního systému, rozsah se rozšiřuje daleko za schránku. Podle zprávy Check Point o AI bezpečnosti:

• 62 procent globálních Chief Information Security Officers (CISO) se obává, že by mohli být osobně zodpovědní za AI související porušení
• Téměř 40 procent organizací hlásí neautorizované vnitřní použití AI, často bez bezpečnostního dohledu
• 20 procent kybernetických zločineckých skupin nyní zahrnuje AI do svých operací, včetně vytváření phishingu a provádění průzkumu

Toto není jen vznikající riziko. Je to již přítomné riziko, které již způsobuje škody.

Proč stávající bezpečnostní opatření nejsou dostatečná

Někteří dodavatelé používají watchdogy — sekundární modely trénované, aby chytili nebezpečné prompty nebo podezřelé chování. Tyto filtry mohou detekovat základní hrozby, ale jsou zranitelné vůči technikám vyhnutí.
Útočníci mohou:

• Přetížit filtry šumem
• Rozdělit intent na více kroků
• Použít nejasné formulace, aby se vyhnuli detekci

V případě Echoleak byla bezpečnostní opatření přítomna — a byla obejita. To odráží nejen selhání politiky, ale i selhání architektury. Když má agent vysoké oprávnění, ale nízkou kontextovou informaci, i dobrá bezpečnostní opatření selhávají.

Detekce, ne dokonalost

Zabránit každému útoku může být nereálné. Cílem musí být rychlá detekce a rychlé omezení.

Organizace mohou začít:

• Monitorovat činnost agenta AI v reálném čase a udržovat protokoly promptů
• Aplikovat přísná minimální oprávnění pro nástroje AI, zrcadlící administrativní kontroly
• Přidávat tření k citlivým operacím, jako je vyžadování potvrzení
• Označovat neobvyklé nebo adversářské prompty pro přehled

Jazykové útoky se neobjeví v tradičních nástrojích pro detekci a odpověď na koncovém bodě (EDR). Vyžadují nový model detekce.

Co by organizace měly udělat nyní, aby se chránily

Před nasazením agentů AI musí organizace pochopit, jak tyto systémy fungují a jaké riziko představují.

Klíčová doporučení zahrnují:

1. Auditovat všechny přístupy: Vědět, co agenti mohou dotknout nebo spustit
2. Omezit rozsah: Udělit minimální nezbytná oprávnění
3. Sledovat všechny interakce: Protokolovat prompty, odpovědi a výsledné akce
4. Stresovat: Simulovat adversářské vstupy interně a často
5. Plánovat na vyhnutí: Předpokládat, že filtry budou obejity
6. Soulad s bezpečností: Zajistit, aby systémy LLM podporovaly, ne ohrožovaly, bezpečnostní cíle

Nový útočný povrch

Echoleak je předzvěst toho, co přijde. Jak se LLM vyvíjí, jejich užitečnost se stává zátěží. Integrováni hluboko do podnikových systémů, nabízejí útočníkům nový způsob, jak se dostat dovnitř — prostřednictvím jednoduchých, dobře vytvořených promptů.

To již není pouze o zabezpečení kódu. Je to o zabezpečení jazyka, záměru a kontextu. Hráč musí změnit hru nyní, než bude příliš pozdě.

A přece, existuje一些 dobrá zpráva. Existuje pokrok v využívání agentů AI k obraně proti novým a vznikajícím kybernetickým hrozbám. Když jsou správně využiti, tyto autonomní agenti AI mohou reagovat na hrozby rychleji než jakýkoli člověk, spolupracovat napříč prostředími a proaktivně bránit proti vznikajícím rizikům tím, že se učí z jediné pokusné akce.

Agenti AI mohou se učit z každého útoku, přizpůsobovat se v reálném čase a předcházet hrozbám, než se rozšíří. Má potenciál založit novou éru kybernetické odolnosti, ale pouze pokud tento okamžik využijeme a vytvoříme budoucnost kybernetické bezpečnosti společně. Pokud ne, tato nová éra by mohla znamenat kybernetickou a datovou noční můru pro organizace, které již implementovaly AI (někdy i nevědomě s nástroji shadow IT). Nyní je čas jednat, aby se zajistilo, že agenti AI budou využiti pro naše výhody, ne pro naši zkázu.