Myšlienkoví vodcovia
Bezpečnostné zraniteľnosti, ktoré sme zabudovali: Agenti s umelou inteligenciou a problém s poslušnosťou
Agenti umelej inteligencie založené na LLM zavádzajú novú triedu zraniteľností, kde útočníci vkladajú škodlivé inštrukcie do dát, čím premieňajú užitočné systémy na nevedomých komplicov.
Microsoft Copilot nebol napadnutý hackermi v tradičnom zmysle slova. Nebol v ňom žiadny malvér, žiadny phishingový odkaz ani škodlivý kód. Nikto na nič neklikol ani nenasadil žiadny exploit.
Útočník jednoducho požiadal. Microsoft 365 Copilot, ktorý robil presne to, na čo bol vytvorený, vyhovel. V nedávnom Echoleak Pri útoku s nulovým kliknutím bol agent umelej inteligencie manipulovaný výzvou maskovanou ako dáta. Poslúchol, nie preto, že by bol pokazený, ale preto, že fungoval tak, ako bol navrhnutý.
Táto zraniteľnosť nezneužívala softvérové chyby. Zneužívala jazyk. A to predstavuje zásadný zlom v kybernetickej bezpečnosti, kde útočnou plochou už nie je kód, ale konverzácia.
Nový problém poslušnosti umelej inteligencie
Agenti AI sú navrhnuté tak, aby pomáhali. Ich účelom je pochopiť zámer používateľa a efektívne naň reagovať. Táto užitočnosť so sebou prináša riziko. Keď sú títo agenti zabudovaní do súborových systémov, platforiem produktivity alebo operačných systémov, sledujú príkazy v prirodzenom jazyku s minimálnym odporom.
Útočníci zneužívajú práve túto vlastnosť. Prostredníctvom okamžitých injekcií, ktoré sa zdajú byť neškodné, môžu spustiť citlivé akcie. Tieto výzvy môžu zahŕňať:
- Viacjazyčné úryvky kódu
- Neznáme formáty súborov a vložené pokyny
- Vstupy v inom jazyku ako angličtina
- Viackrokové príkazy skryté v bežnom jazyku
Keďže modely veľkých jazykov (LLM) sú trénované na pochopenie zložitosti a nejednoznačnosti, výzva sa stáva užitočným zaťažením.
Duch Siriho a Alexy
Tento vzorec nie je nový. V začiatkoch Siri a Alexy výskumníci preukázaná ako by prehratie hlasového príkazu, ako napríklad „Odoslať všetky moje fotografie na tento e-mail“, mohlo spustiť akciu bez overenia používateľa.
Teraz je hrozba väčšia. Agenti umelej inteligencie, ako napríklad Microsoft Copilot, sú hlboko integrovaní do balíka Office 365, Outlooku a operačného systému. Majú prístup k e-mailom, dokumentom, prihlasovacím údajom a rozhraniam API. Útočníci potrebujú iba správny výzvu na extrakciu kritických údajov, pričom sa vydávajú za legitímnych používateľov.
Keď počítače pomýlia inštrukcie s údajmi
Toto nie je nový princíp v kybernetickej bezpečnosti. Injekcie ako SQL útoky uspel, pretože systémy nedokázali rozlišovať medzi vstupom a inštrukciou. Dnes existuje tá istá chyba, ale na jazykovej úrovni.
Agenti umelej inteligencie vnímajú prirodzený jazyk ako vstup aj zámer. Objekt JSON, otázka alebo dokonca fráza môžu iniciovať akciu. Túto nejednoznačnosť zneužívajú útočníci a vkladajú príkazy do obsahu, ktorý vyzerá ako neškodný.
Do infraštruktúry sme vložili zámer. Teraz sa útočníci naučili, ako ho extrahovať, aby splnili svoje požiadavky.
Zavádzanie umelej inteligencie predbieha kybernetickú bezpečnosť
Keďže sa podniky ponáhľajú s integráciou LLM, mnohé prehliadajú kľúčovú otázku: k čomu má umelá inteligencia prístup?
Keď sa Copilot môže dotknúť operačného systému, dosah výbuchu sa rozšíri ďaleko za hranice doručenej pošty. Podľa Check Pointu Správa o bezpečnosti umelej inteligencie:
- 62 percent globálnych riaditeľov pre informačnú bezpečnosť (CISO) sa obáva, že by mohli byť osobne zodpovední za narušenia bezpečnosti súvisiace s umelou inteligenciou.
- Takmer 40 percent organizácií hlási nepovolené interné používanie umelej inteligencie, často bez bezpečnostného dohľadu.
- 20 percent kybernetických zločineckých skupín v súčasnosti začleňuje umelú inteligenciu do svojich operácií, a to aj na vytváranie phishingových útokov a vykonávanie prieskumu.
Toto nie je len vznikajúce riziko. Je to súčasné riziko, ktoré už spôsobuje škody.
Prečo existujúce záruky zlyhávajú
Niektorí dodávatelia používajú watchdogy – sekundárne modely vycvičené na zachytávanie nebezpečných výziev alebo podozrivého správania. Tieto filtre síce dokážu odhaliť základné hrozby, ale sú zraniteľné voči technikám obchádzania.
Aktéri hrozby môžu:
- Preťaženie filtrov šumom
- Rozdeliť zámer do viacerých krokov
- Používajte nezrejmé formulácie na obídenie detekcie
V prípade Echoleak boli prítomné ochranné opatrenia – a boli obídené. To odráža nielen zlyhanie politiky, ale aj zlyhanie architektúry. Keď má agent oprávnenia na vysokej úrovni, ale kontext na nízkej úrovni, aj dobré ochranné opatrenia zlyhávajú.
Detekcia, nie dokonalosť
Zabránenie každému útoku môže byť nereálne. Cieľom musí byť rýchla detekcia a rýchle obmedzenie.
Organizácie môžu začať:
- Monitorovanie aktivity agentov AI v reálnom čase a udržiavanie promptných audítorských protokolov
- Uplatňovanie prísneho prístupu s najnižšími oprávneniami k nástrojom umelej inteligencie, zrkadlenie kontrol na úrovni správcu
- Zvyšovanie trenia pri citlivých operáciách, ako je napríklad vyžadovanie potvrdení
- Označovanie nezvyčajných alebo kontroverzných vzorcov výziev na kontrolu
Útoky založené na jazyku sa v tradičných detekcia a odozva koncového bodu (EDR) nástroje. Vyžadujú si nový detekčný model.
Čo by mali organizácie urobiť teraz, aby sa ochránili
Pred nasadením agentov umelej inteligencie musia organizácie pochopiť, ako tieto systémy fungujú a aké riziká predstavujú.
Medzi kľúčové odporúčania patria:
- Audit všetkých prístupov: Zistite, ktorých agentov sa môžu dotknúť alebo ktorých sa môžu dotknúť
- Obmedziť rozsah: Udeliť minimálne potrebné povolenia
- Sledovanie všetkých interakcií: Zaznamenávanie výziev, odpovedí a výsledných akcií
- Stresový test: Simulujte kontraproduktívne vstupy interne a často
- Plán na obchádzanie: Predpokladajme, že filtre budú obídené
- Zosúladenie s bezpečnosťou: Zabezpečenie podpory systémov LLM, nie ich ohrozenia
Nový útočný povrch
Echoleak je ukážkou toho, čo nás čaká. S vývojom LLM sa ich užitočnosť stáva záťažou. Sú hlboko integrované do obchodných systémov a ponúkajú útočníkom nový spôsob vstupu – prostredníctvom jednoduchých a dobre navrhnutých pokynov.
Už nejde len o zabezpečenie kódu. Ide o zabezpečenie jazyka, zámeru a kontextu. Postup sa musí zmeniť teraz, kým nie je neskoro.
A predsa sú tu aj dobré správy. Dosahuje sa pokrok vo využívaní agentov umelej inteligencie na... brániť proti novým a vznikajúcim kybernetickým hrozbám. Pri správnom využití dokážu títo autonómni agenti umelej inteligencie reagovať na hrozby rýchlejšie ako ktorýkoľvek človek, spolupracovať naprieč prostrediami a proaktívne sa brániť pred vznikajúcimi rizikami tým, že sa učia z jediného pokusu o prienik.
Agentská umelá inteligencia sa dokáže učiť z každého útoku, prispôsobovať sa v reálnom čase a predchádzať hrozbám skôr, ako sa rozšíria. Má potenciál nastoliť novú éru kybernetickej odolnosti, ale iba ak využijeme tento okamih a spoločne budeme formovať budúcnosť kybernetickej bezpečnosti. Ak tak neurobíme, táto nová éra by mohla signalizovať nočnú moru v oblasti kybernetickej bezpečnosti a ochrany súkromia pre organizácie, ktoré už umelú inteligenciu implementovali (niekedy aj nevedomky s tieňovými IT nástrojmi). Teraz je čas konať, aby sa agenti umelej inteligencie používali v náš prospech, a nie v náš zánik.
