Když se schopnosti umělé inteligence zvyšují rychleji než bezpečnostní modely, které je mají omezit

Nástroje umělé inteligence obvykle přicházejí s známou nabídkou. Slíbí zjednodušit pracovní postupy, zvýšit produktivitu a převzít úkoly, které nikdo nemá rád. A většina času skutečně dodají přesně to. Zjednodušují přihlašování, shrnují dokumenty, automatizují pracovní postupy a dělají rutinní činnosti téměř bezúčelnými.

Ale pod touto pohodlností se skrývá jiný příběh. Tyto nástroje již nejsou omezeny na textový box. Začínají působit na operačním systému samotném. Mohou procházet soubory, psát e-maily, interagovat s aplikacemi a provádět akce, které dříve vyžadovaly pozorného člověka, který rozuměl následkům. Tento posun umístí umělou inteligenci do pozice, kterou stávající bezpečnostní předpoklady nebyly nikdy navrženy tak, aby zvládly.

Okamžik, kdy umělá inteligence získá přístup k systému

Jakmile systém umělé inteligence může číst skutečné soubory a spouštět skutečné příkazy, stává se součástí důvěryhodné výpočetní základny. To je okamžik, kdy dlouho držené předpoklady o bezpečnosti umělé inteligence začínají selhávat.

Po mnoho let byla injekce promptů považována za podivné chování modelu. Způsobovala, že chatboty produkovaly zavádějící nebo nevhodné odpovědi, ale poškození skončilo s konverzací. Nyní může stejná slabina spustit akce na úrovni hostitele, ne pouze text. Zlověstný příkaz skrytý uvnitř PDF, webové stránky nebo e-mailu již nevyvolá pouze podivnou odpověď. Vyvolá akci provedenou na stroji.

Toto není něco, co by průmysl mohl odmítnout jako teoretické. Výzkumníci z Carnegie Mellon a University of Washington opakovaně prokázali, že skryté příkazy mohou vést velké jazykové modely k provádění akcí, které uživatelé nikdy nezamýšleli. Mezitím výzkumníci studující modely vidění prokázali, jak manipulované obrázky mohou měnit vnímání modelu způsobem, který ovlivňuje následné chování.

Tyto experimenty byly dříve považovány za laboratorní kuriozity. Už to není akademické, když má umělá inteligence přístup k operačnímu systému.

Když schopnosti agenta převyšují kontrolu obránců

I společnosti, které tyto agenty budují, uznávají závažnost výzvy. Zesílily filtry pro zpracování promptů, ale otevřeně prohlašují, že kontrola reálných akcí systému umělé inteligence zůstává aktivní, nevyřešenou oblastí práce napříč průmyslem. Tato mezera mezi tím, co může agent udělat, a tím, co obránci mohou kontrolovat, zavádí novou kategorii rizika, kterou stávající bezpečnostní scénáře nemohou absorbovat.

Agenti umělé inteligence překročili hranici, na kterou průmysl není plně připraven. Jediný způsob, jak tomu porozumět, je podívat se, jak injekce promptů nyní křižuje s těmi stejnými útočnými řetězci, které obránci sledovali více než deset let.

Jak injekce promptů nyní mapuje útočné řetězce, které všichni znají

Útočníci vždy následovali předvídatelný vzorec. MITRE ATT&CK framework jasně vymezuje fáze. Počáteční přístup je následován spuštěním, persistencí, objevováním, laterálním pohybem, sběrem a exfiltrací. Techniky se liší, ale struktura je stabilní.

Co se mění, je mechanismus dodání. Místo přesvědčování uživatele, aby otevřel zlý příloha nebo klikl na nebezpečný odkaz, útočníci mohou umístit instrukce tam, kde je agent přečte. Agent se stává prostředím pro spuštění. Provádí kroky přesně podle popisu. Model neklade otázky, zda je instrukce škodlivá. Neaplikuje úsudek nebo intuici. Jednoduše jedná.

Jakmile útočník může ovlivnit agentovo uvažování, útočný řetězec se rychle sestaví. Zmanipulovaný soubor spustí spuštění, následné instrukce vytvoří persistenci, systémové vyhledávání poskytuje objevování a upload souborů umožňuje sběr a exfiltraci. Žádný malware není potřeba. Agent jednoduše provede kroky, jak jsou napsány.

Toto je ta část příběhu, se kterou bezpečnostní týmy bojují, aby se přizpůsobily. Strávili roky budováním pravidel detekce, kontrol a reakčních procesů kolem kódových spuštění. Agenti umělé inteligence zavádějí různé typy interpreterů. Spouští se prostřednictvím přirozeného jazyka, ne sestavených binárních souborů. Stávající nástroje nejsou navrženy tak, aby sledovaly nebo analyzovaly tento proces uvažování.

Bezpečnostní týmy nejsou připraveny a ani si to neuvědomují

Bezpečnostní programy stále předpokládají, že mezi obsahem a akcí sedí člověk. Lidé mohou být oklamáni, ale zastaví se, když něco feels špatně. Zaznamenají podivné fráze, zpochybní neočekávané chování a aplikují úsudek na poslední míli rozhodnutí.

Agenti umělé inteligence nic z toho nedělají; jsou konzistentní, doslovní a rychlejší než jakýkoli útočník. Jedna řádková skrytá text je dostatečná k instruování agenta, aby přečetl citlivé soubory, prošel aplikacemi nebo kontaktoval vzdálený server. To umístí obránce do pozice, ve které nikdy nebyli.

Bezpečnostní týmy mají omezenou viditelnost do toho, jak agent dospěje k rozhodnutí, a nemohou snadno určit, zda akce pocházela od uživatele nebo umělé inteligence. Tradiční detekce malwaru nenabízí žádnou pomoc, protože nic škodlivého není spuštěno ve běžném smyslu, a není žádná záruka, že agent bude klást otázky nebo odmítat škodlivé instrukce skryté v normálním obsahu.

Nástroje navržené pro lidské chování jednoduše nepřevádějí do světa, kde přirozený jazyk se stává skriptem, který řídí systémové chování.

Co jsou kompenzační kontroly, které skutečně fungují

Zpevnění modelu nestačí. Bezpečnostní týmy potřebují kontroly kolem agenta, které omezují, co může umělá inteligence dělat, i když je její uvažování ovlivněno.

Několik strategií ukazuje slib:

• Minimální přístupová práva jsou nezbytná. Agenti by měli mít přístup pouze k souborům a akcím, které jsou vyžadovány pro jejich úkoly. Omezení zbytečných oprávnění omezí dopad manipulovaných instrukcí.
• Schválení člověkem může zastavit škodlivé akce, než nastanou. Když agent pokusí o citlivou operaci, jako je spuštění příkazu nebo přístup k chráněným datům, uživatel by měl schválit nebo odmítnout žádost.
• Filtrování obsahu vytváří buffer mezi nedůvěryhodnými materiály a agentem. Prohlížení dokumentů, URL a externího textu snižuje šance, že skryté instrukce dosáhnou modelu.
• Komplexní protokolování je povinné. Každá agentem iniciovaná akce by měla být zaznamenána a přezkoumána. Tyto akce by měly být léčeny stejně jako jakákoli privilegovaná uživatelská aktivita.
• Mapování chování agenta na techniky ATT&CK pomáhá obráncům identifikovat, kde může být agent tlačen do škodlivých akcí a kde musí být umístěny zábrany. Používá stejný systém, který již strukturuje defenzivní strategii.

Tyto kompenzační kontroly nebudou eliminovat riziko. Ale budou ho obsahovat způsoby, které obrany na úrovni modelu nemohou.

Kam průmysl jde dál

Agenti umělé inteligence reprezentují významný posun v tom, jak funguje výpočetní technika. Nabízejí úžasné produktivity, ale také zavádějí kategorii provozního rizika, které se nevejde do stávajících bezpečnostních rámců. Pokyny od UK National Cyber Security Centre jsou začátek, ale většina organizací stále postrádá jasný způsob, jak řídit agenty, kteří mohou jednat na systému.

Tento okamžik feels podobně jako rané dny cloudové adopce. Technologie se pohybovala rychleji než kontroly. Organizace, které se přizpůsobily rychle, byly ty, které uznaly posun brzy a vytvořily procesy, které mu odpovídaly.

Stejně tomu bude i zde. Agenti umělé inteligence nejsou jen pomocníci. Jsou operátory se systémovým dosahem. Zajištění jejich bezpečnosti vyžaduje nové scénáře, nové zábrany a nové způsoby modelování expozice.

Průmysl nemusí se těchto nástrojů bát. Ale musí je pochopit. A musí se pohybovat rychle, protože útočníci již vidí příležitost. Otázka je, zda obránci postaví správné zábrany, zatímco ještě mají čas.