Výzkum Eclypsium ukazuje, jak může napadený hardware za běhu měnit modely AI

Eclypsium předvedla, jak může napadená výpočetní infrastruktura změnit chování modelu AI během inferenční fáze, přestože jeho původní soubory zůstávají nedotčené. Výzkum zveřejněný 29. října v článku Důvěryhodná AI vyžaduje důvěryhodnou infrastrukturu ukazuje, proč kontrola podpisu modelu nebo kontrolního součtu souboru nezaručuje integritu modelu spuštěného v paměti.

V řízené demonstraci podpořené společností NVIDIA výzkumníci využili napadenou jednotku pro zpracování dat (DPU) spolu s nedostatečně přísnou izolací paměti k úpravě vah modelu za běhu. Odpovědi modelu se změnily, aniž byl upraven uložený model nebo inferenční služba. Zjištění řadí hardware, firmware a konfiguraci zařízení do hranic zabezpečení AI.

Jiný způsob, jak změnit model AI

Diskuse o zabezpečení AI se často zaměřují na škodlivé výzvy, otrávená trénovací data a nebezpečné používání nástrojů. Tento výzkum se zabývá nižší vrstvou: infrastrukturou, která uchovává a přesouvá parametry modelu během jeho běhu.

Váhy jsou číselné parametry, které ovlivňují odpovědi modelu. Platný soubor na disku lze načíst do paměti a následně změnit pomocí komponenty s dostatečně vysokými oprávněními. Pozdější kontrola původního souboru stále ukáže očekávané bajty, přestože odpověď byla vygenerována na základě změněného stavu za běhu.

Demonstrace společnosti Eclypsium viditelně změnila analytický výstup u geopolitické otázky. Širší obavou je, že manipulace za běhu by mohla ovlivnit i další citlivé využití, včetně generovaného kódu a automatizovaného rozhodování. Tyto možnosti je třeba odlišovat od konkrétního chování předvedeného v laboratorních podmínkách.

Tvrzení, že změny zůstaly neodhaleny, má také jasně vymezený rozsah: kontroly integrity uloženého modelu použité při demonstraci změny v paměti nezaznamenaly. To však nedokazuje, že by byly neviditelné při všech formách monitorování nebo forenzního zkoumání.

Na podmínkách útoku záleží

Test proběhl v prostředí NVIDIA Grace Hopper. Cesta přímého přístupu do paměti závisela na napadené komponentě s vysokými oprávněními a na nastavení konfigurace, které umožňovalo přístup k citlivé paměti. Výzkumníci označují průchod IOMMU a nedostatečně přísnou izolaci PCIe za důležité podmínky a výslovně upozorňují, že nešlo o výchozí nastavení Linuxu.

IOMMU pomáhá řídit, ke které paměti má periferní zařízení přístup. V konfiguraci s přísnější izolací, kterou výzkumníci testovali, nebyla stejná přímá cesta dostupná. Výsledek proto zdůrazňuje, jak důležité je ověřovat skutečné nastavení nasazení a nespoléhat na předpoklad, že nainstalovaná bezpečnostní funkce aktivně vynucuje hranici zabezpečení.

DPU je programovatelný infrastrukturní procesor používaný pro síťové služby, ukládání dat a zabezpečení. Jeho schopnost efektivně přesouvat data je užitečná, ale oprávnění potřebná pro legitimní infrastrukturní funkce se mohou stát nebezpečnými, pokud útočník získá kontrolu nad touto komponentou.

Reakce společnosti NVIDIA: ověřte hranice důvěry

Ve svém popisu spolupráce společnost NVIDIA uvádí, že BlueField nabízí ověřené spouštění, důvěru založenou na hardwaru, izolaci, ochranu aktualizací firmwaru a atestaci. Zdůrazňuje také, že provozovatelé cloudových služeb volí různé konfigurace zabezpečení podle různých modelů důvěry.

Poselství obou společností zní, že provozovatelé potřebují mít o těchto rozhodnutích k dispozici důkazy. Řízení přístupu do paměti, izolaci zařízení a rozhraní pro správu je třeba posuzovat v kontextu modelu hrozeb daného nasazení. Samotná dostupnost funkce nedokazuje, že je správně nakonfigurovaná.

NVIDIA a Eclypsium také uvádějí, že tento problém se netýká pouze jednoho dodavatele. Systémy AI závisejí na privilegovaném softwaru hostitele, firmwaru akcelerátorů, řídicích jednotkách a mechanismech přenosu dat. Konkrétní cesty se liší podle architektury, potřeba zohlednit tyto komponenty však zůstává stejná.

Proč zabezpečení agentů závisí také na zabezpečení infrastruktury

Sázky rostou, když model může používat nástroje, přistupovat k podnikovým datům nebo zahajovat akce. Zásah do infrastruktury může narušit předpoklady, na nichž stojí bezpečnostní opatření na úrovni aplikace, pokud jde o to, který model skutečně běží.

Platforma NVIDIA Open Agent Safety Platform ukazuje, jak lze uplatnit vrstvený přístup. OpenShell zajišťuje řízení za běhu, zatímco NVIDIA Sentry na BlueField funguje v bezpečnostní doméně izolované na hardwarové úrovni, mimo hostitelský systém i agenta. Architektura má za cíl monitorovat chování a vynucovat zásady z odděleného řídicího bodu.

Toto nezávislé postavení s sebou přináší další bezpečnostní odpovědnost: samotný vynucovací hardware i jeho softwarový zásobník musí zůstat důvěryhodné. Přesunutí řízení mimo aplikaci omezuje jednu závislost, zároveň však zvyšuje důležitost ověřování komponenty, které je toto řízení svěřeno.

Od inventarizace hardwaru k průběžnému ověřování zabezpečení

Eclypsium označuje nesoulad mezi zárukami zaměřenými na modely a integritou infrastruktury jako „mezeru v zajištění bezpečnosti infrastruktury AI“. Jeho platforma pro zajištění integrity infrastruktury eviduje komponenty, posuzuje firmware a konfiguraci, porovnává stav zařízení se schválenými výchozími stavy a sleduje změny. Společnost tyto funkce představuje jako doplněk stávajících ochranných opatření pro aplikace a modely.

Pro provozovatele začíná praktická práce tím, že s DPU, GPU, řídicími kontroléry a jejich firmwarem zacházejí jako se samostatně spravovanými prostředky. U každého je třeba určit vlastníka, sledovat verze, posuzovat zranitelnosti a mít zavedený postup aktualizace. Do tohoto přezkumu patří také přístup k řídicí vrstvě a software třetích stran v infrastrukturních procesorech.

Kontroly by měly hardware provázet také při nasazení, aktualizacích, obnově po incidentech a přeřazení. Čistý obraz operačního systému sám o sobě nedokládá, že jsou všechny komponenty na nižších úrovních ve schváleném stavu. Ve sdílené infrastruktuře je tento životní cyklus obzvlášť důležitý, protože hardware může postupně sloužit různým zákazníkům.

Kontrola běžícího systému, nejen samotného artefaktu

Podpisy modelů jsou nadále užitečné: odpovídají na důležitou otázku týkající se načítaného artefaktu. Bezpečné spouštění, atestace, izolace za běhu a průběžné monitorování odpovídají na jiné otázky týkající se systému, který daný artefakt spouští. Žádné z těchto opatření by nemělo být považováno za náhradu všech ostatních.

Význam výzkumu společnosti Eclypsium spočívá v tom, že model může projít jednou kontrolou integrity, zatímco se změnila jiná část jeho prováděcího řetězce. Organizace, které nasazují AI v pracovních postupech s významnými důsledky, musí při provozu ověřovat infrastrukturu souběžně s vyhodnocováním modelu.