Eclypsiums forskning visar hur komprometterad hårdvara kan ändra AI-modeller under körning

Eclypsium har visat hur komprometterad datorinfrastruktur kan ändra en AI-modells beteende under inferens, samtidigt som originalfilerna förblir intakta. Forskningen, som publicerades den 29 oktober i Trovärdig AI kräver tillförlitlig infrastruktur, visar varför kontroll av en modellsignatur eller filhash inte fastställer integriteten hos modellen som körs i minnet.

I en kontrollerad demonstration med stöd från NVIDIA använde forskare en komprometterad databehandlingsenhet (DPU) tillsammans med tillåtande minnesisolering för att ändra modellvikter under körning. Modellens svar ändrades utan att den lagrade modellen eller inferenstjänsten modifierades. Resultatet innebär att hårdvara, fast programvara och enhetskonfiguration ingår i AI-säkerhetsgränsen.

Ett annat sätt att ändra en AI-modell

Diskussioner om AI-säkerhet fokuserar ofta på skadliga promptar, förgiftade träningsdata och osäker användning av verktyg. Den här forskningen undersöker ett lager längre ned: infrastrukturen som lagrar och flyttar en modells parametrar medan den körs.

Vikter är de numeriska parametrar som formar en modells svar. En giltig fil på disk kan läsas in i minnet och därefter ändras av en komponent med tillräckligt höga behörigheter. En senare kontroll av originalfilen visar fortfarande de förväntade bytena, trots att ett svar genererades med ett förändrat tillstånd under körning.

Eclypsiums demonstration ändrade tydligt analysresultatet för en geopolitisk fråga. Den bredare farhågan är att manipulation under körning skulle kunna påverka andra känsliga användningsområden, däribland genererad kod och automatiserade beslut. Dessa möjligheter bör skiljas från det specifika beteende som visades i laboratoriet.

Påståendet om att förändringen förblev oupptäckt har också en tydligt avgränsad innebörd: de kontroller av den lagrade modellens integritet som användes i demonstrationen upptäckte inte minnesändringarna. Det innebär inte att förändringarna är osynliga för alla former av övervakning eller forensisk undersökning.

Angreppsvillkoren spelar roll

Testet genomfördes i en NVIDIA Grace Hopper-miljö. Vägen för direkt minnesåtkomst var beroende av en komprometterad komponent med höga behörigheter och konfigurationsinställningar som tillät åtkomst till känsligt minne. Forskarna pekar ut IOMMU-genomkoppling och tillåtande PCIe-isolering som viktiga förutsättningar och betonar uttryckligen att detta inte var standardinställningarna i Linux.

En IOMMU hjälper till att styra vilket minne en kringutrustningsenhet kan komma åt. I den starkare isoleringskonfiguration som forskarna testade var samma direkta åtkomstväg inte tillgänglig. Resultatet understryker därför vikten av att kontrollera de faktiska inställningarna i driftsättningen i stället för att anta att en installerad säkerhetsfunktion aktivt upprätthåller en säkerhetsgräns.

En DPU är en programmerbar infrastrukturprocessor som används för nätverk, lagring och säkerhetstjänster. Dess förmåga att flytta data effektivt är värdefull, men behörigheter som behövs för legitima infrastrukturfunktioner kan bli farliga om en angripare får kontroll över komponenten.

NVIDIA:s svar: kontrollera tillitsgränserna

I sin redogörelse för samarbetet beskriver NVIDIA BlueFields autentiserade uppstart, hårdvaruförankrade tillit, isolering, skydd för uppdatering av fast programvara och attestering. Företaget betonar också att molnoperatörer väljer olika säkerhetskonfigurationer utifrån olika tillitsmodeller.

Företagens budskap är att operatörer behöver belägg för dessa val. Kontroller av minnesåtkomst, enhetsisolering och hanteringsgränssnitt måste bedömas utifrån driftsättningens hotmodell. Att en funktion finns tillgänglig visar inte i sig att den är korrekt konfigurerad.

NVIDIA och Eclypsium beskriver också problemet som något som sträcker sig bortom en enskild leverantör. AI-system är beroende av privilegierad värdprogramvara, acceleratorers fasta programvara, hanteringsstyrenheter och mekanismer för dataöverföring. De exakta åtkomstvägarna varierar mellan olika arkitekturer, men behovet av att ta hänsyn till dessa komponenter gör det inte.

Därför är agentsäkerhet också beroende av infrastruktursäkerhet

Insatserna blir större när en modell kan anropa verktyg, få åtkomst till företagsdata eller initiera åtgärder. Manipulation av infrastrukturen kan kullkasta de antaganden som skydd på applikationsnivå bygger på om vilken modell som faktiskt körs.

NVIDIA:s öppna säkerhetsplattform för agenter visar hur ett säkerhetsarbete i flera lager kan utformas. OpenShell tillhandahåller styrning under körning, medan NVIDIA Sentry på BlueField verkar från en hårdvaruisolerad säkerhetsdomän utanför värdsystemet och agenten. Arkitekturen syftar till att övervaka beteenden och upprätthålla policy från en separat kontrollpunkt.

Denna oberoende position innebär ett ytterligare säkerhetsansvar: själva verkställighetshårdvaran och dess programvarustack måste förbli tillförlitliga. Genom att flytta en kontroll utanför applikationen minskar ett beroende, samtidigt som det blir ännu viktigare att kontrollera den komponent som fått ansvaret för kontrollen.

Från hårdvaruinventering till kontinuerlig säkerhetssäkring

Eclypsium kallar glappet mellan modelfokuserad säkerhetssäkring och infrastrukturens integritet för ”gapet i säkerhetssäkringen av AI-infrastruktur”. Företagets plattform för säkerhetssäkring av infrastruktur inventerar komponenter, bedömer fast programvara och konfiguration, jämför enheternas tillstånd med godkända baslinjer och övervakar förändringar. Företaget beskriver dessa funktioner som ett komplement till befintliga skydd för applikationer och modeller.

För operatörer börjar det praktiska arbetet med att hantera DPU:er, GPU:er, hanteringsstyrenheter och deras fasta programvara som individuellt förvaltade tillgångar. För varje tillgång behövs en ansvarig ägare, versionsspårning, sårbarhetsbedömning och en tydligt definierad uppdateringsprocess. Åtkomst till hanteringsplanet och programvara från tredje part på infrastrukturprocessorer ska också ingå i granskningen.

Kontrollerna bör också följa hårdvaran genom driftsättning, uppdateringar, återställning efter incidenter och omfördelning. En ren avbildning av operativsystemet visar inte i sig att alla komponenter på lägre nivå har ett godkänt tillstånd. Delad infrastruktur gör den här livscykeln särskilt betydelsefull, eftersom hårdvaran kan användas av flera kunder efter varandra.

Granska systemet som körs, inte bara artefakten

Modellsignaturer är fortfarande användbara: de besvarar en viktig fråga om den artefakt som läses in. Säker start, attestering, isolering under körning och kontinuerlig övervakning besvarar andra frågor om systemet som kör modellen. Ingen av dessa åtgärder bör betraktas som en ersättning för alla de andra.

Det betydelsefulla med Eclypsiums forskning är att en modell kan klara en integritetskontroll samtidigt som en annan del av dess exekveringskedja har förändrats. För organisationer som inför AI i arbetsflöden där mycket står på spel behöver infrastrukturverifiering komplettera modellevalueringen under hela driften.