Eclypsiums forskning viser, hvordan kompromitteret hardware kan ændre AI-modeller under kørsel

Eclypsium har demonstreret, hvordan kompromitteret computerinfrastruktur kan ændre en AI-models adfærd under inferens, mens dens oprindelige filer forbliver intakte. Forskningen, der blev offentliggjort den 29. oktober i Pålidelig AI kræver pålidelig infrastruktur, viser, hvorfor kontrol af en models signatur eller filhash ikke fastslår integriteten af den model, der kører i hukommelsen.

I en kontrolleret demonstration med støtte fra NVIDIA brugte forskerne en kompromitteret databehandlingsenhed, en såkaldt DPU, sammen med lempelig hukommelsesisolering til at ændre modellens vægte under kørsel. Modellens svar ændrede sig, uden at den lagrede model eller inferenstjenesten blev ændret. Resultatet placerer hardware, firmware og enhedskonfiguration inden for AI-sikkerhedsgrænsen.

En anden måde at ændre en AI-model på

Diskussioner om AI-sikkerhed fokuserer ofte på ondsindede prompts, forgiftede træningsdata og usikker brug af værktøjer. Denne forskning undersøger et lavere lag: den infrastruktur, der opbevarer og flytter en models parametre, mens den kører.

Vægte er de numeriske parametre, der former modellens svar. En gyldig fil på disken kan indlæses i hukommelsen og efterfølgende ændres af en komponent med tilstrækkelige privilegier. En senere kontrol af den oprindelige fil viser stadig de forventede bytes, selvom et svar blev genereret ved hjælp af en ændret tilstand under kørsel.

Eclypsiums demonstration ændrede synligt det analytiske output på et geopolitisk spørgsmål. Den bredere bekymring er, at manipulation under kørsel kan påvirke andre følsomme anvendelser, herunder genereret kode og automatiserede beslutninger. Disse muligheder bør skelnes fra den konkrete adfærd, der blev vist i laboratoriet.

Påstanden om, at ændringerne forblev uopdagede, har også et afgrænset anvendelsesområde: De integritetskontroller af den lagrede model, der blev brugt i demonstrationen, afslørede ikke ændringerne i hukommelsen. Det fastslår ikke, at ændringerne er usynlige for alle former for overvågning eller retsmedicinsk undersøgelse.

Angrebsbetingelserne er afgørende

Testen blev udført i et NVIDIA Grace Hopper-miljø. Stien til direkte hukommelsesadgang afhang af en kompromitteret komponent med privilegeret adgang og konfigurationsindstillinger, der tillod adgang til følsom hukommelse. Forskerne fremhæver IOMMU-passthrough og lempelig PCIe-isolering som vigtige betingelser og bemærker udtrykkeligt, at dette ikke var standardindstillingerne i Linux.

En IOMMU hjælper med at styre, hvilken hukommelse en periferienhed kan tilgå. I den stærkere isoleringskonfiguration, som forskerne testede, var den samme direkte adgangsvej ikke tilgængelig. Resultatet understreger derfor, hvor vigtigt det er at kontrollere de faktiske indstillinger i den udrullede løsning i stedet for at antage, at en installeret sikkerhedsfunktion aktivt håndhæver en grænse.

En DPU er en programmerbar infrastrukturprocessor, der bruges til netværk, lagring og sikkerhedstjenester. Dens evne til at flytte data effektivt er værdifuld, men privilegier, der understøtter legitime infrastrukturfunktioner, kan blive farlige, hvis en angriber får kontrol over komponenten.

NVIDIAs svar: Kontrollér tillidsgrænserne

I sin beretning om samarbejdet beskriver NVIDIA BlueFields godkendte opstart, hardwarebaserede tillid, isolering, beskyttelse af firmwareopdateringer og attestering. Virksomheden understreger også, at cloudoperatører vælger forskellige sikkerhedskonfigurationer til forskellige tillidsmodeller.

Virksomhedernes budskab er, at operatørerne har brug for dokumentation for disse valg. Kontrol af hukommelsesadgang, enhedsisolering og administrationsgrænseflader skal vurderes i lyset af den udrullede løsnings trusselsmodel. At en funktion er tilgængelig, viser ikke i sig selv, at den er konfigureret korrekt.

NVIDIA og Eclypsium beskriver også problemet som noget, der rækker ud over en enkelt leverandør. AI-systemer afhænger af privilegeret værtssoftware, acceleratorfirmware, administrationscontrollere og mekanismer til dataoverførsel. De konkrete adgangsveje varierer fra arkitektur til arkitektur, men behovet for at tage højde for disse komponenter gør ikke.

Hvorfor agentsikkerhed også afhænger af infrastruktursikkerhed

Indsatsen bliver større, når en model kan kalde værktøjer, få adgang til virksomhedsdata eller iværksætte handlinger. Manipulation af infrastrukturen kan underminere de antagelser, som sikkerhedsforanstaltninger på applikationsniveau bygger på om, hvilken model der faktisk kører.

NVIDIAs åbne sikkerhedsplatform til agenter illustrerer den lagdelte tilgang. OpenShell sørger for styring under kørsel, mens NVIDIA Sentry på BlueField fungerer fra et hardwareisoleret sikkerhedsdomæne uden for værten og agenten. Arkitekturen skal gøre det muligt at overvåge adfærd og håndhæve politikker fra et separat kontrolpunkt.

Denne uafhængige placering medfører et yderligere sikkerhedsansvar: Håndhævelseshardwaren og dens softwarestak skal selv forblive pålidelige. Når en kontrol flyttes uden for applikationen, mindskes én afhængighed, samtidig med at det bliver endnu vigtigere at kontrollere den komponent, der er betroet kontrollen.

Fra hardwareoversigt til løbende sikkerhedsgaranti

Eclypsium betegner kløften mellem sikring med fokus på modeller og infrastrukturens integritet som »kløften i sikringen af AI-infrastruktur«. Platformen til sikring af infrastruktur kortlægger komponenter, vurderer firmware og konfiguration, sammenholder enhedernes tilstand med godkendte grundlinjer og overvåger ændringer. Virksomheden beskriver disse funktioner som et supplement til eksisterende sikkerhedsforanstaltninger for applikationer og modeller.

For operatører begynder det praktiske arbejde med at behandle DPU’er, GPU’er, administrationscontrollere og deres firmware som aktiver, der skal administreres hver for sig. Hvert aktiv kræver en ansvarlig ejer, versionssporing, sårbarhedsvurdering og en fastlagt opdateringsproces. Adgang til administrationsplanet og tredjepartssoftware på infrastrukturprocessorer hører også med i denne gennemgang.

Kontrollerne bør også følge hardwaren gennem udrulning, opdateringer, genopretning efter hændelser og omfordeling. Et rent operativsystemimage er ikke i sig selv ensbetydende med, at alle komponenter på lavere niveau er i en godkendt tilstand. Delt infrastruktur gør denne livscyklus særlig vigtig, fordi hardwaren kan betjene flere kunder efter hinanden.

Kontrol af det kørende system, ikke kun artefaktet

Modelsignaturer er fortsat nyttige: De besvarer et vigtigt spørgsmål om det artefakt, der indlæses. Sikker opstart, attestering, isolation under kørsel og løbende overvågning besvarer andre spørgsmål om det system, der afvikler artefaktet. Ingen af disse bør betragtes som en erstatning for alle de øvrige.

Betydningen af Eclypsiums forskning er, at en model kan bestå én integritetskontrol, selv om en anden del af dens eksekveringskæde er ændret. For organisationer, der anvender AI i arbejdsgange med vidtrækkende konsekvenser, skal verifikation af infrastrukturen ledsage modelevalueringen gennem hele driftsforløbet.