Eclypsiums forskning viser hvordan kompromittert maskinvare kan endre AI-modeller under kjøring

Eclypsium har vist hvordan kompromittert datainfrastruktur kan endre atferden til en AI-modell under inferens, samtidig som de opprinnelige filene forblir intakte. Forskningen, som ble publisert 29. oktober i Pålitelig AI krever pålitelig infrastruktur, viser hvorfor det å kontrollere modellens signatur eller filhash ikke bekrefter integriteten til modellen som kjøres i minnet.

I en kontrollert demonstrasjon støttet av NVIDIA brukte forskerne en kompromittert data processing unit (DPU) sammen med en lite restriktiv minneisolering for å endre modellvektene under kjøring. Modellens svar endret seg uten at den lagrede modellen eller inferenstjenesten ble endret. Funnene viser at maskinvare, fastvare og enhetskonfigurasjon inngår i AI-sikkerhetsgrensen.

En annen måte å endre en AI-modell på

Diskusjoner om AI-sikkerhet handler ofte om ondsinnede instruksjoner, forgiftede treningsdata og utrygg bruk av verktøy. Denne forskningen undersøker et lavere lag: infrastrukturen som lagrer og flytter modellens parametere mens den kjører.

Vekter er de numeriske parameterne som former modellens svar. En gyldig fil på disk kan lastes inn i minnet og deretter endres av en komponent med tilstrekkelig høye privilegier. En senere kontroll av originalfilen viser fortsatt de forventede bytene, selv om et svar ble generert ved hjelp av en endret tilstand under kjøring.

Eclypsiums demonstrasjon viste en tydelig endring i det analytiske resultatet på et geopolitisk spørsmål. Den bredere bekymringen er at manipulering under kjøring kan påvirke annen sensitiv bruk, blant annet generert kode og automatiserte beslutninger. Disse mulighetene må skilles fra den konkrete atferden som ble vist i laboratoriet.

Påstanden om at endringen forble uoppdaget, har også et avgrenset omfang: Integritetskontrollene av den lagrede modellen som ble brukt i demonstrasjonen, avdekket ikke endringene i minnet. Det betyr ikke at endringene er usynlige for alle former for overvåking eller kriminalteknisk undersøkelse.

Angrepsbetingelsene er viktige

Testen ble utført i et NVIDIA Grace Hopper-miljø. Banen for direkte minnetilgang var avhengig av en kompromittert komponent med høye privilegier og konfigurasjonsinnstillinger som tillot tilgang til sensitivt minne. Forskerne peker på IOMMU-gjennomkobling og lite restriktiv PCIe-isolering som viktige betingelser, og understreker uttrykkelig at dette ikke var standardinnstillingene i Linux.

En IOMMU bidrar til å kontrollere hvilket minne en periferienhet kan nå. I den sterkere isolasjonskonfigurasjonen forskerne testet, var den samme direkte banen utilgjengelig. Resultatet understreker derfor hvor viktig det er å kontrollere de faktiske innstillingene i en utrulling, i stedet for å anta at en installert sikkerhetsfunksjon aktivt håndhever en grense.

En DPU er en programmerbar infrastrukturprosessor som brukes til nettverks-, lagrings- og sikkerhetstjenester. Evnen til å flytte data effektivt er verdifull, men privilegier som ivaretar legitime infrastrukturoppgaver, kan bli farlige hvis en angriper får kontroll over komponenten.

NVIDIAs svar: Kontroller tillitsgrensene

I sin redegjørelse for samarbeidet beskriver NVIDIA BlueFields autentiserte oppstart, maskinvareforankrede tillit, isolering, beskyttelse av fastvareoppdateringer og attestering. Selskapet understreker også at skyleverandører velger ulike sikkerhetskonfigurasjoner for ulike tillitsmodeller.

Budskapet fra selskapene er at operatørene trenger dokumentasjon på disse valgene. Tilgangskontroll for minne, enhetsisolering og administrasjonsgrensesnitt må vurderes ut fra trusselmodellen for utrullingen. At en funksjon er tilgjengelig, viser ikke i seg selv at den er riktig konfigurert.

NVIDIA og Eclypsium beskriver også problemstillingen som noe som gjelder mer enn én enkelt leverandør. AI-systemer er avhengige av privilegert vertsprogramvare, fastvare for akseleratorer, administrasjonskontrollere og mekanismer for dataoverføring. De konkrete banene varierer mellom arkitekturer, men behovet for å ta hensyn til disse komponentene gjør det ikke.

Hvorfor agentsikkerhet også avhenger av infrastruktursikkerhet

Risikoen øker når en modell kan bruke verktøy, få tilgang til virksomhetsdata eller sette i gang handlinger. Manipulering av infrastrukturen kan undergrave forutsetningene som sikkerhetstiltak på applikasjonsnivå bygger på, om hvilken modell som faktisk kjører.

NVIDIAs åpne plattform for agentsikkerhet illustrerer den lagdelte tilnærmingen. OpenShell sørger for styring under kjøring, mens NVIDIA Sentry på BlueField opererer fra et maskinvareisolert sikkerhetsdomene utenfor vertssystemet og agenten. Arkitekturen har som mål å overvåke atferd og håndheve retningslinjer fra et separat kontrollpunkt.

Denne uavhengige plasseringen medfører et nytt sikkerhetsansvar: Håndhevingsmaskinvaren og programvarestakken må selv forbli pålitelige. Når en kontroll flyttes utenfor applikasjonen, reduseres én avhengighet, samtidig som det blir viktigere å kontrollere komponenten som er betrodd å utføre kontrollen.

Fra maskinvareoversikt til kontinuerlig sikring

Eclypsium omtaler avstanden mellom modellsentrert sikring og integriteten til infrastrukturen som «gapet i sikringen av KI-infrastruktur». Plattformen deres for infrastruktursikring kartlegger komponenter, vurderer fastvare og konfigurasjon, sammenligner enhetstilstanden med godkjente grunnlinjer og overvåker endringer. Selskapet fremholder at disse funksjonene utfyller eksisterende sikkerhetstiltak for applikasjoner og modeller.

For operatørene begynner det praktiske arbeidet med å behandle DPU-er, GPU-er, administrasjonskontrollere og fastvaren deres som individuelt forvaltede ressurser. Hver av dem må ha en ansvarlig eier, versjonssporing, sårbarhetsvurdering og en etablert oppdateringsprosess. Tilgang til administrasjonsplanet og tredjepartsprogramvare på infrastrukturprosessorer må også inngå i denne gjennomgangen.

Kontrollene bør også følge maskinvaren gjennom utrulling, oppdateringer, gjenoppretting etter hendelser og omfordeling. Et rent operativsystembilde er ikke i seg selv noen garanti for at alle komponenter på lavere nivå er i en godkjent tilstand. Livssyklusen er særlig viktig i delt infrastruktur, fordi maskinvaren kan betjene flere kunder etter hverandre.

Kontroll av systemet i drift, ikke bare artefaktet

Modellsignaturer er fortsatt nyttige: De besvarer et viktig spørsmål om artefaktet som lastes inn. Sikker oppstart, attestering, isolering under kjøring og kontinuerlig overvåking besvarer andre spørsmål om systemet som kjører det. Ingen av disse bør betraktes som en erstatning for alle de andre.

Betydningen av Eclypsiums forskning er at en modell kan bestå én integritetskontroll samtidig som en annen del av kjøringskjeden er endret. For organisasjoner som tar i bruk KI i arbeidsflyter med store konsekvenser, må verifisering av infrastrukturen følge modellvurderingen gjennom hele driftsperioden.