Onderzoek van Eclypsium laat zien hoe gecompromitteerde hardware AI-modellen tijdens de uitvoering kan veranderen

Eclypsium heeft laten zien hoe een gecompromitteerde computerinfrastructuur het gedrag van een AI-model tijdens inferentie kan veranderen, terwijl de oorspronkelijke bestanden intact blijven. Het onderzoek, gepubliceerd op 29 oktober in Betrouwbare AI vereist een betrouwbare infrastructuur, laat zien waarom het controleren van de handtekening of bestandshash van een model niet garandeert dat het model dat in het geheugen wordt uitgevoerd, intact is.

In een gecontroleerde demonstratie, ondersteund door NVIDIA, gebruikten onderzoekers een gecompromitteerde dataverwerkingseenheid, of DPU, en onvoldoende strikte geheugenisolatie om de modelgewichten tijdens de uitvoering te wijzigen. De antwoorden van het model veranderden zonder dat het opgeslagen model of de inferentiedienst werd aangepast. Deze bevinding maakt duidelijk dat hardware, firmware en apparaatconfiguratie deel uitmaken van de beveiligingsgrens van AI.

Een andere manier om een AI-model te veranderen

Discussies over AI-beveiliging richten zich vaak op kwaadwillige prompts, vergiftigde trainingsgegevens en onveilig gebruik van tools. Dit onderzoek kijkt naar een diepere laag: de infrastructuur waarin de parameters van een model worden opgeslagen en verplaatst terwijl het actief is.

Gewichten zijn de numerieke parameters die de antwoorden van een model bepalen. Een geldig bestand op schijf kan in het geheugen worden geladen en vervolgens worden gewijzigd door een component met voldoende bevoegdheden. Bij een latere controle van het oorspronkelijke bestand worden nog steeds de verwachte bytes aangetroffen, ook al is een antwoord gegenereerd op basis van een gewijzigde runtime-status.

In de demonstratie van Eclypsium veranderde de analytische uitvoer zichtbaar bij een geopolitieke vraag. De bredere zorg is dat manipulatie tijdens de uitvoering ook andere gevoelige toepassingen kan beïnvloeden, waaronder het genereren van code en geautomatiseerde besluitvorming. Die mogelijkheden moeten worden onderscheiden van het specifieke gedrag dat in het laboratorium is aangetoond.

Ook de bewering dat de manipulatie onopgemerkt bleef, heeft een duidelijk afgebakende reikwijdte: de controles op de integriteit van het opgeslagen model die in de demonstratie werden gebruikt, brachten de wijzigingen in het geheugen niet aan het licht. Dat bewijst niet dat de manipulatie onzichtbaar is voor alle vormen van monitoring of forensisch onderzoek.

De omstandigheden van de aanval zijn van belang

De test vond plaats in een NVIDIA Grace Hopper-omgeving. De route voor directe geheugentoegang was afhankelijk van een gecompromitteerde component met hoge bevoegdheden en configuratie-instellingen die toegang tot gevoelig geheugen toestonden. De onderzoekers noemen IOMMU-passthrough en soepele PCIe-isolatie als belangrijke voorwaarden en benadrukken uitdrukkelijk dat dit niet de standaardinstellingen van Linux waren.

Een IOMMU helpt bepalen tot welk geheugen een randapparaat toegang heeft. In de sterkere isolatieconfiguratie die de onderzoekers testten, was dezelfde directe toegang niet mogelijk. De resultaten onderstrepen daarom hoe belangrijk het is de daadwerkelijke instellingen van een implementatie te controleren, in plaats van ervan uit te gaan dat een geïnstalleerde beveiligingsfunctie actief een grens afdwingt.

Een DPU is een programmeerbare infrastructuurprocessor die wordt gebruikt voor netwerk-, opslag- en beveiligingsdiensten. De mogelijkheid om gegevens efficiënt te verplaatsen is waardevol, maar bevoegdheden die legitieme infrastructuurfuncties ondersteunen, kunnen gevaarlijk worden als een aanvaller de component in handen krijgt.

Reactie van NVIDIA: controleer de vertrouwensgrenzen

In zijn verslag van de samenwerking beschrijft NVIDIA de geauthenticeerde opstartprocedure, hardwareverankerd vertrouwen, isolatie, bescherming van firmware-updates en attestatie van BlueField. Het bedrijf benadrukt ook dat cloudbeheerders voor verschillende vertrouwensmodellen verschillende beveiligingsconfiguraties kiezen.

De boodschap van de bedrijven is dat beheerders bewijs nodig hebben over die keuzes. Toegangsbeperkingen voor geheugen, apparaatisolatie en beheerinterfaces moeten worden beoordeeld in het licht van het dreigingsmodel van een implementatie. Dat een functie beschikbaar is, betekent op zichzelf niet dat deze correct is geconfigureerd.

NVIDIA en Eclypsium stellen ook dat het probleem verder reikt dan één leverancier. AI-systemen zijn afhankelijk van hostsoftware met hoge bevoegdheden, firmware van accelerators, beheercontrollers en mechanismen voor gegevensoverdracht. De exacte routes verschillen per architectuur, maar met die componenten moet in alle gevallen rekening worden gehouden.

Waarom agentbeveiliging ook afhankelijk is van infrastructuurbeveiliging

De inzet wordt groter wanneer een model tools kan aanroepen, toegang heeft tot bedrijfsgegevens of acties kan starten. Infrastructuurmanipulatie kan de aannames ondermijnen die beveiligingsmaatregelen op applicatieniveau maken over welk model daadwerkelijk actief is.

NVIDIA’s open platform voor agentveiligheid laat zien hoe een gelaagde aanpak eruitziet. OpenShell biedt governance tijdens runtime, terwijl NVIDIA Sentry op BlueField vanuit een hardwarematig geïsoleerd beveiligingsdomein buiten de host en de agent opereert. De architectuur is bedoeld om gedrag te monitoren en beleid af te dwingen vanuit een afzonderlijk controlepunt.

Die onafhankelijke positie brengt een extra verantwoordelijkheid voor de beveiliging met zich mee: de handhavingshardware en de bijbehorende softwarestack moeten zelf betrouwbaar blijven. Door een controle buiten de applicatie te plaatsen, wordt één afhankelijkheid kleiner, maar wordt het des te belangrijker de component te controleren waaraan die controle is toevertrouwd.

Van hardware-inventarisatie naar doorlopende zekerheid

Eclypsium noemt de kloof tussen de borging van modellen en de integriteit van de infrastructuur de ‘kloof in de borging van AI-infrastructuur’. Het platform voor infrastructuurborging brengt componenten in kaart, beoordeelt firmware en configuraties, vergelijkt de toestand van apparaten met goedgekeurde basislijnen en houdt wijzigingen in de gaten. Het bedrijf positioneert deze mogelijkheden als aanvulling op bestaande beveiligingsmaatregelen voor applicaties en modellen.

Voor beheerders begint het praktische werk met het behandelen van DPU’s, GPU’s, beheercontrollers en hun firmware als afzonderlijk beheerde bedrijfsmiddelen. Voor elk daarvan moeten een eigenaar, versiebeheer, een kwetsbaarheidsbeoordeling en een duidelijk updateproces zijn geregeld. Ook de toegang tot de beheerlaag en software van derden op infrastructuurprocessors moeten in die beoordeling worden meegenomen.

Controles moeten de hardware ook volgen tijdens de implementatie, updates, herstel na incidenten en hernieuwde toewijzing. Een schone image van het besturingssysteem bewijst op zichzelf niet dat elk onderdeel op een lager niveau zich in een goedgekeurde toestand bevindt. Die levenscyclus is extra belangrijk bij gedeelde infrastructuur, omdat de hardware achtereenvolgens door verschillende klanten kan worden gebruikt.

Het draaiende systeem controleren, niet alleen het artefact

Modelhandtekeningen blijven nuttig: ze geven antwoord op een belangrijke vraag over het artefact dat wordt geladen. Secure boot, attestatie, runtime-isolatie en continue monitoring beantwoorden andere vragen over het systeem dat het uitvoert. Geen van deze maatregelen mag worden beschouwd als vervanging van alle andere.

Het belang van het onderzoek van Eclypsium is dat een model één integriteitscontrole kan doorstaan terwijl een ander onderdeel van de uitvoeringsketen is veranderd. Voor organisaties die AI inzetten in processen met grote gevolgen moet verificatie van de infrastructuur tijdens de volledige gebruiksperiode hand in hand gaan met de evaluatie van het model.