Eclypsium-Forschung zeigt, wie kompromittierte Hardware KI-Modelle zur Laufzeit verändern kann

Eclypsium hat gezeigt, wie eine kompromittierte Computing-Infrastruktur das Verhalten eines KI-Modells während der Inferenz verändern kann, während die Originaldateien intakt bleiben. Die am 29. Oktober unter dem Titel Vertrauenswürdige KI erfordert eine vertrauenswürdige Infrastruktur veröffentlichte Studie zeigt, warum die Prüfung der Signatur oder des Datei-Hashes eines Modells nicht belegt, dass das im Arbeitsspeicher ausgeführte Modell intakt ist.

In einer von NVIDIA unterstützten kontrollierten Demonstration veränderten Forschende mithilfe einer kompromittierten Datenverarbeitungseinheit (DPU) und einer großzügig konfigurierten Speicherisolierung die Modellgewichte zur Laufzeit. Die Antworten des Modells änderten sich, ohne dass das gespeicherte Modell oder der Inferenzdienst verändert wurden. Die Erkenntnis macht Hardware, Firmware und Gerätekonfiguration zu Bestandteilen der KI-Sicherheitsgrenze.

Ein anderer Weg, ein KI-Modell zu verändern

Bei Diskussionen über KI-Sicherheit geht es oft um bösartige Prompts, vergiftete Trainingsdaten und den unsicheren Einsatz von Tools. Diese Studie untersucht eine tiefere Ebene: die Infrastruktur, in der die Parameter eines Modells während seiner Ausführung gespeichert und übertragen werden.

Gewichte sind die numerischen Parameter, die die Antworten eines Modells bestimmen. Eine gültige Datei auf einem Datenträger kann in den Arbeitsspeicher geladen und anschließend von einer Komponente mit ausreichenden Berechtigungen verändert werden. Bei einer späteren Prüfung der Originaldatei werden weiterhin die erwarteten Bytes festgestellt, obwohl eine Antwort auf Grundlage des veränderten Laufzeitzustands generiert wurde.

In der Demonstration von Eclypsium änderte sich die analytische Ausgabe zu einer geopolitischen Frage sichtbar. Die weitergehende Sorge ist, dass Manipulationen zur Laufzeit auch andere sensible Anwendungsbereiche beeinflussen könnten, darunter generierten Code und automatisierte Entscheidungen. Diese Möglichkeiten sind von dem konkreten Verhalten zu unterscheiden, das im Labor gezeigt wurde.

Auch die Behauptung, die Manipulation sei unentdeckt geblieben, hat einen klar definierten Geltungsbereich: Die bei der Demonstration verwendeten Integritätsprüfungen des gespeicherten Modells deckten die Veränderungen im Arbeitsspeicher nicht auf. Daraus folgt nicht, dass sie für jede Art der Überwachung oder forensischen Untersuchung unsichtbar wären.

Die Bedingungen des Angriffs sind entscheidend

Für den Test kam eine NVIDIA-Grace-Hopper-Umgebung zum Einsatz. Der direkte Speicherzugriff beruhte auf einer kompromittierten Komponente mit privilegierten Rechten und Konfigurationseinstellungen, die den Zugriff auf sensible Speicherbereiche erlaubten. Die Forschenden nennen IOMMU-Passthrough und eine großzügige PCIe-Isolierung als wichtige Voraussetzungen und weisen ausdrücklich darauf hin, dass dies nicht den Standardeinstellungen von Linux entsprach.

Eine IOMMU hilft dabei zu kontrollieren, auf welche Speicherbereiche ein Peripheriegerät zugreifen kann. In der von den Forschenden getesteten, stärker isolierten Konfiguration war derselbe direkte Zugriffsweg nicht verfügbar. Das Ergebnis unterstreicht daher, wie wichtig es ist, die tatsächlichen Einstellungen in einer Bereitstellung zu überprüfen, statt davon auszugehen, dass eine installierte Sicherheitsfunktion eine Sicherheitsgrenze auch aktiv durchsetzt.

Eine DPU ist ein programmierbarer Infrastrukturprozessor, der für Netzwerk-, Speicher- und Sicherheitsdienste eingesetzt wird. Seine Fähigkeit, Daten effizient zu übertragen, ist wertvoll. Berechtigungen, die legitimen Infrastrukturaufgaben dienen, können jedoch gefährlich werden, wenn ein Angreifer die Kontrolle über die Komponente erlangt.

NVIDIAs Reaktion: Vertrauensgrenzen überprüfen

In ihrem Bericht über die Zusammenarbeit beschreibt NVIDIA den authentifizierten Systemstart, die hardwareverankerten Vertrauensmechanismen, die Isolierung, den Schutz von Firmware-Updates und die Attestierung von BlueField. Außerdem betont das Unternehmen, dass Cloud-Betreiber je nach Vertrauensmodell unterschiedliche Sicherheitskonfigurationen wählen.

Die Unternehmen betonen, dass Betreiber nachvollziehbare Informationen zu diesen Entscheidungen benötigen. Zugriffskontrollen für den Speicher, die Geräteisolierung und Verwaltungsschnittstellen müssen im Kontext des Bedrohungsmodells einer Bereitstellung bewertet werden. Allein die Verfügbarkeit einer Funktion belegt nicht, dass sie korrekt konfiguriert ist.

NVIDIA und Eclypsium weisen außerdem darauf hin, dass das Problem über einen einzelnen Anbieter hinausgeht. KI-Systeme sind auf privilegierte Host-Software, Accelerator-Firmware, Verwaltungscontroller und Datenübertragungsmechanismen angewiesen. Die konkreten Zugriffswege unterscheiden sich je nach Architektur; diese Komponenten müssen jedoch in jedem Fall berücksichtigt werden.

Warum die Sicherheit von Agenten auch von der Sicherheit der Infrastruktur abhängt

Die Tragweite nimmt zu, wenn ein Modell Tools aufrufen, auf Unternehmensdaten zugreifen oder Aktionen auslösen kann. Manipulationen an der Infrastruktur können die Annahmen untergraben, auf denen Schutzmaßnahmen auf Anwendungsebene dazu beruhen, welches Modell tatsächlich ausgeführt wird.

NVIDIAs Open Agent Safety Platform veranschaulicht den mehrschichtigen Ansatz. OpenShell sorgt für die Laufzeitsteuerung, während NVIDIA Sentry auf BlueField in einer hardwareisolierten Sicherheitsdomäne außerhalb des Hosts und des Agenten arbeitet. Die Architektur soll das Verhalten überwachen und Richtlinien von einem separaten Kontrollpunkt aus durchsetzen.

Diese unabhängige Position bringt eine weitere Sicherheitsverantwortung mit sich: Die durchsetzende Hardware und ihr Software-Stack müssen selbst vertrauenswürdig bleiben. Wird eine Kontrolle außerhalb der Anwendung angesiedelt, verringert sich eine Abhängigkeit, während es zugleich wichtiger wird, die Komponente zu überprüfen, der diese Kontrolle anvertraut ist.

Von der Hardwareinventarisierung zur kontinuierlichen Sicherheitsgewährleistung

Eclypsium bezeichnet die Diskrepanz zwischen der Absicherung von Modellen und der Integrität der Infrastruktur als „Absicherungslücke bei der KI-Infrastruktur“. Seine Plattform zur Absicherung der Infrastruktur erfasst Komponenten, bewertet Firmware und Konfiguration, vergleicht den Gerätezustand mit freigegebenen Referenzwerten und überwacht Änderungen. Das Unternehmen versteht diese Funktionen als Ergänzung zu bestehenden Schutzmaßnahmen für Anwendungen und Modelle.

Für Betreiber beginnt die praktische Arbeit damit, DPUs, GPUs, Management-Controller und deren Firmware als jeweils eigenständig verwaltete Ressourcen zu behandeln. Für jede davon braucht es klare Zuständigkeiten, eine Versionsverfolgung, eine Schwachstellenbewertung und einen definierten Aktualisierungsprozess. Auch der Zugriff auf die Verwaltungsebene und Software von Drittanbietern auf Infrastrukturprozessoren müssen in diese Prüfung einbezogen werden.

Die Prüfungen sollten die Hardware auch bei der Bereitstellung, bei Aktualisierungen, bei der Wiederherstellung nach einem Vorfall und bei der Neuzuweisung begleiten. Ein sauberes Betriebssystemabbild belegt für sich genommen nicht, dass sich jede Komponente auf einer niedrigeren Ebene in einem freigegebenen Zustand befindet. Bei gemeinsam genutzter Infrastruktur ist dieser Lebenszyklus besonders folgenreich, da die Hardware nacheinander für verschiedene Kunden eingesetzt werden kann.

Das laufende System prüfen, nicht nur das Artefakt

Modellsignaturen sind weiterhin nützlich: Sie beantworten eine wichtige Frage zum geladenen Artefakt. Secure Boot, Attestierung, Laufzeitisolierung und kontinuierliche Überwachung beantworten andere Fragen zum System, das dieses Artefakt ausführt. Keine dieser Maßnahmen sollte als Ersatz für alle anderen betrachtet werden.

Die Bedeutung der Forschung von Eclypsium liegt darin, dass ein Modell eine Integritätsprüfung bestehen kann, während sich ein anderer Teil seiner Ausführungskette verändert hat. Für Organisationen, die KI in folgenreichen Arbeitsabläufen einsetzen, muss die Überprüfung der Infrastruktur während des gesamten Betriebs die Modellbewertung ergänzen.