Ein Poisoning-Angriff gegen 3D-Gaussian-Splatting

Eine neue Forschungskooperation zwischen Singapur und China hat eine Methode zur Angriff auf die beliebte Synthesemethode 3D-Gaussian-Splatting (3DGS) vorgeschlagen.

Die neue Angriffsmethode verwendet erstellte Quelldaten, um den verfügbaren GPU-Speicher des ZielSystems zu überlasten und die Trainingszeit so lang zu machen, dass das Ziel-Server-System möglicherweise außer Gefecht gesetzt wird, was einem Denial-of-Service-Angriff (DOS) entspricht. Quelle: https://arxiv.org/pdf/2410.08190

Der Angriff verwendet erstellte Trainingsbilder von solcher Komplexität, dass sie wahrscheinlich einen Online-Service überwältigen, der es Benutzern ermöglicht, 3DGS-Darstellungen zu erstellen.

Dieser Ansatz wird durch die adaptive Natur von 3DGS erleichtert, die darauf ausgelegt ist, so viel repräsentative Detail wie die Quelldaten für eine realistische Darstellung erfordern. Die Methode nutzt sowohl erstellte Bildkomplexität (Texturen) als auch Form (Geometrie) aus.

Das Angriffssystem ‘poison-splat’ wird durch ein Proxy-Modell unterstützt, das das Potenzial von Quelldaten schätzt und iteriert, um Komplexität und Gaussian-Splat-Instanzen zu einem Modell hinzuzufügen, bis das Host-System überlastet ist.

Das Papier behauptet, dass Online-Plattformen – wie LumaAI, KIRI, Spline und Polycam – immer mehr 3DGS-as-a-Service anbieten und dass die neue Angriffsmethode – mit dem Titel Poison-Splat – möglicherweise in der Lage ist, den 3DGS-Algorithmus in solchen Domänen auf “seine schlechteste Rechenkomplexität” zu bringen und sogar einen Denial-of-Service-Angriff (DOS) zu ermöglichen.

Laut den Forschern könnte 3DGS radikal anfälliger für andere Online-Neural-Trainingsdienste sein. Konventionelle maschinelle Lernalgorithmen legen Parameter am Anfang fest und operieren dann innerhalb konstanter und relativ konsistenter Ressourcennutzung und Leistungsverbrauch. Ohne die “Elastizität”, die Gaussian Splat für die Zuweisung von Splat-Instanzen erfordert, sind solche Dienste schwer zu angreifen.

Die Autoren bemerken außerdem, dass Diensteanbieter sich nicht gegen einen solchen Angriff wehren können, indem sie die Komplexität oder Dichte des Modells begrenzen, da dies die Wirksamkeit des Dienstes unter normalen Bedingungen beeinträchtigen würde.

Aus der neuen Arbeit geht hervor, dass ein Host-System, das die Anzahl der zugewiesenen Gaussian-Splats begrenzt, nicht normal funktionieren kann, da die Elastizität dieser Parameter eine grundlegende Eigenschaft von 3DGS ist.

Das Papier states:

‘[3DGS]-Modelle, die unter diesen Verteidigungsbeschränkungen trainiert werden, weisen eine viel schlechtere Leistung auf als solche mit unbeschränktem Training, insbesondere in Bezug auf Detailrekonstruktion. Dieser Rückgang der Qualität tritt auf, weil 3DGS nicht automatisch notwendige Feinheiten von vergifteten Texturen unterscheiden kann.

‘Naiv die Anzahl der Gauss’schen Funktionen zu begrenzen, würde direkt zum Scheitern des Modells führen, das 3D-Szene genau zu rekonstruieren, was das Hauptziel des Diensteanbieters verletzt. Diese Studie zeigt, dass komplexere Verteidigungsstrategien notwendig sind, um sowohl das System zu schützen als auch die Qualität der 3D-Rekonstruktionen unter unserem Angriff zu erhalten.’

In Tests hat sich der Angriff als wirksam erwiesen, sowohl in einem lockeren White-Box-Szenario (in dem der Angreifer Kenntnisse über die Ressourcen des Opfers hat) als auch in einem Black-Box-Ansatz (in dem der Angreifer keine solchen Kenntnisse hat).

Die Autoren glauben, dass ihre Arbeit die erste Angriffsmethode gegen 3DGS darstellt und warnen, dass die Forschung im Bereich der neuronalen Synthese-Sicherheit auf diese Art von Angriffen nicht vorbereitet ist.

Das neue Papier trägt den Titel Poison-splat: Computation Cost Attack on 3D Gaussian Splatting und stammt von fünf Autoren der National University of Singapore und Skywork AI in Peking.

Methode

Die Autoren haben den Umfang untersucht, in dem die Anzahl der Gaussian-Splats (im Wesentlichen dreidimensionale Ellipsoid-“Pixel”) einem Modell unter einem 3DGS-Pipeline zugewiesen wird, und wie dies die Rechenkosten des Trainings und Renderns des Modells beeinflusst.

Die Studie der Autoren zeigt eine klare Korrelation zwischen der Anzahl der zugewiesenen Gauss’schen Funktionen und den Trainingszeitkosten sowie der GPU-Speicherauslastung.

Das rechte Bild in der obigen Abbildung zeigt die klare Beziehung zwischen Bildschärfe und der Anzahl der zugewiesenen Gauss’schen Funktionen. Je schärfer das Bild, desto mehr Details sind erforderlich, um das 3DGS-Modell zu rendern.

Das Papier states*:

‘[Wir] haben festgestellt, dass 3DGS tendenziell mehr Gauss’sche Funktionen zu Objekten mit komplexeren Strukturen und nicht-glattem Texturen zuweist, wie durch den Total-Variations-Score quantifiziert wird – einer Metrik, die die Bildschärfe bewertet. Intuitiv benötigt das Modell mehr Gauss’sche Funktionen, um alle Details aus den 2D-Bildprojektionen wiederzugeben, wenn die Oberfläche des 3D-Objekts nicht glatt ist.

‘Daher kann Nicht-Glattheit ein guter Deskriptor für die Komplexität von [Gauss’schen Funktionen] sein’

Es ist jedoch nicht möglich, Bilder einfach zu schärfen, da dies die semantische Integrität des 3DGS-Modells so sehr beeinträchtigen würde, dass ein Angriff in den frühen Stadien offensichtlich wäre.

Das Vergiften der Daten erfordert einen anspruchsvolleren Ansatz. Die Autoren haben eine Proxy-Modell-Methode entwickelt, bei der die Angriffsbilder in einem Offline-3DGS-Modell optimiert werden, das von den Angreifern entwickelt und kontrolliert wird.

Links sehen wir ein Diagramm, das die Gesamtkosten der Rechenzeit und der GPU-Speicherauslastung auf dem MIP-NeRF360-‘room’-Dataset darstellt, was die native Leistung, die naive Störung und die proxy-getriebene Daten zeigt. Rechts sehen wir, dass die naive Störung der Quelldaten (rot) zu schnell katastrophalen Ergebnissen führt, noch bevor der Prozess beginnt. Im Gegensatz dazu sehen wir, dass die proxy-gesteuerten Quelldaten eine stealthierere und kumulative Angriffsmethode aufrechterhalten.

Die Autoren stellen fest:

‘Es ist offensichtlich, dass das Proxy-Modell von der Nicht-Glattheit von 2D-Bildern zu hochkomplexen 3D-Formen entwickelt werden kann.

‘Folglich können die durch die Projektion dieses über-densierten Proxy-Modells erzeugten vergifteten Daten mehr vergiftete Daten erzeugen, was zu mehr Gauss’schen Funktionen führt, um diese vergifteten Daten zu passen.’

Das Angriffssystem ist durch eine 2013er Google /Facebook-Kooperation mit verschiedenen Universitäten eingeschränkt, so dass die Störungen innerhalb von Grenzen bleiben, die es dem System ermöglichen, Schäden zu verursachen, ohne die Rekonstruktion eines 3DGS-Bildes zu beeinträchtigen, was ein frühes Signal eines Eindringens wäre.

Daten und Tests

Die Forscher haben poison-splat gegen drei Datensätze getestet: NeRF-Synthetic; Mip-NeRF360; und Tanks-and-Temples.

Sie verwendeten die offizielle Implementierung von 3DGS als Opferumgebung. Für einen Black-Box-Ansatz verwendeten sie das Scaffold-GS-Framework.

Die Tests wurden auf einem NVIDIA A800-SXM4-80G-GPU durchgeführt.

Als Metriken wurden die Anzahl der erzeugten Gauss’schen Funktionen als primärer Indikator verwendet, da die Absicht darin besteht, Quelldaten zu erstellen, die darauf ausgelegt sind, die rationale Inferenz der Quelldaten zu maximieren und zu überschreiten. Die Rendergeschwindigkeit des Ziel-Systems wurde ebenfalls berücksichtigt.

Die Ergebnisse der anfänglichen Tests sind unten dargestellt:

Vollständige Ergebnisse der Angriffstests auf die drei Datensätze. Die Autoren bemerken, dass sie Angriffe hervorgehoben haben, die erfolgreich mehr als 24 GB Speicher verbrauchen. Bitte beachten Sie die Quellpapier für eine bessere Auflösung.

Von diesen Ergebnissen bemerken die Autoren:

‘[Unser] Poison-splat-Angriff zeigt die Fähigkeit, eine enorme zusätzliche Rechenlast über mehrere Datensätze hinweg zu erzeugen. Selbst mit Störungen, die innerhalb eines kleinen Bereichs in einem [eingeschränkten] Angriff begrenzt sind, kann der Spitzen-GPU-Speicher auf über das Doppelte erhöht werden, was die Gesamtspeicherauslastung höher als 24 GB macht.

‘In der realen Welt kann dies bedeuten, dass unser Angriff möglicherweise mehr zuweisbare Ressourcen erfordert, als herkömmliche GPU-Stationen bereitstellen können, z. B. RTX 3090, RTX 4090 und A5000. Darüber hinaus [der] Angriff erhöht nicht nur den Speicherverbrauch, sondern verlangsamt auch erheblich die Trainingsgeschwindigkeit.

‘Diese Eigenschaft würde den Angriff weiter stärken, da die überwältigende GPU-Auslastung länger anhalten würde als die normale Trainingszeit, was zu einer höheren Gesamtrechenleistung führen würde.’

Der Fortschritt des Proxy-Modells in einem eingeschränkten und einem uneingeschränkten Angriffsszenario.

Die Tests gegen Scaffold-GS (das Black-Box-Modell) sind unten dargestellt. Die Autoren bemerken, dass diese Ergebnisse zeigen, dass poison-splat gut auf eine andere Architektur (d. h. die Referenzimplementierung) verallgemeinert.

Testergebnisse für Black-Box-Angriffe auf NeRF-Synthetic und die MIP-NeRF360-Datensätze.

Die Autoren bemerken, dass es sehr wenige Studien gibt, die sich auf diese Art von Ressourcen-zielorientierten Angriffen auf Inferenzprozesse konzentrieren. Das Papier von 2020 Energy-Latency Attacks on Neural Networks konnte Beispiele für Daten identifizieren, die exzessive Neuronenaktivierungen auslösen, was zu einem debilitierenden Verbrauch von Energie und einer schlechten Latenz führt.

Angriffe während der Inferenz wurden in nachfolgenden Arbeiten wie Slowdown attacks on adaptive multi-exit neural network inference, Towards Efficiency Backdoor Injection und für Sprachmodelle und Vision-Language-Modelle (VLMs) in NICGSlowDown und Verbose Images weiter untersucht.

Schlussfolgerung

Der Poison-splat-Angriff, den die Forscher entwickelt haben, nutzt eine grundlegende Verwundbarkeit in Gaussian Splatting aus – die Tatsache, dass es Komplexität und Dichte von Gauss’schen Funktionen gemäß dem Material zuweist, auf das es trainiert wird.

Das Papier von 2024 F-3DGS: Factorized Coordinates and Representations for 3D Gaussian Splatting hat bereits festgestellt, dass die willkürliche Zuweisung von Splats in Gaussian Splatting eine ineffiziente Methode ist, die häufig auch redundante Instanzen erzeugt:

‘[Diese] Ineffizienz resultiert aus der inhärenten Unfähigkeit von 3DGS, strukturelle Muster oder Redundanz zu nutzen. Wir haben beobachtet, dass 3DGS eine unnötig große Anzahl von Gauss’schen Funktionen erzeugt, sogar für die Darstellung einfacher geometrischer Strukturen, wie flacher Oberflächen.

‘Darüber hinaus zeigen benachbarte Gauss’sche Funktionen manchmal ähnliche Attribute, was auf das Potenzial hinweist, die Effizienz durch die Entfernung redundanter Darstellungen zu verbessern.’

Da die Einschränkung der Gauss’schen Funktionen die Qualität der Rekonstruktion in nicht-angreifenden Szenarien beeinträchtigt, muss die wachsende Anzahl von Online-Anbietern, die 3DGS von Benutzer-Upload-Daten anbieten, möglicherweise die Eigenschaften der Quellbilder untersuchen, um Signaturen zu bestimmen, die auf eine bösartige Absicht hinweisen.’

In jedem Fall kommen die Autoren der neuen Arbeit zu dem Schluss, dass komplexere Verteidigungsstrategien notwendig sein werden, um Online-Dienste vor der Art von Angriffen zu schützen, die sie formuliert haben.

* Meine Umwandlung der inline-Zitate der Autoren in Hyperlinks

Erstveröffentlicht am Freitag, den 11. Oktober 2024