Een Vergiftigingsaanval Tegen 3D Gaussian Splatting

Een nieuwe onderzoeks samenwerking tussen Singapore en China heeft een methode voorgesteld om de populaire synthese methode 3D Gaussian Splatting (3DGS) aan te vallen.

De nieuwe aanvalsmethode gebruikt gecraft source data om de beschikbare GPU-geheugen van het doelsysteem te overbelasten en om de training zo lang te maken dat het doelsysteem mogelijk uitgeschakeld kan worden, equivalent aan een denial-of-service (DOS) aanval. Source: https://arxiv.org/pdf/2410.08190

De aanval gebruikt gecraft trainingsafbeeldingen van zo’n complexiteit dat ze waarschijnlijk een online dienst die 3DGS-representaties laat maken, zullen overweldigen.

Deze benadering wordt gefaciliteerd door de adaptieve aard van 3DGS, die is ontworpen om zoveel representatieve details toe te voegen als de bronafbeeldingen vereisen voor een realistische render. De methode exploiteert zowel gecraft afbeeldingscomplexiteit (textures) als vorm (geometrie).

Het aanvalssysteem ‘poison-splat’ wordt geholpen door een proxy-model dat de potentie van bronafbeeldingen schat en herhaalt om complexiteit en Gaussian Splat instanties aan een model toe te voegen, totdat het host-systeem overweldigd is.

De paper beweert dat online platforms – zoals LumaAI, KIRI, Spline en Polycam – steeds vaker 3DGS-as-a-service aanbieden, en dat de nieuwe aanvalsmethode – getiteld Poison-Splat – potentieel in staat is om de 3DGS-algoritme naar ‘zijn slechtste computationele complexiteit’ op deze domeinen te duwen, en zelfs een denial-of-service (DOS) aanval te faciliteren.

Volgens de onderzoekers zou 3DGS radicaal kwetsbaarder kunnen zijn dan andere online neurale trainingsdiensten. Conventionele machine learning trainingsprocedures stellen parameters vast aan het begin en werken vervolgens binnen constante en relatief consistente niveaus van resource-gebruik en energieverbruik. Zonder de ‘elasticiteit’ die Gaussian Splat vereist voor het toewijzen van splat-instanties, zijn dergelijke diensten moeilijk te richten op dezelfde manier.

Verder merken de auteurs op dat dienstverleners zich niet kunnen verdedigen tegen een dergelijke aanval door de complexiteit of dichtheid van het model te beperken, aangezien dit de effectiviteit van de dienst onder normaal gebruik zou verlammen.

Uit het nieuwe werk blijkt dat een host-systeem dat het aantal toegewezen Gaussian Splats beperkt, niet normaal kan functioneren, aangezien de elasticiteit van deze parameters een fundamenteel kenmerk is van 3DGS.

De paper zegt:

‘[3DGS] modellen getraind onder deze defensieve beperkingen presteren veel slechter in vergelijking met die met onbeperkte training, met name in termen van detailreconstructie. Deze daling in kwaliteit treedt op omdat 3DGS niet automatisch noodzakelijke fijne details van vergiftigde textures kan onderscheiden.

‘Naïef het aantal Gaussians limiteren zal rechtstreeks leiden tot het falen van het model om de 3D-scène nauwkeurig te reconstrueren, wat in strijd is met het primaire doel van de dienstverlener. Deze studie toont aan dat meer geavanceerde defensieve strategieën nodig zijn om zowel het systeem te beschermen als de kwaliteit van 3D-reconstructies onder onze aanval te behouden.’

In tests is de aanval effectief gebleken in zowel een losse white-box scenario (waar de aanvaller kennis heeft van de resources van het slachtoffer) als in een black box-benadering (waar de aanvaller geen dergelijke kennis heeft).

De auteurs geloven dat hun werk de eerste aanvalsmethode tegen 3DGS vertegenwoordigt en waarschuwen dat het neurale synthesebeveiligingsonderzoeksveld niet voorbereid is op dit soort aanpak.

De nieuwe paper is getiteld Poison-splat: Computation Cost Attack on 3D Gaussian Splatting, en komt van vijf auteurs aan de National University of Singapore en Skywork AI in Beijing.

Methode

De auteurs hebben de mate onderzocht waarin het aantal Gaussian Splats (in wezen, driedimensionale ellipsoïde ‘pixels’) dat aan een model wordt toegewezen onder een 3DGS-pijplijn, de computationele kosten van training en rendering van het model beïnvloedt.

Het onderzoek van de auteurs toont een duidelijke correlatie tussen het aantal toegewezen Gaussians en trainingskosten, evenals GPU-geheugenbezetting.

De rechterfiguur in de bovenstaande afbeelding toont de duidelijke relatie tussen beeldscherpte en het aantal Gaussians dat is toegewezen. Hoe scherper het beeld, hoe meer details nodig zijn om het 3DGS-model te renderen.

De paper zegt*:

‘[We] vinden dat 3DGS de neiging heeft om meer Gaussians toe te wijzen aan objecten met complexere structuren en niet-gladde textures, zoals gekwantificeerd door de totale variatiescore – een metric die beeldscherpte beoordeelt. Intuïtief, hoe minder glad het oppervlak van 3D-objecten is, hoe meer Gaussians het model nodig heeft om alle details uit zijn 2D-beeldprojecties te reconstrueren.

‘Daarom kan niet-gladheid een goede beschrijver zijn van complexiteit van [Gaussians]’

Echter, naïef het scherpen van beelden zal de semantische integriteit van het 3DGS-model zo sterk beïnvloeden dat een aanval al in de vroege stadia duidelijk zou zijn.

Het effectief vergiftigen van de data vereist een meer geavanceerde aanpak. De auteurs hebben een proxy-model methode aangenomen, waarbij de aanvalsbeelden worden geoptimaliseerd in een off-line 3DGS-model dat is ontwikkeld en gecontroleerd door de aanvallers.

Links zien we een grafiek die de totale kosten van computationele tijd en GPU-geheugenbezetting op de MIP-NeRF360 ‘room’ dataset weergeeft, waarin native prestaties, naïeve perturbatie en proxy-gestuurde data worden getoond. Rechts zien we dat naïeve perturbatie van de bronafbeeldingen (rood) snel catastrofale resultaten oplevert, te vroeg in het proces. In tegenstelling tot de proxy-geleide bronafbeeldingen, die een meer sluipende en cumulatieve aanvalsmethode behouden.

De auteurs zeggen:

‘Het is duidelijk dat het proxy-model kan worden geleid vanuit de niet-gladheid van 2D-afbeeldingen om zeer complexe 3D-vormen te ontwikkelen.

‘Gevolglijk kan de vergiftigde data die wordt geproduceerd uit de projectie van dit over-densificeerde proxy-model meer vergiftigde data produceren, waardoor meer Gaussians worden gegenereerd om deze vergiftigde data te passen.’

Het aanvalssysteem is beperkt door een samenwerking van Google /Facebook uit 2013 met verschillende universiteiten, zodat de perturbaties binnen de grenzen blijven die zijn ontworpen om schade toe te brengen zonder de reconstructie van een 3DGS-afbeelding te beïnvloeden, wat een vroeg signaal van een inbraak zou zijn.

Gegevens en Tests

De onderzoekers hebben poison-splat getest tegen drie datasets: NeRF-Synthetic; Mip-NeRF360; en Tanks-and-Temples.

Zij gebruikten de officiële implementatie van 3DGS als slachtofferomgeving. Voor een black box-benadering gebruikten zij het Scaffold-GS framework.

De tests werden uitgevoerd op een NVIDIA A800-SXM4-80G GPU.

Als metrics werden het aantal gegenereerde Gaussian splats gebruikt als primaire indicator, aangezien de bedoeling is om bronafbeeldingen te creëren die zijn ontworpen om de rationele inferentie van de brondata te maximaliseren en te overschrijden. De rendersnelheid van het slachtoffersysteem werd ook overwogen.

De resultaten van de initiële tests worden hieronder weergegeven:

Volledige resultaten van de testaanvallen over de drie datasets. De auteurs merken op dat zij aanvallen hebben gemarkeerd die meer dan 24 GB aan geheugen consumeren. Raadpleeg de bronpaper voor een betere resolutie.

Van deze resultaten merken de auteurs op:

‘[Onze] Poison-splat aanval toont de mogelijkheid om een enorme extra computationele last te creëren over meerdere datasets. Zelfs met perturbaties beperkt binnen een kleine range in [een beperkte] aanval, kan het piek-GPU-geheugen met meer dan 2 keer worden verhoogd, waardoor de totale maximale GPU-bezetting hoger is dan 24 GB.

‘In de praktijk kan dit betekenen dat onze aanval meer toewijsbare resources kan vereisen dan gangbare GPU-stations kunnen bieden, bijv. RTX 3090, RTX 4090 en A5000. Bovendien [de] aanval niet alleen het geheugenverbruik aanzienlijk verhoogt, maar ook de trainingsnelheid aanzienlijk vertraagt.

‘Deze eigenschap zou de aanval verder versterken, aangezien de overweldigende GPU-bezetting langer zal duren dan de normale trainingsduur, waardoor het totale verlies van computationele kracht hoger zal zijn.’

De voortgang van het proxy-model in zowel een beperkte als een onbeperkte aanvalsscenario.

De tests tegen Scaffold-GS (het black box-model) worden hieronder weergegeven. De auteurs merken op dat deze resultaten aantonen dat poison-splat goed generaliseert naar een dergelijke verschillende architectuur (d.w.z. naar de referentie-implementatie).

Testresultaten voor black box-aanvallen op NeRF-Synthetic en de MIP-NeRF360-datasets.

De auteurs merken op dat er zeer weinig studies zijn die zich richten op dit soort resource-gerichte aanvallen op inferentieprocessen. De paper uit 2020 Energy-Latency Attacks on Neural Networks kon data-examples identificeren die excessieve neuron-activaties veroorzaakten, waardoor energieverbruik en latentie werden verstoord.

Aanvallen tijdens de inferentie werden verder bestudeerd in latere werken zoals Slowdown attacks on adaptive multi-exit neural network inference, Towards Efficiency Backdoor Injection, en, voor taalmodellen en visuele taalmodellen (VLM’s), in NICGSlowDown, en Verbose Images.

Conclusie

De Poison-splat-aanval die door de onderzoekers is ontwikkeld, exploiteert een fundamentele kwetsbaarheid in Gaussian Splatting – het feit dat het complexiteit en dichtheid van Gaussians toewijst volgens het materiaal dat het krijgt om te trainen.

De paper uit 2024 F-3DGS: Factorized Coordinates and Representations for 3D Gaussian Splatting heeft al opgemerkt dat de willekeurige toewijzing van splats door Gaussian Splatting een inefficiënte methode is, die vaak ook redundante instanties produceert:

‘[Deze] inefficiëntie ontstaat door de inherente onmogelijkheid van 3DGS om structurele patronen of redundanties te gebruiken. We hebben waargenomen dat 3DGS een onnodig groot aantal Gaussians produceert, zelfs voor het representeren van eenvoudige geometrische structuren, zoals platte oppervlakken.

‘Bovendien vertonen nabijgelegen Gaussians soms vergelijkbare attributen, wat de mogelijkheid suggereert om de efficiëntie te verbeteren door redundante representaties te verwijderen.’

Aangezien het beperken van de generatie van Gaussians de kwaliteit van de reproductie in niet-aanvals scenario’s ondermijnt, kan het groeiende aantal online providers dat 3DGS van gebruikersgeüploade data aanbiedt, de kenmerken van de bronafbeeldingen moeten bestuderen om te bepalen welke handtekeningen een kwade bedoeling aanduiden.’

In elk geval concluderen de auteurs van het nieuwe werk dat meer geavanceerde defensieve methoden nodig zullen zijn voor online diensten in het licht van het soort aanval dat zij hebben geformuleerd.

* Mijn conversie van de inline citaten van de auteurs naar hyperlinks

Eerst gepubliceerd op vrijdag 11 oktober 2024