Ett förgiftningssattack mot 3D Gaussian Splatting

Ett nytt forskningssamarbete mellan Singapore och Kina har föreslagit en metod för att attackera den populära syntesmetoden 3D Gaussian Splatting (3DGS).

Den nya attackmetoden använder skapade källdata för att överbelasta den tillgängliga GPU-minnet i målsystemet, och för att göra träningen så långsam att den potentiellt kan lamslå målservern, vilket motsvarar en förnekelse av tjänst (DOS)-attack. Källa: https://arxiv.org/pdf/2410.08190

Attacken använder skapade träningsbilder av sådan komplexitet att de sannolikt kommer att överväldiga en online-tjänst som tillåter användare att skapa 3DGS-representationer.

Denna approach underlättas av den adaptiva naturen hos 3DGS, som är utformad för att lägga till så mycket representativ detalj som källbilderna kräver för en realistisk rendering. Metoden utnyttjar både skapad bildkomplexitet (texturer) och form (geometri).

Attacksystemet ‘poison-splat’ hjälps av en proxy-modell som uppskattar och itererar potentialen för källbilder att lägga till komplexitet och Gaussiska Splat-exemplar till en modell, tills värdsystemet är överbelastat.

Artikeln hävdar att online-plattformar – såsom LumaAI, KIRI, Spline och Polycam – alltmer erbjuder 3DGS som en tjänst, och att den nya attackmetoden – med titeln Poison-Splat – potentiellt kan driva 3DGS-algoritmen mot ‘dess sämsta beräkningskomplexitet’ på sådana domäner, och till och med underlätta en förnekelse av tjänst (DOS)-attack.

Enligt forskarna kan 3DGS vara radikalt mer sårbar än andra online neurala tränings-tjänster. Konventionella maskinlärnings träningsförfaranden ställer in parametrar från början, och därefter opererar inom konstanta och relativt konsekventa nivåer av resursanvändning och effektåtgång. Utan den ‘elasticitet’ som Gaussiska Splat kräver för att tilldela Splat-exemplar, är sådana tjänster svåra att attackera på samma sätt.

Författarna noterar dessutom att tjänsteleverantörer inte kan försvara sig mot en sådan attack genom att begränsa komplexiteten eller densiteten hos modellen, eftersom detta skulle försvaga effektiviteten hos tjänsten under normal användning.

Från den nya studien ser vi att ett värdsystem som begränsar antalet tilldelade Gaussiska Splat inte kan fungera normalt, eftersom elasticiteten hos dessa parametrar är en grundläggande egenskap hos 3DGS.

Artikeln säger:

‘[3DGS] modeller som tränas under dessa försvarsbegränsningar presterar mycket sämre jämfört med de som har obegränsad träning, särskilt i termer av detaljrekonstruktion. Denna nedgång i kvalitet inträffar eftersom 3DGS inte kan automatiskt skilja på nödvändiga fina detaljer från förgiftade texturer.

‘Naivt tak för antalet Gaussiska Splat leder direkt till att modellen misslyckas med att rekonstruera den 3D-scenen korrekt, vilket bryter mot den primära målsättningen för tjänsteleverantören. Denna studie visar att mer sofistikerade försvarsstrategier är nödvändiga för att både skydda systemet och upprätthålla kvaliteten på 3D-rekonstruktioner under vår attack.’

I tester har attacken visat sig vara effektiv både i en löst vitlåda-scenario (där angriparen har kunskap om offrets resurser), och en svart låda-approach (där angriparen inte har någon sådan kunskap).

Författarna tror att deras arbete representerar den första attackmetoden mot 3DGS, och varnar för att den neurala syntes-säkerhetsforskningssektorn inte är förberedd för detta slag av approach.

Den nya artikeln har titeln Poison-splat: Computation Cost Attack on 3D Gaussian Splatting, och kommer från fem författare vid National University of Singapore, och Skywork AI i Peking.

Metod

Författarna analyserade i vilken utsträckning antalet Gaussiska Splat (i princip, tredimensionella ellipsoida ‘pixlar’) som tilldelas en modell under en 3DGS-pipeline påverkar de beräkningskostnader för tränings- och rendering av modellen.

Författarnas studie visar en tydlig korrelation mellan antalet tilldelade Gaussiska Splat och träningskostnader, samt GPU-minnesanvändning.

Den högra figuren i bilden ovan visar den tydliga relationen mellan bildskärpa och antalet tilldelade Gaussiska Splat. Ju skarpare bilden är, desto mer detalj krävs för att rendera 3DGS-modellen.

Artikeln säger:

‘[Vi] finner att 3DGS tenderar att tilldela fler Gaussiska Splat till de objekt som har mer komplexa strukturer och icke-släta texturer, som kvantifieras av den totala variationspoängen – en metric som utvärderar bildskärpa. Intuitivt, ju mindre slät ytan på 3D-objekten är, desto fler Gaussiska Splat behöver modellen för att återvinna alla detaljerna från dess 2D-bildprojektioner.

‘Därför kan icke-slätthet vara en bra beskrivning av komplexitet hos [Gaussiska Splat]’

Men, att naivt skärpa bilderna tenderar att påverka den semantiska integriteten hos 3DGS-modellen så mycket att en attack skulle vara uppenbar i de tidiga stadierna.

Att förgifta data effektivt kräver en mer sofistikerad approach. Författarna har antagit en proxy-modell metod, där attackbilderna optimeras i en offline-3DGS-modell som utvecklats och kontrolleras av angriparna.

Till vänster ser vi ett diagram som representerar den totala kostnaden för beräkningstid och GPU-minnesanvändning på MIP-NeRF360 ‘rum’-dataset, som visar nativ prestanda, naiv perturbation och proxy-driven data. Till höger ser vi att naiv perturbation av källbilderna (röd) leder till katastrofala resultat för tidigt i processen. I kontrast ser vi att proxy-styrda källbilder upprätthåller en mer stealthy och kumulativ attackmetod.

Författarna säger:

‘Det är uppenbart att proxy-modellen kan guidas från icke-slätthet hos 2D-bilder för att utveckla högt komplexa 3D-former.

‘Följaktligen kan de förgiftade data som produceras från projectionen av denna över-densifierade proxy-modell producera mer förgiftade data, vilket inducerar fler Gaussiska Splat för att passa dessa förgiftade data.’

Attacksystemet är begränsat av ett 2013 Google/Facebook samarbete med olika universitet, så att perturbationerna förblir inom gränser som är utformade för att tillåta systemet att orsaka skada utan att påverka rekonstruktionen av en 3DGS-bild, som skulle vara en tidig signal för ett intrång.

Data och tester

Forskarna testade poison-splat mot tre dataset: NeRF-Synthetic; Mip-NeRF360; och Tanks-and-Temples.

De använde den officiella implementationen av 3DGS som en offermiljö. För en svart låda-approach använde de Scaffold-GS ramverket.

Testerna utfördes på en NVIDIA A800-SXM4-80G GPU.

För metric användes antalet Gaussiska Splat som producerades som den primära indikatorn, eftersom avsikten är att skapa källbilder som är utformade för att maximera och överskrida rationell inferens av källdata. Renderingshastigheten för mål-systemet beaktades också.

Resultaten från de första testerna visas nedan:

Fullständiga resultat från testattackerna över de tre dataseten. Författarna observerar att de har markerat attacker som framgångsrikt konsumerar mer än 24 GB minne. Vänligen se källartikeln för bättre upplösning.

Av dessa resultat kommenterar författarna:

‘[Vår] Poison-splat attack visar förmågan att skapa en enorm extra beräkningsbörda över flera dataset. Även med perturbationer begränsade inom ett litet område i [en begränsad] attack, kan den maximala GPU-minnet ökas till över 2 gånger, vilket gör den totala maximala GPU-occupancy högre än 24 GB.

‘I den verkliga världen kan detta innebära att vår attack kan kräva mer allokerbara resurser än vanliga GPU-stationer kan tillhandahålla, t.ex. RTX 3090, RTX 4090 och A5000. Dessutom [attacken] inte bara ökar minnesanvändningen avsevärt, utan också bromsar ner träningshastigheten.

‘Denna egenskap skulle ytterligare stärka attacken, eftersom den överväldigande GPU-occupancy kommer att vara längre än normal tränings tid, vilket gör den totala förlusten av beräkningskraft högre.’

Utvecklingen av proxy-modellen i både en begränsad och en obegränsad attack-scenario.

Testerna mot Scaffold-GS (den svarta lådan-modellen) visas nedan. Författarna påstår att dessa resultat visar att poison-splat generaliserar väl till en sådan annorlunda arkitektur (dvs. till referensimplementationen).

Testresultat för svarta låda-attacker på NeRF-Synthetic och MIP-NeRF360 dataseten.

Författarna noterar att det har varit mycket få studier som fokuserar på denna typ av resursinriktade attacker vid inferensprocesser. 2020 års artikel Energy-Latency Attacks on Neural Networks kunde identifiera dataexempel som utlöser överdriven neuronaktivering, vilket leder till svår konsumtion av energi och dålig latens.

Inferens-tid attacker studerades vidare i efterföljande arbeten som Slowdown attacks on adaptive multi-exit neural network inference, Towards Efficiency Backdoor Injection, och för språkmodeller och vision-språkmodeller (VLMs), i NICGSlowDown, och Verbose Images.

Slutsats

Poison-splat-attacken som utvecklats av forskarna utnyttjar en grundläggande sårbarhet i Gaussiska Splatting – det faktum att den tilldelar komplexitet och densitet av Gaussiska Splat enligt materialet som det tränas på.

2024 års artikel F-3DGS: Factorized Coordinates and Representations for 3D Gaussian Splatting har redan observerat att Gaussiska Splattingens godtyckliga tilldelning av Splat är en ineffektiv metod, som ofta också producerar redundanta instanser:

‘[Detta] ineffektivitet härrör från den inneboende oförmågan hos 3DGS att utnyttja strukturmönster eller redundanser. Vi observerade att 3DGS producerar ett onödigt stort antal Gaussiska Splat även för att representera enkla geometriska strukturer, såsom platta ytor.

‘Dessutom visar sig närliggande Gaussiska Splat ibland liknande attribut, vilket tyder på potentialen för att förbättra effektiviteten genom att ta bort redundanta representationer.’

Eftersom att begränsa Gaussiska Splat-underproduktionen undergräver kvaliteten på rekonstruktion i icke-attack-scenarier, kan det växande antalet online-leverantörer som erbjuder 3DGS från användaruppladdade data behöva studera egenskaperna hos källbilderna för att bestämma signaturer som indikerar en illvillig avsikt.’

I vilket fall som helst, författarna till det nya arbetet slutsatsen att mer sofistikerade försvarsstrategier kommer att vara nödvändiga för online-tjänster i ansiktet av den typ av attack som de har formulerat.

* Min konvertering av författarnas inline-citat till hyperlänkar

Publicerad första gången fredag, 11 oktober 2024