En Giftig Angreb mod 3D Gaussian Splatting

En ny forskningsamarbejde mellem Singapore og Kina har foreslået en metode til at angribe den populære syntesemethode 3D Gaussian Splatting (3DGS).

Den nye angrebsmetode bruger konstruerede kilde-data til at overbelaste den tilgængelige GPU-hukommelse på målsystemet og til at gøre træningen så længe, at det potentielt kan lamme målserveren, svarende til et denial-of-service (DOS) angreb. Kilde: https://arxiv.org/pdf/2410.08190

Angrebet bruger konstruerede træningsbilleder af sådan kompleksitet, at de sandsynligvis vil overbelaste en online-tjeneste, der tillader brugere at oprette 3DGS-repræsentationer.

Dette tilgang er faciliteret af den adaptive natur af 3DGS, der er designet til at tilføje så megen repræsentationsdetalje, som kildebillederne kræver for en realistisk render.

Angrebs-systemet ‘poison-splat’ hjælpes af en proxy-model, der estimerer og itererer den potentielle kompleksitet af kildebilleder og Gaussian Splat-eksempler i en model, indtil værtsystemet er overbelastet.

Papiret hævder, at online-platforme – såsom LumaAI, KIRI, Spline og Polycam – i stigende grad tilbyder 3DGS-as-a-service, og at den nye angrebsmetode – med titlen Poison-Splat – potentielt kan være i stand til at presse 3DGS-algoritmen mod ‘dens værste beregningskompleksitet’ på disse domæner og endda facilitere et denial-of-service (DOS) angreb.

Ifølge forskerne kunne 3DGS være radikalt mere sårbart over for andre online neurale træningstjenester. Konventionelle maskinlærings træningsprocedurer sætter parametre fra starten og derefter opererer inden for konstante og relativt konstante niveauer af ressourceforbrug og effektforbrug. Uden den ‘elasticitet’, som Gaussian Splat kræver til at tildele splat-eksempler, er disse tjenester svære at angribe på samme måde.

Forskerne bemærker yderligere, at tjenesteudbydere ikke kan forsvare sig mod et sådant angreb ved at begrænse kompleksiteten eller tætheden af modellen, da dette ville lamme effektiviteten af tjenesten under normal brug.

Fra det nye arbejde ser vi, at et værtsystem, der begrænser antallet af tildelte Gaussian Splats, ikke kan fungere normalt, da elasticiteten af disse parametre er en grundlæggende funktion af 3DGS.

Papiret stater:

‘[3DGS] modeller, der er trænet under disse defensive begrænsninger, opfører sig væsentligt dårligere i forhold til dem med ubegrænset træning, især i forhold til detaljegenopbygning. Denne nedgang i kvalitet skyldes, at 3DGS ikke kan automatisk skelne nødvendige fine detaljer fra forgiftede teksturer.

‘Naivt at sætte en grænse for antallet af Gaussians vil direkte føre til, at modellen ikke kan genskabe den 3D-scene nøjagtigt, hvilket krænker den primære mål for tjenesteudbyderen. Denne studie demonstrerer, at mere sofistikerede defensive strategier er nødvendige for at beskytte systemet og opretholde kvaliteten af 3D-genskabelser under vores angreb.’

I tests har angrebet vist sig at være effektivt både i en løst white-box-scenario (hvor angriberen har kendskab til offers ressourcer) og en black box-tilgang (hvor angriberen ikke har nogen sådan viden).

Forskerne mener, at deres arbejde repræsenterer den første angrebsmetode mod 3DGS, og advarer om, at den neurale syntese-sikkerhedsforskningssektor ikke er forberedt på denne type angreb.

Den nye artikel er titlen Poison-splat: Computation Cost Attack on 3D Gaussian Splatting, og kommer fra fem forfattere ved National University of Singapore og Skywork AI i Beijing.

Metode

Forskerne analyserede, i hvilken udstrækning antallet af Gaussian Splats (i virkeligheden, tredimensionale ellipsoide ‘pixels’) tildelt til en model under en 3DGS-pipeline påvirker beregningsomkostningerne ved træning og rendering af modellen.

Forskerne afslører en tydelig korrelation mellem antallet af tildelte Gaussians og træningstidsomkostninger samt GPU-hukommelsesforbrug.

Den højre figur i billedet ovenfor viser den tydelige relation mellem billedskarphed og antallet af tildelte Gaussians. Jo skarpere billedet, jo mere detaljer kræves der for at rendre 3DGS-modellen.

Papiret stater*:

‘[Vi] finder, at 3DGS tenderer til at tildele flere Gaussians til objekter med mere komplekse strukturer og ikke-glatte teksturer, som kvantificeret af den totale variations-score – en metode til vurdering af billedskarphed. Intuitivt, jo mindre glat overfladen af 3D-objekter er, jo flere Gaussians modellen behøver for at genskabe alle detaljer fra dets 2D-billedprojektioner.

‘Derfor kan ikke-glatthed være en god beskrivelse af kompleksiteten af [Gaussians]’

Men, naivt at skærpe billeder, vil tende til at påvirke den semantiske integritet af 3DGS-modellen så meget, at et angreb ville være åbenlyst i de tidlige stadier.

Forgiftning af data kræver en mere sofistikeret tilgang. Forskerne har adopteret en proxy-model-metode, hvor angrebsbillederne er optimeret i en offline 3DGS-model udviklet og kontrolleret af angriberne.

Til venstre ser vi en graf, der repræsenterer den samlede omkostning af beregningstid og GPU-hukommelsesbesættelse på MIP-NeRF360 ‘room’-datasettet, der demonstrerer native ydelse, naiv perturbation og proxy-drevet data. Til højre ser vi, at naiv perturbation af kildebillederne (rød) fører til hurtigt katastrofale resultater for tidligt i processen. I modsætning hertil ser vi, at proxy-styrede kildebilleder opretholder en mere listig og kumulativ angrebsmetode.

Forskerne stater:

‘Det er tydeligt, at proxy-modellen kan styres fra ikke-glatthed af 2D-billeder til at udvikle højkomplekse 3D-former.

‘Følgelig kan de forgiftede data, der produceres fra projection af denne over-densificerede proxy-model, producere mere forgiftede data, der inducerer flere Gaussians til at passe disse forgiftede data.’

Angrebs-systemet er begrænset af et samarbejde mellem Google og Facebook fra 2013 med forskellige universiteter, så perturbationerne forbliver inden for grænser, der er designet til at tillade systemet at påføre skade uden at påvirke genskabelsen af en 3DGS-billede, hvilket ville være et tidligt signal om et indtrængende angreb.

Data og Tests

Forskerne testede poison-splat mod tre dataset: NeRF-Synthetic; Mip-NeRF360; og Tanks-and-Temples.

De brugte den officielle implementering af 3DGS som et offer-miljø. Til en black box-tilgang brugte de Scaffold-GS-rammen.

Testene blev udført på en NVIDIA A800-SXM4-80G GPU.

Til metrikker var antallet af Gaussian-splats produceret det primære indikator, da intentionen er at konstruere kildebilleder, der er designet til at maksimere og overstige rationel slutning af kilde-data. Renderingshastigheden af det målte system blev også overvejet.

Resultaterne af de første tests vises nedenfor:

Fulde resultater af testangrebene på de tre dataset. Forskerne bemærker, at de har fremhævet angreb, der med held har forbrugt mere end 24 GB hukommelse. Se kilde-artiklen for bedre opløsning.

Af disse resultater kommenterer forfatterne:

‘[Vores] Poison-splat-angreb demonstrerer evnen til at skabe en enorm ekstra beregningsbyrde på tværs af multiple dataset. Selv med perturbationer begrænset inden for en lille række i [en begrænset] angreb, kan den maksimale GPU-hukommelse øges til over to gange, hvilket gør den samlede maksimale GPU-besættelse højere end 24 GB.

‘[I] den virkelige verden kan dette betyde, at vores angreb kan kræve flere allokerbare ressourcer, end almindelige GPU-stationer kan tilbyde, f.eks. RTX 3090, RTX 4090 og A5000. Desuden [angrebet] ikke kun øger hukommelsesforbrug betydeligt, men også langsommere træningstiden.

‘Denne egenskab vil yderligere styrke angrebet, da den overvældende GPU-besættelse vil vare længere end normal træningstid, hvilket gør den samlede tab af beregningskraft højere.’

Fremgangen i proxy-modellen i både en begrænset og en ubegrænset angrebs-scenario.

Testene mod Scaffold-GS (den sorte boks-model) vises nedenfor. Forskerne bemærker, at disse resultater indikerer, at poison-splat generaliserer godt til en så forskellig arkitektur (dvs. til reference-implementeringen).

Testresultater for sorte boks-angreb på NeRF-Synthetic og MIP-NeRF360-datasettet.

Forskerne bemærker, at der har været meget få studier, der fokuserer på denne type ressource-målrettede angreb på slutningsprocesser. Den artikel fra 2020 Energy-Latency Attacks on Neural Networks kunne identificere dataeksempler, der udløser ekstremt neuron-aktivering, hvilket fører til debilitet forbrug af energi og dårlig latency.

Slutnings-tid angreb blev studeret yderligere i efterfølgende arbejder såsom Slowdown attacks on adaptive multi-exit neural network inference, Towards Efficiency Backdoor Injection, og, for sprogmodeller og vision-sprogmodeller (VLMs), i NICGSlowDown, og Verbose Images.

Konklusion

Poison-splat-angrebet, der er udviklet af forskerne, udnytter en grundlæggende sårbarhed i Gaussian Splatting – det faktum, at det tildeler kompleksitet og tæthed af Gaussians efter det materiale, det er designet til at træne på.

Den artikel fra 2024 F-3DGS: Factorized Coordinates and Representations for 3D Gaussian Splatting har allerede observeret, at Gaussian Splatting’s vilkårlige tildeling af splats er en ineffektiv metode, der ofte også producerer redundante eksempler:

‘[Dette] ineffekt skyldes den indre udeevne af 3DGS til at udnytte strukturelle mønstre eller redundanser. Vi observerede, at 3DGS producerer et unødvendigt stort antal Gaussians, selv for at repræsentere simple geometriske strukturer, såsom flade overflader.

‘Desuden viser nærliggende Gaussians undertiden lignende attributter, hvilket antyder en mulighed for at forbedre effektiviteten ved at fjerne de redundante repræsentationer.’

Da begrænsning af Gaussian-generation undergraver kvaliteten af genskabelse i ikke-angrebs-scenarier, kan det voksende antal online-udbydere, der tilbyder 3DGS fra bruger-uploadede data, måske være nødt til at studere egenskaberne af kildebilleder for at bestemme signaturer, der indikerer en ondsindet hensigt.’

I alle tilfælde konkluderer forfatterne af det nye arbejde, at mere sofistikerede forsvarsmetoder vil være nødvendige for online-tjenester i forhold til den type angreb, de har formuleret.

* Min konvertering af forfatternes inline-citationer til hyperlinks

Først udgivet fredag, 11. oktober 2024