En forgiftningangrep mot 3D Gaussian Splatting

Et nytt forskningssamarbeid mellom Singapore og Kina har foreslått en metode for å angripe den populære syntesemetoden 3D Gaussian Splatting (3DGS).

Den nye angrepsmetoden bruker craftet kilde-data for å overbelaste den tilgjengelige GPU-minnet på målsystemet, og for å gjøre trening så langvarig at det potensielt kan lamme målserveren, tilsvarende et denial-of-service (DOS) angrep. Kilde: https://arxiv.org/pdf/2410.08190

Angrepet bruker craftet treningbilder av så kompleks natur at de sannsynligvis vil overbelaste en online-tjeneste som tillater brukerne å lage 3DGS-representasjoner.

Dette tilnærmingen muliggjøres av den adaptive naturen til 3DGS, som er designet for å legge til så mye representativ detalj som kildebildene krever for en realistisk gjengivelse. Metoden utnytter både craftet bildekompleksitet (teksturer) og form (geometri).

Angreps-systemet ‘poison-splat’ blir hjulpet av en proxy-modell som estimerer og itererer potensialet for kildebilder å legge til kompleksitet og Gaussian Splat-eksempler til en modell, til mål-systemet blir overbelastet.

Arbeidspapiret hevder at online-plattformer – som LumaAI, KIRI, Spline og Polycam – stadig oftere tilbyr 3DGS som en tjeneste, og at den nye angrepsmetoden – med tittelen Poison-Splat – potensielt kan drive 3DGS-algoritmen mot ‘dens verst mulige beregningskompleksitet’ på slike domener, og til og med kan muliggjøre et denial-of-service (DOS) angrep.

Ifølge forskerne kan 3DGS være radikalt mer sårbar enn andre online neurale trenings-tjenester. Konvensjonelle maskinlærings treningsprosedyrer setter parametre fra starten av, og deretter opererer de innenfor konstante og relativt konsistente nivåer av ressursbruk og effektforbruk. Uten ‘elastisiteten’ som Gaussian Splat krever for å tildele splat-eksempler, er slike tjenester vanskelige å angripe på samme måte.

Forskerne bemerker videre at tjenesteleverandørene ikke kan forsvare seg mot et slikt angrep ved å begrense kompleksiteten eller tettheten til modellen, siden dette ville svekke effektiviteten til tjenesten under normal bruk.

Fra det nye arbeidet ser vi at et vertssystem som begrenser antallet tildelte Gaussian Splats ikke kan fungere normalt, siden elastisiteten til disse parameterne er en grunnleggende egenskap ved 3DGS.

Arbeidspapiret sier:

‘[3DGS] modeller trent under disse defensive begrensninger utfører mye dårligere sammenlignet med de som har ubegrensede treningsmuligheter, særlig når det gjelder detaljgjenreising. Dette nedgangen i kvalitet skjer fordi 3DGS ikke kan automatisk skille nødvendige fine detaljer fra forgiftede teksturer.

‘Naivt å begrense antallet Gaussians vil direkte føre til at modellen feiler i å gjenreise 3D-scenen nøyaktig, hvilket krenker den primære målet til tjenesteleverandøren. Denne studien demonstrerer at mer sofistikerte defensive strategier er nødvendige for å både beskytte systemet og opprettholde kvaliteten på 3D-gjenreisninger under vårt angrep.’

I tester har angrepet vist seg å være effektivt både i en løst hvit-boks-scenario (der angriperen har kunnskap om ofrenes ressurser) og en svart-boks-tilnærming (der angriperen ikke har noen slik kunnskap).

Forskerne tror at deres arbeid representerer den første angrepsmetoden mot 3DGS, og advarer om at den neurale syntese-sikkerhetsforskningssektoren ikke er forberedt på denne type tilnærming.

Den nye arbeidspapiret har tittelen Poison-splat: Computation Cost Attack on 3D Gaussian Splatting, og kommer fra fem forfattere ved National University of Singapore og Skywork AI i Beijing.

Metode

Forskerne analyserer hvor mye antallet Gaussian Splats (i realiteten, tredimensjonale ellipsoide ‘piksler’) tildelt en modell under en 3DGS-pipeline påvirker beregningskostnadene ved trening og gjengivelse av modellen.

Forskerne studier avslører en klar korrelasjon mellom antallet tildelte Gaussians og trenings-tid-kostnader, samt GPU-minnebruk.

Den høyre figuren i bildet over indikerer den klare relasjonen mellom bilde-skarphet og antallet Gaussians tildelt. Jo skarpere bildet er, jo mer detalj er å se for å gjengi 3DGS-modellen.

Arbeidspapiret sier*:

‘[Vi] finner at 3DGS tenderer til å tildele flere Gaussians til objekter med mer komplekse strukturer og ikke-glatte teksturer, som kvantifiseres av den totale variasjonsscoren – en metode for å vurdere bilde-skarphet. Intuitivt, jo mindre glatt overflaten til 3D-objekter er, jo flere Gaussians modellen trenger for å gjenreise alle detaljene fra sine 2D-bilde-projeksjoner.

‘Derfor kan ikke-glatthet være en god beskriver av kompleksitet av [Gaussians]’

Men, å naivt skarpe opp bildene vil tende til å påvirke den semantiske integriteten til 3DGS-modellen så mye at et angrep ville være åpenbart i de tidlige stadiene.

Forgiftning av data krever en mer sofistikert tilnærming. Forskerne har adoptert en proxy-modell-metode, hvor angreps-bildene er optimert i en off-line 3DGS-modell utviklet og kontrollert av angriperne.

Til venstre ser vi en graf som representerer den totale kostnaden av beregnings-tid og GPU-minne-okkupasjon på MIP-NeRF360 ‘rom’ datasettet, demonstrerende naturlig ytelse, naiv perturbasjon og proxy-drevet data. Til høyre ser vi at naiv perturbasjon av kilde-bildene (rød) fører til raskt katastrofale resultater for tidlig i prosessen. I motsetning ser vi at proxy-styrt kilde-bilder opprettholder en mer skjult og kumulativ angrepsmetode.

Forskerne sier:

‘Det er tydelig at proxy-modellen kan bli styrt fra ikke-glatthet av 2D-bilder for å utvikle høyt komplekse 3D-former.

‘Derfor kan de forgiftede data produsert fra projeksjonen av denne over-densiterte proxy-modellen produsere mer forgiftede data, og indusere flere Gaussians for å passe disse forgiftede dataene.’

Angreps-systemet er begrenset av et 2013 Google /Facebook samarbeid med flere universiteter, slik at perturbasjonene forblir innenfor grenser designet for å tillate systemet å påføre skade uten å påvirke gjenreisingen av en 3DGS-bilde, som ville være et tidlig signal om et innfall.

Data og tester

Forskerne testet poison-splat mot tre datasett: NeRF-Synthetic; Mip-NeRF360; og Tanks-and-Temples.

De brukte den offisielle implementasjonen av 3DGS som et offer-miljø. For en svart-boks-tilnærming brukte de Scaffold-GS-rammeverket.

Testene ble utført på en NVIDIA A800-SXM4-80G GPU.

Som målinger ble antallet Gaussian-splats produsert det primære indikator, ettersom intensjonen er å lage kilde-bilder designet for å maksimere og overstige rasjonell inferens av kilde-dataene. Gjen-givelseshastigheten til mål-systemet ble også vurdert.

Resultatene av de innledende testene vises nedenfor:

Fullstendige resultater av test-angrepene over de tre datasettene. Forskerne observerer at de har høylysning angrep som suksessfullt forbruker mer enn 24GB minne. Vennligst se kilde-papiret for bedre oppløsning.

Av disse resultatene kommenterer forfatterne:

‘[Vår] Poison-splat-angrep demonstrerer evnen til å lage en enorm ekstra beregningsbyrde over flere datasett. Selv med perturbasjoner begrenset innenfor en liten rekke i [en begrenset] angrep, kan toppen av GPU-minne økes til over 2 ganger, og gjøre den totale maksimale GPU-okkupasjon høyere enn 24 GB.

‘[I] den virkelige verden kan dette bety at vårt angrep kan kreve mer allokerbar ressurser enn vanlige GPU-stasjoner kan tilby, f.eks. RTX 3090, RTX 4090 og A5000. Videre [angrepet] ikke bare øker minnebruk betydelig, men også langsomerer ned treningshastigheten.

‘Denne egenskapen vil ytterligere styrke angrepet, siden overveldende GPU-okkupasjon vil vare lengre enn normal trenings tid, og gjøre den totale tapet av beregningskraft høyere.’

Fremgangen til proxy-modellen i både en begrenset og en ubegrenset angreps-scenario.

Testene mot Scaffold-GS (den svart-boks-modellen) vises nedenfor. Forskerne bemerker at disse resultatene indikerer at poison-splat generaliserer godt til en så forskjellig arkitektur (dvs. til referanse-implementeringen).

Testresultater for svart-boks-angrep på NeRF-Synthetic og MIP-NeRF360 datasettene.

Forskerne bemerker at det har vært svært få studier som fokuserer på denne type ressurs-angrep på inferens-prosesser. 2020-papiret Energy-Latency Attacks on Neural Networks kunne identifisere data-eksempler som utløser ekstremt neuron-aktivitet, som fører til debilitert forbruk av energi og dårlig latency.

Inferens-tid-angrep ble studert videre i påfølgende arbeider som Slowdown attacks on adaptive multi-exit neural network inference, Towards Efficiency Backdoor Injection, og, for språk-modeller og visuelt-språk-modeller (VLMs), i NICGSlowDown, og Verbose Images.

Konklusjon

Poison-splat-angrepet utviklet av forskerne utnytter en grunnleggende sårbarhet i Gaussian Splatting – det faktum at det tildeles kompleksitet og tetthet av Gaussians i henhold til materialet det er gitt for å trene på.

2024-papiret F-3DGS: Factorized Coordinates and Representations for 3D Gaussian Splatting har allerede observert at Gaussian Splatting’s arbitrære tildeling av splats er en ineffektiv metode, som ofte også produserer redundante eksempler:

‘[Dette] ineffektivitet stammer fra den innebygde evnen til 3DGS til å utnytte strukturelle mønster eller redundanser. Vi observerte at 3DGS produserer et unødvendig stort antall Gaussians selv for å representere enkle geometriske strukturer, som flate overflater.

‘I tillegg kan nærliggende Gaussians noen ganger vise lignende attributter, hvilket antyder potensialet for å forbedre effektiviteten ved å fjerne de redundante representasjonene.’

Siden å begrense Gaussian-generering undergraver kvaliteten på gjenreising i ikke-angreps-scenarier, kan det økende antallet online-leverandører som tilbyr 3DGS fra bruker-lastet data måtte studere egenskapene til kilde-bildene for å bestemme signaturer som indikerer en ondsinnet hensikt.’

I alle tilfeller konkluderer forfatterne av det nye arbeidet at mer sofistikerte forsvars-metoder vil være nødvendige for online-tjenester i møte med den type angrep de har formulert.

* Min konvertering av forfatternes inline-citater til hyperlenker

Først publisert fredag, 11. oktober 2024