Myrkyllinen hyökkäys 3D Gaussian Splattingia vastaan

Uusi tutkimusyhteistyö Singaporessa ja Kiinassa on ehdottanut menetelmää hyökätä suositun synteesimenetelmän, 3D Gaussian Splattingin (3DGS), kimppuun.

Uusi hyökkäysmenetelmä käyttää muokattua lähdekoodia, joka ylittää kohdesysteemin saatavilla olevan GPU-muistin ja tekee koulutuksesta niin pitkää, että se voi mahdollisesti lamauttaa kohdeserverin, mikä vastaa palvelunestohyökkäystä (DOS). Lähde: https://arxiv.org/pdf/2410.08190

Hyökkäys käyttää koulutuskuvaja, jotka ovat niin monimutkaisia, että ne voivat ylittää online-palvelun, joka sallii käyttäjien luoda 3DGS-esityksiä.

Tämä lähestymistapa on mahdollista 3DGS:n sopeutumiskyvyn ansiosta, joka on suunniteltu lisäämään edustusyksityiskohtia niin paljon kuin lähdekuvat vaativat realistisen renderöinnin vuoksi. Menetelmä hyödyntää sekä muokattua kuvan monimutkaisuutta (tekstuureja) että muotoa (geometriaa).

Hyökkäysjärjestelmä ‘poison-splat’ on avustettu välittäjämallilla, joka arvioi ja toistaa lähdekuvien potentiaalia lisätä monimutkaisuutta ja Gaussian Splat -instansseja malliin, kunnes isäntäjärjestelmä ylittyy.

Artikkeli väittää, että online-alustat – kuten LumaAI, KIRI, Spline ja Polycam – tarjoavat yhä useammin 3DGS-palveluja, ja että uusi hyökkäysmenetelmä – nimeltään Poison-Splat – on mahdollisesti kykenevä ajamaan 3DGS-algoritmin ‘huonoin laskennallinen monimutkaisuus’ näillä alustoilla, ja jopa helpottamaan palvelunestohyökkäystä.

Tutkijoiden mukaan 3DGS voi olla radikaalisti alttiimpi muille online-neuraalisen koulutuksen palveluille. Perinteiset konenäön koulutusmenetelmät asettavat parametreja aluksi ja toimivat sitten vakaiden ja suhteellisen vakaata resurssien käytön ja tehokkuuden tasolla. Ilman “joustavuutta”, jota Gaussian Splat vaatii splat-eksemplareiden määrittämiseksi, nämä palvelut ovat vaikeampia kohdistaa samalla tavalla.

Lisäksi tutkijat huomauttavat, että palveluntarjoajat eivät voi puolustautua tällaista hyökkäystä rajoittamalla mallin monimutkaisuutta tai tiheyttä, koska se heikentäisi palvelun tehokkuutta normaalin käytön aikana.

Uudesta tutkimuksesta nähdään, että isäntäjärjestelmä, joka rajoittaa Gaussian Splatin määrää, ei voi toimia normaalisti, koska näiden parametreiden joustavuus on 3DGS:n perusominaisuus.

Artikkeli toteaa:

‘[3DGS] -mallit, jotka on koulutettu näiden puolustusrajoitusten alaisena, suorittavat paljon huonommin verrattuna niihin, joita on koulutettu rajoittamattomasti, erityisesti yksityiskohtien jälleenrakentamisen suhteen. Tämä laadun lasku johtuu siitä, että 3DGS ei voi automaattisesti erottaa tarpeellisia yksityiskohtia myrkyllisistä tekstureista.

‘Yksinkertaisesti rajoittamalla Gaussianien määrää johtaa suoraan siihen, että malli ei pysty jälleenrakentamaan 3D-kohtausta tarkasti, mikä rikkoisi palveluntarjoajan ensisijaisen tavoitteen. Tämä tutkimus osoittaa, että tarvitaan monimutkaisempia puolustusstrategioita sekä järjestelmän suojelemiseksi että 3D-jälleenrakennusten laadun ylläpitämiseksi hyökkäyksen aikana.’

Kokeissa hyökkäys on osoittautunut tehokkaaksi sekä löyhässä valkoisessa laatikossa (jossa hyökkääjällä on tieto uhrikohteen resursseista) että mustassa laatikossa (jossa hyökkääjällä ei ole tällaista tietoa).

Tutkijat uskovat, että heidän työnsä edustaa ensimmäistä hyökkäysmenetelmää 3DGS:tä vastaan, ja varoittavat, että neuraalisen synteesin turvallisuustutkimuksen ala ei ole valmistautunut tällaisiin hyökkäyksiin.

Uusi artikkeli on nimeltään Poison-splat: Computation Cost Attack on 3D Gaussian Splatting, ja se on peräisin viideltä kirjoittajalta Singaporen kansallisesta yliopistosta ja Skywork AI:sta Pekingissä.

Menetelmä

Tutkijat analysoivat sitä, kuinka paljon Gaussian Splatin (pääasiassa kolmiulotteisen ellipsoidin ‘pikselit’) määrä, joka on määritetty malliin 3DGS-pipeline- prosessissa, vaikuttaa koulutuksen ja renderöinnin laskennallisiin kustannuksiin.

Tutkijoiden tutkimus paljastaa selvän korrelaation Gaussianien määrän ja koulutusaikakustannusten sekä GPU-muistin käytön välillä.

Kuvan oikea reunassa oleva kuva osoittaa selvän suhteen kuvan terävyyden ja Gaussianien määrän välillä. Mitä terävämpi kuva on, sitä enemmän yksityiskohtia vaaditaan 3DGS-mallin renderöintiin.

Artikkeli toteaa*:

‘[Me] havaitsemme, että 3DGS määrittää enemmän Gaussianeja niille objekteille, joilla on monimutkaisemmat rakenteet ja epäsileät tekstuurit, mitä voidaan mittailla yhteisvaihtelupisteellä – mittarilla, joka arvioi kuvan terävyyttä. Intuitiivisesti, mitä vähemmän sileä 3D-olion pinta on, sitä enemmän Gaussianeja malli tarvitsee kaikkien yksityiskohtien palauttamiseksi 2D-kuvaprojektiosta.

‘Siksi epäsileävyys voi olla hyvä kuvaus kompleksisuudesta [Gaussianeista]’

Kuitenkin yksinkertainen kuvan terävöittäminen voi vaikuttaa 3DGS-mallin semanttiseen eheyteen niin paljon, että hyökkäys olisi ilmeinen jo varhaisessa vaiheessa.

Myrkyttävä aineen tehokas käyttö vaatii monimutkaisemman lähestymistavan. Tutkijat ovat omaksuneet välittäjämallin menetelmän, jossa hyökkäyskuvat on optimoitu erillisessä 3DGS-mallissa, jota hyökkääjät kehittävät ja hallinnoivat.

Vasemmalla nähdään graafi, joka edustaa laskennan kokonaiskustannuksia ja GPU-muistin käyttöä MIP-NeRF360 ‘huone’ -aineistossa, osoittaen alkuperäisen suorituskyvyn, yksinkertaisen häirinnän ja välittäjän ohjatun datan. Oikealla nähdään, että yksinkertainen häirintä lähdekuvista (punainen) johtaa nopeasti katastrofaalisiin tuloksiin liian aikaisessa vaiheessa. Sen sijaan nähdään, että välittäjän ohjaamat lähdekuvat ylläpitävät enemmän salakavalaa ja kertyvää hyökkäysmenetelmää.

Tutkijat toteavat:

‘On selvää, että välittäjämalli voidaan ohjata 2D-kuvien epäsileävyydestä kehittämään erittäin monimutkaisia 3D-muotoja.

‘Seuraavaksi myrkyllinen data, joka tuotetaan tämän yli tiivistetyn välittäjämallin projektiosta, voi tuottaa enemmän myrkyllistä dataa, joka aiheuttaa enemmän Gaussianeja näiden myrkyllisten datan sovittamiseksi.’

Hyökkäysjärjestelmä on rajoitettu 2013 Google /Facebookin yhteistyöhön useiden yliopistojen kanssa, jotta häirinnät säilyvät rajoissa, jotka on suunniteltu sallimaan järjestelmän aiheuttaa vahinkoa ilman, että se vaikuttaa 3DGS-kuvan jälleenrakentamiseen, mikä olisi varhainen merkki hyökkäyksestä.

Data ja testit

Tutkijat testasivat poison-splatia kolmella aineistolla: NeRF-Synthetic; Mip-NeRF360; ja Tanks-and-Temples.

He käyttivät virallista toteutusta 3DGS:stä uhriympäristönä. Mustaan laatikkoon he käyttivät Scaffold-GS -kehyksen.

Testit suoritettiin NVIDIA A800-SXM4-80G -näytönohjaimella.

Mittareina käytettiin ennen kaikkea Gaussianien määrää, koska tarkoituksena on luoda lähdekuvia, jotka on suunniteltu maksimoimaan ja ylittämään järkevän lähdekuvan johtumisen. Kohdesysteemin renderöintinopeus otettiin myös huomioon.

Alkuvaiheen testitulokset näkyvät alla:

Täydelliset tulokset hyökkäystesteistä kolmella aineistolla. Tutkijat toteavat, että he ovat korostaneet hyökkäykset, jotka onnistuvat kuluttamaan yli 24 GB muistia. Viitataan alkuperäiseen tutkimukseen paremman resoluution vuoksi.

Näistä tuloksista tutkijat toteavat:

‘[Meidän] Poison-splat -hyökkäys osoittaa kyvyn luoda valtava ylimääräinen laskennallinen taakka useilla aineistoilla. Jopa häirinnät, jotka on rajoitettu pieniin rajoituksiin [rajoitettu hyökkäys], voivat nostaa huippu-GPU-muistin yli kaksi kertaa, mikä tekee kokonaisen GPU-käytön yli 24 GB.

‘Käytännössä tämä voi tarkoittaa, että hyökkäyksemme edellyttää enemmän varattavissa olevia resursseja kuin yleiset GPU-asemat voivat tarjota, esim. RTX 3090, RTX 4090 ja A5000. Lisäksi [hyökkäys] ei ainoastaan lisää muistin käyttöä vaan hidastaa myös koulutusnopeutta.

‘Tämä ominaisuus vahvistaa hyökkäystä, koska ylittävä GPU-käyttö kestää pidempään kuin normaali koulutus, mikä tekee laskennan voiman menetyksen suuremmaksi.’

Välittäjämallin eteneminen sekä rajoitetussa että rajoittamattomassa hyökkäystilanteessa.

Testit Scaffold-GS:ää (musta laatikko) vastaan näkyvät alla. Tutkijat toteavat, että nämä tulokset osoittavat, että poison-splat yleistyy hyvin erilaisiin arkkitehtuureihin (ts. viittaustoteutukseen).

Mustan laatikon testitulokset NeRF-Synthetic- ja MIP-NeRF360-aineistoilla.

Tutkijat huomauttavat, että on ollut vain muutamia tutkimuksia, jotka keskittyvät tällaisiin resursseja kohdistaviin hyökkäyksiin jälkikäsittelyprosesseissa. Vuoden 2020 tutkimus Energy-Latency Attacks on Neural Networks pystyi tunnistamaan esimerkkejä dataa, jotka aiheuttavat liiallisen hermosolmujen aktivoitumisen, mikä johti energian kulutuksen ja viiveen heikentymiseen.

Jälkikäsittelyaikaiset hyökkäykset tutkittiin edelleen myöhemmissä tutkimuksissa, kuten Slowdown attacks on adaptive multi-exit neural network inference, Towards Efficiency Backdoor Injection, ja kieli- ja visuaalisen kielen malleissa NICGSlowDown ja Verbose Images.

Johtopäätös

Poison-splat -hyökkäys, jonka tutkijat kehittivät, hyödyntää perusrakenteellista haavoittuvuutta Gaussian Splattingissa – sitä, että se määrittää monimutkaisuuden ja Gaussianien tiheyden lähdekuvien mukaan, joita se koulutetaan.

Vuoden 2024 tutkimus F-3DGS: Factorized Coordinates and Representations for 3D Gaussian Splatting on jo havainnut, että Gaussian Splattingin mielivaltainen splat-määritys on tehokas menetelmä, joka usein tuottaa tarpeettomia instansseja:

‘[Tämä] tehokkuus johtuu 3DGS:n perimmäisestä kyvyttömyydestä hyödyntää rakenteellisia malleja tai redundansseja. Havaitsemme, että 3DGS tuottaa usein tarpeettoman suuren määrän Gaussianeja, jopa yksinkertaisten geometristen rakenteiden, kuten litteiden pintojen, esittämiseksi.

‘Lisäksi lähellä olevat Gaussiat voivat joskus osoittaa samankaltaisia ominaisuuksia, mikä viittaa siihen, että tehokkuutta voisi parantaa poistamalla tarpeettomat edustukset.’

Kuitenkin rajoittamalla Gaussianien luontia heikentää jälleenrakennuksen laatua ei-hyökkäystilanteissa.

Tutkijat uskovat, että heidän työnsä edustaa ensimmäistä hyökkäysmenetelmää 3DGS:tä vastaan, ja varoittavat, että online-palvelut, jotka tarjoavat 3DGS-palveluja käyttäjien lähettämistä tiedostoista, saattavat joutua tutkimaan lähdekuvien ominaisuuksia, jotta voivat määrittää merkit, jotka viittaavat pahantahtoiseen aikomukseen.

Milloin tahansa tapauksessa uuden tutkimuksen kirjoittajat toteavat, että monimutkaisempia puolustusmenetelmiä tarvitaan online-palveluille tämänkaltaisten hyökkäysten varalta.

* Minun muunnos kirjoittajien sisäisistä viittauksista hyperlinkkeihin

Julkaistu ensimmäisen kerran perjantaina 11. lokakuuta 2024