Un atac de otrăvire împotriva Gaussian Splatting 3D

O nouă colaborare de cercetare între Singapore și China a propus o metodă de atacare a metodei populare de sinteză 3D Gaussian Splatting (3DGS).

Noua metodă de atac folosește date sursă create pentru a supraîncărca memoria GPU a sistemului țintă și pentru a face antrenamentul atât de lung încât să poată debilita serverul țintă, echivalent cu un atac de tip denial-of-service (DOS). Sursă: https://arxiv.org/pdf/2410.08190

Atacul folosește imagini de antrenament create astfel încât să fie probabil ca să supraîncarce un serviciu online care permite utilizatorilor să creeze reprezentări 3DGS.

Acestă abordare este facilitată de natura adaptivă a 3DGS, care este proiectată pentru a adăuga atât de multe detalii de reprezentare cât este necesar pentru a obține un render realist.

Sistemul de atac ‘poison-splat’ este ajutat de un model proxy care estimează și iterativ potențialul imaginilor sursă de a adăuga complexitate și instanțe Gaussian Splat la un model, până când sistemul gazdă este supraîncărcat.

Articolul afirmă că platformele online – cum ar fi LumaAI, KIRI, Spline și Polycam – oferă din ce în ce mai mult 3DGS ca serviciu, și că noua metodă de atac – intitulată Poison-Splat – este capabilă să determine algoritmul 3DGS să ajungă la ‘cea mai proastă complexitate de calcul‘ pe astfel de domenii, și chiar să faciliteze un atac de tip denial-of-service (DOS).

Conform cercetătorilor, 3DGS ar putea fi mult mai vulnerabil decât alte servicii de antrenament neural online. Procedurile convenționale de antrenament ale rețelelor neuronale setează parametrii la început și, ulterior, operează în cadrul unor niveluri constante și relativ consistente de utilizare a resurselor și consum de energie.

Fără “elasticitatea” pe care Gaussian Splat o necesită pentru asignarea instanțelor de splat, astfel de servicii sunt dificil de țintit în același mod.

Mai mult, autorii notează, furnizorii de servicii nu pot apăra împotriva unui astfel de atac prin limitarea complexității sau a densității modelului, deoarece acest lucru ar compromite eficacitatea serviciului în utilizarea normală.

Din noua lucrare, vedem că un sistem gazdă care limitează numărul de instanțe Gaussian Splat asignate nu poate funcționa normal, deoarece elasticitatea acestor parametri este o caracteristică fundamentală a 3DGS.

Articolul afirmă:

‘[3DGS] modelele antrenate sub aceste constrângeri defensive performă mult mai prost comparativ cu cele cu antrenament nelimitat, în special în ceea ce privește reconstrucția detaliilor. Acest declin în calitate are loc deoarece 3DGS nu poate distinge automat detaliile necesare de la texturile otrăvite.

‘În mod naiv, limitarea numărului de Gaussiene va duce direct la eșecul modelului de a reconstrui scena 3D cu acuratețe, ceea ce încalcă obiectivul principal al furnizorului de servicii. Această lucrare demonstrează că strategii defensive mai sofisticate sunt necesare pentru a proteja sistemul și a menține calitatea reconstrucțiilor 3D sub atacul nostru.’

În testele efectuate, atacul s-a dovedit a fi eficient atât într-un scenariu white-box (în care atacatorul are cunoștințe despre resursele victimei), cât și într-un scenariu black box (în care atacatorul nu are astfel de cunoștințe).

Autorii cred că lucrarea lor reprezintă prima metodă de atac împotriva 3DGS și avertizează că sectorul de securitate a sintezei neuronale nu este pregătit pentru acest tip de abordare.

Noul articol se intitulează Poison-splat: Atac de cost de calcul pe 3D Gaussian Splatting și provine de la cinci autori de la Universitatea Națională din Singapore și Skywork AI din Beijing.

Metodă

Autorii au analizat în ce măsură numărul de instanțe Gaussian Splat (esențial, pixeli tridimensionali elipsoidali) asignate unui model sub o pipeline 3DGS afectează costurile de calcul ale antrenamentului și renderizării modelului.

Studiul autorilor revelează o corelație clară între numărul de Gaussiene asignate și costurile de timp de antrenament, precum și utilizarea memoriei GPU.

Figura din dreapta a imaginii de mai sus indică relația clară dintre claritatea imaginii și numărul de Gaussiene asignate. Cu cât imaginea este mai clară, cu atât mai multe detalii sunt necesare pentru a renderiza modelul 3DGS.

Articolul afirmă:

‘[Am] găsit că 3DGS asignă mai multe Gaussiene obiectelor cu structuri mai complexe și texturi ne-netede, așa cum este cuantificat de scorul de variație totală – o metrică care evaluează claritatea imaginii. În mod intuitiv, cu cât suprafața obiectelor 3D este mai puțin netedă, cu atât mai multe Gaussiene sunt necesare modelului pentru a recupera toate detaliile din proiecțiile sale 2D.

‘Prin urmare, ne-netezirea poate fi un bun descriptor al complexității [Gaussienelor]’

Cu toate acestea, îmbunătățirea naivă a imaginilor va tendența să afectezeze atât de mult integritatea semantică a modelului 3DGS, încât un atac ar fi evident în stadiile incipiente.

Otrăvirea datelor necesită o abordare mai sofisticată. Autorii au adoptat o metodă de model proxy, în care imaginile de atac sunt optimizate într-un model 3DGS offline dezvoltat și controlat de atacatori.

În stânga, vedem un grafic care reprezintă costul general de calcul și ocuparea memoriei GPU pe setul de date MIP-NeRF360 ‘room’, demonstrând performanța nativă, perturbarea naivă și datele conduse de proxy.

Autorii afirmă:

‘Este evident că modelul proxy poate fi condus de la ne-netezirea imaginilor 2D pentru a dezvolta forme 3D foarte complexe.

‘În consecință, datele otrăvite produse din proiecția acestui model proxy supra-densificat pot produce mai multe date otrăvite, inducând mai multe Gaussiene pentru a se potrivi cu aceste date otrăvite.’

Sistemul de atac este constrâns de o colaborare din 2013 între Google și Facebook cu diverse universități, astfel încât perturbările rămân în limitele proiectate pentru a permite sistemului să provoace daune fără a afecta recrearea unei imagini 3DGS, ceea ce ar fi un semnal timpuriu de intruziune.

Date și teste

Cercetătorii au testat poison-splat împotriva a trei seturi de date: NeRF-Synthetic; Mip-NeRF360; și Tanks-and-Temples.

Ei au folosit implementarea oficială a 3DGS ca mediu victimă. Pentru o abordare black box, ei au folosit framework-ul Scaffold-GS.

Testele au fost efectuate pe un GPU NVIDIA A800-SXM4-80G.

Pentru metrici, numărul de instanțe Gaussian Splat produse a fost indicatorul principal, deoarece intenția este de a crea imagini sursă proiectate pentru a maximiza și a depăși inferența rațională a datelor sursă. Viteza de renderizare a sistemului victim a fost de asemenea luată în considerare.

Rezultatele testelor inițiale sunt prezentate mai jos:

Rezultate complete ale testelor de atac pe cele trei seturi de date. Autorii observă că au evidențiat atacuri care au consumat cu succes mai mult de 24GB de memorie. Vă rugăm să consultați articolul sursă pentru o rezoluție mai bună.

Despre aceste rezultate, autorii comentează:

‘Atacul nostru Poison-splat demonstrează capacitatea de a crea o povară computațională enormă pe multiple seturi de date. Chiar și cu perturbări limitate într-un interval mic într-un atac limitat, memoria GPU maximă poate fi mărită de peste două ori, făcând ocuparea maximă a GPU mai mare de 24 GB.

‘În lumea reală, acest lucru poate însemna că atacul nostru poate necesita mai multe resurse alocabile decât stațiile GPU obișnuite pot oferi, de exemplu RTX 3090, RTX 4090 și A5000. Mai mult, atacul nu numai că mărește semnificativ utilizarea memoriei, dar încetinește și viteza de antrenament.

‘Această proprietate va întări și mai mult atacul, deoarece supraîncărcarea GPU va dura mai mult decât antrenamentul normal, făcând pierderea generală de putere de calcul mai mare.’

Progresul modelului proxy într-un scenariu de atac limitat și nelimitat.

Testele împotriva Scaffold-GS (modelul black box) sunt prezentate mai jos. Autorii afirmă că aceste rezultate indică faptul că poison-splat se generalizează bine la o arhitectură atât de diferită (adică la implementarea de referință).

Rezultatele testelor de atac black box pe seturile de date NeRF-Synthetic și MIP-NeRF360.

Autorii notează că au existat foarte puține studii care se concentrează pe acest tip de atacuri de resurse la procesele de inferență. Articolul din 2020 Atacuri de energie și întârziere asupra rețelelor neuronale a putut identifica exemple de date care declanșează activări excesive de neuroni, ducând la un consum debilitant de energie și la o întârziere slabă.

Atacurile la momentul inferenței au fost studiate ulterior în lucrări precum Atacuri de încetinire asupra inferenței rețelelor neuronale adaptive multi-exit, Spre injecția de backdoor de eficiență, și, pentru modele de limbaj și modele de limbaj-viziune (VLM), în NICGSlowDown, și Imagini verbose.

Concluzie

Atacul Poison-splat dezvoltat de cercetători exploatează o vulnerabilitate fundamentală în Gaussian Splatting – faptul că asignă complexitate și densitate de Gaussiene în funcție de materialul pe care este antrenat.

Articolul din 2024 F-3DGS: Coordonate și reprezentări factorizate pentru 3D Gaussian Splatting a observat deja că asignarea arbitrară a splatelor de către Gaussian Splatting este o metodă ineficientă, care produce adesea instanțe redundante:

‘[Acesta] ineficiență provine din incapacitatea inerentă a 3DGS de a utiliza modele structurale sau redundanțe. Am observat că 3DGS produce un număr mare de Gaussiene, chiar și pentru reprezentarea unor structuri geometrice simple, cum ar fi suprafețe plane.

‘Mai mult, Gaussienele apropiate prezintă adesea atribute similare, sugerând potențialul de îmbunătățire a eficienței prin eliminarea reprezentărilor redundante.’

Deoarece limitarea generării de Gaussiene subminează calitatea de reproducere în scenarii non-atac, furnizorii de servicii online care oferă 3DGS din datele utilizatorilor ar putea trebui să studieze caracteristicile imaginilor sursă pentru a determina semnăturile care indică o intenție malignă.

În orice caz, autorii noii lucrări conchid că metode de apărare mai sofisticate vor fi necesare pentru serviciile online în fața acestui tip de atac pe care l-au formulat.

* Conversia mea a citatelor inline ale autorilor în legături

Publicat pentru prima dată vineri, 11 octombrie 2024