Un atac de otrăvire împotriva Gaussian Splatting 3D

O nouă colaborare de cercetare între Singapore și China a propus o metodă de atacare a metodei de sinteză populare 3D Gaussian Splatting (3DGS).

Noua metodă de atac folosește date sursă create pentru a supraîncărca memoria GPU a sistemului țintă și pentru a face antrenamentul atât de lung încât să poată incapacita serverul țintă, echivalent cu un atac de tip denial-of-service (DOS). Sursă: https://arxiv.org/pdf/2410.08190

Atacul folosește imagini de antrenament create astfel încât să poată copleși un serviciu online care permite utilizatorilor să creeze reprezentări 3DGS.

Acestă abordare este facilitată de natura adaptivă a 3DGS, care este proiectată pentru a adăuga atât de multă detalii reprezentative cât este necesar pentru a obține o reprezentare realistă.

Sistemul de atac ‘poison-splat’ este ajutat de un model proxy care estimează și iteră potențialul imaginilor sursă de a adăuga complexitate și instanțe Gaussian Splat la un model, până când sistemul gazdă este supraîncărcat.

Hârtia afirmă că platformele online – cum ar fi LumaAI, KIRI, Spline și Polycam – oferă din ce în ce mai mult 3DGS ca serviciu, și că noua metodă de atac – intitulată Poison-Splat – este potențial capabilă să determine algoritmul 3DGS să ajungă la ‘cea mai proastă complexitate de calcul pe astfel de domenii, și chiar să faciliteze un atac de tip denial-of-service (DOS).

Conform cercetătorilor, 3DGS ar putea fi mult mai vulnerabil decât alte servicii de antrenament neural online. Procedurile convenționale de antrenament a învățării automate setează parametrii la început și, ulterior, funcționează în cadrul unor niveluri constante și relativ consistente de utilizare a resurselor și consum de energie.

În plus, autorii notează că furnizorii de servicii nu pot apăra împotriva unui astfel de atac prin limitarea complexității sau a densității modelului, deoarece acest lucru ar compromite eficacitatea serviciului în condiții normale.

Din noua lucrare, vedem că un sistem gazdă care limitează numărul de Gaussian Splats atribuiți nu poate funcționa normal, deoarece elasticitatea acestor parametri este o caracteristică fundamentală a 3DGS.

Hârtia afirmă:

‘[3DGS] modelele antrenate în aceste constrângeri defensive au o performanță mult mai slabă comparativ cu cele cu antrenament neconstrâns, în special în ceea ce privește reconstrucția detaliilor. Acest declin al calității apare deoarece 3DGS nu poate distinge automat detaliile necesare de texturile otrăvite.

‘În mod naiv, limitarea numărului de Gaussiene va duce direct la eșecul modelului de a reconstrui scena 3D cu acuratețe, ceea ce încalcă obiectivul principal al furnizorului de servicii. Această lucrare demonstrează că sunt necesare strategii defensive mai sofisticate pentru a proteja atât sistemul, cât și calitatea reconstrucțiilor 3D în fața atacului nostru.’

În testele efectuate, atacul s-a dovedit a fi eficient atât într-un scenariu white-box (în care atacatorul are cunoștințe despre resursele victimei), cât și într-un scenariu black box (în care atacatorul nu are astfel de cunoștințe).

Autorii cred că lucrarea lor reprezintă prima metodă de atac împotriva 3DGS și avertizează că sectorul de cercetare a securității sintezei neuronale nu este pregătit pentru acest tip de abordare.

Noua lucrare, intitulată Poison-splat: Atac de cost de calcul pe 3D Gaussian Splatting, provine de la cinci autori de la Universitatea Națională din Singapore și Skywork AI din Beijing.

Metodă

Autorii au analizat măsura în care numărul de Gaussian Splats (esențial, pixeli elipsoidali tridimensionali) atribuiți unui model într-un flux de lucru 3DGS afectează costurile de calcul ale antrenamentului și renderizării modelului.

Studiul autorilor arată o corelație clară între numărul de Gaussiene atribuite și costurile timpului de antrenament, precum și utilizarea memoriei GPU.

Figura din dreapta a imaginii de mai sus indică relația clară dintre claritatea imaginii și numărul de Gaussiene atribuite. Cu cât imaginea este mai clară, cu atât mai multe detalii sunt necesare pentru a renderiza modelul 3DGS.

Hârtia afirmă*:

‘[Noi] găsim că 3DGS atribuie mai multe Gaussiene acelor obiecte cu structuri mai complexe și texturi neuniforme, așa cum este cuantificat de scorul de variație totală – o metrică care evaluează claritatea imaginii. În mod intuitiv, cu cât suprafața obiectelor 3D este mai puțin netedă, cu atât mai multe Gaussiene sunt necesare modelului pentru a recupera toate detaliile din proiecțiile sale 2D.

‘Prin urmare, neuniformitatea poate fi un bun descriptor al complexității [Gaussienelor]’

Cu toate acestea, îmbunătățirea naivă a imaginilor va tendența să afectezeze atât de mult integritatea semantică a modelului 3DGS, încât un atac ar fi evident în stadiile incipiente.

Otrăvirea datelor necesită o abordare mai sofisticată. Autorii au adoptat o metodă de model proxy, în care imaginile de atac sunt optimizate într-un model 3DGS offline dezvoltat și controlat de atacatori.

În stânga, vedem un grafic care reprezintă costul total de timp de calcul și ocuparea memoriei GPU pe setul de date MIP-NeRF360 ‘room’, demonstrând performanța nativă, perturbarea naivă și datele conduse de proxy.

Autorii afirmă:

‘Este evident că modelul proxy poate fi condus de la neuniformitatea imaginilor 2D pentru a dezvolta forme 3D foarte complexe.

‘În consecință, datele otrăvite produse din proiecția acestui model proxy supraîncărcat pot produce mai multe date otrăvite, inducând mai multe Gaussiene pentru a se potrivi cu aceste date otrăvite.’

Sistemul de atac este constrâns de o colaborare din 2013 între Google și Facebook, împreună cu diverse universități, astfel încât perturbațiile rămân în limitele proiectate pentru a permite sistemului să provoace daune fără a afecta recrearea unei imagini 3DGS, ceea ce ar fi un semnal timpuriu al unei incursiuni.

Date și teste

Cercetătorii au testat poison-splat împotriva a trei seturi de date: NeRF-Synthetic; Mip-NeRF360; și Tanks-and-Temples.

Ei au folosit implementarea oficială a 3DGS ca mediu victim. Pentru o abordare black box, ei au folosit framework-ul Scaffold-GS.

Testele au fost efectuate pe un GPU NVIDIA A800-SXM4-80G.

Pentru metrici, numărul de Gaussiene produse a fost indicatorul principal, deoarece intenția este de a crea imagini sursă proiectate pentru a maximiza și a depăși inferența rațională a datelor sursă. Viteza de renderizare a sistemului victim a fost de asemenea luată în considerare.

Rezultatele testelor inițiale sunt prezentate mai jos:

Rezultate complete ale atacurilor de test pe cele trei seturi de date. Autorii observă că au evidențiat atacuri care au consumat mai mult de 24 GB de memorie. Vă rugăm să consultați lucrarea sursă pentru o rezoluție mai bună.

Dintre aceste rezultate, autorii comentează:

‘[Atacul nostru] Poison-splat demonstrează capacitatea de a crea o povară computațională suplimentară enormă pe multiple seturi de date. Chiar și cu perturbații limitate într-un interval mic într-un atac constrâns, memoria GPU maximă poate fi mărită până la peste două ori, făcând ca ocuparea maximă a GPU să fie mai mare de 24 GB.

‘În lumea reală, acest lucru poate însemna că atacul nostru poate necesita mai multe resurse alocate decât stațiile GPU obișnuite pot oferi, de exemplu RTX 3090, RTX 4090 și A5000. În plus, atacul nu numai că mărește semnificativ utilizarea memoriei, dar încetinește și semnificativ viteza de antrenament.

‘Această proprietate va întări și mai mult atacul, deoarece supraîncărcarea GPU va dura mai mult decât antrenamentul normal, făcând ca pierderea puterii de calcul să fie mai mare.’

Progresul modelului proxy într-un scenariu de atac constrâns și unul neconstrâns.

Testele împotriva Scaffold-GS (modelul black box) sunt prezentate mai jos. Autorii afirmă că aceste rezultate indică faptul că poison-splat se generalizează bine la o arhitectură atât de diferită (adică la implementarea de referință).

Rezultatele testelor de atac black box pe seturile de date NeRF-Synthetic și MIP-NeRF360.

Autorii notează că au existat foarte puține studii care se concentrează pe acest tip de atacuri care vizează resursele la procesele de inferență.

Atacurile la timpul de inferență au fost studiate ulterior în lucrări precum Atacuri de energie și întârziere asupra rețelelor neuronale, Atacuri de încetinire asupra inferenței rețelelor neuronale multi-exit adaptive, și, pentru modelele de limbaj și modelele de limbaj-viziune (VLM), în NICGSlowDown, și Imagini Verbose.

Concluzie

Atacul Poison-splat dezvoltat de cercetători exploatează o vulnerabilitate fundamentală a Gaussian Splatting – faptul că atribuie complexitate și densitate de Gaussiene în funcție de materialul pe care este antrenat.

Lucrarea din 2024 F-3DGS: Coordonate și reprezentări factorizate pentru 3D Gaussian Splatting a observat deja că atribuirea arbitrară a splatelor de către Gaussian Splatting este o metodă ineficientă, care produce adesea instanțe redundante:

‘[Acesta] ineficiență provine din incapacitatea inerentă a 3DGS de a utiliza modele structurale sau redundanțe. Am observat că 3DGS produce un număr mare de Gaussiene, chiar și pentru reprezentarea unor structuri geometrice simple, cum ar fi suprafețele plate.

‘Mai mult, Gaussienele apropiate prezintă adesea atribute similare, sugerând potențialul de a îmbunătăți eficiența prin eliminarea reprezentărilor redundante.’

Deoarece limitarea generării de Gaussiene subminează calitatea reproducerii în scenarii non-atac, numărul tot mai mare de furnizori de servicii online care oferă 3DGS din datele încărcate de utilizatori poate necesita să studieze caracteristicile imaginilor sursă pentru a determina semnături care indică o intenție malignă.’

În orice caz, autorii noii lucrări concluzionează că metode de apărare mai sofisticate vor fi necesare pentru serviciile online în fața tipului de atac pe care l-au formulat.

* Conversia mea a citărilor inline ale autorilor în legături hipertext

Publicat pentru prima dată vineri, 11 octombrie 2024