Un Attacco di Avvelenamento Contro il 3D Gaussian Splatting

Una nuova collaborazione di ricerca tra Singapore e Cina ha proposto un metodo per attaccare il popolare metodo di sintesi 3D Gaussian Splatting (3DGS).

Il nuovo metodo di attacco utilizza dati di origine elaborati per sovraccaricare la memoria GPU disponibile del sistema bersaglio e per rendere l’addestramento così lungo da potenzialmente incapacitare il server bersaglio, equivalente a un attacco di negazione del servizio (DOS).

L’attacco utilizza immagini di addestramento di tale complessità che sono probabili sovraccaricare un servizio online che consente agli utenti di creare rappresentazioni 3DGS.

Questo approccio è facilitato dalla natura adattiva del 3DGS, che è progettato per aggiungere tanto dettaglio rappresentativo quanto richiesto dalle immagini di origine per una rappresentazione realistica.

Il sistema di attacco ‘poison-splat’ è aiutato da un modello proxy che stima e itera il potenziale delle immagini di origine per aggiungere complessità e istanze di Gaussian Splat a un modello, fino a quando il sistema host non è sovraccaricato.

La carta afferma che le piattaforme online – come LumaAI, KIRI, Spline e Polycam – stanno offrendo sempre più 3DGS come servizio, e che il nuovo metodo di attacco – intitolato Poison-Splat – è potenzialmente in grado di spingere l’algoritmo 3DGS verso ‘la sua peggiore complessità computazionale’ su tali domini, e anche facilitare un attacco di negazione del servizio (DOS).

Secondo i ricercatori, il 3DGS potrebbe essere radicalmente più vulnerabile ad altri servizi di addestramento neurale online. Le procedure di addestramento tradizionali di apprendimento automatico impostano i parametri all’inizio e quindi operano all’interno di livelli costanti e relativamente coerenti di utilizzo delle risorse e consumo di energia. Senza l'”elasticità” che Gaussian Splat richiede per l’assegnazione di istanze di splat, tali servizi sono difficili da attaccare nello stesso modo.

Inoltre, gli autori notano, i fornitori di servizi non possono difendersi da tale attacco limitando la complessità o la densità del modello, poiché ciò comprometterebbe l’efficacia del servizio in condizioni normali.

Dalla nuova ricerca, vediamo che un sistema host che limita il numero di Gaussian Splats assegnati non può funzionare normalmente, poiché l’elasticità di questi parametri è una caratteristica fondamentale del 3DGS.

Il documento afferma:

‘[3DGS] modelli addestrati con queste limitazioni difensive hanno prestazioni molto peggiori rispetto a quelli con addestramento non limitato, in particolare in termini di ricostruzione dei dettagli. Questo declino nella qualità si verifica perché il 3DGS non può distinguere automaticamente i dettagli necessari dalle texture avvelenate.

‘In modo ingenuo, limitare il numero di Gaussians porterà direttamente al fallimento del modello nel ricostruire la scena 3D in modo accurato, violando l’obiettivo principale del fornitore del servizio. Questo studio dimostra che strategie difensive più sofisticate sono necessarie per proteggere il sistema e mantenere la qualità della ricostruzione 3D sotto il nostro attacco.’

Nei test, l’attacco si è rivelato efficace sia in uno scenario white-box (dove l’attaccante ha conoscenza delle risorse della vittima), sia in un approccio black box (dove l’attaccante non ha tale conoscenza).

Gli autori ritengono che il loro lavoro rappresenti il primo metodo di attacco contro il 3DGS e avvertono che il settore della ricerca sulla sicurezza della sintesi neurale non è preparato per questo tipo di approccio.

Il nuovo documento è intitolato Poison-splat: Computation Cost Attack on 3D Gaussian Splatting e proviene da cinque autori dell’Università Nazionale di Singapore e di Skywork AI a Pechino.

Metodo

Gli autori hanno analizzato l’estensione in cui il numero di Gaussian Splats (essenzialmente, ellissoidi tridimensionali ‘pixel’) assegnati a un modello sotto una pipeline 3DGS influisce sui costi computazionali dell’addestramento e della rappresentazione del modello.

Lo studio degli autori rivela una chiara correlazione tra il numero di Gaussians assegnati e i costi di tempo di addestramento, nonché l’utilizzo della memoria GPU.

La figura più a destra nell’immagine sopra indica la chiara relazione tra nitidezza dell’immagine e numero di Gaussians assegnati. Più nitida è l’immagine, più dettagli sono necessari per rappresentare il modello 3DGS.

Il documento afferma*:

‘[Abbiamo] trovato che il 3DGS assegna più Gaussians agli oggetti con strutture più complesse e texture non lisce, come quantificato dal punteggio di variazione totale – una metrica che valuta la nitidezza dell’immagine. Intuitivamente, meno liscia è la superficie degli oggetti 3D, più Gaussians il modello necessita per recuperare tutti i dettagli dalle loro proiezioni di immagine 2D.

‘Pertanto, la non liscia può essere un buon descrittore di complessità di [Gaussians]’

Tuttavia, ingenuamente aumentare la nitidezza delle immagini tenderebbe a influenzare l’integrità semantica del modello 3DGS in modo tale che un attacco sarebbe ovvio nelle fasi iniziali.

Avvelenare i dati in modo efficace richiede un approccio più sofisticato. Gli autori hanno adottato un modello proxy, in cui le immagini di attacco sono state ottimizzate in un modello 3DGS offline sviluppato e controllato dagli attaccanti.

A sinistra, vediamo un grafico che rappresenta il costo complessivo di tempo di calcolo e occupazione della memoria GPU sul set di dati MIP-NeRF360 ‘room’, dimostrando le prestazioni native, la perturbazione ingenua e i dati guidati dal proxy. A destra, vediamo che la perturbazione ingenua delle immagini di origine (rosso) porta a risultati catastrofici troppo presto nel processo. Al contrario, vediamo che le immagini di origine guidate dal proxy mantengono un metodo di attacco più stealthy e cumulativo.

Gli autori affermano:

‘È evidente che il modello proxy può essere guidato dalla non liscia delle immagini 2D per sviluppare forme 3D altamente complesse.

‘Conseguentemente, i dati avvelenati prodotti dalla proiezione di questo modello proxy sovrappopolato possono produrre più dati avvelenati, inducendo più Gaussians per adattarsi a questi dati avvelenati.’

Il sistema di attacco è vincolato da una collaborazione del 2013 tra Google e Facebook con varie università, in modo che le perturbazioni rimangano all’interno di limiti progettati per consentire al sistema di infliggere danni senza influenzare la ricreazione di un’immagine 3DGS, che sarebbe un segnale precoce di un’intrusione.

Dati e Test

I ricercatori hanno testato poison-splat contro tre set di dati: NeRF-Synthetic; Mip-NeRF360; e Tanks-and-Temples.

Hanno utilizzato l’implementazione ufficiale del 3DGS come ambiente vittima. Per un approccio black box, hanno utilizzato il framework Scaffold-GS.

I test sono stati condotti su una GPU NVIDIA A800-SXM4-80G.

Per le metriche, il numero di Gaussian splats prodotti è stato l’indicatore principale, poiché l’intenzione è quella di creare immagini di origine progettate per massimizzare e superare la ragionevole inferenza dei dati di origine. La velocità di rendering del sistema vittima è stata anche considerata.

I risultati dei test iniziali sono mostrati di seguito:

Risultati completi degli attacchi di test sui tre set di dati. Gli autori osservano che hanno evidenziato attacchi che consumano più di 24 GB di memoria. Si prega di fare riferimento al documento di origine per una risoluzione migliore.

Di questi risultati, gli autori commentano:

‘[Il nostro] attacco Poison-splat dimostra la capacità di creare un enorme onere computazionale aggiuntivo su più set di dati. Anche con perturbazioni limitate all’interno di un piccolo intervallo in [un attacco limitato], la memoria GPU di picco può essere aumentata di oltre 2 volte, rendendo l’occupazione della memoria GPU complessiva superiore a 24 GB.

‘Nel mondo reale, ciò potrebbe significare che il nostro attacco potrebbe richiedere più risorse allocabili di quanto possano fornire le stazioni GPU comuni, ad esempio RTX 3090, RTX 4090 e A5000. Inoltre [l’]attacco non solo aumenta notevolmente l’utilizzo della memoria, ma rallenta anche notevolmente la velocità di addestramento.

‘Questa proprietà rafforzerà ulteriormente l’attacco, poiché l’occupazione della memoria GPU schiacciante durerà più a lungo del normale addestramento, rendendo la perdita complessiva di potenza di calcolo più alta.’

Il progresso del modello proxy in uno scenario di attacco limitato e non limitato.

I test contro Scaffold-GS (il modello black box) sono mostrati di seguito. Gli autori affermano che questi risultati indicano che poison-splat si generalizza bene a un’architettura diversa (cioè all’implementazione di riferimento).

Risultati dei test per attacchi black box sui set di dati NeRF-Synthetic e MIP-NeRF360.

Gli autori notano che ci sono stati pochi studi centrati su questo tipo di attacchi di risorse mirati ai processi di inferenza. Il documento del 2020 Energy-Latency Attacks on Neural Networks è stato in grado di identificare esempi di dati che attivano eccessivamente le attivazioni dei neuroni, portando a un consumo debilitante di energia e a una latenza scarsa.

Gli attacchi di inferenza sono stati studiati ulteriormente in lavori successivi come Slowdown attacks on adaptive multi-exit neural network inference, Towards Efficiency Backdoor Injection, e, per i modelli di linguaggio e i modelli di visione-linguaggio (VLM), in NICGSlowDown e Verbose Images.

Conclusione

L’attacco Poison-splat sviluppato dai ricercatori sfrutta una vulnerabilità fondamentale nel Gaussian Splatting – il fatto che assegna complessità e densità di Gaussians in base al materiale che gli viene fornito per l’addestramento.

Il documento del 2024 F-3DGS: Factorized Coordinates and Representations for 3D Gaussian Splatting ha già osservato che l’assegnazione arbitraria di splat del Gaussian Splatting è un metodo inefficiente, che spesso produce anche istanze ridondanti:

‘[Questa] inefficienza deriva dall’incapacità intrinseca del 3DGS di utilizzare modelli strutturali o ridondanze. Abbiamo osservato che il 3DGS produce un numero eccessivamente grande di Gaussians anche per rappresentare strutture geometriche semplici, come superfici piatte.

‘Inoltre, i Gaussians vicini esibiscono a volte attributi simili, suggerendo la possibilità di migliorare l’efficienza rimuovendo le rappresentazioni ridondanti.’

Poiché limitare la generazione di Gaussians compromette la qualità della riproduzione in scenari non di attacco, il crescente numero di fornitori di servizi online che offrono 3DGS da dati caricati dagli utenti potrebbe dover studiare le caratteristiche delle immagini di origine per determinare le firme che indicano un’intenzione maliziosa.’

In ogni caso, gli autori del nuovo lavoro concludono che saranno necessari metodi di difesa più sofisticati per i servizi online di fronte al tipo di attacco che hanno formulato.

* La mia conversione delle citazioni in linea degli autori in collegamenti ipertestuali

Pubblicato per la prima volta venerdì 11 ottobre 2024