Atak Trujący Przeciwko 3D Gaussian Splatting

Nowe badanie współpracy między Singapurem a Chinami zaproponowało metodę ataku na popularną metodę syntezy 3D Gaussian Splatting (3DGS).

Nowa metoda ataku wykorzystuje spreparowane dane źródłowe, aby przeładować dostępną pamięć GPU systemu docelowego i spowodować, że trening będzie tak długi, że może uniemożliwić działanie serwera docelowego, co jest równoznaczne z atakiem typu denial-of-service (DOS).

Atak wykorzystuje spreparowane obrazy szkoleniowe o takim stopniu złożoności, że mogą one zalać usługę online, która pozwala użytkownikom tworzyć reprezentacje 3DGS.

Podejście to ułatwione jest przez adaptacyjny charakter 3DGS, który jest zaprojektowany tak, aby dodać tyle szczegółów reprezentacyjnych, ile wymagają obrazy źródłowe do realistycznego renderowania. Metoda wykorzystuje zarówno spreparowaną złożoność obrazu (tekstury), jak i kształt (geometrię).

System ataku ‘poison-splat’ jest wspomagany przez model proxy, który szacuje i iteruje potencjał obrazów źródłowych, aby dodać złożoność i instancje Gaussian Splat do modelu, aż system docelowy zostanie przeładowany.

Artykuł twierdzi, że platformy online – takie jak LumaAI, KIRI, Spline i Polycam – coraz częściej oferują 3DGS jako usługę, i że nowa metoda ataku – zatytułowana Poison-Splat – jest potencjalnie w stanie spowodować, że algorytm 3DGS będzie działał w najgorszym przypadku złożoności obliczeniowej na tych domenach, i nawet ułatwić atak typu denial-of-service (DOS).

Zdaniem badaczy, 3DGS mogą być znacznie bardziej narażone na ataki w porównaniu z innymi usługami szkolenia online. Konwencjonalne procedury szkolenia ustalają parametry na początku i następnie działają w ramach stałych i względnie spójnych poziomów zużycia zasobów i zużycia energii. Bez “elastyczności”, którą Gaussian Splat wymaga do przypisania instancji splat, takie usługi są trudne do zaatakowania w ten sam sposób.

Ponadto, autorzy zauważają, że dostawcy usług nie mogą obronić się przed takim atakiem, ograniczając złożoność lub gęstość modelu, ponieważ to osłabiłoby skuteczność usługi w przypadku normalnego użycia.

Z nowej pracy wynika, że system docelowy, który ogranicza liczbę przypisanych Gaussian Splat, nie może funkcjonować normalnie, ponieważ elastyczność tych parametrów jest podstawową cechą 3DGS.

Artykuł stwierdza:

‘[3DGS] modele szkoleniowe pod tymi ograniczeniami wykonują znacznie gorzej w porównaniu z tymi bez ograniczeń, szczególnie pod względem rekonstrukcji szczegółów. Spadek jakości występuje, ponieważ 3DGS nie może automatycznie odróżnić niezbędnych szczegółów od zatruwanych tekstur.

‘Naiwne ograniczenie liczby Gaussów bezpośrednio prowadzi do awarii modelu i niezdolności do odtworzenia sceny 3D dokładnie, co narusza podstawowy cel dostawcy usługi. To badanie dowodzi, że bardziej zaawansowane strategie obronne są konieczne, aby chronić system i utrzymać jakość rekonstrukcji 3D pod atakiem.’

W testach atak okazał się skuteczny zarówno w scenariuszu white-box (gdzie atakujący ma wiedzę o zasobach ofiary), jak i w podejściu black box (gdzie atakujący nie ma takiej wiedzy).

Autorzy uważają, że ich praca reprezentuje pierwszą metodę ataku na 3DGS i ostrzegają, że sektor badań nad bezpieczeństwem syntezy neuronowej nie jest przygotowany na tego rodzaju podejście.

Nowy artykuł nosi tytuł Poison-splat: Atak na koszt obliczeniowy 3D Gaussian Splatting i pochodzi od pięciu autorów z National University of Singapore i Skywork AI w Pekinie.

Metoda

Autorzy analizowali, w jakim stopniu liczba Gaussian Splat (co jest podstawą trójwymiarowych elipsoid ‘pikseli’) przypisanych do modelu w ramach potoku 3DGS wpływa na koszty obliczeniowe szkolenia i renderowania modelu.

Badanie autorów ujawnia wyraźną korelację między liczbą przypisanych Gaussów a kosztami czasu szkolenia, a także zużyciem pamięci GPU.

Prawa figura na powyższym obrazie wskazuje wyraźną zależność między ostrością obrazu a liczbą Gaussów przypisanych. Im ostrzejszy obraz, tym więcej szczegółów jest wymaganych do renderowania modelu 3DGS.

Artykuł stwierdza*:

‘[Stwierdzamy], że 3DGS tendencję do przypisywania więcej Gaussów do obiektów o bardziej złożonych strukturach i niesmooth textures, co jest mierzone przez wynik całkowitej zmienności – miarę ostrych krawędzi. Intuicyjnie, im mniej gładka powierzchnia obiektu 3D, tym więcej Gaussów model potrzebuje, aby odzyskać wszystkie szczegóły z projekcji 2D.

‘Stąd niesmoothness może być dobrym opisem złożoności [Gaussów]’

Jednakże, naiwne zwiększanie ostrości obrazu będzie tendencją do wpływania na integralność semantyczną modelu 3DGS tak bardzo, że atak będzie oczywisty na wczesnym etapie.

Trucizna danych wymaga bardziej zaawansowanego podejścia. Autorzy przyjęli metodę modelu proxy, w której obrazy ataku są optymalizowane w modelu 3DGS offline, opracowanym i kontrolowanym przez atakujących.

Po lewej stronie widzimy wykres reprezentujący ogólny koszt czasu obliczeń i zajętości pamięci GPU na zestawie danych MIP-NeRF360 ‘room’, demonstrując rodzimą wydajność, naiwną perturbację i dane sterowane przez model proxy. Po prawej stronie widzimy, że naiwna perturbacja obrazów źródłowych (czerwony) prowadzi do szybko katastrofalnych wyników zbyt wcześnie w procesie. W przeciwieństwie do tego, widzimy, że obrazy źródłowe sterowane przez model proxy utrzymują bardziej skrytą i kumulatywną metodę ataku.

Autorzy stwierdzają:

‘Jest oczywiste, że model proxy może być sterowany przez niesmoothness 2D obrazów, aby rozwijać bardzo złożone kształty 3D.

‘W związku z tym, zatrucona data wyprodukowana z projekcji tego przeludnionego modelu proxy może wytworzyć więcej zatruconych danych, wywołując więcej Gaussów, aby dopasować te zatrucone dane.’

System ataku jest ograniczony przez współpracę Google /Facebook z 2013 roku z różnymi uniwersytetami, tak aby perturbacje pozostały w granicach zaprojektowanych do pozwolenia systemowi na wyrządzenie szkody bez wpływu na odtworzenie obrazu 3DGS, co byłoby wczesnym sygnałem wtargnięcia.

Dane i testy

Badacze przetestowali poison-splat na trzech zestawach danych: NeRF-Synthetic; Mip-NeRF360; i Tanks-and-Temples.

Użyli oficjalnej implementacji 3DGS jako środowiska ofiary. Dla podejścia black box użyli frameworku Scaffold-GS.

Testy zostały przeprowadzone na karcie graficznej NVIDIA A800-SXM4-80G.

Dla metryk, liczba wyprodukowanych Gaussian Splat była głównym wskaźnikiem, ponieważ intencją jest stworzenie obrazów źródłowych zaprojektowanych tak, aby maksymalizować i przekraczać racjonalną inferencję danych źródłowych. Rozważano również szybkość renderowania systemu docelowego.

Wyniki początkowych testów są przedstawione poniżej:

Pełne wyniki ataków testowych na trzech zestawach danych. Autorzy zauważają, że podkreślają ataki, które pomyślnie zużywają więcej niż 24 GB pamięci. Proszę odnieść się do oryginalnego artykułu, aby uzyskać lepszą rozdzielczość.

Z tych wyników autorzy komentują:

‘[Nasza] metoda ataku poison-splat demonstruje zdolność do stworzenia ogromnego dodatkowego obciążenia obliczeniowego na wielu zestawach danych. Nawet z perturbacjami ograniczonymi w małym zakresie w ataku, szczytowa pamięć GPU może zostać zwiększona do ponad dwukrotności, co sprawia, że całkowita maksymalna zajętość pamięci GPU jest wyższa niż 24 GB.

‘W świecie rzeczywistym może to oznaczać, że nasz atak może wymagać więcej zasobów niż typowe stacje GPU, np. RTX 3090, RTX 4090 i A5000. Ponadto [atak] nie tylko znacznie zwiększa zużycie pamięci, ale także znacznie spowalnia szybkość szkolenia.

‘Ta właściwość jeszcze bardziej wzmocni atak, ponieważ przytłaczająca zajętość pamięci GPU potrwa dłużej niż normalne szkolenie, co sprawi, że całkowita utrata mocy obliczeniowej będzie wyższa.’

Postęp modelu proxy w scenariuszu ograniczonym i nieograniczonym.

Testy przeciwko Scaffold-GS (model black box) są przedstawione poniżej. Autorzy stwierdzają, że wyniki te wskazują, że poison-splat generalizuje się dobrze do innej architektury (tj. do implementacji referencyjnej).

Wyniki testów ataków black box na zestawach danych NeRF-Synthetic i MIP-NeRF360.

Autorzy zauważają, że było bardzo niewiele badań dotyczących tego rodzaju ataków ukierunkowanych na zasoby w procesach inferencyjnych. Artykuł z 2020 roku Ataki na energię i opóźnienia w sieciach neuronowych był w stanie zidentyfikować przykłady danych, które wywołują nadmierne aktywacje neuronów, prowadząc do niekorzystnego zużycia energii i opóźnień.

Ataki w czasie inferencji były badane dalej w późniejszych pracach, takich jak Ataki spowolnienia na inferencję sieci neuronowych z wieloma wyjściami, Wkładanie backdoorów w sieciach neuronowych, oraz, dla modeli językowych i modeli językowo-wizualnych (VLM), w NICGSlowDown i Verbose Images.

Wnioski

Atak poison-splat opracowany przez badaczy wykorzystuje podstawową słabość w Gaussian Splatting – fakt, że przypisuje złożoność i gęstość Gaussów zgodnie z materiałem, na którym jest szkolony.

Artykuł z 2024 roku F-3DGS: Koordynaty i reprezentacje czynnikowe dla 3D Gaussian Splatting już wcześniej stwierdził, że przypisanie splat przez Gaussian Splatting jest niewydajną metodą, która często również produkuje zbędne instancje:

‘[To] niewydajność wynika z wrodzonej niezdolności 3DGS do wykorzystania strukturalnych wzorców lub redundancji. Zaobserwowaliśmy, że 3DGS wytwarza niepotrzebnie dużą liczbę Gaussów, nawet do reprezentowania prostych struktur geometrycznych, takich jak płaskie powierzchnie.

‘Ponadto, pobliskie Gaussowskie czasem wykazują podobne atrybuty, co sugeruje potencjał do poprawy wydajności przez usunięcie zbędnych reprezentacji.’

Ponieważ ograniczanie generowania Gaussów podważa jakość odtworzenia w przypadku braku ataku, rosnąca liczba dostawców usług online, które oferują 3DGS z danych użytkowników, może musieć zbadać cechy obrazów źródłowych, aby określić sygnały, które wskazują na złą intencję.’

W każdym przypadku, autorzy nowej pracy stwierdzają, że bardziej zaawansowane metody obronne będą konieczne dla usług online w obliczu rodzaju ataku, jaki opracowali.

* Moja konwersja cytatów wewnętrznych autorów do linków

Opublikowane po raz pierwszy w piątek, 11 października 2024