Útok na 3D Gaussian Splatting

Nová výzkumná spolupráce mezi Singapurem a Čínou navrhla metodu pro útok na populární syntetickou metodu 3D Gaussian Splatting (3DGS).

Nová metoda útoku používá vytvořená zdrojová data k přetížení dostupné GPU paměti cílového systému a k prodloužení doby trénování, aby potenciálně znemožnila cílový server, ekvivalentně jako útok typu denial-of-service (DOS). Source: https://arxiv.org/pdf/2410.08190

Útok používá vytvořené trénovací obrázky takové složitosti, že jsou pravděpodobně přetížit online službu, která umožňuje uživatelům vytvářet 3DGS reprezentace.

Tato metoda je usnadněna adaptivní povahou 3DGS, která je navržena tak, aby přidala tolik reprezentační detailů, kolik vyžadují zdrojové obrázky pro realistickou renderaci. Metoda využívá vytvořenou složitost obrázků (textury) a tvar (geometrie).

Systém útoku ‘poison-splat’ je podporován proxy modelem, který odhaduje a iteruje potenciál zdrojových obrázků k přidání složitosti a instancí Gaussian Splat do modelu, až do té doby, než je hostitelský systém přetížen.

Paper tvrdí, že online platformy – jako LumaAI, KIRI, Spline a Polycam – jsou stále více nabízejí 3DGS jako službu, a že nová metoda útoku – nazvaná Poison-Splat – je potenciálně schopná tlačit 3DGS algoritmus směrem k ‘nejhorší výpočetní složitosti’ na těchto doménách, a dokonce umožnit útok typu denial-of-service (DOS).

Podle výzkumníků by 3DGS mohl být radikálně více zranitelný než ostatní online služby neuronových sítí. Konvenční metody strojového učení nastavují parametry na začátku a poté operují v rámci konstantních a relativně konzistentních úrovní využití zdrojů a spotřeby energie. Bez “elasticity”, kterou Gaussian Splat vyžaduje pro přiřazení instancí splat, jsou tyto služby obtížně cílitelné stejným způsobem.

Dále autoři poznamenávají, že poskytovatelé služeb nemohou bránit proti takovému útoku omezením složitosti nebo hustoty modelu, protože by to znemožnilo účinnost služby při normálním použití.

Z nové práce je vidět, že hostitelský systém, který omezuje počet přiřazených Gaussian Splat, nemůže fungovat normálně, protože elasticita těchto parametrů je fundamentální vlastností 3DGS.

Paper uvádí:

‘[3DGS] modely trénované pod těmito obrannými omezeními vykazují mnohem horší výsledky ve srovnání s těmi, které mají neomezené trénování, zejména v terms of detail reconstruction. Tento pokles kvality nastává, protože 3DGS nemůže automaticky rozlišit nezbytné jemné detaily od otrávených textur.

‘Naivně omezující počet Gaussiánů by přímo vedlo k selhání modelu při rekonstrukci 3D scény přesně, což porušuje primární cíl poskytovatele služby. Tato studie demonstruje, že jsou zapotřebí více sofistikované obranné strategie, aby chránily systém a udržovaly kvalitu 3D rekonstrukcí pod tímto útokem.’

V testech se ukázal, že útok je účinný jak v bílém boxovém scénáři (kde útočník má znalosti o zdrojích oběti), tak v černém boxovém přístupu (kde útočník nemá takové znalosti).

Autoři se domnívají, že jejich práce představuje první metodu útoku proti 3DGS, a varují, že sektor bezpečnosti neuronových sítí není připraven na tento typ přístupu.

Nová práce se nazývá Poison-splat: Computation Cost Attack on 3D Gaussian Splatting, a pochází od pěti autorů z National University of Singapore a Skywork AI v Pekingu.

Metoda

Autoři analyzovali rozsah, v jakém počet Gaussian Splat (v podstatě třírozměrné elipsoidní ‘pixely’) přiřazený k modelu v rámci 3DGS pipeline ovlivňuje výpočetní náklady trénování a renderování modelu.

Studie autorů odhaluje jasnou korelaci mezi počtem přiřazených Gaussiánů a náklady na trénování, jakož i využití GPU paměti.

Pravá figura v obrázku výše ukazuje jasnou souvislost mezi ostrostí obrazu a počtem přiřazených Gaussiánů. Čím ostřejší je obraz, tím více detailů je vidět, aby se renderoval 3DGS model.

Paper uvádí*:

‘[My] najdeme, že 3DGS tenduje přidělovat více Gaussiánů těm objektům, které mají složitější struktury a nehladké textury, jak je kvantifikováno skóre celkové variability – metrikou, která hodnotí ostrost obrazu. Intuitivně, čím méně hladká je povrch 3D objektů, tím více Gaussiánů model potřebuje k zachycení všech detailů z jeho 2D obrazových projekcí.

‘Protože nehladkost může být dobrým popisovačem složitosti [Gaussiánů]’

Nicméně, naivní zvyšování ostrosti obrazu by tendovalo ovlivnit semantickou integritu 3DGS modelu natolik, že by útok byl zjevný již v raných fázích.

Otrávení dat efektivně vyžaduje sofistikovanější přístup. Autoři přijali proxy model metodu, kdy jsou útočné obrázky optimalizovány v off-line 3DGS modelu vyvinutém a řízeném útočníky.

Vlevo vidíme graf reprezentující celkové náklady na výpočetní čas a obsazení GPU paměti na MIP-NeRF360 ‘room’ dataset, demonstrujícího nativní výkon, naivní perturbaci a proxy-driven data. Vpravo vidíme, že naivní perturbace zdrojových obrázků (červená) vede k rychlým katastrofickým výsledkům příliš brzy ve procesu. Naopak, proxy-řízené zdrojové obrázky udržují více skrytou a kumulativní metodu útoku.

Autoři uvádějí:

‘Je evidentní, že proxy model může být veden z nehladkosti 2D obrazů k vývoji vysoce složitých 3D tvarů.

‘Následkem toho může otrávená data vytvořená z projekce tohoto nadměrně hustého proxy modelu produkovat více otrávených dat, indukujících více Gaussiánů k přizpůsobení těmto otráveným datům.’

Systém útoku je omezen spoluprací z roku 2013 mezi Googlem a Facebookem s různými univerzitami, aby perturbace zůstaly v rámci hranic navržených tak, aby umožnily systému způsobit škodu, aniž by ovlivnily rekonstrukci 3DGS obrazu, což by bylo raným signálem průniku.

Data a testy

Výzkumníci otestovali poison-splat proti třem datasetům: NeRF-Synthetic; Mip-NeRF360; a Tanks-and-Temples.

Použili oficiální implementaci 3DGS jako oběťové prostředí. Pro černý boxový přístup použili Scaffold-GS framework.

Testy byly provedeny na NVIDIA A800-SXM4-80G GPU.

Pro metriky byl počet vygenerovaných Gaussian Splat primárním ukazatelem, protože záměrem je vytvořit zdrojová data navržená tak, aby maximalizovala a přesáhla racionální inferenci zdrojových dat. Rovněž byla zvažována renderovací rychlost cílového systému.

Výsledky počátečních testů jsou uvedeny níže:

Úplné výsledky testovacích útoků napříč třemi datasety. Autoři pozorují, že úspěšně zvýšili spotřebu paměti nad 24 GB. Viz zdroj papíru pro lepší rozlišení.

Z těchto výsledků autoři komentují:

‘[Náš] Poison-splat útok demonstruje schopnost vytvořit obrovskou extra výpočetní zátěž napříč několika datasety. I s perturbacemi omezenými v malém rozsahu v [omezeném] útoku, může být maximální GPU paměť zvýšena na více než 2krát, což činí celkovou maximální GPU obsazenost vyšší než 24 GB.

‘[V] reálném světě to může znamenat, že náš útok může vyžadovat více alokovatelných zdrojů, než mohou poskytnout běžné GPU stanice, např. RTX 3090, RTX 4090 a A5000. Kromě toho [útok] nejenom významně zvyšuje využití paměti, ale také značně zpomaluje rychlost trénování.

‘Tato vlastnost by dále posílila útok, protože přetížení GPU bude trvat déle než běžné trénování, což činí celkovou ztrátu výpočetní síly vyšší.’

Pokrok proxy modelu v omezeném a neomezeném scénáři útoku.

Testy proti Scaffold-GS (černý boxový model) jsou uvedeny níže. Autoři uvádějí, že tyto výsledky ukazují, že poison-splat generalizuje dobře na jinou architekturu (tj. na referenční implementaci).

Výsledky testovacích útoků na NeRF-Synthetic a MIP-NeRF360 datasety.

Autoři poznamenávají, že bylo provedeno velmi málo studií zaměřených na tento typ útoků na zdroje v procesech inferencing. Paper z roku 2020 Energy-Latency Attacks on Neural Networks byl schopen identifikovat data, která spouští nadměrnou aktivaci neuronů, vedoucí k devastující spotřebě energie a špatné latenci.

Útoky v době inferencing byly dále studovány v následujících pracích, jako Slowdown attacks on adaptive multi-exit neural network inference, Towards Efficiency Backdoor Injection, a pro jazykové modely a vizuální-jazykové modely (VLMs) v NICGSlowDown, a Verbose Images.

Závěr

Poison-splat útok vyvinutý výzkumníky využívá fundamentální zranitelnost v Gaussian Splatting – fakt, že přiřazuje složitost a hustotu Gaussiánů podle materiálu, na kterém se trénuje.

Paper z roku 2024 F-3DGS: Factorized Coordinates and Representations for 3D Gaussian Splatting již pozoroval, že Gaussian Splatting přiřazuje splaty libovolně, což je neefektivní metoda, která často produkuje redundatní instance:

‘[Tato] neefektivita pramení z inherentní neschopnosti 3DGS využít strukturální vzory nebo redundance. Pozorujeme, že 3DGS produkuje zbytečně velký počet Gaussiánů, dokonce i pro reprezentaci jednoduchých geometrických struktur, jako jsou ploché povrchy.

‘Navíc, blízké Gaussiány někdy vykazují podobné atributy, naznačující potenciál pro zlepšení efektivity odstraněním redundatních reprezentací.’

Přitom omezení generování Gaussiánů podkopává kvalitu reprodukce v neútočných scénářích, může být nutné studovat charakteristiky zdrojových obrazů, aby se určily signatury, které indikují zlomyslnou intenci.

V každém případě autoři nové práce uzavírají, že budou zapotřebí více sofistikované obranné metody pro online služby v případě tohoto typu útoku.

* Můj převod inline citací autorů na hypertextové odkazy

Poprvé publikováno v pátek, 11. října 2024