Отруйна атака проти 3D Gaussian Splatting

Нова дослідницька співпраця між Сінгапуром і Китаєм запропонувала метод атаки на популярний метод синтезу 3D Gaussian Splatting (3DGS).

Новий метод атаки використовує створені вихідні дані для перевантаження доступної пам’яті GPU цільової системи та для того, щоб зробити навчання так довгим, щоб потенційно знерухомити цільовий сервер, еквівалентно атаці «відмова у обслузі» (DOS).

Ця атака використовує створені навчальні зображення такої складності, що вони можуть перевантажити онлайн-сервіс, який дозволяє користувачам створювати представлення 3DGS.

Цей підхід полегшується адаптивною природою 3DGS, який призначений для додавання такої представницької деталізації, яку джерельні зображення вимагають для реалістичного рендерингу. Метод використовує створену складність зображення (текстури) та форму (геометрію).

Система атаки «poison-splat» допоможена проксі-моделлю, яка оцінює та ітерує потенціал джерельних зображень для додавання складності та екземплярів Gaussian Splat до моделі, поки хост-система не буде перевантажена.

Стаття стверджує, що онлайн-платформи – такі як LumaAI, KIRI, Spline і Polycam – все частіше пропонують 3DGS як сервіс, і що новий метод атаки – названий Poison-Splat – потенційно здатний спровокувати 3DGS-алгоритм до «найгіршої обчислювальної складності» на таких доменах, і навіть сприяти атаці «відмова у обслузі» (DOS).

Відповідно до дослідників, 3DGS міг би бути радикально більш вразливим для інших онлайн-нейронних навчальних сервісів. Традиційні процедури навчання машинного навчання встановлюють параметри на початку, а потім працюють у постійних і відносно стабільних рівнях використання ресурсів і споживання енергії. Без «еластичності», яку Gaussian Splat вимагає для призначення екземплярів сплат, такі сервіси важко атакувати таким же чином.

Крім того, автори відзначають, що постачальники сервісів не можуть захиститися від такої атаки, обмежуючи складність або густину моделі, оскільки це паралізувало б ефективність сервісу під час нормального використання.

З нової роботи ми бачимо, що хост-система, яка обмежує кількість призначених Gaussian Splats, не може функціонувати нормально, оскільки еластичність цих параметрів є фундаментальною особливістю 3DGS.

Стаття зазначає:

‘[3DGS] моделі, навчені під цією оборонною обмеженням, виконуються значно гірше порівняно з тими, які мають необмежене навчання, особливо щодо реконструкції деталей. Це зниження якості відбувається тому, що 3DGS не може автоматично відрізняти необхідні тонкі деталі від отруєних текстур.

‘Наївне обмеження кількості Гауссіанів безпосередньо призведе до відмови моделі точно реконструювати 3D-сцену, що порушує основну мету постачальника сервісу. Це дослідження демонструє, що необхідні більш складні оборонні стратегії для захисту системи та підтримання якості 3D-реконструкцій під нашою атакою.’

У тестах атака виявилася ефективною як у вільному білий-коробочному сценарії (де нападник має знання про ресурси жертви), так і в чорному ящику (де нападник не має такого знання).

Автори вважають, що їхня робота представляє перший метод атаки проти 3DGS, і попереджають, що сектор безпеки нейронного синтезу не готовий до такого роду підходу.

Нова робота називається Poison-splat: Computation Cost Attack on 3D Gaussian Splatting, і походить від п’яти авторів Національного університету Сінгапуру та Skywork AI в Пекіні.

Метод

Автори проаналізували ступінь, у якій кількість призначених Gaussian Splats (по суті, тривимірні еліпсоїдальні «пікселі») під час 3DGS-пайплайну впливає на обчислювальні витрати навчання та рендерингу моделі.

Дослідження авторів показує чітку кореляцію між кількістю призначених Гауссіанів та витратами часу навчання, а також використанням пам’яті GPU.

Правий верхній ріг зображення вище вказує на чітку залежність між різкість зображення та кількістю призначених Гауссіанів. Чим виразніше зображення, тим більше деталей потрібно для рендерингу моделі 3DGS.

Стаття зазначає*:

‘[Ми] виявили, що 3DGS призначає більше Гауссіанів тим об’єктам, які мають більш складну структуру та нерівну текстуру, як кількісно оцінюється за допомогою загального баллу варіації – метрики, яка оцінює різкість зображення. Інтуїтивно, чим менше гладка поверхня 3D-об’єктів, тим більше Гауссіанів модель потребує для відновлення всіх деталей з їхніх 2D-зображень.

‘Отже, нерівність може бути хорошим описом складності [Гауссіанів]’

Однак наївне підвищення різкості зображень буде тенденцією до впливу на семантичну цілісність моделі 3DGS так сильно, що атака буде очевидною на ранніх стадіях.

Отруєння даних ефективно вимагає більш складного підходу. Автори прийняли метод проксі-моделі, у якому атаковані зображення оптимізуються в офлайн-3DGS-моделі, розробленої та контрольованої нападниками.

Зліва ми бачимо граф, який представляє загальну вартість часу обчислень та зайнятості пам’яті GPU на наборі даних MIP-NeRF360 «room», демонструючи врожайність, наївне порушення та дані, керовані проксі.

Автори зазначають:

‘Чудово видно, що проксі-модель може бути керована від нерівності 2D-зображень для розробки високої складності 3D-форм.

‘Отже, отруєні дані, створені з проєкції цієї надгустої проксі-моделі, можуть створити ще більше отруєних даних, викликаючи ще більше Гауссіанів для підгонки цим отруєним даним.’

Система атаки обмежена співпрацею Google /Facebook 2013 року з різними університетами, так що порушення залишаються в межах, призначених для того, щоб дозволити системі завдавати шкоди без впливу на відтворення зображення 3DGS, яке було б ранньою ознакою вторгнення.

Дані та тести

Дослідники протестували атаку «poison-splat» проти трьох наборів даних: NeRF-Synthetic; Mip-NeRF360; і Tanks-and-Temples.

Вони використали офіційну реалізацію 3DGS як середовище жертви. Для чорного ящика вони використали фреймворк Scaffold-GS.

Тести проводилися на GPU NVIDIA A800-SXM4-80G.

Для метрик кількість створених Гауссіанів була основним індикатором, оскільки метою є створення джерельних зображень, призначених для максимізації та перевищення раціонального висновку джерельних даних. Також розглядалася швидкість рендерингу цільової системи.

Результати початкових тестів показані нижче:

Повні результати тестових атак на трьох наборах даних. Автори відзначають, що вони виділили атаки, які успішно споживають понад 24 ГБ пам’яті. Будь ласка, зверніться до джерельної статті для кращого розрізнення.

З цих результатів автори коментують:

‘[Наша] атака «poison-splat» демонструє здатність створити величезне додаткове обчислювальне навантаження на декілька наборів даних. Навіть з порушеннями, обмеженими в малому діапазоні в [обмеженій] атаці, пік пам’яті GPU може бути збільшений до більше ніж у два рази, роблячи загальну максимальну зайнятість GPU вищою за 24 ГБ.

‘У реальному світі це може означати, що наша атака може потребувати більше виділені ресурси, ніж звичайні стації GPU можуть забезпечити, наприклад, RTX 3090, RTX 4090 і A5000. Крім того [атаці] не тільки значно збільшує використання пам’яті, але також сильно сповільнює швидкість навчання.

‘Ця властивість ще більше посилить атаку, оскільки перевантаження GPU триватиме довше, ніж звичайне навчання, роблячи загальну втрату обчислювальної потужності вищою.’

Прогрес проксі-моделі в обмеженому та необмеженому сценарії атаки.

Тести проти Scaffold-GS (чорний ящик) показані нижче. Автори зазначають, що ці результати свідчать про те, що «poison-splat» добре узагальнюється для такої різної архітектури (тобто, до референсної реалізації).

Результати тестових атак на NeRF-Synthetic і набір даних MIP-NeRF360.

Автори відзначають, що було дуже мало досліджень, які фокусуються на цьому роді атак, спрямованих на ресурси під час процесів висновку.

Атаки під час висновку були вивчені далі в наступних роботах, таких як Energy-Latency Attacks on Neural Networks , які змогли визначити приклади даних, які викликають надмірну активацію нейронів, що призводить до.debilitating споживання енергії та поганої затримки.

Висновок

Атака «poison-splat», розроблена дослідниками, використовує фундаментальну вразливість у Gaussian Splatting – той факт, що вона призначає складність та густину Гауссіанів відповідно до матеріалу, який вона отримує для навчання.

Робота 2024 року F-3DGS: Factorized Coordinates and Representations for 3D Gaussian Splatting вже відзначила, що призначення Гауссіанів у Gaussian Splatting є неефективним методом, який часто також виробляє надлишкові екземпляри:

‘[Це] неефективність походить від вродженої нездатності 3DGS використовувати структуровані закономірності або надлишковість. Ми спостерігали, що 3DGS створює зайву кількість Гауссіанів навіть для представлення простих геометричних структур, таких як плоскі поверхні.

‘Крім того, сусідні Гауссіани іноді демонструють схожі атрибути, що свідчить про потенційну можливість підвищення ефективності шляхом видалення надлишкових представлень.’

Оскільки обмеження генерації Гауссіанів підтримує якість відтворення в неатакованих сценаріях, зростаюча кількість онлайн-постачальників, які пропонують 3DGS з даних користувачів, можуть потребувати вивчення характеристик джерельних зображень для визначення підписів, які свідчать про зловмисну намір.

У будь-якому випадку автори нової роботи висновують, що більш складні методи захисту будуть необхідні для онлайн-сервісів у разі такого роду атаки, яку вони сформулювали.

* Моя конверсія внутрішніх посилань авторів у гіперпосилання

Перша публікація – п’ятниця, 11 жовтня 2024 року