Отруєння проти 3D Гауссового розсіювання

Нове дослідницьке співробітництво між Сінгапуром та Китаєм запропонувало метод атаки на популярний метод синтезу 3D Гауссове розсіювання (3DGS).

Новий метод атаки використовує створені вихідні дані для перевантаження доступної пам’яті GPU цільової системи та для того, щоб зробити навчання таким тривалим, що потенційно може вивести з ладу цільовий сервер, еквівалентно атаці відмови у обслузі (DOS). Джерело: https://arxiv.org/pdf/2410.08190

Атака використовує створені навчальні зображення такого рівня складності, що вони можуть перевантажити онлайн-сервіс, який дозволяє користувачам створювати представлення 3DGS.

Цей підхід сприяється адаптивною природою 3DGS, який призначений для додавання якомога більше представницької деталізації, яку джерельні зображення вимагають для реалістичної візуалізації. Метод використовує як створену складність зображення (текстури), так і форму (геометрію).

Система атаки ‘poison-splat’ допомагає проксі-модель, яка оцінює та ітерує потенціал джерельних зображень для додавання складності та екземплярів Гауссового розсіювання до моделі, поки система-хост не буде перевантажена.

У роботі стверджується, що онлайн-платформи – такі як LumaAI, KIRI, Spline і Polycam – все частіше пропонують 3DGS як сервіс, і що новий метод атаки – під назвою Poison-Splat – потенційно здатний спонукати алгоритм 3DGS до “його найгіршої обчислювальної складності” на таких доменах, і навіть сприяти атаці відмови у обслузі (DOS).

Згідно з дослідниками, 3DGS може бути радикально більш вразливим для інших онлайн-сервісів нейронного навчання. Традиційні процедури навчання машинного навчання встановлюють параметри на початку, і потім працюють у межах постійних і відносно стабільних рівнів використання ресурсів і споживання енергії. Без “еластичності”, яку Гауссове розсіювання вимагає для призначення екземплярів розсіювання, такі сервіси важко атакувати тим же способом.

Крім того, автори відзначають, що постачальники послуг не можуть захиститися від такої атаки, обмежуючи складність або густину моделі, оскільки це буде паралізувати ефективність сервісу під час нормального використання.

З нової роботи ми бачимо, що система-хост, яка обмежує кількість призначених Гауссових розсіювань, не може функціонувати нормально, оскільки еластичність цих параметрів є фундаментальною особливістю 3DGS.

У роботі сказано:

‘[3DGS] моделі, навчені під цією оборонною обмеженням, виконують набагато гірше порівняно з тими, які мають необмежене навчання, особливо щодо реконструкції деталей. Це зниження якості відбувається тому, що 3DGS не може автоматично розрізняти необхідні тонкі деталі від отруєних текстур.

‘Наївне обмеження кількості Гауссових розсіювань безпосередньо призведе до відмови моделі точно реконструювати 3D-сцену, що порушує основну мету постачальника послуг. Це дослідження демонструє, що більш складні оборонні стратегії необхідні для захисту системи та підтримання якості 3D-реконструкцій під нашою атакою.’

У тестах атака виявилася ефективною як у вільному білому бокс-сценарії (де атакувальник має знання про ресурси жертви), так і в чорному бокс-підході (де атакувальник не має такого знання).

Автори вважають, що їхня робота представляє перший метод атаки проти 3DGS, і попереджають, що сектор безпеки нейронної синтезу не готовий до такого типу підходу.

Нова робота робота називається Poison-splat: Computation Cost Attack on 3D Gaussian Splatting, і походить від п’яти авторів Національного університету Сінгапуру та Skywork AI в Пекіні.

Метод

Автори проаналізували ступінь, до якого кількість Гауссових розсіювань (по суті, тривимірні еліпсоїдальні “пікселі”) призначених моделі під 3DGS-пайплайном, впливає на обчислювальні витрати навчання та рендерингу моделі.

Дослідження авторів показує чітку кореляцію між кількістю призначених Гауссових розсіювань та витратами часу навчання, а також використанням пам’яті GPU.

Права фігура на зображенні вище вказує на чітку залежність між різкоюстю зображення та кількістю призначених Гауссових розсіювань. Чим різкіше зображення, тим більше деталей потрібно для рендерингу моделі 3DGS.

У роботі сказано*:

‘[Ми] виявили, що 3DGS схильний призначати більше Гауссових розсіювань тим об’єктам, які мають більш складні структури та нерівні текстури, як кількісно оцінюється загальним показником варіації – метрикою, яка оцінює різкість зображення. Інтуїтивно, чим менше гладка поверхня 3D-об’єктів, тим більше Гауссових розсіювань модель потребує для відновлення всіх деталей з 2D-проєкцій.

‘Отже, нерівність може бути доброю описувачем складності [Гауссових розсіювань]’

Однак наївне підвищення різкості зображень буде тенденцією до впливу на семантичну цілісність моделі 3DGS так сильно, що атака буде очевидною на ранніх стадіях.

Отруєння даних ефективно вимагає більш складного підходу. Автори прийняли проксі-модель метод, у якому атаковані зображення оптимізуються в офлайн-3DGS-моделі, розробленій та контрольованій атакувальниками.

Зліва ми бачимо граф, який представляє загальну вартість часу обчислень та зайнятості пам’яті GPU на наборі даних MIP-NeRF360 “room”, демонструючи врожайність, наївне порушення та дані, керовані проксі.

Автори стверджують:

‘Чи не очевидно, що проксі-модель може бути керована від нерівності 2D-зображень для розробки високої складності 3D-форм.

‘Отже, отруєні дані, створені з проєкції цієї надгустої проксі-моделі, можуть створити більше отруєних даних, викликаючи більше Гауссових розсіювань для підгонки цих отруєних даних.’

Система атаки обмежена співробітництвом 2013 року між Google та Facebook з різними університетами, так що порушення залишаються в межах, призначених для того, щоб завдати шкоди без впливу на відновлення зображення 3DGS, яке буде раннім сигналом про вторгнення.

Дані та тести

Дослідники протестували poison-splat проти трьох наборів даних: NeRF-Synthetic; Mip-NeRF360; і Tanks-and-Temples.

Вони використали офіційну реалізацію 3DGS як середовище жертви. Для чорного бокс-підходу вони використали Scaffold-GS.framework.

Тести проводилися на GPU NVIDIA A800-SXM4-80G.

Для метрик кількість Гауссових розсіювань, створених, була основним індикатором, оскільки мета полягає в створенні джерельних зображень, призначених для максимізації та перевищення раціонального висновку джерельних даних. Рендеринг швидкості цільової системи також розглядалася.

Результати початкових тестів показані нижче:

Повні результати тестових атак через три набори даних. Автори спостерігають, що вони виділили атаки, які успішно споживають більше 24 ГБ пам’яті. Будь ласка, зверніться до джерельної роботи для кращого розрішення.

З цих результатів автори коментують:

‘[Наша] атака poison-splat демонструє здатність створити величезне додаткове обчислювальне навантаження через кілька наборів даних. Навіть з порушеннями, обмеженими в малому діапазоні в [обмеженій] атаці, пікова пам’ять GPU може бути збільшена до більш ніж у два рази, роблячи загальну максимальну зайнятість GPU вищою за 24 ГБ.

‘У реальному світі це може означати, що наш атака може потребувати більше виділених ресурсів, ніж звичайні станції GPU можуть забезпечити, наприклад RTX 3090, RTX 4090 та A5000. Крім того [це] підвищує не тільки використання пам’яті, але й значно сповільнює швидкість навчання.

‘Ця властивість ще більше посилить атаку, оскільки перевантаження GPU зайнятості триватиме довше, ніж нормальне навчання може зайняти, роблячи загальну втрату обчислювальної потужності вищою.’

Прогрес проксі-моделі в обмеженому та необмеженому сценарії атаки.

Тести проти Scaffold-GS (чорної скриньки-моделі) показані нижче. Автори стверджують, що ці результати вказують на те, що poison-splat добре узагальнюється до такої різної архітектури (тобто, до референсної реалізації).

Результати тестових атак на NeRF-Synthetic та набір даних MIP-NeRF360.

Автори відзначають, що було дуже мало досліджень, які зосереджувалися на цьому типу атак на ресурси в процесах висновку. Робота 2020 року Energy-Latency Attacks on Neural Networks змогла ідентифікувати дані приклади, які викликають надмірну активацію нейронів, що призводить до вирішальної втрати енергії та поганої затримки.

Атаки під час висновку були вивчені далі в наступних роботах, таких як Slowdown attacks on adaptive multi-exit neural network inference, Towards Efficiency Backdoor Injection, і, для мовних моделей та моделей бачення-мови (VLMs), в NICGSlowDown, і Verbose Images.

Висновок

Атака Poison-splat, розроблена дослідниками, використовує фундаментальну вразливість Гауссового розсіювання – той факт, що воно призначає складність та густину Гауссових розсіювань згідно з матеріалом, який йому надається для навчання.

Робота 2024 року F-3DGS: Factorized Coordinates and Representations for 3D Gaussian Splatting вже спостерігала, що Гауссове розсіювання призначає розсіювання довільним чином – це неефективний метод, який часто також виробляє зайві екземпляри:

‘[Це] неефективність походить від вродженої нездатності 3DGS використовувати структуровані закономірності або надмірності. Ми спостерігали, що 3DGS створює надмірно велику кількість Гауссових розсіювань навіть для представлення простих геометричних структур, таких як плоскі поверхні.

‘Крім того, сусідні Гауссові розсіювання іноді демонструють подібні атрибути, що свідчить про потенційну можливість підвищення ефективності шляхом видалення зайвих представлень.’

Оскільки обмеження генерації Гауссових розсіювань підтримує якість відтворення в не-атакових сценаріях, зростаюча кількість онлайн-постачальників, які пропонують 3DGS з джерельних даних користувачів, можуть потребувати вивчення характеристик джерельних зображень для визначення підписів, які вказують на зловмисну намір.

У будь-якому випадку автори нової роботи висновують, що більш складні оборонні методи будуть необхідні для онлайн-сервісів у face атаки, яку вони сформулювали.

* Мій перехід авторських внутрішніх посилань на гіперпосилання

Перша публікація п’ятниці, 11 жовтня 2024