Отравляющая атака против 3D-сплэттинга Гаусса

Новое исследовательское сотрудничество между Сингапуром и Китаем предложило метод атаки на популярный метод синтеза 3D-сплэттинг Гаусса (3DGS).

Новый метод атаки использует созданные источники данных для перегрузки доступной памяти GPU целевой системы и для того, чтобы сделать обучение таким длительным, что потенциально может вывести из строя целевой сервер, эквивалентно атаке типа «отказ в обслуживании» (DOS).

Атака использует созданные обучающие изображения такой сложности, что они, скорее всего, перегрузят онлайн-сервис, который позволяет пользователям создавать представления 3DGS.

Этот подход облегчается адаптивной природой 3DGS, который предназначен для добавления как можно больше деталей представления в зависимости от требований источников изображений для реалистичного рендеринга. Метод использует созданную сложность изображений (текстуры) и форму (геометрию).

Система атаки ‘poison-splat’ помогается прокси-моделью, которая оценивает и итеративно потенциал источников изображений для добавления сложности и экземпляров сплэттинга Гаусса к модели, пока хост-система не будет перегружена.

Статья утверждает, что онлайн-платформы – такие как LumaAI, KIRI, Spline и Polycam – все чаще предлагают 3DGS в качестве сервиса, и что новый метод атаки – озаглавленный Poison-Splat – потенциально способен толкнуть алгоритм 3DGS к «его худшей вычислительной сложности» на таких доменах, и даже облегчить атаку типа «отказ в обслуживании» (DOS).

Согласно исследователям, 3DGS может быть радикально более уязвимым для других онлайн-сервисов нейронного обучения. Обычные процедуры обучения машинного обучения устанавливают параметры в начале, и затем работают в постоянных и относительно последовательных уровнях использования ресурсов и потребления энергии. Без «эластичности», которую сплэттинг Гаусса требует для присвоения экземпляров сплэттинга, такие сервисы трудно атаковать таким же образом.

Кроме того, авторы отмечают, что провайдеры сервисов не могут защититься от такой атаки, ограничивая сложность или плотность модели, поскольку это бы парализовало эффективность сервиса в нормальном использовании.

Из новой работы мы видим, что хост-система, которая ограничивает количество присвоенных сплэттингов Гаусса, не может функционировать нормально, поскольку эластичность этих параметров является фундаментальной особенностью 3DGS.

Статья гласит:

‘[3DGS] модели, обученные под этими оборонительными ограничениями, работают намного хуже по сравнению с теми, у которых нет ограничений на обучение, особенно в плане восстановления деталей. Это снижение качества происходит потому, что 3DGS не может автоматически различать необходимые мелкие детали и отравленные текстуры.

‘Наивно ограничивая количество гауссов, мы напрямую приведем к провалу модели в точном восстановлении 3D-сцены, что нарушает основную цель провайдера сервиса. Это исследование демонстрирует, что более сложные оборонительные стратегии необходимы для защиты системы и поддержания качества 3D-восстановлений под нашей атакой.’

В тестах атака оказалась эффективной как в свободной белой коробке (где атакующий имеет знания о ресурсах жертвы), так и в черной коробке (где атакующий не имеет такого знания).

Авторы считают, что их работа представляет собой первый метод атаки против 3DGS, и предупреждают, что сектор безопасности нейронного синтеза не готов к такому подходу.

Новая статья называется Poison-splat: Computation Cost Attack on 3D Gaussian Splatting, и исходит от пяти авторов из Национального университета Сингапура и Skywork AI в Пекине.

Метод

Авторы проанализировали степень, в которой количество сплэттингов Гаусса (по сути, трехмерные эллипсоидные «пиксели») присвоенных модели под 3DGS-пipeline влияет на вычислительные затраты обучения и рендеринга модели.

Исследование авторов показывает четкую корреляцию между количеством присвоенных гауссов и затратами на обучение, а также использованием памяти GPU.

Правая фигура на изображении выше указывает на четкую связь между резкостью изображения и количеством присвоенных гауссов. Чем резче изображение, тем больше деталей необходимо для рендеринга модели 3DGS.

Статья гласит*:

‘[Мы] обнаружили, что 3DGS присваивает больше гауссов объектам с более сложными структурами и не-гладкими текстурами, как количественно оценено по общему баллу вариации – метрике, оценивающей резкость изображения. Интуитивно понятно, что чем менее гладкая поверхность 3D-объекта, тем больше гауссов модель necesita для восстановления всех деталей из его 2D-проекций.

‘Следовательно, не-гладкость может быть хорошим описателем сложности [гауссов]’

Однако наивное повышение резкости изображений будет склонно повлиять на семантическую целостность модели 3DGS так сильно, что атака будет очевидна на ранних этапах.

Отравление данных эффективно требует более сложного подхода. Авторы приняли прокси-модель метод, где атакующие изображения оптимизируются в офлайн-3DGS-модели, разработанной и контролируемой атакующими.

Слева мы видим граф, представляющий общую стоимость времени вычисления и занятости памяти GPU на наборе данных MIP-NeRF360 «комната», демонстрирующий родную производительность, наивную пертурбацию и прокси-управляемые данные. Справа мы видим, что наивная пертурбация источников изображений (красный) приводит к быстро-катастрофическим результатам слишком рано в процессе. Напротив, мы видим, что прокси-управляемые источники изображений поддерживают более скрытный и кумулятивный метод атаки.

Авторы заявляют:

‘Очевидно, что прокси-модель может быть руководствоваться не-гладкостью 2D-изображений для разработки высоко-сложных 3D-форм.

‘Следовательно, отравленные данные, произведенные из проекции этой сверх-задензированной прокси-модели, могут произвести больше отравленных данных, индуцируя больше гауссов для подгонки этих отравленных данных.’

Система атаки ограничена сотрудничеством Google /Facebook 2013 года с различными университетами, так что пертурбации остаются в пределах, предназначенных для того, чтобы позволить системе нанести ущерб без влияния на восстановление изображения 3DGS, которое будет ранним сигналом вторжения.

Данные и тесты

Исследователи протестировали poison-splat против трех наборов данных: NeRF-Synthetic; Mip-NeRF360; и Tanks-and-Temples.

Они использовали официальную реализацию 3DGS в качестве среды жертвы. Для черной коробки они использовали Scaffold-GS фреймворк.

Тесты проводились на GPU NVIDIA A800-SXM4-80G.

Для метрик количество произведенных гауссов было основным индикатором, поскольку цель состоит в том, чтобы создать источники изображений, предназначенные для максимизации и превышения рационального вывода источников данных. Скорость рендеринга целевой системы жертвы также учитывалась.

Результаты первоначальных тестов показаны ниже:

Полные результаты тестовых атак на три набора данных. Авторы отмечают, что они выделили атаки, которые успешно потребляют более 24 ГБ памяти. Пожалуйста, обратитесь к исходной статье для лучшего разрешения.

Из этих результатов авторы комментируют:

‘[Наша] атака Poison-splat демонстрирует способность создать огромную дополнительную вычислительную нагрузку на нескольких наборах данных. Даже с пертурбациями, ограниченными в небольшом диапазоне в [ограниченной] атаке, пиковая память GPU может быть увеличена более чем в 2 раза, что делает общую максимальную занятость GPU выше 24 ГБ.

‘[В] реальном мире это может означать, что наша атака может потребовать больше выделяемых ресурсов, чем обычные станции GPU могут предоставить, например, RTX 3090, RTX 4090 и A5000. Кроме того [атака] не только значительно увеличивает использование памяти, но также сильно замедляет скорость обучения.

‘Эта особенность еще больше укрепит атаку, поскольку подавляющая занятость GPU будет длиться дольше, чем обычное обучение, что делает общую потерю вычислительной мощности выше.’

Прогресс прокси-модели в обоих ограниченной и неограниченной атаке.

Тесты против Scaffold-GS (черная коробка) показаны ниже. Авторы заявляют, что эти результаты указывают на то, что poison-splat обобщается хорошо на такой другой архитектуре (т.е. на референсной реализации).

Результаты тестов черной коробки на NeRF-Synthetic и наборах данных MIP-NeRF360.

Авторы отмечают, что было очень мало исследований, сосредоточенных на этом типе атак, нацеленных на ресурсы на этапе вывода. Статья 2020 года Energy-Latency Attacks on Neural Networks смогла выявить примеры данных, которые вызывают чрезмерную активацию нейронов, что приводит к дебилирующему потреблению энергии и плохой задержке.

Атаки на время вывода были изучены дальше в последующих работах, таких как Slowdown attacks on adaptive multi-exit neural network inference, Towards Efficiency Backdoor Injection, и, для языковых моделей и моделей видения-языка (VLMs), в NICGSlowDown, и Verbose Images.

Заключение

Атака Poison-splat, разработанная исследователями, использует фундаментальную уязвимость в сплэттинге Гаусса – тот факт, что он присваивает сложность и плотность гауссов в зависимости от материала, который он получает для обучения.

Статья 2024 года F-3DGS: Factorized Coordinates and Representations for 3D Gaussian Splatting уже отметила, что присвоение сплэттингов Гаусса является неэффективным методом, который часто также производит избыточные экземпляры:

‘[Эта] неэффективность возникает из-за внутренней неспособности 3DGS использовать структурированные закономерности или избыточности. Мы наблюдали, что 3DGS производит чрезмерно большое количество гауссов даже для представления простых геометрических структур, таких как плоские поверхности.

‘Кроме того, ближайшие гауссы иногда демонстрируют схожие атрибуты, что предполагает возможность повышения эффективности путем удаления избыточных представлений.’

Поскольку ограничение генерации гауссов подрывает качество воспроизведения в не-атаковых сценариях, растущее количество онлайн-провайдеров, которые предлагают 3DGS из загружаемых пользователем данных, может потребовать изучения характеристик источников изображений для определения сигнатур, которые указывают на злонамеренную намерение.

В любом случае авторы новой работы заключают, что более сложные методы защиты будут необходимы для онлайн-сервисов в свете такого типа атаки, которую они сформулировали.

* Мой перевод внутренних цитат авторов в гиперссылки

Опубликовано впервые в пятницу, 11 октября 2024 года