Редактирование изображений с помощью Gaussian Splatting

Новое сотрудничество между исследователями в Польше и Великобритании предлагает возможность использования Gaussian Splatting для редактирования изображений, временно интерпретируя выбранную часть изображения в 3D-пространстве, позволяя пользователю изменять и манипулировать 3D-представлением изображения, а затем применять преобразование.

Чтобы изменить ориентацию головы кошки, соответствующий участок перемещается в 3D-пространство с помощью Gaussian Splatting, а затем манипулируется пользователем. Изменение затем применяется. Процесс аналогичен различным модальным техникам в программном обеспечении Adobe, которые блокируют интерфейс до завершения текущего сложного процесса. Источник: https://github.com/waczjoan/MiraGe/

Поскольку элемент Gaussian Splat временно представлен сеткой треугольников и на короткое время переходит в ‘CGI-состояние’, физический движок, интегрированный в процесс, может интерпретировать естественное движение, либо для изменения статического состояния объекта, либо для создания анимации.

Физический движок, интегрированный в новую систему MiraGe, может выполнять естественную интерпретацию физического движения, либо для анимаций, либо для статических изменений изображения.

В процессе не участвует генеративный ИИ, что означает, что не используются латентные диффузионные модели (LDM), в отличие от системы Firefly от Adobe, которая обучена на Adobe Stock (ранее Fotolia).

Система, называемая MiraGe, интерпретирует выборки в 3D-пространство и выводит геометрию, создавая зеркальное изображение выборки и приближая 3D-координаты, которые могут быть воплощены в Splat, который затем интерпретирует изображение в сетку.

Нажмите, чтобы воспроизвести.Дополнительные примеры элементов, которые были изменены вручную пользователем системы MiraGe или подвергались физическим деформациям.

Авторы сравнили систему MiraGe с предыдущими подходами и обнаружили, что она достигает лучших результатов в целевой задаче.

Пользователи системы моделирования zBrush будут знакомы с этим процессом, поскольку zBrush позволяет пользователю по сути ‘сплющить’ 3D-модель и добавить 2D-детали, сохраняя при этом основную сетку и интерпретируя новые детали в нее – ‘заморозку’, которая является противоположностью метода MiraGe, который работает более как Firefly или другие манипуляции в стиле Photoshop, такие как искажение или грубые 3D-интерпретации.

Параметризованные Gaussian Splats позволяют MiraGe создавать высококачественные реконструкции выбранных участков 2D-изображения и применять мягкое тело-физику к временно-3D-выборке.

В статье говорится:

‘[Мы] представляем модель, которая кодирует 2D-изображения, имитируя человеческую интерпретацию. Конкретно, наша модель воспринимает 2D-изображение как человек бы рассматривал фотографию или лист бумаги, рассматривая его как плоский объект в 3D-пространстве.

‘Этот подход позволяет выполнять интуитивное и гибкое редактирование изображений, захватывая нюансы человеческого восприятия и позволяя выполнять сложные преобразования.’

Новая статья называется MiraGe: редактируемые 2D-изображения с помощью Gaussian Splatting и написана четырьмя авторами из Ягеллонского университета в Кракове и Кембриджского университета. Полный код системы был опубликован на GitHub.

Давайте рассмотрим, как исследователи подошли к решению этой задачи.

Метод

Подход MiraGe использует параметризацию Gaussian Mesh Splatting (GaMeS), технику, разработанную группой, в которую входят два авторов новой статьи. GaMeS позволяет Gaussian Splat интерпретироваться как традиционные CGI-сетки и подвергаться стандартному диапазону техник искажения и модификации, разработанных сообществом CGI за последние несколько десятилетий.

MiraGe интерпретирует ‘плоские’ гауссовские распределения в 2D-пространстве и использует GaMeS для ‘вытягивания’ содержимого в GSplat-активированное 3D-пространство, временно.

Каждый плоский гауссовский распределение представлен тремя точками в облаке треугольников, называемом ‘супом треугольников’, открывая возможность манипулирования интерпретированным изображением. Источник: https://arxiv.org/pdf/2410.01521

Мы можем видеть в нижнем левом углу изображения выше, что MiraGe создает ‘зеркальное’ изображение участка изображения, подлежащего интерпретации.

Авторы утверждают:

‘[Мы] используем новый подход, использующий две противоположные камеры, расположенные вдоль оси Y, симметрично расположенные вокруг начала координат и направленные друг на друга. Первая камера负责 восстановления исходного изображения, а вторая моделирует зеркальное отражение.

‘Фотография таким образом концептуализируется как прозрачный лист бумаги, встроенный в 3D-пространственный контекст. Отражение можно эффективно представить, горизонтально перевернув [изображение]. Эта настройка камеры с зеркалом улучшает точность сгенерированных отражений, обеспечивая надежное решение для точного захвата визуальных элементов.’

Статья отмечает, что как только этот процесс извлечения был достигнут, корректировки перспективы, которые обычно были бы сложными, становятся доступными через прямое редактирование в 3D. В примере ниже мы видим выбор участка изображения женщины, который охватывает только ее руку. В этом случае пользователь наклонил руку вниз в правдоподобной манере, что было бы сложной задачей, если бы просто перемещать пиксели.

Пример техники редактирования MiraGe.

Попытка сделать это с помощью генеративных инструментов Firefly в Photoshop обычно означала бы, что рука заменяется синтезированной, воображаемой рукой, нарушающей аутентичность редактирования. Даже более способные системы, такие как ControlNet, вспомогательная система для Stable Diffusion и других латентных диффузионных моделей, такие как Flux, испытывают трудности в достижении такого редактирования в pipeline изображение-изображение.

Эта конкретная задача была доминирующей методами, использующими неявные нейронные представления (INRs), такими как SIREN и WIRE. Разница между неявным и явным представлением заключается в том, что координаты модели не являются直接 доступными в INRs, которые используют непрерывную функцию.

Напротив, Gaussian Splatting предлагает явные и адресуемые X/Y/Z декартовые координаты, даже если он использует гауссовские эллипсы, а не воксели или другие методы представления содержимого в 3D-пространстве.

Идея использования GSplat в 2D-пространстве была наиболее заметно представлена, по мнению авторов, в китайском академическом сотрудничестве GaussianImage, который предложил 2D-версию Gaussian Splatting, позволяющую достичь скорости кадров 1000fps. Однако эта модель не имеет реализации, связанной с редактированием изображений.

После параметризации GaMeS извлекает выбранный участок в гауссовское/сеточное представление, изображение восстанавливается с помощью метода Material Points Method (MPM), впервые описанного в статье 2018 года CSAIL.

В MiraGe во время процесса изменения гауссовский распределение существует как руководящий прокси для эквивалентного сеточного представления, подобно тому, как 3DMM CGI-модели часто используются в качестве методов оркестровки для неявных нейронных методов рендеринга, таких как нейронные поля радианса (NeRF).

В процессе двумерные объекты моделируются в 3D-пространстве, и части изображения, которые не подвергаются влиянию, не видны конечному пользователю, так что контекстный эффект манипуляций не становится очевидным до завершения процесса.

MiraGe может быть интегрирована в популярную открытую 3D-программу Blender, которая теперь часто используется в рабочих процессах, включающих ИИ, в основном для целей изображение-изображение.

Рабочий процесс MiraGe в Blender, включающий перемещение руки фигуры, изображенной в 2D-изображении.

Авторы предлагают два варианта подхода к деформации на основе Gaussian Splatting – Amorphous и Graphite.

Подход Amorphous trực использует метод GaMeS и позволяет извлеченному 2D-выборке двигаться свободно в 3D-пространстве, тогда как подход Graphite ограничивает гауссовские распределения 2D-пространством во время инициализации и обучения.

Исследователи обнаружили, что хотя подход Amorphous может лучше обрабатывать сложные формы, чем Graphite, ‘разрывы’ или артефакты были более заметны, где край деформации совпадает с не затронутой частью изображения*.

Следовательно, они разработали вышеупомянутую систему ‘зеркального’ изображения:

‘[Мы] используем новый подход, использующий две противоположные камеры, расположенные вдоль оси Y, симметрично расположенные вокруг начала координат и направленные друг на друга.

‘Первая камера负责 восстановления исходного изображения, а вторая моделирует зеркальное отражение. Фотография таким образом концептуализируется как прозрачный лист бумаги, встроенный в 3D-пространственный контекст. Отражение можно эффективно представить, горизонтально перевернув [изображение].

‘Эта настройка камеры с зеркалом улучшает точность сгенерированных отражений, обеспечивая надежное решение для точного захвата визуальных элементов.’

Статья отмечает, что MiraGe может использовать внешние физические движки, такие как те, которые доступны в Blender, или в Taichi_Elements.

Данные и тесты

Для оценки качества изображений в тестах, проведенных для MiraGe, использовались метрики соотношения сигнал/шум (SNR) и MS-SIM.

Использовались наборы данных Kodak Lossless True Color Image Suite и DIV2K валидационный набор. Разрешения этих наборов данных подходили для сравнения с предыдущей работой, Gaussian Image. Другие соперничающие框架, протестированные, были SIREN, WIRE, NVIDIA’s Instant Neural Graphics Primitives (I-NGP) и NeuRBF.

Эксперименты проводились на ноутбуке NVIDIA GEFORCE RTX 4070 и на NVIDIA RTX 2080.

MiraGe предлагает лучшие результаты против выбранных предыдущих фреймворков, согласно результатам, представленным в новой статье.

Из этих результатов авторы утверждают:

‘Мы видим, что наше предложение превосходит предыдущие решения на обоих наборах данных. Качество, измеренное обоими метриками, показывает значительное улучшение по сравнению со всеми предыдущими подходами.’

Вывод

Адаптация MiraGe 2D-Gaussian Splatting явно является новым и осторожным шагом в том, что может оказаться очень интересной альтернативой капризам и прихотям использования диффузионных моделей для внесения изменений в изображение (т.е. через Firefly и другие API-ориентированные диффузионные методы и через открытые архитектуры, такие как Stable Diffusion и Flux).

Хотя существует много диффузионных моделей, которые могут вносить незначительные изменения в изображения, LDM ограничены своим семантическим и часто ‘чрезмерно воображаемым’ подходом к текстовому запросу пользователя на изменение.

Следовательно, возможность временно вытащить часть изображения в 3D-пространство, изменить его и вернуть обратно в изображение, используя только исходное изображение в качестве справочного, кажется задачей, для которой Gaussian Splatting может быть хорошо подходит в будущем.

* В статье есть некоторая путаница, поскольку она цитирует ‘Amorphous-Mirage’ как наиболее эффективный и способный метод, несмотря на его склонность производить нежелательные гауссовские распределения (артефакты), в то время как утверждается, что ‘Graphite-Mirage’ более гибок. Похоже, что Amorphous-Mirage получает лучшие детали, а Graphite-Mirage – лучшую гибкость. Поскольку оба метода представлены в статье, с их разнообразными сильными и слабыми сторонами, предпочтение авторов, если оно есть, не кажется ясным на данный момент.

Опубликовано впервые в четверг, 3 октября 2024 года