Редагування зображень за допомогою Gaussian Splatting

Нова співпраця між дослідниками в Польщі та Великій Британії пропонує перспективу використання Gaussian Splatting для редагування зображень, тимчасово інтерпретуючи вибрану частину зображення в 3D-просторі, що дозволяє користувачеві модифікувати та маніпулювати 3D-представленням зображення, а потім застосовувати трансформацію.

Щоб змінити орієнтацію голови кота, відповідну секцію переміщено в 3D-простір за допомогою Gaussian Splatting, а потім маніпулюють користувачем. Модифікація потім застосовується. Процес аналогічний різним модальним технікам у програмному забезпеченні Adobe, що блокують інтерфейс до завершення поточної складної операції. Джерело: https://github.com/waczjoan/MiraGe/

Відтак, оскільки елемент Gaussian Splat тимчасово представлений у вигляді сітки трикутників, і тимчасово переходить у стан “CGI”, фізичний двигун, інтегрований у процес, може інтерпретувати природний рух, або для зміни статичного стану об’єкта, або для створення анімації.

Фізичний двигун, інтегрований у нову систему MiraGe, може виконувати природні інтерпретації фізичного руху, або для анімацій, або для статичних змін зображення.

У процесі немає залучення генеративного ІІ, тобто не використовуються Латентні моделі дифузії (LDM), на відміну від системи Firefly компанії Adobe, яка тренується на Adobe Stock (колишній Fotolia).

Система – називається MiraGe – інтерпретує вибрані ділянки у 3D-просторі та робить висновок про геометрію, створюючи дзеркальне відображення вибраної ділянки та наближаючи 3D-координати, які можуть бути втілені у Splat, який потім інтерпретує зображення у сітку.

Натисніть, щоб відтворити. Додаткові приклади елементів, які були змінені вручну користувачем системи MiraGe, або піддані фізичній деформації.

Автори порівняли систему MiraGe з попередніми підходами та виявили, що вона досягає найвищої продуктивності у визначеному завданні.

Користувачі системи моделювання zBrush будуть знайомі з цим процесом, оскільки zBrush дозволяє користувачеві фактично ‘сплющити’ 3D-модель та додати 2D-деталі, зберігаючи при цьому основну сітку, і інтерпретуючи нові деталі у ній – ‘заморожування’, яке є протилежним до методу MiraGe, який працює більше як Firefly або інші модальні маніпуляції у стилі Photoshop, такі як викривлення або грубі 3D-інтерпретації.

Параметризовані Gaussian Splats дозволяють MiraGe створювати високоякісні реконструкції вибраних ділянок 2D-зображення та застосовувати фізику м’яких тіл до тимчасово-3D-вибраної ділянки.

Документ зазначає:

‘[Ми] вводимо модель, яка кодує 2D-зображення шляхом симуляції людської інтерпретації. Конкретно, наша модель сприймає 2D-зображення так, як людина бачить фотографію або арку паперу, розглядаючи її як плоский об’єкт у 3D-просторі.

‘Цей підхід дозволяє інтуїтивне та гнучке редагування зображень, захоплюючи нюанси людського сприйняття при одночасному забезпеченні складних трансформацій.’

Нова стаття стаття називається MiraGe: Редагування 2D-зображень за допомогою Gaussian Splatting та надходить від чотирьох авторів з Ягеллонського університету у Кракові та Кембриджського університету. Повний код системи було опубліковано на GitHub.

Давайте розглянемо, як дослідники підійшли до цього завдання.

Метод

Підхід MiraGe використовує параметризацію Gaussian Mesh Splatting (GaMeS), техніку, розроблену групою, до якої входять двоє авторів нової статті. GaMeS дозволяє Gaussian Splats інтерпретуватися як традиційні CGI-сітки та піддаватися стандартному діапазону технік викривлення та модифікації, які спільнота CGI розвинула за останні кілька десятиліть.

MiraGe інтерпретує ‘плоскі’ гауссові розподіли у 2D-просторі та використовує GaMeS для ‘витягування’ вмісту у GSplat-активований 3D-простір тимчасово.

Кожен плоский гауссовий розподіл представлений трьома точками у хмарі трикутників, званої ‘суп з трикутників’, відкриваючи змогу маніпулювати інтерпретованим зображенням. Джерело: https://arxiv.org/pdf/2410.01521

Ми можемо побачити у нижньому лівому куті зображення вище, що MiraGe створює ‘дзеркальне відображення’ секції зображення, яку потрібно інтерпретувати.

Автори зазначають:

‘[Ми] використовуємо новий підхід, який використовує дві протилежні камери, розташовані вздовж осі Y, симетрично розташовані навколо початку координат та спрямовані одна на одну. Перша камера зайнята відновленням оригінального зображення, тоді як друга моделює дзеркальне відображення.

‘Фотографія таким чином концептуалізується як прозора арку паперу, вбудована у 3D-просторовий контекст. Відображення можна ефективно представити горизонтальним переворотом [зображення]. Ця система камер з дзеркалом підвищує вірогідність згенерованих відображень, забезпечуючи надійне рішення для точного захоплення візуальних елементів.’

Стаття зазначає, що після того, як ця екстракція була досягнута, перспективні корекції, які зазвичай були б складними, стають доступними через пряме редагування у 3D. У прикладі нижче ми бачимо вибір зображення жінки, яке охоплює лише її руку. У цьому випадку користувач нахилив руку вниз у правдоподібний спосіб, що було б складним завданням лише шляхом переміщення пікселів.

Приклад техніки редагування MiraGe.

Спроба зробити це за допомогою інструментів генерації Firefly у Photoshop зазвичай означала б, що рука замінюється синтезованим, уявним рукою, порушуючи автентичність редагування. Навіть більш потужні системи, такі як ControlNet, допоміжна система для Stable Diffusion та інших Латентних моделей дифузії, такі як Flux, борються за досягнення такого редагування у pipeline зображення до зображення.

Ця конкретна справа домінувала методами, які використовують Імпліцитні нейронні представлення (INRs), такі як SIREN та WIRE. Різниця між імпліцитним та явним представленням полягає в тому, що координати моделі не адресуються безпосередньо в INRs, які використовують неперервну функцію.

Натомість Gaussian Splatting пропонує явні та адресовані X/Y/Z картезіанські координати, хоча він використовує гауссові еліпси, а не вокselи або інші методи зображення вмісту у 3D-просторі.

Ідея використання GSplat у 2D-просторі була найбільш помітно представлена, як зазначають автори, у китайському академічному співробітництві 2024 року GaussianImage, яке пропонувало 2D-версію Gaussian Splatting, дозволяючи інферувати кадри зі швидкістю 1000 кадрів у секунду. Однак ця модель не має реалізації, пов’язаної з редагуванням зображень.

Після параметризації GaMeS витягує вибрану ділянку у гауссово-сіткову репрезентацію, зображення реконструюється за допомогою техніки Material Points Method (MPM), вперше описаної у статті CSAIL 2018 року.

У MiraGe під час процесу зміни гауссовий Splat існує як провідний проксі для еквівалентної сіткової версії, подібно до того, як 3DMM CGI-моделі часто використовуються як оркестровальні методи для імпліцитних нейронних методів рендерингу, таких як Neural Radiance Fields (NeRF).

У процесі двовимірні об’єкти моделюються у 3D-просторі, а частини зображення, які не піддаються впливу, не видно кінцевому користувачеві, так що контекстний ефект маніпуляцій не очевидний до завершення процесу.

MiraGe можна інтегрувати до популярної відкритої програми 3D Blender, яка тепер часто використовується у робочих процесах, що включають ІІ, головним чином для цілей зображення до зображення.

Робочий процес MiraGe у Blender, що включає рух руки фігури, зображеної на 2D-зображенні.

Автори пропонують два варіанти підходу до деформації на основі Gaussian Splatting – Amorphous та Graphite.

Підхід Amorphous безпосередньо використовує метод GaMeS та дозволяє витягнутій 2D-вибраній ділянці рухатися вільно у 3D-просторі, тоді як підхід Graphite обмежує гауссові розподіли до 2D-простору під час ініціалізації та навчання.

Дослідники виявили, що хоча підхід Amorphous може краще обробляти складні форми, ніж Graphite, ‘розриви’ або артефакти були більш очевидними, де край деформації збігається з неушкодженою частиною зображення*.

Отже, вони розробили вищезгадану систему ‘дзеркального відображення’:

‘[Ми] використовуємо новий підхід, який використовує дві протилежні камери, розташовані вздовж осі Y, симетрично розташовані навколо початку координат та спрямовані одна на одну.

‘Перша камера зайнята відновленням оригінального зображення, тоді як друга моделює дзеркальне відображення. Фотографія таким чином концептуалізується як прозора арка паперу, вбудована у 3D-просторовий контекст. Відображення можна ефективно представити горизонтальним переворотом [зображення].

‘Ця система камер з дзеркалом підвищує вірогідність згенерованих відображень, забезпечуючи надійне рішення для точного захоплення візуальних елементів.’

Стаття зазначає, що MiraGe може використовувати зовнішні фізичні двигуни, такі як ті, які доступні у Blender, або у Taichi_Elements.

Дані та тести

Для оцінки якості зображень у тестах, проведених для MiraGe, використовувалися метрики відношення сигналу до шуму (SNR) та MS-SIM.

Використовувалися набори даних Kodak Lossless True Color Image Suite та DIV2K-валідационний набір. Роздільна здатність цих наборів даних підходила для порівняння з попередньою роботою Gaussian Image. Інші суперницькі рамки, які проходили випробування, були SIREN, WIRE, Instant Neural Graphics Primitives (I-NGP) компанії NVIDIA та NeuRBF.

Експерименти проводилися на ноутбуці NVIDIA GEFORCE RTX 4070 та на NVIDIA RTX 2080.

MiraGe пропонує найвищі результати проти попередніх рамок, згідно з результатами, представленими у новій статті.

З цих результатів автори зазначають:

‘Ми бачимо, що наша пропозиція перевершує попередні рішення на обох наборах даних. Якість, виміряна обома метриками, показує значне покращення порівняно з усіма попередніми підходами.’

Висновок

Адаптація MiraGe 2D-Gaussian Splatting явно є новим та тимчасовим кроком у тому, що може стати дуже цікавативною альтернативою капризам та примхам використання моделей дифузії для внесення змін до зображення (тобто, через Firefly та інші API-орієнтовані методи дифузії, а також через відкриті архітектури, такі як Stable Diffusion та Flux).

Хоча існує багато моделей дифузії, які можуть зробити незначні зміни у зображеннях, ЛМД обмежені своїм семантичним та часто ‘переображеним’ підходом до текстового запиту користувача на зміну.

Отже, можливість тимчасово витягнути частину зображення у 3D-простір, маніпулювати ним та повернути назад у зображення, використовуючи лише вихідне зображення як посилання, здається завданням, для якого Gaussian Splatting може бути добре підходить у майбутньому.

* Є деяка плутанина у статті, оскільки вона цитує ‘Amorphous-Mirage’ як найбільш ефективний та здатний метод, незважаючи на його схильність до появи нежаданих гауссових розподілів (артефактів), тоді як стверджується, що ‘Graphite-Mirage’ більш гнучкий. Здається, що Amorphous-Mirage досягає найкращих деталей, а Graphite-Mirage – найкращої гнучкості. Оскільки обидва методи представлені у статті з їхніми різними сильними та слабкими сторонами, перевага авторів, якщо така є, не здається чіткою на цей час.

Перша публікація четверга, 3 жовтня 2024 року