Adobe: пересвітлення реального світу за допомогою нейронного рендерингу

Дослідники з Adobe створили систему нейронної візуалізації для реальних сцен у приміщенні, яка здатна до складного повторного освітлення, пропонує інтерфейс у реальному часі та обробляє глянцеві поверхні та відображення – це серйозний виклик для конкуруючих методів синтезу зображень, таких як поля нейронного випромінювання (Neural Radiance Fields (NeRF)) .

Тут сцену реального світу було реконструйовано з кількох нерухомих зображень, що робить сцену зручною для навігації. Освітлення можна додавати та змінювати за кольором і якістю, при цьому відображення залишаються точними, а глянцеві поверхні правильно відображають зміну джерел освітлення та/або стилів користувача. Джерело: https://www.youtube.com/watch?v=d3ma4opFpgM

Нова система дозволяє керувати графічним інтерфейсом користувача в стилі Photoshop над аспектами освітлення реальної 3D-сцени, яка була зафіксована в нейронному просторі, включаючи тіні та відображення.

Графічний інтерфейс дозволяє користувачеві додавати (і налаштовувати) джерело освітлення до сцени реального світу, яка була реконструйована з небагато фото, і вільно переміщатися по ній, наче це сценарій на основі сітки в стилі CGI.

Команда папір, поданий до ACM Transactions on Graphics під назвою Нейронне освітлення в приміщенні з вільною точкою огляду від Multi-view Stereo, є результатом співпраці між Adobe Research і дослідниками з Університету Лазурного берега.

Джерело: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (клацніть, щоб переглянути повну версію)

Як і з полями нейронного випромінювання (NeRF), система використовує фотограмметрію (вгорі ліворуч), де розуміння сцени виводиться з обмеженої кількості фотографій, а «відсутні» точки огляду тренуються за допомогою машинного навчання, доки повна та повністю абстрактна модель сцени не стане доступною для реклами. реінтерпретація hoc.

Система була навчена повністю на синтетичних (CGI) даних, але використовувані 3D-моделі оброблялися точно так, як це було б, якби людина робила кілька обмежених фотографій реальної сцени для нейронної інтерпретації. На зображенні вище зображено штучну сцену, яку повторно освітлюють, але вид «спальні» на самому верхньому (анімованому) зображенні вище отримано з реальних фотографій, зроблених у реальній кімнаті.

Неявне представлення сцени отримується з вихідного матеріалу за допомогою згорткової нейронної мережі (CNN) і ділиться на кілька рівнів, включаючи коефіцієнт відбиття, опромінення джерела (випромінювання/глобальне освітлення) і альбедо.

Архітектура системи пересвітлення Adobe. Багатопроекційний набір даних попередньо обробляється, а з вхідних даних генерується тривимірна геометрія сітки. Коли потрібно додати нове джерело світла, освітленість обчислюється в режимі реального часу та синтезується повторне освітлення. (клацніть, щоб переглянути повну версію)

Алгоритм поєднує в собі аспекти традиційного трасування променів (Монте-Карло) і рендерингу на основі зображень (IBR, нейронний рендеринг).

Хоча значна кількість нещодавніх досліджень полів нейронного випромінювання стосувалася вилучення 3D-геометрії з плоских зображень, пропозиція Adobe є першим випадком, коли високоскладне повторне освітлення було продемонстровано за допомогою цього методу.

Алгоритм також усуває ще одне традиційне обмеження NeRF і подібних підходів, обчислюючи повну карту відбиття, де кожній окремій частині зображення призначається 100% відбиваючий матеріал.

Дзеркальні текстури відображають шляхи освітлення. (клацніть, щоб переглянути повну версію)

Завдяки цій цілісній карті відбиття можна «зменшити» відбивну здатність, щоб відповідати різним рівням відбиття в різних типах матеріалів, таких як дерево, метал і камінь. Карта відбиття (вище) також надає повний шаблон для картографування променів, який можна повторно використовувати для коригування дифузного освітлення.

Інші шари в системі нейронної візуалізації Adobe. (клацніть, щоб переглянути повну версію)

Початкова зйомка сцени використовує 250-350 фотографій у форматі RAW, з яких обчислюється сітка за допомогою Multi-View Stereo. Дані зводяться до двовимірних вхідних карт функцій, які потім повторно проектуються в нове подання. Зміни освітлення обчислюються шляхом усереднення дифузних і глянцевих шарів знятої сцени.

Шар дзеркального зображення створюється шляхом швидкого обчислення однопроменевого дзеркала (один відскок), який оцінює початкові вихідні значення, а потім цільові значення. Карти, які містять інформацію про оригінальне освітлення сцени, зберігаються в нейронних даних, подібно до того, як карти радіоактивності часто зберігаються з традиційними даними сцени CGI.

Розв’язування відображень нейронної візуалізації

Можливо, основним досягненням роботи є відокремлення інформації про відбиття від дифузних та інших шарів даних. Час обчислення скорочується завдяки забезпеченню того, що перегляди з підтримкою відбиття в реальному часі, наприклад дзеркала, обчислюються лише для перегляду активного користувача, а не для всієї сцени.

Дослідники стверджують, що ця робота являє собою перший випадок, коли можливості повторного освітлення були зіставлені з можливостями навігації вільного перегляду в одній структурі для сцен, які повинні реалістично відтворювати відбиваючі поверхні.

Було зроблено певні жертви, щоб досягти цієї функціональності, і дослідники визнають, що попередні методи, які використовують більш складні сітки для перегляду, демонструють покращену геометрію для малих об’єктів. Майбутні напрямки підходу Adobe включатимуть використання геометрії кожного виду для покращення цього аспекту.