Adobe: Освітлення реального світу за допомогою нейронного рендерингу

Дослідники з Adobe створили систему нейронного рендерингу для реальних індор-сцен, яка здатна створювати складне освітлення, пропонує інтерфейс в реальному часі та обробляє блискучі поверхні та відблиски – це суттєва проблема для конкуруючих методів синтезу зображень, таких як Нейронні поля радіанції (NeRF).

Тут реальна сцена була реконструйована з декількох статичних зображень, роблячи сцену навігаційною. Освітлення можна додати та змінити за кольором і якістю, а відблиски залишаються точними, а блискучі поверхні правильно виражають зміну джерел освітлення та/або стилів користувача. Джерело: https://www.youtube.com/watch?v=d3ma4opFpgM

Нова система дозволяє здійснювати контроль над освітленням реальної 3D-сцени, яка була захоплена в нейронному просторі, включаючи тінь та відблиски.

Інтерфейс користувача дозволяє додати (та налаштувати) джерело освітлення до реальної сцени, яка була реконструйована з декількох фотографій, та навігацію вільно через неї, як би це було сценарієм, заснованим на CGI-мешах.

Стаття, надіслана до ACM Transactions on Graphics і озаглавлена Free-viewpoint Indoor Neural Relighting from Multi-view Stereo, є спільною роботою між Adobe Research та дослідниками з Université Côte d’Azur.

Джерело: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (клікніть, щоб побачити повну версію)

Як і Нейронні поля радіанції (NeRF), система використовує фотограмметрію (зліва), при якій розуміння сцени виводиться з обмеженої кількості фотографій, а “відсутні” точки зору тренуються за допомогою машинного навчання до тих пір, поки не буде створена повна та повністю абстрактна модель сцени для ад-хок інтерпретації.

Система була навчена повністю на синтетичних (CGI) даних, але 3D-моделі, використані для цього, були оброблені точно так, як це було б, якщо людина робила декілька обмежених фотографій реальної сцени для нейронної інтерпретації. Зображення вище показує синтетичну сцену, освітлену, але “спальня” у верхньому (анімованому) зображенні вище походить від реальних фотографій, зроблених у реальній кімнаті.

Неявне представлення сцени отримується з джерельного матеріалу через Конвольюційний Нейронний Мережа (CNN) та розділяється на декілька шарів, включаючи відблиск, джерело освітлення (радіосність/глобальне освітлення) та альбедо.

Архітектура системи освітлення Adobe. Багатогранний набір даних попередньо обробляється, а 3D-мешева геометрія генерується з вхідних даних. Коли потрібно додати нове джерело освітлення, радіація обчислюється в реальному часі, а переглянута точка зору синтезується. (клікніть, щоб побачити повну версію)

Алгоритм поєднує аспекти традиційного трасування променів (Монте-Карло) та заснованого на зображенні рендерингу (IBR, нейронного рендерингу).

Хоча значна кількість недавніх досліджень щодо Нейронних полів радіанції була зайнята витягуванням 3D-геометрії з плоских зображень, система Adobe вперше продемонструвала високоскладне перезаписування освітлення за допомогою цього методу.

Алгоритм також вирішує іншу традиційну обмеження NeRF та подібних підходів, обчислюючи повну карту відблисків, де кожна частина зображення призначена матеріалу з 100% відблиском.

Відбивні текстури відображають шляхи освітлення. (клікніть, щоб побачити повну версію)

З цією інтегральною картиною відблисків можна “приглушити” відблиск, щоб пристосувати різні рівні відблисків у різних типах матеріалів, таких як дерево, метал та камінь. Карта відблисків (вище) також надає повний шаблон для картографії променів, який можна повторно використовувати для цілей регулювання дифузного освітлення.

Інші шари системи нейронного рендерингу Adobe. (клікніть, щоб побачити повну версію)

Початковий захоплення сцени використовує 250-350 RAW-фотографій, з яких обчислюється сітка через багатогранний стерео. Дані підсумовуються у 2D-вхідних картах особливостей, які потім проєктуються у нову точку зору. Зміни освітлення обчислюються шляхом усереднення дифузних та блискучих шарів захопленої сцени.

Відбивний шар генерується через швидке одноразове обчислення відблисків (один відблиск), яке оцінює початкові джерела та потім цільові значення. Карти, які містять інформацію про оригінальне освітлення сцени, зберігаються у нейронних даних, подібно до того, як радіаційні карти часто зберігаються з традиційними даними сцени CGI.

Рішення задач нейронного рендерингу відблисків

Можливо, головним досягненням цієї роботи є роз’єднання інформації про відблиск від дифузних та інших шарів у даних. Час обчислення скорочується шляхом забезпечення того, що живі “відблискові” погляди, такі як дзеркала, обчислюються лише для активної точки зору користувача, а не для всієї сцени.

Дослідники стверджують, що ця робота представляє перший випадок, коли можливості перезаписування освітлення були поєднані з можливостями вільної навігації у єдиному框ові для сцен, які повинні реалістично відтворювати відблискові поверхні.

Було зроблено деякі жертви, щоб досягти цієї функціональності, і дослідники погоджуються, що попередні методи, які використовують більш складні перезаписи сіток, демонструють покращену геометрію для малих об’єктів. Майбутні напрямки підходу Adobe будуть включати використання перезапису геометрії для покращення цього аспекту.