Переосвещение полей нейронного излучения с любой картой окружения

A Новый документ из Института Макса Планка и Массачусетского технологического института предложили метод получения истинного распутывание полей нейронного излучения (НеРФ) содержание освещения, которое присутствовало при сборе данных, что позволяет специальный карты окружения, чтобы полностью отключить освещение в сцене NeRF:

Новая техника применяется к реальные данные. Примечательно, что метод работает даже на архивных данных этого типа, которые не учитывали новый конвейер при захвате данных. Несмотря на это, достигается реалистичное и заданное пользователем управление освещением. Источник: https://arxiv.org/pdf/2207.13607.pdf

Новый подход использует популярную программу 3D-анимации с открытым исходным кодом Blender для создания «виртуальной световой сцены», где многочисленные итерации возможных сценариев освещения визуализируются и в конечном итоге преобразуются в специальный слой в модели NeRF, который может вместить любую карту окружающей среды, которую пользователь хочет использовать его для освещения сцены.

Изображение части конвейера, которая использует Blender для создания виртуальных световых представлений извлеченной геометрии. Предыдущие методы, следующие аналогичным принципам, использовали реальные световые сцены для предоставления этих данных, что является обременительным требованием для дискретных объектов и невозможным для видов внешней среды. В верхнем левом из двух самых правых изображений мы можем видеть карты окружения, которые определяют освещение сцены. Они могут быть созданы конечным пользователем произвольно, что приближает NeRF к гибкости современного подхода CGI.

Подход был протестирован на Мицуба2 обратная структура рендеринга, а также против предыдущих работ ФизСГ, RNR, Нейронный-PIL и NeRFactor, используя только модель прямого освещения, и получили лучшие оценки:

Результаты нового метода по сравнению с сопоставимыми подходами при различных функциях потерь. Исследователи утверждают, что их подход дает методы высочайшего качества, а результаты оцениваются с помощью пикового отношения сигнал-шум (PSNR), измерения индекса структурного подобия (SSIM) и эффективного, хотя и эксцентричного сходства выученных перцепционных изображений (LPIPS). .

В документе говорится:

«Наши качественные и количественные результаты демонстрируют явный шаг вперед с точки зрения восстановления параметров сцены, а также качества синтеза нашего подхода при новых видах и условиях освещения по сравнению с предыдущим уровнем техники».

Исследователи заявляют, что в конечном итоге они выпустят код для проекта.

Необходимость редактирования NeRF

Этот вид распутывания оказался серьезной проблемой для исследователей полей нейронного излучения, поскольку NeRF, по сути, является методом фотограмметрии, который вычисляет значение пикселя тысяч возможных путей с точки зрения, присваивая значения RGBD и собирая матрицу этих значений в объемное представление. По своей сути NeRF определяется освещением.

На самом деле, несмотря на впечатляющие визуальные эффекты и широкое использование NVIDIA, NeRF заметно «жесткий» — в терминах компьютерной графики «запеченный». Поэтому исследовательское сообщество в течение последних 12–18 месяцев сосредоточилось на повышении гибкости и универсальности в этом отношении.

С точки зрения значимости, ставки для такого рода вехи высоки и включают в себя возможность преобразования индустрии визуальных эффектов из творческой и совместной модели, основанной на создании сетки, динамике движения и текстурировании, в модель, построенную вокруг инверсный рендеринг, где конвейер VFX подпитывается реальными фотографиями реальных вещей (или даже, возможно, реальных и синтезированных моделей), а не оценочными, кустарными приближениями.

На данный момент у сообщества визуальных эффектов относительно мало причин для беспокойства, по крайней мере, у Neural Radiance Fields. У NeRF есть только зарождающиеся способности с точки зрения такелаж, гнездование, контроль глубины, артикуляция…и, конечно же, в отношении освещение, сопроводительное видео для другого новая бумагаr, который предлагает рудиментарные деформации для геометрии NeRF, иллюстрирует огромную пропасть между текущим состоянием искусства CGI и оригинальными усилиями нейронных методов рендеринга.

Просеивание элементов

Тем не менее, поскольку необходимо с чего-то начинать, исследователи для новой статьи приняли компьютерную графику в качестве промежуточного механизма управления и производства, к настоящему времени общий подход к жестким скрытым пространствам GAN и почти непроницаемым и линейным сетям NeRF.

По сути, главная задача состоит в том, чтобы вычислить глобальное освещение (GI, который не имеет прямого применения в нейронном рендеринге) в эквивалентный Предварительно рассчитанный перенос сияния (PRT, который можно адаптировать к нейронному рендерингу).

GI — это почтенный в настоящее время метод рендеринга CGI, который моделирует то, как свет отражается от поверхностей и на другие поверхности, и включает эти области отраженного света в рендеринг для дополнительного реализма.

PRT используется в качестве промежуточной функции освещения в новом подходе, и тот факт, что это дискретный и редактируемый компонент, обеспечивает распутывание. Новый метод моделирует материал объекта NeRF с помощью изученного PRT.

Фактическое освещение сцены из исходных данных восстанавливается в процессе в виде карты окружения, а сама геометрия сцены извлекается как поле расстояния со знаком (SDF), который в конечном итоге предоставит традиционную сетку для работы Blender на этапе виртуального освещения.

Обзор конвейера для новой техники.

Первым этапом процесса является извлечение геометрии сцены из доступных изображений с несколькими видами посредством неявной реконструкции поверхности с помощью методов, используемых в 2021 году. исследование NeuS сотрудничество.

Чтобы разработать поле передачи нейронного излучения (NRTF, которое будет вмещать данные об освещенности), исследователи использовали дифференцируемый трассировщик пути Mitsuba 2.

Это облегчает совместную оптимизацию функции распределения двунаправленного рассеяния (BSDF), а также создание исходной карты окружения. После создания BSDF трассировщик пути можно использовать в Blender (см. встроенное видео непосредственно выше) для создания виртуальных визуализаций сцены с однократным освещением (OLAT).

Затем NRTF обучается с комбинированными потерями между фотореалистическими эффектами материала и синтетическими данными, которые не связаны друг с другом.

Сравнение с предшественником NeRFactor по проблемам синтеза и повторного освещения новых представлений.

Дорога к просветлению

Требования к обучению для этой техники, хотя и заметно меньше, чем исходное время обучения NeRF, не являются незначительными. На NVIDIA Quadro RTX 8000 с 48 ГБ видеопамяти предварительная подготовка для начальной оценки света и текстуры занимает 30 минут; Обучение OLAT (т.е. обучение захватам виртуальной световой сцены) занимает восемь часов; и окончательная совместная оптимизация между распутанными синтетическими и реальными данными занимает еще 16 часов, чтобы достичь оптимального качества.

Кроме того, полученное нейронное представление не может работать в режиме реального времени, занимая, по словам исследователей, «несколько секунд на кадр».

Исследователи приходят к выводу:

«Наши результаты демонстрируют явное улучшение по сравнению с текущим состоянием дел, в то время как будущая работа может включать дальнейшее улучшение времени выполнения и совместное рассмотрение геометрии, материалов и освещения сцены».

Впервые опубликовано 28 июля 2022 г.