Пересветка нейронных радиационных полей с помощью любой среды окружения

В новой статье из Института Макса Планка и MIT предложен метод для получения истинного разъединения содержимого нейронных радиационных полей (NeRF) от освещения, которое присутствовало при сборе данных, что позволяет ад хок средам окружения полностью переключать освещение в сцене NeRF:

Новый метод, примененный к реальным данным. Заметно, что метод работает даже на архивных данных этого типа, которые не учитывали новый конвейер при сборе данных. Несмотря на это, получается реалистичный и указанный пользователем контроль освещения. Источник: https://arxiv.org/pdf/2207.13607.pdf

Новый подход использует популярную открытую программу 3D-анимации Blender для создания «виртуальной световой сцены», где рендерятся множественные итерации возможных сценариев освещения и в конечном итоге обучаются в специальном слое модели NeRF, который может вместить любую среду окружения, которую пользователь хочет использовать для освещения сцены.

Изображение части конвейера, использующего Blender для создания виртуальных световых сцен извлеченной геометрии. Предыдущие методы, следующие аналогичным линиям, использовали реальные световые сцены для предоставления этих данных, что является обременительным требованием для дискретных объектов и невозможным для внешних видов окружения. В верхнем левом углу двух правых изображений мы видим среды окружения, которые диктуют освещение сцены. Их можно создавать произвольно конечным пользователем, что приближает NeRF к гибкости современного подхода CGI.

Подход был протестирован против Mitsuba2 инверсного рендеринга и также против предыдущих работ PhySG, RNR, Neural-PIL и NeRFactor, используя только прямую модель освещения, и получил лучшие результаты:

Результаты нового метода, сравненные с аналогичными подходами под различными функциями потерь. Исследователи утверждают, что их подход дает методы самого высокого качества, с результатами, оцененными через пиковое отношение сигнал-шум (PSNR), меру подобия структуры (SSIM) и эффективное, хотя и эксцентричное, сходство патчей изображения (LPIPS).

Статья гласит:

‘Наши качественные и количественные результаты демонстрируют явный шаг вперед в плане восстановления параметров сцены, а также качества синтеза нашего подхода под новыми видами и условиями освещения по сравнению с предыдущим состоянием искусства.’

Исследователи заявляют, что они в конечном итоге выпустят код для проекта.

Необходимость редактируемости NeRF

Такое разъединение оказалось заметной проблемой для исследователей нейронных радиационных полей, поскольку NeRF по сути является техникой фотограмметрии, которая рассчитывает значение пикселя тысяч возможных путей от точки зрения, присваивает значения RGBD и собирает матрицу этих значений в объемное представление. В своей основе NeRF определяется освещением.

Фактически, несмотря на впечатляющие визуальные эффекты и широкое внедрение NVIDIA, NeRF заметно «жесткий» – в терминах CGI, «запеченный». Следовательно, исследовательское сообщество сосредоточилось на улучшении его трактовки и универсальности в этом отношении за последние 12-18 месяцев.

В плане значимости ставки для такого рубежа высоки и включают возможность трансформации индустрии визуальных эффектов из творческой и сотруднической модели, центрированной вокруг генерации сеток, динамики движения и текстурирования, в модель, построенную на обратном рендеринге, где конвейер VFX питается реальными фотографиями реальных вещей (или даже, возможно, реальных и синтезированных моделей), а не оцененными, художественными приближениями.

На данный момент есть относительно мало причин для беспокойства среди сообщества визуальных эффектов, по крайней мере, от нейронных радиационных полей. NeRF имеет только начальную способность в плане риггинга, вложения, контроля глубины, артикуляции… и, конечно, также в отношении освещения. Видео, сопровождающее другую новую статью, которая предлагает базовые деформации для геометрии NeRF, иллюстрирует огромную пропасть между текущим состоянием искусства в CGI и семинальными усилиями техник нейронного рендеринга.

Разбор элементов

Тем не менее, поскольку необходимо начинать где-то, исследователи для новой статьи приняли CGI в качестве промежуточного механизма контроля и производства, что сейчас является общим подходом к жестким латентным пространствам GAN и почти непроницаемым и линейным сетям NeRF.

Эффективно, центральной задачей является вычисление глобального освещения (GI, которое не имеет прямого применения в нейронном рендеринге) в эквивалентном предварительно рассчитанном переносе радиации (PRT, который можно адаптировать к нейронному рендерингу) расчету.

GI является теперь почитаемой техникой рендеринга CGI, которая моделирует способ, которым свет отражается от поверхностей и на другие поверхности, и включает эти области отраженного света в рендер, для добавления реализма.

PRT используется в качестве промежуточной функции освещения в новом подходе, и тот факт, что это дискретный и редактируемый компонент, является тем, что достигает разъединения. Новый метод моделирует материал объекта NeRF с помощью изученного PRT.

Фактическое освещение сцены исходных данных восстанавливается в качестве среды окружения в процессе, и сама геометрия сцены извлекается в виде подписанного поля расстояний (SDF), которое в конечном итоге предоставит традиционную сетку для Blender для работы на виртуальной световой сцене.

Обзор конвейера для нового метода.

Первым этапом в процессе является извлечение геометрии сцены из доступных многовидовых изображений через неявную реконструкцию поверхности, с помощью методов, использованных в сотрудничестве NeuS 2021 года.

Чтобы разработать нейронное поле переноса радиации (NRTF, которое будет вместить данные освещения), исследователи использовали дифференцируемый трассировщик путей Mitsuba 2.

Это облегчает совместную оптимизацию функции распределения рассеяния в двух направлениях (BSDF), а также генерацию начальной среды окружения. Как только создана BSDF, трассировщик путей можно использовать в Blender (см. встроенное видео прямо выше) для создания виртуальных рендеров сцены один свет за раз (OLAT).

NRTF затем обучается с помощью комбинированного потерь между фотореалистичными эффектами материала и синтетическими данными, которые не связаны друг с другом.

Сравнение с предшественником NeRFactor по проблемам синтеза нового вида и пересветки.

Путь к освещению

Требования к обучению для этого метода, хотя и заметно меньше, чем исходные времена обучения NeRF, не являются незначительными. На NVIDIA Quadro RTX 8000 с 48 ГБ видеопамяти предварительное обучение для начальной оценки света и текстуры занимает 30 минут; обучение OLAT (т. е. обучение виртуальных световых сцен) занимает восемь часов; и окончательная совместная оптимизация между разъединенными синтетическими и реальными данными занимает еще 16 часов, чтобы достичь оптимального качества.

Более того, полученное нейронное представление не может работать в реальном времени, занимая, согласно исследователям, «несколько секунд на кадр».

Исследователи заключили:

‘Наши результаты демонстрируют явное улучшение над текущим состоянием искусства, и будущая работа может включать дальнейшее улучшение времени выполнения и совместного рассуждения геометрии, материала и освещения сцены.’

Опубликовано впервые 28 июля 2022 года.