Adobe: Пересветка реального мира с помощью нейронной рендеринга

Исследователи из Adobe создали систему нейронной рендеринга для реальных внутренних сцен, которая способна к сложной пересветке, предлагает интерфейс в реальном времени и обрабатывает блестящие поверхности и отражения – заметный вызов для конкурирующих методов синтеза изображений, таких как Нейронные поля радианса (NeRF).

Здесь реальная сцена была реконструирована из нескольких статических изображений, что делает сцену навигируемой. Освещение можно добавлять и изменять по цвету и качеству, а отражения остаются точными, а блестящие поверхности правильно выражают изменение источников света и/или стилей пользователя. Источник: https://www.youtube.com/watch?v=d3ma4opFpgM

Новая система позволяет осуществлять контроль над освещением в стиле Photoshop, GUI-управляемый, над аспектами реальной 3D-сцены, которая была захвачена в нейронное пространство, включая тени и отражения.

GUI позволяет пользователю добавлять (и регулировать) источник света к реальной сцене, которая была реконструирована из нескольких фотографий, и свободно перемещаться по ней, как если бы это была сцена CGI-стиля.

Статья, представленная в ACM Transactions on Graphics и озаглавленная Free-viewpoint Indoor Neural Relighting from Multi-view Stereo, является совместной работой исследователей из Adobe Research и Université Côte d’Azur.

Источник: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (нажмите, чтобы увидеть полную версию)

Как и Нейронные поля радианса (NeRF), система использует фотограмметрию (выше слева), при которой понимание сцены выводится из ограниченного числа фотографий, и “пропущенные” точки зрения обучаются с помощью машинного обучения до тех пор, пока не будет доступна полная и полностью абстрактная модель сцены для ад хок-интерпретации.

Система была обучена полностью на синтетических (CGI) данных, но 3D-модели были обработаны точно так же, как если бы человек делал несколько ограниченных фотографий реальной сцены для нейронной интерпретации. Изображение выше показывает синтетическую сцену, которую пересвечивают, но “спальня” в верхней (анимированной) картинке выше получена из реальных фотографий, сделанных в реальной комнате.

Неявное представление сцены получено из исходного материала через свёрточную нейронную сеть (CNN) и разделено на несколько слоев, включая отражение, источник излучения (радиосность/глобальное освещение) и альбедо.

Архитектура системы пересветки Adobe. Многообразный набор данных предварительно обработан, и 3D-геометрия сцены генерируется из входных данных. Когда необходимо добавить новый источник света, радиация рассчитывается в реальном времени, и пересвеченная сцена синтезируется. (нажмите, чтобы увидеть полную версию)

Алгоритм объединяет элементы традиционного трассирования лучей (Монте-Карло) и рендеринга на основе изображений (IBR, нейронный рендеринг).

Хотя значительная часть недавних исследований по Нейронным полям радианса была связана с извлечением 3D-геометрии из плоских изображений, предложение Adobe является первым случаем, когда высоко сложная пересветка была продемонстрирована с помощью этого метода.

Алгоритм также решает другую традиционную ограничение NeRF и подобных подходов, рассчитывая полную карту отражений, где каждая часть изображения назначается 100% отражающим материалом.

Отражающие текстуры карты световых путей. (нажмите, чтобы увидеть полную версию)

С помощью этой интегральной карты отражения возможно “понижать” отражающую способность, чтобы приспособиться к различным уровням отражения в разных типах материалов, таких как дерево, металл и камень. Карта отражения (выше) также предоставляет полный шаблон для карты лучей, который можно повторно использовать для целей корректировки диффузного освещения.

Другие слои системы нейронного рендеринга Adobe. (нажмите, чтобы увидеть полную версию)

Первоначальный захват сцены использует 250-350 RAW-фотографий, из которых вычисляется сетка через стереоскопию с несколькими точками зрения. Данные суммируются в 2D-карты входных функций, которые затем проецируются в новый вид. Изменения освещения рассчитываются путем усреднения диффузных и блестящих слоев захваченной сцены.

Слой зеркального изображения генерируется через быстрый однолучевой расчет зеркала (один отскок), который оценивает исходные значения и затем целевые значения. Карты, содержащие информацию о исходном освещении сцены, хранятся в нейронных данных, подобно тому, как радиационные карты часто хранятся с традиционными данными сцены CGI.

Решение задач нейронного рендеринга отражений

Возможно, основным достижением работы является разделение информации о отражении от диффузных и других слоев в данных. Время расчета поддерживается на низком уровне, обеспечивая, что живые “отражающие”-включенные виды, такие как зеркала, рассчитываются только для активного вида пользователя, а не для всей сцены.

Исследователи утверждают, что эта работа представляет собой первый случай, когда возможности пересветки были сопоставлены с возможностями свободной навигации в единой рамке для сцен, которые должны точно воспроизводить отражающие поверхности.

Были сделаны некоторые жертвы, чтобы достичь этой функциональности, и исследователи признают, что предыдущие методы, использующие более сложные сетки на основе вида, демонстрируют улучшенную геометрию для небольших объектов. Будущие направления подхода Adobe будут включать использование геометрии на основе вида, чтобы улучшить этот аспект.