Adobe: Перезапуск реального мира с помощью нейронной отрисовки

Исследователи из Adobe создали систему нейронной отрисовки для реальных внутренних сцен, которая способна к сложному переосвещению, предлагает интерфейс в реальном времени и обрабатывает блестящие поверхности и отражения – заметный вызов для конкурирующих методов синтеза изображений, таких как Нейронные поля радианса (NeRF).

Здесь реальная сцена была реконструирована из нескольких статичных изображений, что делает сцену навигируемой. Освещение можно добавить и изменить по цвету и качеству, при этом отражения остаются точными, а блестящие поверхности правильно отражают изменение источников и/или стилей освещения пользователя. Источник: https://www.youtube.com/watch?v=d3ma4opFpgM

Новая система позволяет использовать контроль над освещением в стиле Photoshop, с графическим интерфейсом пользователя, над аспектами реальной 3D-сцены, захваченной в нейронное пространство, включая тени и отражения.

Графический интерфейс пользователя позволяет пользователю добавить (и отрегулировать) источник освещения к реальной сцене, реконструированной из небольшого количества фотографий, и свободно перемещаться по ней, как если бы это была сцена CGI-стиля на основе сетки.

Статья статья, представленная в ACM Transactions on Graphics и озаглавленная Свободная навигация по внутренним нейронным сценам с многовидовой стереосъёмкой, является совместной работой исследователей Adobe Research и исследователей из Université Côte d’Azur.

Источник: https://arxiv.org/ftp/arxiv/papers/2106/2106.13299.pdf (нажмите, чтобы увидеть полную версию)

Как и Нейронные поля радианса (NeRF), система использует фотограмметрию (выше слева), при которой понимание сцены выводится из ограниченного количества фотографий, и «пропущенные» точки зрения обучаются с помощью машинного обучения до тех пор, пока не будет доступна полная и совершенно абстрактная модель сцены для ад hoc интерпретации.

Система была обучена полностью на синтетических (CGI) данных, но 3D-модели, использованные в ней, были обработаны точно так же, как если бы человек делал несколько ограниченных фотографий реальной сцены для нейронной интерпретации. Изображение выше показывает синтетическую сцену, переосвещаемую, но «спальня» в верхней (анимированной) картинке выше получена из реальных фотографий, сделанных в реальной комнате.

Неявное представление сцены получается из исходного материала через свёрточную нейронную сеть (CNN) и делится на несколько слоев, включая отражение, источник излучения (радиосить/глобальное освещение) и альбедо.

Архитектура системы переосвещения Adobe. Многовидовой набор данных предварительно обрабатывается, и генерируется 3D-модель сеточной геометрии из входных данных. Когда необходимо добавить новый источник света, излучение вычисляется в реальном времени, и синтезируется переосвещенная сцена. (нажмите, чтобы увидеть полную версию)

Алгоритм сочетает в себе элементы традиционного трассирования лучей (Монте-Карло) и основанного на изображениях рендеринга (IBR, нейронного рендеринга).

Хотя значительная часть недавних исследований по Нейронным полям радианса была связана с извлечением 3D-геометрии из плоских изображений, система Adobe впервые продемонстрировала высоко сложное переосвещение с помощью этого метода.

Алгоритм также решает другую традиционную ограничение NeRF и подобных подходов, вычисляя полную карту отражения, где каждая часть изображения назначается материалом с 100% отражением.

Зеркальные текстуры отображают пути освещения. (нажмите, чтобы увидеть полную версию)

С помощью этой интегральной карты отражения становится возможным «понижать» отражение, чтобы приспособиться к различным уровням отражения в различных типах материалов, таких как дерево, металл и камень. Карта отражения (выше) также предоставляет полный шаблон для картографии лучей, который можно повторно использовать для целей коррекции диффузного освещения.

Другие слои в системе нейронного рендеринга Adobe. (нажмите, чтобы увидеть полную версию)

Первоначальный захват сцены использует 250-350 RAW-фотографий, из которых вычисляется сетка через многовидовую стереосъёмку. Данные суммируются в 2D-карты входных функций, которые затем проецируются в новый вид. Изменения освещения вычисляются путем усреднения диффузных и блестящих слоев захваченной сцены.

Слой зеркального образа генерируется через быстрое однолучевое зеркальное вычисление (одно отражение), которое оценивает исходные значения источника и затем целевые значения. Карты, содержащие информацию об исходном освещении сцены, хранятся в нейронных данных, подобно тому, как радиоситетные карты часто хранятся с традиционными данными сцены CGI.

Решение задачи нейронного рендеринга отражений

Возможно, основным достижением работы является разделение информации об отражении от диффузных и других слоев в данных. Время вычисления поддерживается на низком уровне, гарантируя, что живые «отражающие» виды, такие как зеркала, вычисляются только для активного вида пользователя, а не для всей сцены.

Исследователи утверждают, что эта работа представляет собой первый раз, когда возможности переосвещения были сопоставлены с возможностями свободной навигации в единой рамке для сцен, которые должны реалистично воспроизводить блестящие поверхности.

Некоторые жертвы были принесены, чтобы достичь этой функциональности, и исследователи признают, что предыдущие методы, использующие более сложные сеточные геометрии для каждого вида, демонстрируют улучшенную геометрию для небольших объектов. Будущие направления подхода Adobe будут включать использование геометрии вида для улучшения этого аспекта.