Может ли технология HDR-окружения Apple решить проблему отражений в нейронной отрисовке?

Долгосрочные инвестиции Apple в технологии дополненной реальности ускоряются в этом году, и компания представила новые инструменты для разработчиков, чтобы записать и преобразовать реальные объекты в элементы дополненной реальности, а также растущее убеждение в том, что специализированные очки дополненной реальности скоро появятся, чтобы поддержать иммерсивные trải nghiệm, которые могут быть обеспечены этой бурей исследований и разработок.

Среди новой информации об усилиях Apple в области дополненной реальности новая статья из исследовательского отдела компьютерного зрения компании раскрывает метод использования 360-градусных панорамных изображений с высоким динамическим диапазоном (HDR) для обеспечения сценосpecific отражений и освещения для объектов, которые наложены на сцены дополненной реальности.

Статья, озаглавленная Оценка карты окружения HDR для дополненной реальности в реальном времени, написанная инженером-исследователем компьютерного зрения Apple Гови Соманат и старшим менеджером по машинному обучению Даниэлем Курцем, предлагает динамическое создание реальных HDR-окружений посредством свёрточной нейронной сети (CNN), работающей в мобильной среде обработки. В результате отражающиеся объекты могут буквально отражать новые, ранее не виденные окружения по требованию:

В новом рабочем процессе генерации объектов дополненной реальности Apple используется давление, создаваемое фотограмметрией вместе с его окружением, что приводит к убедительным отражениям, которые не ‘запечатаны’ в текстуре. Источник: https://docs-assets.developer.apple.com/

Метод, представленный на CVPR 2021, делает снимок всей сцены и использует EnvMapNet CNN для оценки визуально полного панорамного HDR-изображения, также известного как ‘световой зонд’.

Результатом является карта, которая определяет сильные источники света (обозначенные в конце вышеуказанной анимации) и учитывает их при рендеринге виртуальных объектов.

Архитектура EnvMapNet, которая обрабатывает ограниченные изображения в полноэкранные HDR-световые зонды. Источник: https://arxiv.org/pdf/2011.10687.pdf

Алгоритм может работать менее чем за 9 мс на iPhone XS и способен рендерить объекты, осведомлённые о отражениях, в реальном времени, с уменьшением направленной ошибки на 50% по сравнению с предыдущими и другими подходами к этой проблеме.

Световые зонды

HDR-окружения были фактором визуальных эффектов с момента, когда высокодинамические изображения (изобретённые в 1986 году) стали заметной силой благодаря достижениям в компьютерной технике в 1990-х годах. Кто-то, кто смотрит кадры из-за кулис, может заметить сюрреалистическое присутствие техников, держащих зеркальные шары на палках – эталонные изображения, которые будут включены в качестве факторов окружения при реконструкции элементов CGI для сцены.

Источник: https://beforesandafters.com/

Однако использование хромированных шаров для отражающей текстуры предшествует 1990-м годам, восходя к статье 1983 года SIGGRAPH Пирамидальные параметры, в которой были представлены статические изображения отражающегося робота CGI в стиле, который стал знаменитым почти через десятилетие благодаря эффектам ‘жидкого металла’ в фильме Джеймса Кэмерона Терминатор 2: Судный день.

HDR-окружения в нейронной отрисовке?

Нейронная отрисовка предлагает возможность генерировать фотореалистичное видео из очень скудного ввода, включая грубые карты сегментации.