Взгляд Anderson
К созданию ИИ-людей в реальном времени с помощью Neural Lumigraph Rendering

Ключевые моментыРендеринг Neural Lumigraph превосходит NeRF примерно на два порядка.
Показать больше
- Рендеринг Neural Lumigraph превосходит NeRF примерно на два порядка.
- NLR использует сети SIREN, чтобы объединить сильные стороны NeRF и IDR для графики в реальном времени.
- NLR не обладает возможностями динамического освещения и переосвещения, что ограничивает выходное изображение освещением на момент съёмки.
Несмотря на текущую волну интереса к нейронным полям излучения (NeRF), технологии, способной создавать 3D среды и объекты, эта новая технология синтеза изображений все еще требует большого количества времени обучения и не имеет реализации, которая позволяла бы создавать интерфейсы с быстрым откликом.
Однако сотрудничество между некоторыми известными компаниями и академическими кругами предлагает новый взгляд на эту проблему (известную как Новый Синтез Видов, или NVS).
Исследовательская работа, озаглавленная Neural Lumigraph Rendering, утверждает, что достигла улучшения на два порядка по сравнению с современным уровнем, что представляет собой несколько шагов к рендерингу в реальном времени с помощью конвейеров машинного обучения.

Neural Lumigraph Rendering (справа) предлагает более эффективное устранение артефактов смешивания и улучшенную обработку перекрытий по сравнению с предыдущими методами. Источник.
Хотя авторы работы указывают только Стэнфордский университет и компанию голографических дисплеев Raxium (которая в настоящее время работает в режиме скрытности), в состав участников входят главный архитектор машинного обучения в Google, компьютерный ученый в Adobe (ADBE ) и технический директор в StoryFile (которая недавно попала в заголовки с помощью ИИ-версии Уильяма Шатнера).
Что касается недавней масштабной рекламной кампании вокруг Шатнера, StoryFile, по-видимому, использует НЛР в своей новой технологии создания интерактивных, сгенерированных ИИ сущностей на основе характеристик и историй отдельных людей.
StoryFile предлагает использовать эту технологию в музейных экспозициях, интерактивных онлайн-историях, голографических дисплеях, дополненной реальности (AR) и документации наследия – и также, по-видимому, рассматривает потенциальные новые применения НЛР в интервью при приеме на работу и виртуальных свиданиях:

Предлагаемые использования из онлайн-видео StoryFile.
Объемная съемка для интерфейсов синтеза новых ракурсов и видео
Принцип объемной съемки, в ряде работ, посвященных этой теме, заключается в идее съемки статических изображений или видео объекта и использовании машинного обучения для “заполнения” точек зрения, которые не были покрыты исходным массивом камер.

Источник: https://research.fb.com/wp-content/uploads/2019/06/Neural-Volumes-Learning-Dynamic-Renderable-Volumes-from-Images.pdf
На изображении выше, взятом из исследования ИИ Facebook 2019 года (см. ниже), мы видим четыре этапа объемной съемки: несколько камер получают изображения/видео; архитектура кодирования/декодирования (или другие архитектуры) рассчитывает и объединяет относительность точек зрения; алгоритмы рей-марчинга рассчитывают воксели (или другие XYZ пространственные геометрические единицы) каждой точки в объемном пространстве; и (в большинстве недавних работ) происходит обучение для синтеза полной сущности, которую можно манипулировать в реальном времени.
Именно эта часто обширная и ресурсоемкая фаза обучения до сих пор не позволяла синтезу новых ракурсов перейти к съемке в реальном времени или с высокой скоростью отклика.
Тот факт, что Новый Синтез Видов создает полную 3D карту объемного пространства, означает, что относительно просто склеить эти точки вместе в традиционную сгенерированную компьютером сетку, эффективно захватывая и артикулируя сгенерированного ИИ человека (или любой другой относительно ограниченный объект) на лету.
Подходы, которые используют NeRF, полагаются на облака точек и карты глубины для генерации интерполяций между разреженными точками зрения устройств съемки:

NeRF может генерировать объемную глубину путем расчета карт глубины, а не генерации сеток. Источник: https://www.youtube.com/watch?v=JuH79E8rdKc
Хотя NeRF способен рассчитывать сетки, большинство реализаций не используют это для генерации объемных сцен.
Напротив, подход Implicit Differentiable Renderer (IDR), опубликованный Институтом Вейцмана науки в октябре 2020 года, основан на использовании информации о 3D сетке, автоматически сгенерированной из массива камер:

Примеры захватов IDR, преобразованных в интерактивные сетки. Источник: https://www.youtube.com/watch?v=C55y7RhJ1fE
Хотя NeRF не имеет возможности IDR для оценки формы, IDR не может сравниться с NeRF по качеству изображения, и оба требуют обширных ресурсов для обучения и сбора (хотя недавние инновации в NeRF начинают решать эту проблему).

НЛР использует специальный камерный штатив с 16 камерами GoPro HERO7 и 6 центральными камерами Back-Bone H7PRO. Для рендеринга в реальном времени эти камеры работают с частотой не менее 60 кадров в секунду. Источник: https://arxiv.org/pdf/2103.11571.pdf
Вместо этого Neural Lumigraph Rendering использует SIREN (Синусоидальные Представления Сетей) для объединения сильных сторон каждого подхода в свою собственную структуру, которая предназначена для генерации вывода, который можно непосредственно использовать в существующих трубопроводах графики в реальном времени.
SIREN использовался для аналогичных реализаций в течение последнего года и теперь представляет собой популярный вызов API для хобби-Colab в сообществах синтеза изображений; однако инновация НЛР заключается в применении SIREN к двумерному многовидовому контролю изображений, что представляет проблему из-за того, что SIREN производит переобученный, а не обобщенный вывод.
После извлечения сетки из массива изображений сетка растрируется через OpenGL, и позиции вершин сетки сопоставляются с соответствующими пикселями, после чего рассчитывается смешивание различных вкладывающих карт.
Результирующая сетка более общая и представительная, чем сетка NeRF (см. изображение ниже), требует меньше расчетов и не применяет чрезмерные детали к областям (таким как гладкая кожа лица), которые не могут извлечь выгоду из этого:
С другой стороны, НЛР пока не имеет возможности для динамического освещения или переосвещения, и вывод ограничен теневыми картами и другими соображениями освещения, полученными во время съемки. Исследователи намерены решить эту проблему в будущей работе.
Кроме того, работа признает, что формы, сгенерированные НЛР, не так точны, как некоторые альтернативные подходы, такие как Пиксельный Выбор Видов для Неструктурированного Многовидового Стерео, или исследование Института Вейцмана, упомянутое ранее.
Развитие объемного синтеза изображений
Идея создания 3D сущностей из ограниченной серии фотографий с помощью нейронных сетей предшествует NeRF, с видными работами, датированными 2007 годом или ранее. В 2019 году исследовательское отделение ИИ Facebook опубликовало фундаментальную исследовательскую работу, Нейронные Объемы: Обучение Динамических Рендерабельных Объемов из Изображений, которая впервые позволила создавать интерфейсы с быстрым откликом для синтетических людей, сгенерированных на основе машинного обучения объемной съемки.

Исследование Facebook 2019 года позволило создать интерфейс с быстрым откликом для объемной модели человека. Источник: https://research.fb.com/publications/neural-volumes-learning-dynamic-renderable-volumes-from-images/













