NeRF: Исследователи Facebook Разработали Смешанную Статическую/Динамическую Видеосинтез

Сотрудничество между Вирджинским политехническим институтом и государственным университетом и Facebook решило одну из основных проблем в синтезе видео NeRF: свободное смешивание статических и динамических изображений и видео в выходных данных нейронных радиационных полей (NeRF).

Система может генерировать навигируемые сцены, которые включают как динамические видеоэлементы, так и статические среды, каждая из которых записана на месте, но разделена на контролируемые аспекты виртуальной среды:

Более того, она достигает этого с единственной точки зрения, без необходимости в многокамерной матрице, которая может привязать инициативы, подобные этой, к студийной среде.

Статья paper, озаглавленная Динамический Синтез Видения из Динамического Монокулярного Видео, не является первой, которая разработала монокулярный NeRF рабочий процесс, но, кажется, является первой, которая одновременно обучает время-изменяющуюся и время-статическую модель из одного и того же входного сигнала, и генерирует框架, который позволяет видео-движению существовать внутри ‘предварительно отображенной’ среды NeRF, подобной виртуальным средам, которые часто включают актеров в высокобюджетных научно-фантастических фильмах.

За пределами D-NeRF

Исследователи должны были по сути воссоздать универсальность динамического NeRF (D-NeRF) с только одной точки зрения, и не множеством камер, которые использует D-NeRF. Чтобы решить эту проблему, они предсказали прямой и обратный поток сцены и использовали эту информацию для разработки изогнутого радиационного поля, которое временно согласовано.

С только одной точки зрения, было необходимо использовать 2D анализ оптического потока, чтобы получить 3D точки в кадрах ссылки. Расчетная 3D точка затем подается обратно в виртуальную камеру, чтобы установить ‘поток сцены’, который соответствует рассчитанному оптическому потоку с оцененным оптическим потоком.

В время обучения динамические элементы и статические элементы согласовываются в полную модель как отдельно доступные аспекты.

Включая расчет потери глубинного порядка, модель и применение строгой регуляризации предсказания потока сцены в D-NeRF, проблема размытия движения значительно смягчается.

Хотя исследование имеет многое, чтобы предложить в плане регуляризации расчета NeRF, и значительно улучшает гибкость и легкость исследования выходных данных с единственной точки зрения, не менее важным является новое разделение и повторное объединение динамических и статических элементов NeRF.

Полагаясь на единственную камеру, такая система не может воспроизвести паноптический вид многокамерной матрицы NeRF, но она может пойти куда угодно, и без грузовика.

NeRF – Статика или Видео?

Недавно мы рассмотрели некоторые впечатляющие новые исследования NeRF из Китая, которые могут разделить элементы в динамической сцене NeRF, снятой с 16 камер.

ST-NeRF (выше) позволяет зрителю перенести индивидуализированные элементы в захваченной сцене, и даже изменить их размер, скорость воспроизведения, заморозить или запустить их в обратном направлении. Кроме того, ST-NeRF позволяет пользователю ‘прокрутить’ любую часть 180-градусного дуги, захваченной 16 камерами.

Однако исследователи статьи ST-NeRF признают в заключении, что время всегда идет в каком-то направлении под этой системой, и что трудно изменить освещение и применить эффекты к средам, которые фактически являются видео, а не ‘статически-отображенными’ средами NeRF, которые сами по себе не содержат движущихся компонентов и не нуждаются в захвате как видео.

Высоко Редактируемые Статические Среды NeRF

Статическая сцена нейронного радиационного поля, теперь изолированная от любых сегментов движущегося видео, легче обрабатывать и дополнять различными способами, включая перезапись, как предложено ранее в этом году NeRV (Нейронные поля отражения и видимости для перезаписи и синтеза вида), который предлагает первый шаг в изменении освещения и/или текстуры среды или объекта NeRF:

Перезапись объекта NeRF с помощью NeRV. Источник: https://www.youtube.com/watch?v=4XyDdvhhjVo

Перетекстуризация в NeRV, даже включая фотореалистичные спекулярные эффекты. Поскольку основа массива изображений является статической, легче обработать и дополнить аспект NeRF таким образом, чем охватить эффект на диапазоне кадров видео, что делает первоначальную предварительную обработку и окончательное обучение легче.