NeRF: Facebook Co-Research розробляє змішану статичну/динамічну синтез відео

Колаборація між Вірджинським політехнічним інститутом і державним університетом та Facebook вирішила одну з основних проблем синтезу відео NeRF: вільне змішування статичних і динамічних зображень та відео у вивіді Neural Radiance Fields (NeRF).

Система може генерувати навігаційні сцени, які містять як динамічні відеоелементи, так і статичні середовища, кожне з яких записано на місці, але виділено в керованні аспекти віртуальної середовищі:

Крім того, вона досягає цього з однієї точки зору, без потреби в багатокамерному масиві, який може зв’язати ініціативи цього типу зі студійним середовищем.

Стаття paper, під назвою Dynamic View Synthesis from Dynamic Monocular Video, не є першою, яка розробляє монокулярний NeRF робочий процес, але здається першою, яка одночасно тренує часозмінний і часостатичний моделі з одного входу, і генерує каркас, який дозволяє рухомому відео існувати всередині “передмапованого” NeRF локалі, подібного до тих віртуальних середовищ, які часто охоплюють акторів у високобюджетних науково-фантастичних фільмах.

Поза D-NeRF

Дослідники мали практично переробити гнучкість Dynamic NeRF (D-NeRF) з однієї точки зору, і не з множини камер, яку використовує D-NeRF. Щоб розв’язати цю проблему, вони передбачили прямий і зворотній потік сцени і використали цю інформацію для розробки викривленого радіаційного поля, яке є тимчасово узгодженим.

З однією точки зору, було необхідно використовувати 2D аналіз оптичного потоку для отримання 3D-точок у кадрах. Обчислена 3D-точка потім повертається у віртуальну камеру для встановлення “потоку сцени”, який узгоджує обчислений оптичний потік з оціненим оптичним потоком.

У час тренування динамічні елементи і статичні елементи узгоджуються у повну модель як окремо доступні аспекти.

Включення розрахунку втрат глибини і застосування суворої регуляризації передбачення потоку сцени в D-NeRF значно пом’якшує проблему розмиття руху.

Хоча дослідження має багато чого запропонувати щодо регуляризації розрахунку NeRF, і значно покращує гнучкість і зручність дослідження виводу з однієї точки зору, не менш важливим є нове розділення і повторне об’єднання динамічних і статичних елементів NeRF.

Головуючись на одну камеру, така система не може повторити паноптичний вигляд багатокамерних масивів NeRF, але вона може бути скрізь, і без вантажівки.

NeRF – Статичне чи відео?

Нещодавно ми розглянули деякі вражаючі нові дослідження NeRF з Китаю, які можуть розділити елементи в динамічній сцені NeRF, записаній на 16 камер.

ST-NeRF (вище) дозволяє глядачеві змінити позицію індивідуалізованих елементів у записаній сцені, і навіть змінити їх розмір, змінити швидкість відтворення, заморозити або запустити у зворотному напрямку. Крім того, ST-NeRF дозволяє користувачеві “прокрутити” будь-яку частину 180-градусної дуги, записаної 16 камерами.

Однак дослідники статті ST-NeRF визнають у висновку, що час завжди рухається в одному чи іншому напрямку під цією системою, і що важко змінити освітлення і застосувати ефекти до середовищ, які є відео, а не “статично-мапованими” середовищами NeRF, які самі по собі не містять рухомих компонентів і не потребують запису у вигляді відео.

Високо редаговані статичні середовища NeRF

Статична сцена Neural Radiance Field, тепер ізольована від будь-яких рухомих відеосегментів, легше обробляється і доповнюється багатьма способами, включаючи перезаписування освітлення, як запропоновано раніше цього року NeRV (Neural Reflectance and Visibility Fields for Relighting and View Synthesis), який пропонує перший крок у зміні освітлення і/або текстури середовища або об’єкта NeRF:

Перезаписування освітлення об’єкта NeRF з NeRV. Джерело: https://www.youtube.com/watch?v=4XyDdvhhjVo

Перетекстурізація в NeRV, навіть включаючи фотореалістичні спекулярні ефекти. Оскільки основа масиву зображень статична, легше обробляти і доповнювати аспект NeRF таким чином, ніж охопити цей ефект у діапазоні відеокадрів, що робить початкову попередню обробку і кінцеве тренування легшим і простішим.