NeRF: Facebook Co-Research розробляє змішаний статичний/динамічний синтез відео

Співпраця між Політехнічним інститутом Вірджинії та Університетом штату та Facebook вирішила одну з головних проблем у синтезі відео NeRF: вільне змішування статичних і динамічних зображень і відео в полях нейронного випромінювання (NeRF).

Система може генерувати навігаційні сцени, які містять як динамічні елементи відео, так і статичні середовища, кожне з яких записане на місці, але розділене на керовані аспекти віртуального середовища:

Крім того, це досягається з єдиної точки зору, без потреби в системі з кількома камерами, яка може зв’язати такі ініціативи зі студійним середовищем.

Команда папір, має право Синтез динамічного перегляду з динамічного монокулярного відео, не вперше розробив монокуляр NeRF робочий процес, але, здається, він був першим, хто одночасно навчив змінну в часі та статичну в часі моделі з одного вхідного сигналу, а також згенерував структуру, яка дозволяє відео руху існувати всередині «попередньо зіставленої» локалі NeRF, подібної до типу віртуальних середовищ, які часто включають акторів у високобюджетні науково-фантастичні екскурсії.

За межами D-NeRF

Дослідникам довелося фактично відтворити універсальність Dynamic NeRF (D-NeRF) лише з однієї точки зору, а не з безліччю камер, які використовує D-NeRF. Щоб вирішити цю проблему, вони передбачили потік сцени вперед і назад і використали цю інформацію, щоб розробити викривлене поле випромінювання, яке є узгодженим у часі.

Маючи лише один POV, необхідно було використовувати 2D-аналіз оптичного потоку для отримання 3D-точок у опорних системах. Потім розрахована 3D-точка повертається у віртуальну камеру, щоб створити «потік сцени», який збігається з розрахованим оптичним потоком і оціненим оптичним потоком.

Під час навчання динамічні та статичні елементи узгоджуються в повну модель як окремо доступні грані.

Включаючи обчислення втрати порядку глибини, модель і застосовуючи сувору регулярізацію передбачення потоку сцени в D-NeRF, проблема розмиття руху значно пом’якшується.

Незважаючи на те, що дослідження може багато чого запропонувати з точки зору регулярізації обчислення NeRF і значно покращує спритність і легкість дослідження для виходу з одного POV, принаймні так само слід відзначити нове розділення та реінтеграцію динамічних і статичних елементів NeRF. .

Покладаючись на єдину камеру, така система не може відтворити панорамний вигляд установок NeRF з кількома камерами, але її можна використовувати будь-куди й без вантажівки.

NeRF – статика чи відео?

Нещодавно ми переглянули деякі вражаючий нове дослідження NeRF з Китаю, яке здатне відокремити елементи в динамічній сцені NeRF, знятій 16 камерами.

ST-NeRF (вище) дозволяє глядачеві змінювати положення окремих елементів у знятій сцені та навіть змінювати їх розмір, змінювати швидкість відтворення, заморожувати їх або повертати назад. Крім того, ST-NeRF дозволяє користувачеві «прокручувати» будь-яку частину дуги на 180 градусів, яку знімають 16 камер.

Проте дослідники СТ-НеРФ папір На закінчення визнаю, що в цій системі час завжди тече в тому чи іншому напрямку, і що важко змінювати освітлення та застосовувати ефекти до середовищ, які насправді є відео, а не до «статично відображених» середовищ NeRF, які самі по собі не містять рухомі компоненти, і їх не потрібно знімати як відео.

Статичні середовища NeRF з можливістю редагування

Статичну сцену поля нейронного випромінювання, яку тепер ізольовано від будь-яких відеосегментів руху, легше обробляти та доповнювати кількома способами, включаючи повторне освітлення, як запропоновано на початку цього року NeRV (поля нейронного відбиття та видимості для повторного освітлення та синтезу перегляду), який пропонує початковий крок у зміні освітлення та/або текстури середовища чи об’єкта NeRF:

Повторне освітлення об’єкта NeRF за допомогою NeRV. Джерело: https://www.youtube.com/watch?v=4XyDdvhhjVo

Ретекстурування в NeRV, навіть включаючи фотореалістичні дзеркальні ефекти. Оскільки основа масиву зображень є статичною, таким чином простіше обробити та доповнити аспект NeRF, ніж охопити ефект у діапазоні відеокадрів, що полегшить і спростить початкову попередню обробку та подальше навчання.