NeRF: Společná výzkumná spolupráce Facebooku vyvíjí smíšenou statickou a dynamickou video syntézu

Spolupráce mezi Virginias Polytechnic Institute a State University a Facebookem vyřešila jednu z hlavních výzev ve video syntéze NeRF: volně kombinovat statické a dynamické obrázky a videa v Neural Radiance Fields (NeRF) výstupu.

Systém může generovat procházelé scény, které obsahují dynamické video prvky a statické prostředí, každá zaznamenaná na místě, ale oddělená do ovladatelných aspektů virtuálního prostředí:

Dále dosahuje tohoto výsledku z jediného pohledu, bez potřeby multi-kamerového pole, které může vázat iniciativy tohoto typu na studiové prostředí.

Článek, nazvaný Dynamic View Synthesis from Dynamic Monocular Video, není první, kdo vyvinul monokulární NeRF workflow, ale zdá se, že je prvním, kdo současně trénuje časově proměnný a časově statický model z téhož vstupu a generuje rámec, který umožňuje motion video existovat uvnitř “předem mapovaného” NeRF lokace, podobně jako virtuální prostředí, která často obklopují herce ve vysoce rozpočtových sci-fi filmech.

Beyond D-NeRF

Výzkumníci museli prakticky znovu vytvořit flexibilitu Dynamického NeRF (D-NeRF) s pouhým jediným pohledem, a ne množstvím kamer, které D-NeRF používá. Pro řešení tohoto problému předpověděli forward a backward scénické tok a použili tyto informace k vývoji zkresleného radiance pole, které je časově konzistentní.

S pouhým jedním pohledem bylo nutné použít 2D optický tok analýzu pro získání 3D bodů v referenčních rámcích. Vypočtený 3D bod je pak vrácen do virtuální kamery za účelem stanovení “scénického toku”, který odpovídá vypočtenému optickému toku s odhadnutým optickým tokem.

Během tréninku jsou dynamické prvky a statické prvky smírněny do plného modelu jako samostatně přístupné aspekty.

Příkladem je výpočet hloubkového pořadí ztráty, aplikovaný model a přísná regularizace scénického toku předpovědi v D-NeRF, problém motion blur je značně zmírněn.

Ačkoli výzkum má mnoho co nabídnout v oblasti regularizace NeRF výpočtu a značně zlepšuje obratnost a možnost prozkoumání výstupu z jediného pohledu, minimálně stejně důležité je novátorské oddělení a opětovné spojení dynamických a statických NeRF prvků.

NeRF – Static Or Video?

Nedávno jsme se podívali na některé impresivní nové NeRF výzkumy z Číny, které jsou schopny oddělit prvky v dynamickém NeRF scéně zaznamenané se 16 kamerami.

ST-NeRF (nahoře) umožňuje divákovi重新 umístit individuální prvky v zaznamenané scéně a dokonce je měnit, měnit jejich přehrávání, zmrazit je nebo spustit je pozpátku. Navíc ST-NeRF umožňuje uživateli “přehrát” libovolnou část 180-stupňového oblouku zaznamenaného 16 kamerami.

Highly Editable Static NeRF Environments

Statická Neural Radiance Field scéna, nyní izolovaná od jakýchkoli motion video segmentů, je snazší léčit a rozšířit mnoha způsoby, včetně relighting, jak bylo navrženo na začátku tohoto roku NeRV (Neural Reflectance and Visibility Fields for Relighting and View Synthesis), které nabízí počáteční krok ke změně osvětlení a/nebo texturingu NeRF prostředí nebo objektu:

Relighting a NeRF object with NeRV. Source: https://www.youtube.com/watch?v=4XyDdvhhjVo

Retexturing in NeRV, even including photorealistic specular effects. Since the basis of the array of images is static, it is easier to process and augment a NeRF facet in this way than to encompass the effect across a range of video frames, making initial pre-processing and eventual training lighter and easier.