NeRF: Facebook Co-Research Develops Mixed Static/Dynamic Video Synthesis

Spolupráce mezi Virginias Polytechnic Institute a State University a Facebook vyřešila jednu z hlavních výzev v NeRF video syntéze: volné míchání statických a dynamických obrazových prvků a videa v Neural Radiance Fields (NeRF) výstupu.

Systém může generovat procházelé scény, které obsahují dynamické video prvky a statické prostředí, každá zaznamenaná na místě, ale oddělené do ovladatelných aspektů virtuálního prostředí:

https://www.youtube.com/watch?v=j8CUzIR0f8M

Navíc dosahuje toho z jediného úhlu pohledu, bez potřeby multi-kamerového pole, které může vázat iniciativy jako tuto do studiového prostředí.

Článek paper, nazvaný Dynamic View Synthesis from Dynamic Monocular Video, není první, kdo vyvinul monokulární NeRF workflow, ale zdá se, že je první, kdo současně trénoval časově proměnný a časově statický model ze stejného vstupu, a vyvinul rámec, který umožňuje motion video existovat uvnitř “pre-mapped” NeRF lokace, podobně jako virtuální prostředí, která často obklopují herce ve vysoce rozpočtových SF výstupech.

Peyond D-NeRF

Výzkumníci museli prakticky znovu vytvořit všestrannost Dynamic NeRF (D-NeRF) s jediným úhlem pohledu, a ne mnohostí kamer, které D-NeRF používá. Pro řešení tohoto problému, předpověděli forward a backward scénový tok a použili tuto informaci k vývoji zkresleného radiance pole, které je časově konzistentní.

S jediným úhlem pohledu, bylo nutné použít 2D optický tok analýzu k získání 3D bodů v referenčních rámcích. Vypočtený 3D bod je pak vrácen do virtuální kamery, aby se ustanovil “scénový tok”, který odpovídá vypočtenému optickému toku s odhadnutým optickým tokem.

Během trénování, dynamické prvky a statické prvky jsou smírněny do plného modelu jako samostatně přístupné aspekty.

Přidáním výpočtu hloubkového pořadí ztráty, model a aplikací přísné regularizace scénového toku předpovědi v D-NeRF, problém motion blur je značně zmírněn.

Ačkoli výzkum má mnoho co nabídnout v oblasti regularizace NeRF výpočtu, a značně zlepšuje obratnost a možnost prozkoumání výstupu z jediného úhlu pohledu, nejméně stejně pozoruhodné je novátorské oddělení a opětovné spojení dynamických a statických NeRF prvků.

S jediným fotoaparátem, takový systém nemůže replikovat panoptikon výhled multi-kamerového pole NeRF nastavení, ale může jít kamkoli, a bez nákladů.

NeRF – Static nebo Video?

Nedávno jsme se podívali na některé impresivní nové NeRF výzkum z Číny, který je schopen oddělit prvky v dynamickém NeRF scéně zaznamenané se 16 kamerami.

ST-NeRF (nahoře) umožňuje divákovi reposition individuované prvky v zaznamenané scéně, a dokonce je měnit, měnit jejich přehrávací rychlost, zmrazit je nebo spustit je pozpátku. Navíc, ST-NeRF umožňuje uživateli “přepnout” skrz jakoukoli část 180-stupňového oblouku zaznamenaného 16 kamerami.

Nicméně, výzkumníci ST-NeRF článku uznávají v závěru, že čas vždy běží v nějakém směru pod tímto systémem, a že je obtížné změnit osvětlení a aplikovat efekty na prostředí, která jsou ve skutečnosti videa, spíše než “staticky mapované” NeRF prostředí, která sama o sobě neobsahují žádné pohyblivé komponenty, a nemusí být zaznamenávána jako videa.

Vysoko editovatelná statická NeRF prostředí

Statická Neural Radiance Field scéna, nyní izolovaná od jakýchkoli pohyblivých video segmentů, je snazší léčit a doplňovat mnoha způsoby, včetně relighting, jak bylo navrženo dříve tento rok NeRV (Neural Reflectance and Visibility Fields for Relighting and View Synthesis), který nabízí počáteční krok ke změně osvětlení a/nebo texturingu NeRF prostředí nebo objektu:

Relighting a NeRF object with NeRV. Source: https://www.youtube.com/watch?v=4XyDdvhhjVo

Retexturing in NeRV, even including photorealistic specular effects. Since the basis of the array of images is static, it is easier to process and augment a NeRF facet in this way than to encompass the effect across a range of video frames, making initial pre-processing and eventual training lighter and easier.