Přesvětlování neuronových radiance polí s libovolnou mapou prostředí

Nová práce z Max Planck Institute a MIT navrhla techniku, která umožňuje získat skutečné disentanglement obsahu neuronových radiance polí (NeRF) z osvětlení, které bylo přítomno při sběru dat, což umožňuje ad hoc kompletně vyměnit osvětlení v scéně NeRF:

Nová technika aplikovaná na reálná data. Je pozoruhodné, že metoda funguje i na archivovaných datech tohoto typu, které nezohledňovaly novou pipeline při sběru dat. Přesto je získán realistický a uživatelsky specifikovaný kontrolní osvětlení. Source: https://arxiv.org/pdf/2207.13607.pdf

Nový přístup využívá populární open source 3D animační program Blender k vytvoření “virtuálního světelného jeviště”, kde jsou renderovány numerous iterace možných osvětlovacích scénářů a nakonec trénovány do speciální vrstvy modelu NeRF, která může akomodovat libovolnou mapu prostředí, kterou chce uživatel použít pro osvětlení scény.

Zobrazení části pipeline, která využívá Blender k vytvoření virtuálních světelných scénářů extrahované geometrie. Předchozí metody podobného typu používaly skutečná světelná jeviště k poskytnutí těchto dat, což je náročné požadavkem pro diskrétní objekty a nemožné pro exteriérové pohledy. V levém horním rohu pravých dvou obrázků lze vidět mapy prostředí, které určují osvětlení scény. Tyto lze libovolně vytvořit koncovým uživatelem, čímž se NeRF přiblíží flexibilitě moderního CGI přístupu.

Metoda byla testována proti Mitsuba2 inverse rendering frameworku a také proti předchozím pracím PhySG, RNR, Neural-PIL a NeRFactor, přičemž používala pouze přímý osvětlovací model a dosáhla nejlepších výsledků:

Výsledky nové techniky ve srovnání s ostatními přístupy pod různými ztrátovými funkcemi. Výzkumníci tvrdí, že jejich přístup poskytuje nejvyšší kvalitu, přičemž výsledky byly vyhodnoceny pomocí Peak Signal-to-noise Ratio (PSNR), Structural Similarity Index Measure (SSIM) a efektivní Learned Perceptual Image Patch Similarity (LPIPS).

Práce uvádí:

‘Naše kvalitativní a kvantitativní výsledky prokazují jasný pokrok ve smyslu zotavení scénických parametrů a syntetické kvality našeho přístupu v novém pohledu a osvětlovacích podmínkách ve srovnání s předchozím stavem umění.’

Výzkumníci uvádějí, že budou brzy uvolňovat kód pro tento projekt.

Potřebnost editovatelnosti NeRF

Tento typ disentanglementu se ukázal být významnou výzvou pro výzkumníky v oblasti neuronových radiance polí, jelikož NeRF je v podstatě technika fotogrammetrie, která vypočítává pixelovou hodnotu tisíců možných cest z pohledu, přiřazuje RGBD hodnoty a sestavuje matici těchto hodnot do objemového представления. V jádru je NeRF definován osvětlením.

Ve skutečnosti, navzdory jeho působivým vizuálům a širokému přijetí společností NVIDIA (NVDA ), je NeRF pozoruhodně “tučný” – v CGI termínech, “upečený”. Proto se výzkumná komunita soustředila na zlepšení jeho traktability a flexibility v tomto ohledu za posledních 12-18 měsíců.

Co se týče významu, sázky pro tento typ milníku jsou vysoké a zahrnují možnost transformace vizuálních efektů průmyslu z kreativního a spolupracujícího modelu zaměřeného na generování sítí, dynamiku pohybu a texturu, na model postavený na inverzním renderingu, kde je VFX pipeline poháněn reálnými fotografiemi skutečných věcí (nebo dokonce syntetizovaných modelů), spíše než odhadovanými, řemeslnými aproximacemi.

Prozatím není důvod k obavám ze strany vizuálních efektů komunity, alespoň z Neuronových radiance polí. NeRF má pouze začínající schopnosti v oblasti riggingu, nestingu, kontroly hloubky, artikulace…a určitě také v oblasti osvětlení. Doprovodné video pro další novou práci, která nabízí základní deformace pro NeRF geometrii, ilustruje obrovskou propast mezi současným stavem umění v CGI a seminárními úsilími neuronových renderovacích technik.

Prosívání prvků

Nicméně, jelikož je nutné začít někde, výzkumníci pro novou práci přijali CGI jako mezilehlý kontrolní a produkční mechanismus, který je nyní společným přístupem k rigidním latentním prostorám GANů a téměř neproniknutelným lineárním sítím NeRF.

Účinně, centrální výzvou je vypočítat globální osvětlení (GI, které nemá přímou aplikovatelnost v neuronovém renderingu) do ekvivalentní předem vypočítané přenositelnosti záření (PRT, které lze adaptovat na neuronový rendering) výpočtu.

GI je nyní uznávaná CGI renderovací technika, která modeluje, jak se světlo odráží od povrchů a dopadá na jiné povrchy, a zahrnuje tyto oblasti odraženého světla do renderu pro zvýšení realismu.

PRT se používá jako mezilehlá osvětlovací funkce v novém přístupu, a skutečnost, že je to diskrétní a editovatelná komponenta, je to, co dosahuje disentanglementu. Nová metoda modeluje materiál NeRF objektu s naučenou PRT.

Skutečné scénické osvětlení původních dat je získáno jako mapa prostředí v procesu, a scénická geometrie sama je extrahována jako Signed Distance Field (SDF) která bude nakonec poskytovat tradiční síť pro Blender k operaci ve virtuálním světelném jevišti.

Přehled pipeline pro novou techniku.

První fáze procesu spočívá v extrahování scénické geometrie z dostupných více pohledových obrazů prostřednictvím implicitní povrchové rekonstrukce, pomocí technik používaných v NeuS výzkumu z roku 2021.

K vývoji neuronového radiance transferového pole (NRTF, které bude akomodovat osvětlovací data) výzkumníci použili Mitsuba 2 diferencovatelný path tracer.

To umožňuje společnou optimalizaci bidirekcionální rozptylové distribuční funkce (BSDF) a generaci počáteční mapy prostředí. Jakmile je BSDF vytvořen, path tracer lze použít v Blenderu (viz vložené video přímo výše) k vytvoření virtuálních scénářů osvětlení.

NRTF je poté trénován s kombinovanou ztrátou mezi fotorealistickými materiálovými efekty a syntetickými daty, které nejsou propojeny navzájem.

Srovnání s předchůdcem NeRFactor, na výzvách novém pohledu a osvětlovacích scénářích.

Cesta k osvětlení

Tréninkové požadavky pro tuto techniku, i když jsou pozoruhodně menší než původní časy trénování NeRF, nejsou zanedbatelné. Na NVIDIA Quadro RTX 8000 s 48GB VRAM, předběžný trénink pro počáteční osvětlení a texturovou estimaci trvá 30 minut; trénink OLAT (tj. trénink virtuálních scénářů osvětlení) trvá 8 hodin; a konečná společná optimalizace mezi disentanglovanými syntetickými a reálnými daty trvá dalších 16 hodin k dosažení optimální kvality.

Dále, výsledná neuronová reprezentace nemůže běžet v reálném čase, trvá, podle výzkumníků, ‘několik sekund na snímek’.

Výzkumníci uzavírají:

‘Naše výsledky prokazují jasný pokrok oproti současnému stavu umění, zatímco budoucí práce by mohla zahrnovat další zlepšení běhu a společné uvažování geometrie, materiálu a scénického osvětlení.’

Poprvé zveřejněno 28. července 2022.