Opätovné osvetlenie polí neurónového žiarenia pomocou akejkoľvek mapy prostredia

A nového papiera z Inštitútu Maxa Plancka a MIT navrhol techniku ​​na získanie pravdivého rozuzlenie polí neurónového žiarenia (NeRF) obsah z osvetlenia, ktoré bolo prítomné pri zhromažďovaní údajov, čo umožňuje ad hoc mapy prostredia na úplné vypnutie osvetlenia v scéne NeRF:

Aplikovaná nová technika reálne údaje. Je pozoruhodné, že metóda funguje aj na archivovaných dátach tohto typu, ktoré pri zbere dát nebrali do úvahy nový pipeline. Napriek tomu sa dosiahne realistické a používateľom špecifikované ovládanie osvetlenia. Zdroj: https://arxiv.org/pdf/2207.13607.pdf

Nový prístup využíva populárny open source 3D animačný program Blender na vytvorenie „virtuálnej svetelnej scény“, v ktorej sa vykresľujú početné iterácie možných svetelných scenárov a prípadne sa natrénujú do špeciálnej vrstvy v modeli NeRF, ktorá dokáže prispôsobiť akúkoľvek mapu prostredia, užívateľ chce použiť na osvetlenie scény.

Vyobrazenie časti potrubia, ktoré využíva Blender na vytváranie virtuálnych svetelných pohľadov na extrahovanú geometriu. Predchádzajúce metódy podľa podobných línií používali na poskytnutie týchto údajov skutočné svetelné stupne, čo je zaťažujúca požiadavka pre samostatné objekty a nemožná pre pohľady na vonkajšie prostredie. V ľavom hornom rohu dvoch obrázkov úplne vpravo môžeme vidieť mapy prostredia, ktoré určujú osvetlenie scény. Tieto môžu byť ľubovoľne vytvorené koncovým používateľom, čím sa NeRF približuje k flexibilite moderného prístupu CGI.

Prístup bol testovaný proti Mitsuba2 inverzný rámec vykresľovania a tiež proti predchádzajúcim dielam PhySG, Rnr, Neural-PIL a NeRFactor, ktorá využíva iba model priameho osvetlenia a získala najlepšie skóre:

Výsledky novej techniky v porovnaní s porovnateľnými prístupmi v rámci rôznych stratových funkcií. Výskumníci tvrdia, že ich prístup prináša metódy najvyššej kvality, pričom výsledky sa vyhodnocujú prostredníctvom pomeru špičkového signálu k šumu (PSNR), merania indexu štruktúrnej podobnosti (SSIM) a efektívnej, ak excentrickej podobnosti naučenej perceptuálnej obrazovej záplaty (LPIPS). .

Príspevok uvádza:

"Naše kvalitatívne a kvantitatívne výsledky demonštrujú jasný krok vpred, pokiaľ ide o obnovenie parametrov scény, ako aj kvalitu syntézy nášho prístupu za nových pohľadov a svetelných podmienok v porovnaní s predchádzajúcim stavom techniky."

Výskumníci uvádzajú, že nakoniec uvoľnia kód projektu.

Potreba upraviteľnosti NeRF

Tento druh rozuzlenia sa ukázal ako významná výzva pre výskumníkov v oblasti neurálnych radiačných polí, pretože NeRF je v podstate technika fotogrametrie, ktorá vypočítava pixelovú hodnotu tisícok možných ciest z hľadiska, priraďuje hodnoty RGBD a zostavuje maticu týchto hodnôt do objemové znázornenie. Vo svojom jadre je NeRF definovaný osvetlením.

V skutočnosti je NeRF napriek pôsobivému vizuálu a bohatému prijatiu spoločnosťou NVIDIA obzvlášť „tuhý“ – v zmysle CGI „vypečený“. Preto sa výskumná komunita za posledných 12-18 mesiacov sústredila na zlepšenie jeho ovládateľnosti a všestrannosti v tomto smere.

Pokiaľ ide o význam, stávky na tento druh míľnika sú vysoké a zahŕňajú možnosť transformácie odvetvia vizuálnych efektov z kreatívneho a kolaboratívneho modelu sústredeného okolo generovania siete, dynamiky pohybu a textúrovania na model postavený na inverzné vykresľovanie, kde je kanál VFX poháňaný skutočnými fotografiami skutočných vecí (alebo dokonca, možno, skutočných a syntetizovaných modelov), a nie odhadovanými remeselnými aproximáciami.

V súčasnosti je medzi komunitou vizuálnych efektov relatívne málo dôvodov na obavy, aspoň z Neural Radiance Fields. NeRF má len vznikajúce schopnosti sklon, hniezdenia, kontrola hĺbky, kĺb...a určite aj vzhľadom na osvetlenie, sprievodné video pre ďalšie nový papierr, ktorý ponúka základné deformácie pre geometriu NeRF, ilustruje obrovskú priepasť medzi súčasným stavom techniky v CGI a kľúčovým úsilím techník neurálneho vykresľovania.

Preosievanie živlov

Napriek tomu, keďže niekde začať treba, výskumníci pre nový článok prijali CGI ako sprostredkovateľský kontrolný a produkčný mechanizmus, v súčasnosti spoločný prístup smerom k rigidným latentným priestorom GAN a takmer nepreniknuteľným a lineárnym sieťam NeRF.

V skutočnosti je hlavnou výzvou počítať globálne osvetlenie (GI, ktorý nemá priamu použiteľnosť v nervovom vykresľovaní) na ekvivalent Predpočítaný prenos žiarenia (PRT, ktorý možno prispôsobiť neurónovému vykresľovaniu) výpočtu.

GI je dnes uznávaná technika vykresľovania CGI, ktorá modeluje spôsob, akým sa svetlo odráža od povrchov a na iné povrchy, a začleňuje tieto oblasti odrazeného svetla do vykresľovania pre pridaný realizmus.

PRT sa v novom prístupe používa ako sprostredkujúca osvetľovacia funkcia a skutočnosť, že ide o diskrétny a upraviteľný komponent, je to, čo dosahuje rozuzlenie. Nová metóda modeluje materiál objektu NeRF s naučeným PRT.

Skutočné osvetlenie scény pôvodných údajov sa v procese obnoví ako mapa prostredia a samotná geometria scény sa extrahuje ako podpísané pole vzdialenosti (SDF), ktorý nakoniec poskytne tradičnú sieť pre Blender, s ktorou bude fungovať vo virtuálnom svetle.

Prehľad potrubia pre novú techniku.

Prvou fázou procesu je extrahovať geometriu scény z dostupných obrazov s viacerými zobrazeniami prostredníctvom implicitnej rekonštrukcie povrchu pomocou techník používaných v roku 2021. výskum NeuS spolupráce.

Aby sa vyvinulo pole prenosu neurónového žiarenia (NRTF, ktoré bude vyhovovať údajom o osvetlení), výskumníci použili diferencovateľný stopovač cesty Mitsuba 2.

To uľahčuje spoločnú optimalizáciu funkcie obojsmerného rozptylu (BSDF), ako aj generovanie počiatočnej mapy prostredia. Po vytvorení BSDF je možné v Blenderi použiť stopovač cesty (pozrite si vložené video priamo vyššie) na vytvorenie virtuálnych vykreslení scény s jedným svetlom (OLAT).

NRTF je potom trénovaný s kombinovanou stratou medzi fotoreálnymi materiálovými efektmi a syntetickými dátami, ktoré nie sú navzájom prepletené.

Porovnanie s predchodcom NeRFactor o výzvach syntézy a opätovného osvetlenia nového pohľadu.

Cesta k osvetleniu

Tréningové požiadavky na túto techniku, aj keď sú výrazne menšie ako pôvodné tréningové časy NeRF, nie sú zanedbateľné. Na a NVIDIA QuadroRTX 8000 so 48 GB pamäte VRAM trvá predbežné zaškolenie na počiatočný odhad svetla a textúry 30 minút; Školenie OLAT (tj nácvik snímania virtuálnej svetelnej scény) trvá osem hodín; a konečná optimalizácia spojenia medzi oddelenými syntetickými a skutočnými údajmi trvá ďalších 16 hodín, kým sa dosiahne optimálna kvalita.

Okrem toho výsledná neurónová reprezentácia nemôže bežať v reálnom čase, čo podľa výskumníkov trvá „niekoľko sekúnd na snímku“.

Vedci dospeli k záveru:

"Naše výsledky demonštrujú jasné zlepšenie oproti súčasnému stavu techniky, zatiaľ čo budúca práca by mohla zahŕňať ďalšie vylepšenie doby chodu a spoločné zdôvodnenie geometrie, materiálu a osvetlenia scény."

Prvýkrát uverejnené 28. júla 2022.