Reluminarea câmpurilor de radianță neurală cu orice hartă de mediu

O nouă lucrare de la Institutul Max Planck și MIT a propus o tehnică pentru a obține o disjungere reală a conținutului câmpurilor de radianță neurală (NeRF) de la iluminarea prezentă atunci când s-au colectat datele, permițând hărți de mediu ad hoc să înlocuiască complet iluminarea într-o scenă NeRF:

Noua tehnică aplicată pe date reale. Este demn de remarcat că metoda funcționează chiar și pe date arhivate de acest tip, care nu au luat în considerare noul pipeline la momentul colectării datelor. În ciuda acestui fapt, se obține controlul iluminării realist și specificat de utilizator. Sursă: https://arxiv.org/pdf/2207.13607.pdf

Noua abordare utilizează programul de animație 3D open source Blender pentru a crea un “stadiu de lumină virtual”, unde se renderizează multiple iterații de scenarii de iluminare posibile și, în cele din urmă, se antrenează într-un strat special în modelul NeRF care poate găzdui orice hartă de mediu pe care utilizatorul dorește să o folosească pentru a ilumina scena.

O reprezentare a părții pipeline-ului care utilizează Blender pentru a crea vederi de stadiu de lumină virtuale ale geometriei extrase. Metodele anterioare care urmează aceleași linii au folosit stadii de lumină reale pentru a furniza aceste date, ceea ce este o cerință împovărătoare pentru obiecte discrete și imposibilă pentru vederi exterioare de mediu. În partea stângă a celor două imagini din dreapta, putem vedea hărțile de mediu care dictează iluminarea scenei. Acestea pot fi create arbitrar de către utilizator, aducând NeRF cu o etapă mai aproape de flexibilitatea unei abordări CGI moderne.

Abordarea a fost testată împotriva Mitsuba2 framework-ului de rendering invers, și de asemenea împotriva lucrărilor anterioare PhySG, RNR, Neural-PIL și NeRFactor, folosind doar un model de iluminare directă, și a obținut cele mai bune scoruri:

Rezultatele noii tehnici, comparate cu abordări comparabile sub diverse funcții de pierdere. Cercetătorii afirmă că abordarea lor oferă metode de calitate superioară, cu rezultate evaluate prin Raportul de Semnal la Zgomot (PSNR), Măsura de Asemănare Structurală (SSIM) și Similaritatea Perceptuală Învățată a Patches de Imagine (LPIPS).

Articolul afirmă:

‘Rezultatele noastre calitative și cantitative demonstrează un pas clar înainte în ceea ce privește recuperarea parametrilor scenei, precum și calitatea sintezei abordării noastre sub noi puncte de vedere și condiții de iluminare, comparativ cu stadiul actual al tehnicii.’

Cercetătorii afirmă că vor lansa în curând codul pentru proiect.

Nevoia de editare NeRF

Această disjungere a fost o provocare notabilă pentru cercetătorii în domeniul câmpurilor de radianță neurală, deoarece NeRF este esențialmente o tehnică de fotogrammetrie care calculează valoarea pixelului a mii de posibile căi de la un punct de vedere, atribuind valori RGBD și asamblând o matrice a acestor valori într-o reprezentare volumetrică. În esență, NeRF este definit de iluminare.

De fapt, în ciuda vizualizărilor impresionante și a adoptării sale generoase de către NVIDIA (NVDA ), NeRF este remarcat pentru “rigiditatea” sa – în termeni de CGI, “coaptă”. Prin urmare, comunitatea de cercetare s-a concentrat pe îmbunătățirea tractabilității și versatilității sale în acest sens în ultimii 12-18 luni.

În ceea ce privește semnificația, mizele pentru acest fel de etapă sunt ridicate și includ posibilitatea de a transforma industria de efecte vizuale de la un model creativ și colaborativ centrat pe generarea de mesh, dinamică de mișcare și textură, la un model construit în jurul rendering-ului invers, unde pipeline-ul VFX este alimentat de fotografii reale ale unor lucruri reale (sau chiar, conceput, de modele reale și sintetice), mai degrabă decât estimări, aproximații artizanale.

Pentru moment, nu există motive de îngrijorare printre comunitatea de efecte vizuale, cel puțin din partea câmpurilor de radianță neurală. NeRF are doar abilități incipiente în ceea ce privește rigging, nesting, controlul adâncimii, articulația… și, desigur, în ceea ce privește iluminarea. Videoclipul însoțitor pentru o nouă lucrare, care oferă deformări rudimentare pentru geometria NeRF, ilustrează prăpastia enormă dintre stadiul actual al tehnicii în CGI și eforturile semnificative ale tehnicilor de rendering neural.

Separarea elementelor

Cu toate acestea, deoarece este necesar să începeți de undeva, cercetătorii pentru noua lucrare au adoptat CGI ca mecanism de control și producție intermediar, o abordare comună către spațiile latente rigide ale GAN-urilor și rețelelor liniare aproape impenetrabile ale NeRF-ului.

În esență, provocarea centrală constă în a calcula iluminarea globală (GI, care nu are aplicabilitate directă în rendering-ul neural) într-o transfer de radianță precalculat (PRT, care poate fi adaptat la rendering-ul neural) calcul.

GI este o tehnică de rendering CGI venerabilă care modelează modul în care lumina se reflectă de la suprafețe și pe alte suprafețe și incorporează aceste zone de lumină reflectată într-un render, pentru realism suplimentar.

PRT este utilizat ca o funcție de iluminare intermediară în noua abordare, și faptul că este o componentă discretă și editabilă este ceea ce realizează disjungerea. Noua metodă modelează materialul obiectului NeRF cu un PRT învățat.

Iluminarea reală a scenei din datele originale este recuperată sub forma unei hărți de mediu în proces, și geometria scenei în sine este extrasă sub forma unui câmp de distanță semnat (SDF) care va furniza în cele din urmă un mesh tradițional pentru Blender pentru a opera pe el în stadiul de lumină virtual.

O vedere de ansamblu a pipeline-ului pentru noua tehnică.

Prima etapă în proces constă în extragerea geometriei scenei din imaginile multiple disponibile prin reconstrucția implicită a suprafeței, prin tehnici utilizate în colaborarea NeuS din 2021.

Pentru a dezvolta un câmp de radianță neural transferat (NRTF, care va găzdui datele de iluminare), cercetătorii au utilizat traseul diferențial Mitsuba 2.

Acest lucru facilitează optimizarea comună a unei funcții de distribuție de dispersie bidirecțională (BSDF), precum și generarea unei hărți de mediu inițiale. Odată ce BSDF este creat, traseul poate fi utilizat în Blender (a se vedea videoclipul înglobat direct mai sus) pentru a crea render-uri de scenă virtuale cu o singură lumină la un moment dat (OLAT).

NRTF este antrenat cu o pierdere combinată între efectele materiale fotorealistice și datele sintetice, care nu sunt încurcate una cu alta.

O comparație cu precursorul NeRFactor, pe provocările sintezei de vedere nouă și a reluminării.

Drumul spre iluminare

Cerințele de antrenare pentru această tehnică, deși semnificativ mai mici decât timpurile de antrenare NeRF originale, nu sunt nesemnificative. Pe un NVIDIA Quadro RTX 8000 cu 48GB de VRAM, antrenamentul preliminar pentru estimarea inițială a luminii și texturii durează 30 de minute; antrenamentul OLAT (adică antrenamentul capturilor de stadiu de lumină virtuale) durează opt ore; și optimizarea finală comună între datele sintetice și reale disjuncte durează încă 16 ore pentru a atinge calitatea optimă.

Mai mult, reprezentarea neurală rezultată nu poate rula în timp real, luând, conform cercetătorilor, ‘câteva secunde pe cadru’.

Cercetătorii concluzionează:

‘Rezultatele noastre demonstrează o îmbunătățire clară a stadiului actual al tehnicii, în timp ce lucrările viitoare ar putea implica îmbunătățirea ulterioară a timpului de rulare și o raționament comun al geometriei, materialului și iluminării scenei.’

Publicat pentru prima dată pe 28 iulie 2022.