Genoplysning af Neurale Radiance Felter med Enhver Miljøkort

En ny artikel fra Max Planck Institute og MIT har foreslået en teknik til at opnå sand disentanglement af Neural Radiance Fields (NeRF) indhold fra lyset, der var til stede, da dataene blev indsamlet, og dette tillader ad hoc miljøkort fuldstændigt at skifte ud lyset i en NeRF-scene:

Den nye teknik anvendt på virkelige data. Det er værd at bemærke, at metoden fungerer, selv på arkiverede data af denne type, som ikke tog den nye pipeline i betragtning, da dataene blev indsamlet. Trods dette opnås realistisk og brugerdefineret lyskontrol. Kilde: https://arxiv.org/pdf/2207.13607.pdf

Den nye tilgang anvender det populære open source 3D animationsprogram Blender til at oprette en ‘virtuel lys-scene’, hvor mange iterationer af mulige lys-scenarier renderes ud og til sidst trænes ind i et særligt lag i NeRF-modellen, som kan rumme enhver miljøkort, som brugeren ønsker at anvende til at lyse scenen.

En afbildning af den del af pipeline, der udnytter Blender til at oprette virtuelle lys-scenearier af den ekstraherede geometri. Tidligere metoder, der følger lignende linjer, har brugt rigtige lys-scener til at levere disse data, hvilket er en byrdefuld krav for diskrete objekter og en umulig én for eksterne miljøscener. Øverst til venstre i de to højre billeder kan vi se miljøkortene, der bestemmer lyset i scenen. Disse kan være vilkårligt oprettet af slutbrugeren, hvilket bringer NeRF et skridt nærmere fleksibiliteten i en moderne CGI-tilgang.

Tilgangen blev testet mod Mitsuba2 inverse rendering-ramme, og også mod tidligere værker PhySG, RNR, Neural-PIL og NeRFactor, der kun anvender en direkte illuminationsmodel, og opnåede de bedste resultater:

Resultater af den nye teknik, sammenlignet med tilsvarende tilgange under en række tabsfunktioner. Forskerne hævder, at deres tilgang giver de højeste kvalitetsmetoder, med resultater, der er vurderet gennem Peak Signal-to-noise Ratio (PSNR), Structural Similarity Index Measure (SSIM) og den effektive, men excentriske Learned Perceptual Image Patch Similarity (LPIPS).

Artiklen siger:

‘Vore kvalitative og kvantitative resultater demonstrerer et tydeligt skridt fremad i forhold til genskabelsen af sceneparametre samt syntesekvaliteten af vores tilgang under nye visninger og lysforhold i sammenligning med tidligere tilgange.’

Forskerne siger, at de til sidst vil udgive koden for projektet.

Behovet for NeRF-redigering

Denne type disentanglement har vist sig at være en betydelig udfordring for forskere inden for Neurale Radiance Felter, da NeRF i virkeligheden er en fotogrammetri-teknik, der beregner pixelværdien af tusindvis af mulige veje fra et synspunkt, tildele RGBD-værdier og samler en matrix af disse værdier i en volumetrisk repræsentation. I sin kerne er NeRF defineret af lys.

I virkeligheden er NeRF, trods dens imponerende visuelle og omfattende brug af NVIDIA (NVDA ), bemærkelsesværdigt ‘stiv’ – på CGI-termer, ‘bagt’. Derfor har forskningssamfundet centreret sig om at forbedre dets håndterbarhed og fleksibilitet på dette punkt i de sidste 12-18 måneder.

I forhold til betydning er indsatsen for denne type milepæl høj, og omfatter muligheden for at transformere den visuelle effektindustri fra en kreativ og samarbejdende model, der er centreret omkring mesh-generering, dynamik og tekstur, til en model, der er bygget omkring inverse rendering, hvor VFX-pipeline er drevet af virkelige billeder af virkelige ting (eller endda, muligvis, af virkelige og syntetiske modeller), snarere end estimerede, håndværksmæssige approksimationer.

For nu er der relativt lidt grund til bekymring blandt den visuelle effekt-samfund, i hvert fald ikke fra Neurale Radiance Felter. NeRF har kun embryonale evner i forhold til rigging, nesting, dybdekontrol, articulation… og bestemt også i forhold til lys. Den tilhørende video for en anden ny artikel, der tilbyder rudimentære deformationer for NeRF-geometri, illustrerer den enorme kløft mellem den nuværende tilstand af kunst i CGI og de seminale bestræbelser på neurale renderingsteknikker.

At Sieve Elementerne

Alligevel, da det er nødvendigt at starte et sted, har forskerne for den nye artikel valgt CGI som en mellemledende kontrollerings- og produktionsmekanisme, en tilgang, der nu er almindelig mod de stive latente rum af GAN’er og de næsten uigennemtrængelige og lineære netværk af NeRF.

Effektivt er den centrale udfordring at beregne global illumination (GI, som ikke har direkte anvendelighed i neurale rendering) til en ækvivalent Precomputed Radiance Transfer (PRT, som kan tilpasses til neurale rendering) beregning.

GI er en nu-venerabel CGI-renderingsteknik, der modellerer, hvordan lys bouncer af overflader og på andre overflader, og inkorporerer disse områder af reflekteret lys i en render, for øget realisme.

PRT anvendes som en mellemledende lysfunktion i den nye tilgang, og det faktum, at det er en diskret og redigerbar komponent, er hvad der opnår disentanglement. Den nye metode modellerer materialet af NeRF-objektet med en lært PRT.

Den faktiske scenelys i de originale data genskabes som en miljøkort i processen, og scenens geometri selv ekstraheres som et Signed Distance Field (SDF), som til sidst vil levere en traditionel mesh til Blender til at operere på i den virtuelle lys-scene.

En oversigt over pipeline til den nye teknik.

Den første fase i processen er at ekstrahere scenens geometri fra de tilgængelige multiple visninger gennem implicit overfladerekonstruktion, via teknikker, der anvendes i 2021 NeuS-forskningssamarbejdet.

For at udvikle et neuralt radiance transfer-felt (NRTF, som vil kunne rumme lysdata), anvendte forskerne Mitsuba 2 differentiable path tracer.

Dette faciliterer den fælles optimering af en bidirectional scattering distribution function (BSDF), samt genereringen af en initial miljøkort. Når BSDF er oprettet, kan path traceren anvendes i Blender (se indlejret video direkte ovenfor) til at oprette virtuelle en-lys-ad-gang-scenearier.

NRTF trænes herefter med en kombineret tabsfunktion mellem fotorealistiske materialeffekter og syntetiske data, som ikke er sammenflettede med hinanden.

En sammenligning med forgængeren NeRFactor, på udfordringerne ved ny synsvinkel-syntese og genoplysning.

Vej til Illumination

Træningskravene for denne teknik, selvom de er bemærkelsesværdigt mindre end de originale NeRF-træningstider, er ikke ubetydelige. På en NVIDIA Quadro RTX 8000 med 48GB VRAM, foreløbig træning for initial lys- og teksturanalyse tager 30 minutter; OLAT-træning (dvs. træning af virtuelle lys-scenearier) tager otte timer; og den endelige fælles optimering mellem de disentangled syntetiske og virkelige data tager yderligere 16 timer for at nå optimal kvalitet.

Dertil kan den resulterende neurale repræsentation ikke køre i realtid, og tager, ifølge forskerne ‘flere sekunder per frame’.

Forskerne konkluderer:

‘Vore resultater demonstrerer en tydelig forbedring over den nuværende tilstand af kunst, mens fremtidigt arbejde kunne involvere yderligere forbedring af køretiden og en fælles begrundelse af geometri, materiale og scenelys.’

Først udgivet 28. juli 2022.