Omlysing av Neurale Radiance Fields med enhver miljøkort

En ny artikkel fra Max Planck-instituttet og MIT har foreslått en teknikk for å oppnå sannt disentanglement av Neural Radiance Fields (NeRF) innhold fra lysningen som var til stede når dataene ble samlet inn, og som tillater ad hoc miljøkart å fullstendig bytte ut belysningen i en NeRF-scene:

Den nye teknikken brukt på virkelige data. Det er verdt å merke seg at metoden fungerer selv på arkiverte data av denne typen, som ikke tok den nye pipeline i betraktning når dataene ble samlet inn. Likevel blir det oppnådd realistisk og brukerdefinert lyskontroll. Kilde: https://arxiv.org/pdf/2207.13607.pdf

Den nye tilnærmingen bruker den populære åpne kildekodemotoren Blender til å lage en ‘virtuell lys scene’, hvor mange iterasjoner av mulige lys-scenarier blir renderet ut og til slutt trent inn i et spesiallagt lag i NeRF-modellen som kan akseptere enhver miljøkort som brukeren ønsker å bruke for å belyse scenen.

En fremstilling av den delen av pipeline som utnytter Blender til å lage virtuelle lys-scenarier av den uttrukne geometrien. Tidligere metoder som følger lignende linjer har brukt faktiske lys-scener for å levere denne dataen, som er en byrdefull krav for diskrete objekter, og en umulig en for eksterne miljøvisninger. Øverst til venstre i de to høyre bildene kan vi se miljøkartene som dikterer lysningen av scenen. Disse kan bli skapt av brukeren på en god måte, og bringer NeRF et steg nærmere fleksibiliteten til en moderne CGI-tilnærming.

Tilnærmingen ble testet mot Mitsuba2 inverse rendering-rammeverk, og også mot tidligere arbeid PhySG, RNR, Neural-PIL og NeRFactor, som kun bruker en direkte lysningsmodell, og oppnådde de beste scorene:

Resultater av den nye teknikken, sammenlignet med sammenlignbare tilnærminger under en rekke tap-funksjoner. Forskerne hevder at deres tilnærming gir de høyeste kvalitetsmetodene, med resultater evaluert gjennom Peak Signal-to-noise Ratio (PSNR), Structural Similarity Index Measure (SSIM), og den effektive, men eksentriske Learned Perceptual Image Patch Similarity (LPIPS).

Artikkelen sier:

‘Våre kvalitative og kvantitative resultater demonstrerer et tydelig skritt fremover i forhold til gjenvinning av sceneparametre, samt syntese-kvaliteten til vår tilnærming under nye visninger og lysforhold, sammenlignet med tidligere tilstand av kunnskap.’

Forskerne sier at de til slutt vil slippe koden for prosjektet.

Behovet for NeRF-redigering

Denne type disentanglement har vist seg å være en betydelig utfordring for forskere innen Neural Radiance Fields, ettersom NeRF i sin essens er en fotogrammetri-teknikk som beregner pikselverdien av tusenvis av mulige baner fra et synspunkt, og tilordner RGBD-verdier, og samler en matrise av disse verdiene inn i en volumetrisk representasjon. I kjernen er NeRF definert av lys.

I virkeligheten, til tross for sine imponerende visuelle og rike adopsjon av NVIDIA (NVDA ), er NeRF merket ‘stiv’ – i CGI-termer, ‘bakt’. Derfor har forskningssamfunnet sentrert seg på å forbedre dens håndterbarhet og fleksibilitet på dette punktet de siste 12-18 månedene.

I forhold til betydning, er innsatsen for denne type milepæl høye, og inkluderer muligheten for å transformere den visuelle effektindustrien fra en kreativ og samarbeidende modell sentrert rundt mesh-generering, bevegelsesdynamikk og tekstur, til en modell bygget rundt inverse rendering, hvor VFX-pipeline er drevet av virkelige fotos av virkelige ting (eller selv, konseptuelt, av virkelige og syntetiske modeller), i stedet for estimerte, håndverksmessige approksimasjoner.

For nå, er det relativt lite årvåkenhet blant den visuelle effektsamfunnet, i hvert fall fra Neural Radiance Fields. NeRF har bare begynnende evner i forhold til rigging, nesting, dybdekontroll, artikulering…og selv også i forhold til lysning. Den tilhørende videoen for en annen ny artikkel, som tilbyr rudimentære deformasjoner for NeRF-geometri, illustrerer den enorme kløften mellom den nåværende tilstanden av kunnskap i CGI og de seminale anstrengelsene i neurale renderingsteknikker.

Sikting av elementene

Likevel, siden det er nødvendig å starte et sted, har forskerne for den nye artikkelen adoptert CGI som en mellomliggende kontroll- og produksjonsmekanisme, nå en vanlig tilnærming mot de stive latente rommene i GAN-er og de nesten uigjennomtrengelige og lineære nettverkene i NeRF.

Effektivt, er den sentrale utfordringen å beregne global lysning (GI, som har ingen direkte anvendelighet i neurale rendering) inn i en ekvivalent Precomputed Radiance Transfer (PRT, som kan tilpasses neurale rendering) beregning.

GI er en nå-venerabel CGI-renderingsteknikk som modellerer måten lys bouncer av overflater og inn på andre overflater, og inkorporerer disse områdene av reflektert lys inn i en render, for økt realisme.

PRT brukes som en mellomliggende lysfunksjon i den nye tilnærmingen, og det faktum at det er en diskret og redigerbar komponent er det som oppnår disentanglement. Den nye metoden modellerer materialet til NeRF-objektet med en lært PRT.

Den faktiske scenebelysningen av de opprinnelige dataene blir gjenopprettet som et miljøkort i prosessen, og scenegeometrien selv blir trukket ut som et Signed Distance Field (SDF) som til slutt vil gi en tradisjonell mesh for Blender å operere på i den virtuelle lys scenen.

En oversikt over pipeline for den nye teknikken.

Den første fasen i prosessen er å trekke ut scenegeometrien fra de tilgjengelige multiple visninger gjennom implisitt overflate-rekonstruksjon, via teknikker brukt i 2021 NeuS-samarbeidet.

I forhold til å utvikle en neural radians-overføringsfelt (NRTF, som vil akseptere lysningsdata), brukte forskerne Mitsuba 2-differensierbar path-tracer.

Dette fasiliteter den felles optimaliseringen av en bidireksjonal sprening-distribusjonsfunksjon (BSDF), samt genereringen av en initial miljøkort. Når BSDF er skapt, kan path-traceren bli brukt i Blender (se innlejret video direkte over) til å lage virtuelle en-lys-om-gangen (OLAT) scene-renderinger.

NRTF blir så trent med en kombinerer tap mellom fotorealistiske materialeffekter og syntetiske data, som ikke er sammenflettet med hverandre.

En sammenligning med forgjengeren NeRFactor, på utfordringene med ny visningssyntese og omlysning.

Vegen til lys

Treningskravene for denne teknikken, selv om de er merkbart mindre enn de opprinnelige NeRF-trenings tidene, er ikke ubetydelige. På en NVIDIA Quadro RTX 8000 med 48GB av VRAM, tar forhånds-trening for initial lys og tekstur-estimering 30 minutter; OLAT-trening (dvs. trening av de virtuelle lys-scenarier) tar åtte timer; og den endelige felles optimalisering mellom de disentangled syntetiske og reale data tar ytterligere 16 timer for å nå optimal kvalitet.

Deretter kan den resulterende neurale representasjonen ikke kjøres i sanntid, og tar, ifølge forskerne ‘flere sekunder per rame’.

Forskerne konkluderer:

‘Våre resultater demonstrerer en tydelig forbedring over den nåværende tilstanden av kunnskap, mens fremtidig arbeid kunne involvere ytterligere forbedring av kjøretiden og en felles resonnering av geometri, materiale og scenebelysning.’

Først publisert 28. juli 2022.