Omlysning av Neurala Radiance Fields med valfri miljökart

En ny artikel från Max Planck-institutet och MIT har föreslagit en teknik för att uppnå sann disentanglement av Neural Radiance Fields (NeRF) innehåll från belysningen som var närvarande när data samlades in, vilket möjliggör ad hoc miljökartor för att helt byta ut belysningen i en NeRF-scen:

Den nya tekniken tillämpad på verkliga data. Det är värt att notera att metoden fungerar även på arkiverad data av detta slag, som inte tog den nya pipelineen i beaktande när data samlades in. Trots detta uppnås realistisk och användarspecifik belysningskontroll. Källa: https://arxiv.org/pdf/2207.13607.pdf

Den nya metoden använder den populära öppna källkods-3D-animationsprogramvaran Blender för att skapa en “virtuell ljus scen”, där många iterationer av möjliga belysnings scenarier renderas ut och till slut tränas in i ett speciallager i NeRF-modellen som kan ta emot valfri miljökart som användaren vill använda för att belysa scenen.

En bild av den delen av pipelineen som använder Blender för att skapa virtuella ljusscener av den extraherade geometrin. Tidigare metoder som följer liknande linjer har använt verkliga ljusscener för att tillhandahålla denna data, vilket är en betungande krav för diskreta objekt och en omöjlig för exteriör vy. I övre vänstra delen av de två högra bilderna kan vi se miljökartorna som dikterar belysningen av scenen. Dessa kan skapas godtyckligt av slutanvändaren, vilket bringar NeRF ett steg närmare flexibiliteten hos en modern CGI-approach.

Metoden testades mot Mitsuba2 inverse rendering-ramverk och också mot tidigare arbeten PhySG, RNR, Neural-PIL och NeRFactor, med endast en direkt belysningsmodell, och uppnådde de bästa resultaten:

Resultat av den nya tekniken, jämfört med jämförbara metoder under en mängd olika förlustfunktioner. Forskarna hävdar att deras metod ger de högkvalitativa metoderna, med resultaten utvärderade genom Peak Signal-to-noise Ratio (PSNR), Structural Similarity Index Measure (SSIM) och den effektiva, om än excentriska, Learned Perceptual Image Patch Similarity (LPIPS).

Artikeln säger:

‘Våra kvalitativa och kvantitativa resultat demonstrerar ett tydligt steg framåt i termer av återvinning av scenparametrar samt synteskvaliteten på vår metod under nya vy och belysningsförhållanden i jämförelse med tidigare tillstånd.’

Forskarna hävdar att de kommer att släppa koden för projektet.

Behovet av NeRF-redigering

Denna typ av disentanglement har visat sig vara en betydande utmaning för forskare inom Neural Radiance Fields, eftersom NeRF i princip är en fotogrammetri-teknik som beräknar pixelvärdet av tusentals möjliga vägar från en vy, tilldelar RGBD-värden och monterar en matris av dessa värden till en volymetrisk representation. I sin kärna är NeRF definierad av belysning.

I själva verket, trots dess imponerande visuella och laviska antagande av NVIDIA (NVDA ), är NeRF anmärkningsvärt “rigid” – i CGI-termer, “baked”. Därför har forskarsamhället fokuserat på att förbättra dess hanterbarhet och flexibilitet under de senaste 12-18 månaderna.

I termer av betydelse, är insatserna för denna typ av milstolpe höga och inkluderar möjligheten att omvandla den visuella effektsindustrin från en kreativ och samarbetsmodell centrerad kring mesh-generering, rörelsedynamik och texturering, till en modell byggd kring inverse rendering, där VFX-pipelineen drivs av verkliga foton av verkliga saker (eller till och med, konceptuellt, av verkliga och syntetiska modeller), snarare än uppskattade, hantverksmässiga approximationer.

För tillfället, finns det relativt lite anledning till oro bland den visuella effektsamhället, åtminstone från Neural Radiance Fields. NeRF har endast embryonala förmågor i termer av rigging, nesting, djupkontroll, artikulation… och säkert också i fråga om belysning. Den medföljande videon för en annan ny artikel, som erbjuder rudimentära deformationer för NeRF-geometri, illustrerar den enorma klyftan mellan den nuvarande tillståndet i CGI och de banbrytande ansträngningarna av neurala renderingstekniker.

Att Sifta Genom Elementen

Trots allt, eftersom det är nödvändigt att börja någonstans, har forskarna för den nya artikeln antagit CGI som en intermediär kontroll- och produktionsmekanism, nu en vanlig metod mot de rigida latenta utrymmena i GAN och de nästan ogenomträngliga och linjära nätverken i NeRF.

I princip, är den centrala utmaningen att beräkna global belysning (GI, som har ingen direkt tillämpbarhet i neural rendering) till en ekvivalent Precomputed Radiance Transfer (PRT, som kan anpassas till neural rendering) beräkning.

GI är en nu ärevördig CGI-renderingsteknik som modellerar hur ljus studsar av ytor och påverkar andra ytor, och inkorporerar dessa områden av reflekterat ljus i en render, för ökad realism.

PRT används som en intermediär belysningsfunktion i den nya metoden, och det faktum att det är en diskret och redigerbar komponent är vad som uppnår disentanglement. Den nya metoden modellerar materialet i NeRF-objektet med en lärd PRT.

Den faktiska scenbelysningen i den ursprungliga data återvinns som en miljökart i processen, och scengeometrin i sig extraheras som ett Signerat AvståndsFält (SDF) som kommer att ge en traditionell mesh för Blender att operera på i den virtuella ljusscenen.

En översikt av pipelineen för den nya tekniken.

Den första etappen i processen är att extrahera scengeometrin från de tillgängliga multipla vybilderna genom implicit ytrekonstruktion, via tekniker som används i 2021 års NeuS-samarbete.

För att utveckla ett neuralt radiansöverföringsfält (NRTF, som kommer att ta emot belysningsdata), använde forskarna Mitsuba 2 differentiable path tracer.

Detta möjliggör den gemensamma optimeringen av en bidirektional spridningsfördelningsfunktion (BSDF), samt genereringen av en initial miljökart. När BSDF skapas, kan path-tracern användas i Blender (se inbäddad video direkt ovan) för att skapa virtuella en-ljus-åt-gången (OLAT) scenrender.

NRTF tränas sedan med en kombinerad förlust mellan fotorealistiska materialeffekter och syntetiska data, som inte är sammanflätade med varandra.

En jämförelse med föregångaren NeRFactor, på utmaningarna med ny vy-syntes och omlysning.

Vägen Till Belysning

Träningskraven för denna teknik, trots att de är betydligt mindre än de ursprungliga NeRF-tränningstiderna, är inte obetydliga. På en NVIDIA Quadro RTX 8000 med 48 GB VRAM, tar den preliminära träningsprocessen för initial ljus- och texturuppskattning 30 minuter; OLAT-träning (dvs. träningsprocessen för de virtuella ljusscenerna) tar 8 timmar; och den slutliga gemensamma optimeringen mellan de disentanglaterade syntetiska och verkliga datat tar ytterligare 16 timmar för att nå optimal kvalitet.

Dessutom kan den resulterande neurala representationen inte köras i realtid, och tar, enligt forskarna, “flera sekunder per bildruta”.

Forskarna drar följande slutsats:

‘Våra resultat demonstrerar en tydlig förbättring jämfört med den nuvarande tillståndet i branschen, medan framtida arbete kan innefatta att ytterligare förbättra körtiden och en gemensam resonemang av geometri, material och scenbelysning.’

Publicerad första gången den 28 juli 2022.