Het opnieuw belichten van Neurale Radiance Fields met elke omgevingskaart

Een nieuw artikel van het Max Planck Institute en MIT heeft een techniek voorgesteld om echte disentanglement van Neurale Radiance Fields (NeRF) inhoud van de verlichting die aanwezig was toen de gegevens werden verzameld, waardoor ad hoc omgevingskaarten de verlichting in een NeRF-scène volledig kunnen vervangen:

De nieuwe techniek toegepast op echte gegevens. Het is opvallend dat de methode werkt, zelfs op gearchiveerde gegevens van dit type, die de nieuwe pijplijn niet in overweging nam toen de gegevens werden verzameld. Ondanks dit wordt realistische en door de gebruiker gespecificeerde verlichtingscontrole verkregen Source: https://arxiv.org/pdf/2207.13607.pdf

De nieuwe benadering gebruikt het populaire open source 3D-animatieprogramma Blender om een ‘virtueel lichtpodium’ te creëren, waarin talloze iteraties van mogelijke verlichtingsscenario’s worden gerenderd en uiteindelijk getraind in een speciale laag in het NeRF-model dat elke omgevingskaart kan accommoderen die de gebruiker wil gebruiken om de scène te verlichten.

Een afbeelding van het deel van de pijplijn dat Blender gebruikt om virtuele lichtpodiumweergaven van de geëxtraheerde geometrie te creëren. Eerdere methoden die soortgelijke lijnen volgen, hebben echte lichtpodia gebruikt om deze gegevens te verstrekken, wat een belastende vereiste is voor discrete objecten en een onmogelijke voor externe omgevingsweergaven. In de linkerbovenhoek van de rechter twee afbeeldingen kunnen we de omgevingskaarten zien die de verlichting van de scène dicteren. Deze kunnen willekeurig door de eindgebruiker worden gemaakt, waardoor NeRF een stap dichter bij de flexibiliteit van een moderne CGI-benadering komt.

De benadering werd getest tegen de Mitsuba2 inverse rendering framework, en ook tegen eerdere werken PhySG, RNR, Neural-PIL en NeRFactor, waarbij alleen een directe verlichtingsmodel werd gebruikt, en de beste scores behaald:

Resultaten van de nieuwe techniek, vergeleken met vergelijkbare benaderingen onder een verscheidenheid aan verliesfuncties. De onderzoekers claimen dat hun benadering de hoogste kwaliteit oplevert, met resultaten die worden geëvalueerd door middel van Peak Signal-to-noise Ratio (PSNR), Structural Similarity Index Measure (SSIM) en de effectieve, maar excentrieke Learned Perceptual Image Patch Similarity (LPIPS).

Het artikel zegt:

‘Onze kwalitatieve en kwantitatieve resultaten demonstreren een duidelijke stap voorwaarts in termen van het herstel van scène parameters en de synthese kwaliteit van onze benadering onder nieuwe weergaven en verlichtingscondities in vergelijking met de vorige stand van de techniek.’

De onderzoekers zeggen dat ze uiteindelijk de code voor het project zullen vrijgeven.

De behoefte aan NeRF-bewerkbaarheid

Deze soort disentanglement heeft zich als een opvallende uitdaging voor onderzoekers van Neurale Radiance Fields bewezen, aangezien NeRF in wezen een fotogrammetrie-techniek is die de pixelwaarde van duizenden mogelijke paden vanuit een gezichtspunt berekent, RGBD-waarden toewijst en een matrix van deze waarden in een volumetrische weergave samenstelt. In zijn kern wordt NeRF gedefinieerd door verlichting.

Feitelijk, ondanks zijn indrukwekkende visuals en ruime adoptie door NVIDIA (NVDA ), is NeRF opvallend ‘stijf’ – in CGI-termen, ‘gebakken’. Daarom heeft de onderzoekscommunity zich de afgelopen 12-18 maanden gericht op het verbeteren van zijn tractabiliteit en flexibiliteit op dit gebied.

In termen van significantie, zijn de inzet voor deze soort mijlpaal hoog, en omvatten de mogelijkheid om de visuele effectenindustrie te transformeren van een creatief en collaboratief model dat draait om meshgeneratie, bewegingsdynamica en textuur, naar een model dat is gebouwd rond inverse rendering, waar de VFX-pijplijn wordt gevoed door echte foto’s van echte dingen (of zelfs, conceivably, van echte en gesynthetiseerde modellen), in plaats van geschatte, ambachtelijke benaderingen.

Voor nu, is er relatief weinig reden tot bezorgdheid onder de visuele effecten gemeenschap, tenminste vanuit Neurale Radiance Fields. NeRF heeft alleen embryonale vaardigheden in termen van rigging, nesting, dieptecontrole, articulatie…en zeker ook in verband met verlichting. De bijbehorende video voor een ander nieuw artikel, dat rudimentaire deformities voor NeRF-geometrie biedt, illustreert de enorme kloof tussen de huidige stand van de techniek in CGI en de seminale inspanningen van neurale rendering-technieken.

Het doorzoeken van de elementen

Toch, aangezien het nodig is om ergens te beginnen, hebben de onderzoekers voor het nieuwe artikel CGI aangenomen als een tussenliggende controle- en productiemechanisme, wat nu een gebruikelijke benadering is naar de rigide latent ruimtes van GAN’s en de bijna ondoordringbare en lineaire netwerken van NeRF.

Effectief, is de centrale uitdaging om globale verlichting (GI, die geen directe toepasbaarheid heeft in neurale rendering) om te zetten in een equivalente Precomputed Radiance Transfer (PRT, die kan worden aangepast aan neurale rendering) berekening.

GI is een nu-vererende CGI-renderingtechniek die de manier modelleert waarop licht van oppervlakken afketst en op andere oppervlakken terechtkomt, en deze gebieden van gereflecteerd licht in een render opneemt, voor extra realisme.

PRT wordt gebruikt als een tussenliggende lichtfunctie in de nieuwe benadering, en het feit dat het een discrete en bewerkbare component is, is wat de disentanglement bereikt. De nieuwe methode modelleert het materiaal van het NeRF-object met een geleerd PRT.

De daadwerkelijke scèneverlichting van de oorspronkelijke gegevens wordt hersteld als een omgevingskaart in het proces, en de scènegeometrie zelf wordt geëxtraheerd als een Signed Distance Field (SDF) die uiteindelijk een traditionele mesh voor Blender zal bieden om in het virtuele lichtpodium te werken.

Een overzicht van de pijplijn voor de nieuwe techniek.

Het eerste stadium in het proces is om de scènegeometrie te extraheren uit de beschikbare meervoudige weergavebeelden via impliciete oppervlakreconstructie, via technieken die worden gebruikt in de 2021 NeuS samenwerking.

Om een neurale radiance transfer field (NRTF, die de verlichtingsgegevens zal accommoderen) te ontwikkelen, hebben de onderzoekers de Mitsuba 2 differentiable path tracer gebruikt.

Dit faciliteert de gezamenlijke optimalisatie van een bidirectionele scattering distributiefunctie (BSDF), evenals de generatie van een initiële omgevingskaart. Zodra de BSDF is gemaakt, kan de path tracer worden gebruikt in Blender (zie ingesloten video recht boven) om virtuele een-licht-tegen-een-tijd (OLAT) scène-weergaven te creëren.

De NRTF wordt vervolgens getraind met een gecombineerde verlies tussen fotorealistische materiaaleffecten en de synthetische gegevens, die niet met elkaar verweven zijn.

Een vergelijking met de voorganger NeRFactor, over de uitdagingen van nieuwe weergave-synthese en opnieuw belichten.

De weg naar verlichting

De trainingsvereisten voor deze techniek, hoewel opvallend minder dan de oorspronkelijke NeRF-traintijden, zijn niet onbeduidend. Op een NVIDIA Quadro RTX 8000 met 48GB van VRAM, neemt de voorlopige training voor initiële licht- en textuur schatting 30 minuten in beslag; OLAT-training (d.w.z. de training van de virtuele lichtpodiumopnames) neemt acht uur in beslag; en de finale gezamenlijke optimalisatie tussen de ontkoppelde synthetische en reële gegevens neemt nog eens 16 uur in beslag om de optimale kwaliteit te bereiken.

Verder kan de resulterende neurale representatie niet in real-time worden uitgevoerd, en neemt, volgens de onderzoekers, ‘enkele seconden per frame’ in beslag.

De onderzoekers concluderen:

‘Onze resultaten demonstreren een duidelijke verbetering ten opzichte van de huidige stand van de techniek, terwijl toekomstig werk kan bestaan uit het verder verbeteren van de uitvoertijd en een gezamenlijke redenering van geometrie, materiaal en scèneverlichting.’

Publicatie op 28 juli 2022.