NeRFocus: lichtgewicht focuscontrole voor Neural Radiance Fields

Nieuw onderzoek uit China biedt een methode om betaalbare controle over diepteeffecten voor Neural Radiance Fields (NeRF) te bereiken, waardoor de eindgebruiker scherp kan stellen en de configuratie van de virtuele lens in de renderingsruimte dynamisch kan wijzigen.

De techniek, genaamd NeRFocus, implementeert een novate ‘dunne lens-imaging’-aanpak voor focus-traversal en introduceert P-training, een probabilistische trainingsstrategie die de noodzaak voor speciale diepteeffectendatasets elimineert en de focus-geactiveerde trainingsworkflow vereenvoudigt.

Het artikel is getiteld NeRFocus: Neural Radiance Field voor 3D Synthetische Defocus en komt van vier onderzoekers van de Shenzhen Graduate School aan de Peking University en het Peng Cheng Laboratory in Shenzhen, een door de Guangdong Provincial Government gefinancierd instituut.

De foveale locus van aandacht in NeRF aanpakken

Als NeRF ooit zijn plaats wil innemen als een valide aandrijvende technologie voor virtuele en aangevulde realiteit, zal het een lichtgewicht methode nodig hebben om realistische foveated rendering mogelijk te maken, waarbij de meeste renderingsbronnen zich rond de blik van de gebruiker verzamelen, in plaats van ondiscrimineerd over het hele beschikbare visuele gebied te worden verdeeld.

Uit het artikel Foveated Neural Radiance Fields for Real-Time and Egocentric Virtual Reality zien we de aandachtslocus in een novate foveated rendering-schematie voor NeRF. Bron: https://arxiv.org/pdf/2103.16365.pdf

Een essentieel onderdeel van de authenticiteit van toekomstige NeRF-implementaties zal de mogelijkheid zijn om de capaciteit van het menselijk oog om scherp te stellen over een terugtrekkende plane van perspectief te reflecteren (zie eerste afbeelding hierboven).

Deze gradient van focus is ook een perceptuele indicator van de schaal van de scène; het uitzicht vanuit een helikopter die over een stad vliegt, heeft geen navigeerbare velden van focus, omdat de hele scène buiten de buitenste focuscapaciteit van de kijker ligt, terwijl het onderzoeken van een miniatuur of ‘nabijheids’-scène niet alleen ‘focus racking’ mogelijk maakt, maar voor realisme ook een smalle diepteeffect moet hebben.

Onderstaand is een video die de initiële mogelijkheden van NeRFocus demonstreert, verstrekt door de auteur van het artikel:

Verder dan beperkte brandpuntsvlakken

Bewust van de vereisten voor focuscontrole, hebben verschillende NeRF-projecten in de afgelopen jaren voorzieningen getroffen voor focuscontrole, hoewel alle pogingen tot nu toe effectief trucages of omleidingen zijn, ofwel notoire post-processing-routines vereisen die het onwaarschijnlijk maken dat ze bijdragen aan de uiteindelijk voor NeRF-technologieën geplande real-time-omgevingen.

Synthetische focuscontrole in neurale rendering-kaders is eerder geprobeerd met verschillende methoden in de afgelopen 5-6 jaar – bijvoorbeeld door een segmentatienetwerk te gebruiken om de voorgrond- en achtergrondgegevens af te bakenen en vervolgens generisch de achtergrond te ontsharpeneren – een gebruikelijke oplossing voor eenvoudige tweevlaksfocus-effecten.

Uit het artikel ‘Automatic Portrait Segmentation for Image Stylization’, een alledaagse, animatie-achtige scheiding van brandpuntsvlakken. Bron: https://jiaya.me/papers/portrait_eg16.pdf

Meervlakige representaties voegen een paar virtuele ‘animatie-cellen’ toe aan dit paradigma, bijvoorbeeld door diepteschatting te gebruiken om de scène op te delen in een hobbelige maar beheersbare gradient van verschillende brandpuntsvlakken, en vervolgens diepteadapterende kernels te orkestreren om onscherpte te synthetiseren.

Bovendien, en zeer relevant voor potentiële AR/VR-omgevingen, kan het verschil tussen de twee gezichtspunten van een stereo-camera-opstelling worden gebruikt als diepteproxy – een methode voorgesteld door Google Research in 2015.

Uit het door Google geleide artikel Fast Bilateral-Space Stereo for Synthetic Defocus, biedt het verschil tussen de twee gezichtspunten een dieptekaart die onscherpte kan faciliteren. Echter, deze aanpak is onecht in de situatie zoals hierboven beschreven, waar de foto duidelijk met een 35-50mm (SLR-standaard) lens is genomen, maar de extreme onscherpte van de achtergrond alleen zou optreden met een lens die de 200mm overschrijdt, die een zeer beperkt brandpuntsvlak heeft dat een smalle diepteeffect produceert in normale, mensgrote omgevingen. Bron

Benoarde aanpakken van deze aard vertonen randartefacten, omdat ze proberen om twee verschillende en randbegrensde sferen van focus voor te stellen als een continue focusgradient.

In 2021 bood de RawNeRF-initiatief HDR-functionaliteit, met meer controle over lage lichtsituaties, en een ogenschijnlijk indrukwekkende capaciteit om scherp te stellen:

RawNeRF stelt mooi scherp (als het in dit geval onecht is vanwege onrealistische brandpuntsvlakken), maar komt met een hoge rekenkundige kostenpost. Bron: https://bmild.github.io/rawnerf/

Echter, RawNeRF vereist zware precalculatie voor zijn meervlakige representaties van de getrainde NeRF, waardoor een workflow ontstaat die niet gemakkelijk kan worden aangepast aan lichtere of lagere latentie-implementaties van NeRF.

Modellering van een virtuele lens

NeRF zelf is gebaseerd op het pinhole-imaging-model, dat de hele scène scherp weergeeft op een manier die lijkt op een standaard CGI-scène (voor de verschillende aanpakken die onscherpte als post-processing- of ingebouwd effect op basis van diepteeffect weergeven).

NeRFocus creëert een virtuele ‘dunne lens’ (in plaats van een ‘glasloze’ aperture) die de stralingspad van elke inkomende pixel berekent en deze rechtstreeks weergeeft, waardoor effectief het standaard beeldvormingsproces wordt omgekeerd, dat post facto op lichtinvoer werkt dat al door de brekings-eigenschappen van de lensontwerp is beïnvloed.

Deze modellering introduceert een reeks mogelijkheden voor inhoudsrendering binnen de frustum (de grootste cirkel van invloed weergegeven in de afbeelding hierboven).

Het berekenen van de juiste kleur en dichtheid voor elke multilayer-perceptron (MLP) in deze bredere reeks mogelijkheden is een extra taak. Dit is eerder opgelost door toezicht te gebruiken op een groot aantal DLSR-afbeeldingen, waarbij extra datasets voor een probabilistische trainingsworkflow moeten worden gemaakt – effectief het tijdrovende voorbereiden en opslaan van meerdere mogelijke berekende bronnen die mogelijk of niet nodig zijn.

NeRFocus overwint dit door P-training, waarbij trainingsdatasets op basis van basis-onscherpte-operaties worden gegenereerd. Zo wordt het model gevormd met onscherpte-operaties die inherent en navigeerbaar zijn.

De diameter van de aperture wordt ingesteld op nul tijdens de training, en vooraf gedefinieerde waarschijnlijkheden worden gebruikt om een onscherpte-kernel willekeurig te kiezen. Deze verkregen diameter wordt gebruikt om de diameter van elke samengestelde kegel op te schalen, waardoor de MLP de stralings- en dichtheidsverdeling van de frustum (de brede cirkels in de bovenstaande afbeeldingen, die de zone van transformatie voor elke pixel vertegenwoordigen) nauwkeurig kan voorspellen

De auteurs van het nieuwe artikel merken op dat NeRFocus potentieel compatibel is met de HDR-gedreven aanpak van RawNeRF, die mogelijk kan helpen bij het renderen van bepaalde moeilijke secties, zoals onscherpte-speculaire highlights, en veel van de andere rekenintensieve effecten die CGI-workflows al dertig jaar of langer uitdagen.

Het proces vereist geen extra vereisten voor tijd en/of parameters in vergelijking met eerdere benaderingen zoals core NeRF en Mip-NeRF (en, naar verluidt Mip-NeRF 360, hoewel dit niet in het artikel wordt behandeld), en is van toepassing als een algemene uitbreiding van de centrale methodologie van neurale stralingsvelden.

Publicatie op 12 maart 2022.