NeRFocus: Bréngt Liichtgewiicht Focus Kontroll op Neural Radiance Fields

Nei Fuerschung aus China bitt eng Method fir bezuelbar Kontroll iwwer Déift vum Feld Effekter fir Neural Radiance Fields z'erreechen (NeRF), erlaabt den Endbenutzer de Fokus ze racken an dynamesch d'Konfiguratioun vun der virtueller Lens am Renderingraum z'änneren.

Geännert ginn NeRFocus, d'Technik implementéiert eng nei "dënn Lens Imaging" Approche fir d'Traversal ze fokusséieren, an innovéiert P-Formatioun, eng probabilistesch Trainingsstrategie déi d'Bedierfnes fir engagéierten Déift-vun-Feld Datesätz vermeit, a vereinfacht e Fokus-aktivéierten Training Workflow.

d' Pabeier heescht NeRFocus: Neural Radiance Field fir 3D Synthetesch Defocus, a kënnt vu véier Fuerscher vun der Shenzhen Graduate School op der Peking University, an dem Peng Cheng Laboratory zu Shenzhen, e Guangdong Provincial Government-finanzéiert Institut.

Adresséiert de Foveated Locus vun Opmierksamkeet am NeRF

Wann NeRF jeemools seng Plaz als valabel Fuertechnologie fir virtuell an augmentéiert Realitéit wäert huelen, da brauch et eng liicht Method fir realistesch z'erméiglechen foveated Rendering, wou d'Majoritéit vun de Rendering-Ressourcen ronderëm de Bléck vum Benotzer accuréieren, anstatt ondifferenzéiert mat enger méi niddereger Opléisung iwwer de ganze verfügbare visuelle Raum verdeelt ze ginn.

Aus dem 2021 Pabeier Foveated Neural Radiance Fields fir Echtzäit an Egozentresch Virtuell Realitéit, gesi mir den Opmierksamkeetslocus an engem Roman foveated Rendering Schema fir NeRF. Source: https://arxiv.org/pdf/2103.16365.pdf

E wesentleche Bestanddeel vun der Authentizitéit vun zukünfteg Deployementer vun egozentreschen NeRF wäert d'Fäegkeet vum System sinn, d'mënschlech Auge seng eege Kapazitéit ze reflektéieren fir de Fokus iwwer e Réckgang vun der Perspektiv ze wiesselen (kuckt éischt Bild hei uewen).

Dëse Gradient vum Fokus ass och e perceptuellen Indikateur vun der Skala vun der Szen; d'Vue aus engem Helikopter, deen iwwer eng Stad fléien, wäert null navigéierbar Fokusfelder hunn, well déi ganz Szen iwwer dem Betrachter seng äusserste Fokuskapazitéit existéiert, wärend d'Untersuchung vun enger Miniatur oder 'Near Field' Szen net nëmmen 'Fokusracking' erlaabt, awer soll, fir d'Wuel vun Realismus, eng schmuel Déift vun der Default enthalen.

Drënner ass e Video deen déi initial Fäegkeete vum NeRFocus demonstréiert, eis vum entspriechende Auteur vum Pabeier geliwwert:

Iwwert limitéiert Brennwäit

Bewosst vun den Ufuerderunge fir Fokuskontrolle, hunn eng Zuel vun NeRF Projeten an de leschte Jore Viraussetzung dofir gemaach, obwuel all Versuche bis elo effektiv e bëssen Handwierksgeschir vun iergendenger Aart sinn, oder soss bemierkenswäert Post-Veraarbechtungsroutinen enthalen déi maachen si onwahrscheinlech Bäiträg zu den Echtzäitëmfeld, déi schlussendlech fir Neural Radiance Fields Technologien virgesi sinn.

Synthetesch Brennwäit Kontroll an neurale Rendering Kaderen gouf duerch verschidde Methoden an de leschte 5-6 Joer probéiert - zum Beispill, andeems Dir e Segmentatiounsnetz benotzt fir de Virdergrond an Hannergronddaten ofzeschléissen, an dann den Hannergrond generesch ze defokuséieren - eng gemeinsam Léisung fir einfach zwee-Fliger konzentréieren Effekter.

Aus dem Pabeier 'Automatic Portrait Segmentation for Image Stylization', eng weltlech, Animatioun-Stil Trennung vu Brennflächen. Source: https://jiaya.me/papers/portrait_eg16.pdf

Multiplane Representatioune fügen e puer virtuell 'Animatiounszellen' zu dësem Paradigma bäi, zum Beispill andeems d'Tiefeschätzung benotzt fir d'Szen an e knaschtege awer handhabbare Gradient vun ënnerschiddleche Brennwäit ze schneiden, an dann déifofhängeg Kärelen orchestréieren fir synthetiséiert Blur.

Zousätzlech, an héich relevant fir potenziell AR / VR Ëmfeld, kann d'Differenz tëscht den zwee Standpunkter vun engem Stereo Kamera Setup als Déift Proxy benotzt ginn - eng Method proposéiert vu Google Research am 2015.

Vum Google gefouert Pabeier Fast Bilateral-Space Stereo fir syntheteschen Defocus liwwert den Ënnerscheed tëscht zwee Standpunkter eng Déiftkaart déi d'Verschmotzung erliichtert. Wéi och ëmmer, dës Approche ass net authentesch an der Situatioun uewen virgesinn, wou d'Foto kloer mat enger 35-50mm (SLR Standard) Objektiv gemaach gëtt, awer déi extrem Defokuséierung vum Hannergrond géif nëmme mat enger Objektiv iwwer 200mm optrieden, wat d'Aart huet vun héich ageschränkter Brennfläch déi schmuel Déiftdéift produzéiert an normalen, mënschlechen Ëmfeld. Quell

Approche vun dëser Natur tendéieren Randartefakte ze weisen, well se versichen zwee ënnerscheedlech a randlimitéiert Fokuskugelen als e kontinuéierleche Brenngradient ze representéieren.

Am 2021 de RawNeRF Initiativ offréiert High Dynamic Range (HDR) Funktionalitéit, mat méi Kontroll iwwer niddereg-Liicht Situatiounen, an eng anscheinend beandrockend Kapazitéit fir ze fokusséieren:

RawNeRF Racken konzentréieren schéin (wann, an dësem Fall, inauthentically, wéinst onrealistesch Brennwäit), mä kënnt op eng héich Rechenzäit Käschten. Source: https://bmild.github.io/rawnerf/

Wéi och ëmmer, RawNeRF erfuerdert belaaschtend Virberechnung fir seng multiple Representatioune vum trainéierten NeRF, wat zu engem Workflow resultéiert deen net einfach op méi hell oder méi niddereg latency Implementatiounen vun NeRF adaptéiert ka ginn.

Modelléiere vun enger virtueller Lens

NeRF selwer ass op de Pinhole Imaging Modell virausgesot, deen d'ganz Szen schaarf mécht op eng Manéier ähnlech wéi eng Standard CGI Szen (virun de verschiddenen Approchen déi Blur als Post-Veraarbechtung oder Gebuertseffekt baséieren op Déift vum Feld).

NeRFocus erstellt eng virtuell 'dënn Lens' (anstatt eng 'glaslos' Ouverture) déi de Strahlwee vun all erakommende Pixel berechent an direkt rendert, effektiv de Standard Bildopfangprozess invertéiert, deen funktionnéiert post Tatsaach op Liichtinput déi scho vun de refraktiven Eegeschafte vum Objektivdesign beaflosst gouf.

Dëse Modell stellt eng Rei vu Méiglechkeeten fir Inhalt Rendering am Frustum vir (de gréissten Aflosskrees am Bild hei uewen duergestallt).

D'Berechnung vun der korrekter Faarf an Dicht fir all Multilayer Perceptron (MLP) an dëser méi breet Palette vu Méiglechkeeten ass eng zousätzlech Aufgab. Dëst ass gewiescht virdrun geléist andeems Dir iwwerwaacht Training op eng héich Unzuel vun DLSR-Biller applizéiert, wat d'Schafe vun zousätzlech Datesätz fir e probabilisteschen Trainingsworkflow enthält - effektiv mat der labber Virbereedung a Lagerung vu multiple méigleche berechente Ressourcen involvéiert, déi eventuell oder net néideg sinn.

NeRFocus iwwerwannt dëst duerch P-Formatioun, wou Training Datesätz generéiert ginn baséiert op Basis Blur Operatiounen. Also ass de Modell mat Blur Operatiounen gebierteg a navigéierbar geformt.

Ouvertureszäiten Duerchmiesser ass op null gesat während Training, a virdefinéiert Wahrscheinlechkeeten benotzt engem Blur Kärel zoufälleg ze wielen. Dëse kritt Duerchmiesser gëtt benotzt fir den Duerchmiesser vun all Komposit Kegel opzebauen, sou datt de MLP d'Strahlung an d'Dicht vun de Frustums präzis viraussoe léisst (déi breet Kreeser an den uewe genannte Biller, representéieren déi maximal Transformatiounszone fir all Pixel)

D'Autoren vum neie Pabeier beobachten datt NeRFocus potenziell kompatibel ass mat der HDR-gedriwwener Approche vu RawNeRF, wat potenziell hëllefe kéint bei der Rendering vu bestëmmte Erausfuerderung Sektiounen, sou wéi defokusséiert Spekulär Highlights, a vill vun den anere computationally-intensiv Effekter déi hunn erausgefuerdert CGI Workflows fir drësseg oder méi Joer.

De Prozess enthält keng zousätzlech Ufuerderunge fir Zäit an / oder Parameteren am Verglach mat fréiere Approche wéi Kär NeRF an Mip-NeRF (an, viraussiichtlech Mip-NeRF 360, obwuel dëst net am Pabeier adresséiert ass), an ass applicabel als allgemeng Ausdehnung vun der zentraler Methodologie vun neurale Stralungsfelder.

Éischt publizéiert 12. Mäerz 2022.