NeRFocus: För med lätt fokuskontroll till Neurala Radiancefält

Ny forskning från Kina erbjuder en metod för att uppnå överkomlig kontroll över djupets effekter för Neurala Radiancefält (NeRF), vilket möjliggör för slutanvändaren att justera fokus och dynamiskt ändra konfigurationen av den virtuella linsen i renderingsutrymmet.

Med titeln NeRFocus implementerar tekniken en ny “tunn linsavbildning”-metod för fokusgenomgång och innovativ P-utbildning, en probabilistisk utbildningsstrategi som eliminerar behovet av dedikerade djupets dataset och förenklar en fokusaktiverad utbildningsarbetsflöde.

Den artikeln har titeln NeRFocus: Neurala Radiancefält för 3D-syntetisk avfokusering och kommer från fyra forskare från Shenzhen Graduate School vid Peking University och Peng Cheng Laboratory i Shenzhen, ett institut som finansieras av Guangdong Provincial Government.

Att hantera den fovealiska uppmärksamhetslokalen i NeRF

Om NeRF någonsin ska ta sin plats som en giltig drivteknologi för virtuell och förstärkt verklighet, kommer det att behöva en lätt metod för att tillåta realistisk foveal rendering, där de flesta renderingsresurser ackumuleras runt användarens blick, snarare än att slumpmässigt distribueras i lägre upplösning över hela tillgängliga visuella utrymmet.

Från 2021 års artikel Foveal Neural Radiance Fields for Real-Time and Egocentric Virtual Reality, ser vi uppmärksamhetslokalen i en ny foveal renderingschema för NeRF. Källa: https://arxiv.org/pdf/2103.16365.pdf

En avgörande del av autenticiteten hos framtida distributioner av egocentriska NeRF kommer att vara systemets förmåga att reflektera den mänskliga ögats egen förmåga att växla fokus över en avtagande plan av perspektiv (se första bilden ovan).

Denna gradient av fokus är också en perceptuell indikator för scenens skala; utsikten från en helikopter som flyger över en stad kommer att ha noll navigerbara fokusfält, eftersom hela scenen finns bortom användarens yttre fokuseringsförmåga, medan granskning av en miniatyr eller “närfält”-scen inte bara kommer att tillåta “fokusrackning”, utan också bör, för realismens skull, innehålla ett smalt djup av fokus som standard.

Nedan visas en video som demonstrerar NeRFocus initiala förmågor, som tillhandahållits av artikelförfattarens korresponderande författare:

Bortom begränsade fokalplan

Medvetna om kraven för fokuskontroll, har ett antal NeRF-projekt under de senaste åren gjort provisoriska lösningar för detta, men alla försök hittills är i princip avvikande lösningar eller kräver betydande postbearbetningsrutiner som gör dem osannolika bidrag till de realtidsmiljöer som slutligen är avsedda för Neurala Radiancefältsteknologier.

Syntetisk fokuskontroll i neurala renderingsramverk har försökts med olika metoder under de senaste 5-6 åren – till exempel genom att använda ett segmenteringsnätverk för att avgränsa förgrunden och bakgrunden och sedan generiskt avfokusera bakgrunden – en vanlig lösning för enkla tvåplansfokuseffekter.

Från artikeln ‘Automatic Portrait Segmentation for Image Stylization’, en trivial, animeringsstil-separation av fokalplan. Källa: https://jiaya.me/papers/portrait_eg16.pdf

Flerplansrepresentationer lägger till några virtuella “animeringsceller” till denna paradigm, till exempel genom att använda djupuppskattning för att skära scenen i en hackig men hanterbar gradient av distinkta fokalplan, och sedan orkestrera djupberoende kärnor för att syntetisera oskärpa.

Dessutom, och högst relevant för potentiella AR/VR-miljöer, kan skillnaden mellan de två vyerna i en stereokamerainställning användas som en djupproxymetod – en metod som föreslagits av Google Research 2015.

Från den Google-ledda artikeln Fast Bilateral-Space Stereo for Synthetic Defocus, ger skillnaden mellan de två vyerna en djupkarta som kan underlätta oskärpa. Men denna metod är oäkta i den situation som beskrivs ovan, där bilden tydligt är tagen med en 35-50mm (SLR-standard) lins, men den extrema oskärpan av bakgrunden skulle bara kunna förekomma med en lins som överstiger 200mm, som har den typen av kraftigt begränsad fokalplan som producerar smalt djup av fokus i normala, människostora miljöer. Källa

Tillvägagångssätt av denna typ tenderar att demonstrera kantartefakter, eftersom de försöker representera två distinkta och kantbegränsade sfärer av fokus som en kontinuerlig fokusradie.

År 2021 erbjöd RawNeRF-initiativet högdynamiskt omfång (HDR)-funktionalitet, med större kontroll över låga ljusnivåer, och en tydligen imponerande förmåga att justera fokus:

RawNeRF justerar fokus vackert (om, i det här fallet, oäkta, på grund av orealistiska fokalplan), men kräver höga beräkningskostnader. Källa: https://bmild.github.io/rawnerf/

Men RawNeRF kräver betungande förberäkning för sina flerplansrepresentationer av det tränade NeRF, vilket resulterar i ett arbetsflöde som inte kan anpassas till lättare eller lägre-latensimplementeringar av NeRF.

Att modellera en virtuell lins

NeRF i sig är baserat på pinhole-bildmodellen, som återger hela scenen skarpt på ett sätt som liknar en standard-CGI-scen (före de olika tillvägagångssätten som återger oskärpa som en postbearbetning eller medfödd effekt baserad på djup av fokus).

NeRFocus skapar en virtuell “tunn lins” (snarare än en “glaslös” aperture) som beräknar strålbana för varje inkommande pixel och återger den direkt, effektivt inverterande den standardbildkapturprocess som opererar post facto på ljusinmatning som redan har påverkats av linsdesignens refraktiva egenskaper.

Denna modell introducerar en rad möjligheter för innehållsrendering inom frustum (den största cirkeln av inflytande som visas i bilden ovan).

Att beräkna den korrekta färgen och densiteten för varje multilayerperceptron (MLP) i denna bredare omfång av möjligheter är en ytterligare uppgift. Detta har lösts tidigare genom att tillämpa övervakad utbildning på ett stort antal DLSR-bilder, vilket innebär skapandet av ytterligare dataset för en probabilistisk utbildningsarbetsflöde – effektivt innebärande den mödosamma förberedelsen och lagringen av flera möjliga beräknade resurser som kan eller inte kan behövas.

NeRFocus övervinner detta genom P-utbildning, där utbildningsdataset genereras baserat på grundläggande oskärpeoperationer. Således formas modellen med oskärpeoperationer som är medfödda och navigerbara.

Bländardiametern är inställd på noll under utbildning, och fördefinierade sannolikheter används för att slumpmässigt välja en oskärpekernel. Denna erhållna diameter används för att skala upp varje sammansatt kon diametrar, vilket låter MLP exakt förutsäga strålningen och densiteten hos frustum (de breda cirklarna i ovanstående bilder, som representerar zonen för transformation för varje pixel)

Författarna till den nya artikeln observerar att NeRFocus potentiellt är kompatibelt med den HDR-drivna metoden i RawNeRF, som potentiellt kan hjälpa till att återge vissa utmanande sektioner, såsom avfokuserade spekulara höjdpunkter, och många av de andra beräkningsintensiva effekter som har utmanat CGI-arbetsflöden i trettio eller fler år.

Processen kräver inte ytterligare krav på tid och/eller parametrar i jämförelse med tidigare tillvägagångssätt som kärn-NeRF och Mip-NeRF (och, förmodligen Mip-NeRF 360, även om detta inte behandlas i artikeln), och är tillämplig som en allmän utvidgning av den centrala metodiken för neurala radiancefält.

Publicerad första gången den 12 mars 2022.