NeRFocus: Tuomassa kevyen keskittymisen hallinnan neuroradianssikenttiin

Uusi tutkimus Kiinasta tarjoaa menetelmän saavuttaa edullinen syvyyden vaikutuksen hallinta Neuroradianssikentille (NeRF), jolloin loppukäyttäjä voi rajoittaa fokusta ja dynaamisesti muuttaa virtuaalilinsin konfiguraatiota renderöintitilassa.

Tutkimuksen nimi on NeRFocus, ja se toteuttaa uuden “ohuen linsin” lähestymistavan fokustaajukselle, ja innovoi P-koulutuksen, joka on todennäköisyysperusteinen koulutusstrategia, joka poistaa tarpeen omistetuille syvyyden vaikutuksen aineistoille, ja yksinkertaa fokusta mahdollistavan koulutusvirran.

Tutkimuksen artikkeli on nimeltään NeRFocus: Neuroradianssikenttä 3D-synteettiselle tarkennukselle, ja se tulee neljältä tutkijalta Shenzhenin yliopiston opiskelijoiden joukosta ja Peng Cheng -laboratoriosta Shenzhenissa, joka on Guangdongin maakunnan hallituksen rahoittama laitos.

Vastaa fokusoituneen huomion keskipistettä NeRF:ssä

Jos NeRF on koskaan otettava paikkansa voimassa olevana ajuriteknologiana virtuaali- ja lisätty- todellisuudelle, se tarvitsee kevyen menetelmän saavuttaa realistista fokusoitunutta renderöintiä, jossa suurin osa renderöintiresursseista kertyy käyttäjän katseeseen, eikä jaeta epätarkoituksenmukaisesti alhaisemman resoluution ympäri koko saatavissa olevaa visuaalista tilaa.

Vuoden 2021 tutkimuksesta Foveated Neural Radiance Fields for Real-Time and Egocentric Virtual Reality, nähdään huomion keskipiste uudessa fokusoituneessa renderöintijärjestelmässä NeRF:lle. Lähde: https://arxiv.org/pdf/2103.16365.pdf

Olennainen osa tulevien NeRF-järjestelmien aitoutta on järjestelmän kyky heijastaa ihmisen silmän kykyä vaihtaa fokusta etäisyyden suhteen (katso yllä oleva kuva).

Tämä fokusuksen gradientti on myös havainnollistava indikaattori kohtauksen mittakaavasta; helikopterista otettu kuva kaupungista ei ole navigoituva fokusta, koska koko kohtaus on ulottumattomissa katsojan uloimmasta fokussaamiskyvystä, kun taas tarkastelu miniatyyri- tai “lähikenttäkohtausta” ei ainoastaan salli “fokussirakennuksen”, vaan pitäisi myös sisältää kapean syvyyden vaikutuksen oletusarvoisesti.

Alempana on video, joka havainnollistaa NeRFocusin alkuvaiheita, jota tutkimuksen vastaava kirjoittaja on toimittanut meille:

Ylittämällä rajoitetut fokussipinnat

Tietoisina fokussin hallinnan vaatimuksista, useat NeRF-projektit viime vuosina ovat tehneet sille tilaa, vaikka kaikki yritykset tähän asti ovat olleet tehokkaita työkaluja tai edellyttävät merkittäviä jälkikäsittelytoimia, jotka tekevät niistä epätodennäköisiä panostuksia lopullisiin Neuroradianssikenttäteknologioiden todelliseen aikaisiin ympäristöihin.

Synteettinen fokussin hallinta neuroradianssikehyksissä on yritetty eri menetelmillä viimeisen 5-6 vuoden aikana – esimerkiksi käyttämällä segmentointiverkkoa erottamaan etuala- ja taustatiedot, ja sitten generoimalla taustan epätarkasti – yleinen ratkaisu yksinkertaisille kahden tason fokusefektien toteuttamiseksi.

Tutkimuksesta Automatic Portrait Segmentation for Image Stylization, tavallinen, animaatiotyylinen erottelu fokussipinnoista. Lähde: https://jiaya.me/papers/portrait_eg16.pdf

Monitasoiset edustukset lisäävät muutamia virtuaalisia “animaatiokortteja” tähän paradigmaan, esimerkiksi käyttämällä syvyyden arviointia leikata kohtaus ylös eri fokussipinnoille, ja sitten orkesteroida syvyyden mukaisia ytimiä syntetisoida sumea.

Lisäksi, ja erittäin relevantti potentiaalisille AR/VR-ympäristöille, stereo-kamerajärjestelmän näkymien välinen ero voidaan käyttää syvyyden edustajana – menetelmä, jota Google Research ehdotti vuonna 2015.

Google-johtokunnan tutkimuksesta Fast Bilateral-Space Stereo for Synthetic Defocus, näkymien välinen ero tarjoaa syvyyden kartan, joka voi helpottaa sumeen. Kuitenkin tämä lähestymistapa on epäaito tilanteessa, jossa kuva on otettu 35-50mm (SLR-standardeilla) linssillä, mutta taustan äärimmäinen sumeen aiheuttaa vain yli 200mm:n linssillä, jolla on rajoitettu fokussipinta, joka tuottaa kapean syvyyden vaikutuksen normaaleissa, ihmiskokoisissa ympäristöissä.

Lähestymistavat tällaisia pyrkivät osoittamaan reuna-artefakteja, koska ne pyrkivät edustamaan kahta erillistä ja reuna-rajoitettua fokussipintaa jatkuvana fokussigradienttina.

Vuonna 2021 RawNeRF-aloite tarjosi High Dynamic Range (HDR) -toiminnon, jossa oli suurempi hallinta matalissa valaistusolosuhteissa, ja näytti olevan vaikuttava kyky rajoittaa fokusta:

RawNeRF rajoittaa fokusta kauniisti (vaikka epäaitosti, johtuen epärealistisista fokussipinnoista), mutta se tulee suurella laskennalllisella kustannuksella. Lähde: https://bmild.github.io/rawnerf/

Kuitenkin RawNeRF vaatii raskasta esikäsittelyä monitasoisten edustusten koulutukseen, mikä johtaa työvirran, jota ei voida helposti sovittaa kevyempiin tai matalampiin NeRF-toteutuksiin.

Mallintaminen virtuaalilinsseillä

NeRF itsessään perustuu rei’älliseen valokuvausmalliin, joka renderöi koko kohtauksen terävästi tavalla, joka on samanlainen kuin oletusarvoinen CGI-kohtaus (ennen eri lähestymistapoja, jotka renderöivät sumeen joko jälkikäsittelynä tai sisäisenä vaikutuksena, joka perustuu syvyyden vaikutukseen).

NeRFocus luo virtuaalisen “ohuen linsin” (ei “lasittoman” aukon), joka laskee jokaisen saapuvan pikselin säteilypolun ja renderöi sen suoraan, vaikuttaen käytännössä kääntäen standardin valokuvauksen prosessia, joka toimii post facto valon sisääntulon, joka on jo vaikuttanut linsin suunnittelun refraktiivisiin ominaisuuksiin.

Tämä malli tarjoaa joukon mahdollisuuksia sisällön renderöintiin frustumissa (suurin ympyrä vaikutuspiiri yllä olevassa kuvassa).

Laskeminen oikean värin ja tiheyden kullekin monikerroksisen perceptronin (MLP) laajemmassa mahdollisuuksien joukossa on lisätehtävä. Tämä on ratkaistu soveltamalla valvottua koulutusta suurelle määrälle DLSR-kuvia, mikä edellyttää lisäaineistojen luomista ja tallentamista koulutusvirran kannalta – käytännössä työlästä valmistelua ja varastointia monista laskennallisista resursseista, jotka saattavat tai eivät ole tarpeen.

NeRFocus ylittää tämän P-koulutuksella, jossa koulutusaineistot luodaan perustuen perussumeen toimille. Näin ollen malli muodostuu sumeen toimilla, ja se on navigoitu.

Aukon halkaisija asetetaan nollaan koulutuksen aikana, ja ennalta määritellyt todennäköisyydet käytetään valitsemaan sumeen ydin satunnaisesti. Tämä saatu halkaisija käytetään skaalaamaan jokaisen yhdistetyn kartion halkaisijaa, jotta MLP voi tarkasti ennustaa radianssin ja tiheyden frustumien (laajat ympyrät yllä olevissa kuvissa, edustaen jokaisen pikselin muodonmuutosvyöhykettä)

Tutkimuksen tekijät huomauttavat, että NeRFocus on mahdollisesti yhteensopiva RawNeRF:n HDR-pohjaisen lähestymistavan kanssa, mikä voisi mahdollisesti auttaa haasteellisten osien, kuten epäfokusoituneiden spekulaaristen korostusten ja monien muiden laskennallisesti vaativien vaikutusten, joihin CGI-työvirrat ovat haasteita yli 30 vuoden ajan.

Prosessi ei vaadi lisävaatimuksia ajalle ja/tai parametreille verrattuna aiempiin lähestymistapoihin, kuten NeRF:ään ja Mip-NeRF:ään (ja, oletettavasti Mip-NeRF 360:aan, vaikka tämä ei ole mainittu tutkimuksessa), ja se on sovellettavissa yleisenä laajennuksena neuroradianssikenttien keskeiselle metodille. Ensimmäinen julkaisu 12. maaliskuuta 2022.