NeRFocus: Inġibu Kontroll ta 'Focus Ħfief għal Oqsma ta' Radjanza Newrali

Riċerka ġdida miċ-Ċina toffri metodu biex jinkiseb kontroll affordabbli fuq l-effetti tal-fond tal-kamp għall-Oqsma ta’ Radjanza Neurali (NeRF), li jippermetti lill-utent aħħari jiffoka fuq ix-xtilliera u jbiddel b'mod dinamiku l-konfigurazzjoni tal-lenti virtwali fl-ispazju tar-rendi.

Titolat NeRFocus, it-teknika timplimenta approċċ ġdid ta ''immaġini ta' lenti rqiqa' biex tiffoka t-traversal, u tinnova P-taħriġ, strateġija ta 'taħriġ probabilistika li tevita l-ħtieġa għal settijiet ta' data depth-of-field dedikati, u tissimplifika fluss tax-xogħol ta 'taħriġ li jiffoka.

il karta huwa intitolat NeRFocus: Qasam ta 'Radjanza Neural għal Defocus Sintetiku 3D, u ġej minn erba 'riċerkaturi mill-Iskola tal-Gradwati ta' Shenzhen fl-Università ta 'Peking, u l-Laboratorju Peng Cheng f'Shenzhen, istitut iffinanzjat mill-Gvern Provinċjali ta' Guangdong.

Nindirizzaw il-Locus Foveated tal-Attenzjoni fin-NeRF

Jekk NeRF qatt jieħu postu bħala teknoloġija valida tas-sewqan għar-realtà virtwali u miżjuda, ser ikollu bżonn metodu ħafif li jippermetti realistiku. tirrendi foveated, fejn il-maġġoranza tar-riżorsi tar-rendi jakkumulaw madwar il-ħarsa tal-utent, aktar milli jitqassmu b'mod indiskriminat b'riżoluzzjoni aktar baxxa fl-ispazju viżwali kollu disponibbli.

Mill-karta tal-2021 Foveated Neural Radiance Fields għal Real-Time u Egocentric Virtual Reality, naraw il-locus tal-attenzjoni fi skema ġdida ta 'rendering foveated għal NeRF. Sors: https://arxiv.org/pdf/2103.16365.pdf

Parti essenzjali mill-awtentiċità ta 'skjeramenti futuri ta' NeRF egoċentriku se tkun l-abbiltà tas-sistema li tirrifletti l-kapaċità tal-għajn tal-bniedem stess li jaqleb l-attenzjoni fuq pjan ta 'perspettiva li jonqos (ara l-ewwel immaġni hawn fuq).

Dan il-gradjent ta 'fokus huwa wkoll indikatur perċettiv tal-iskala tax-xena; il-veduta minn ħelikopter li jtir fuq belt se jkollha żero oqsma navigabbli ta 'fokus, minħabba li x-xena kollha teżisti lil hinn mill-kapaċità ta' ffukar l-aktar 'il barra tat-telespettatur, filwaqt li l-iskrutinju ta 'xena minjatura jew 'kamp qrib' mhux biss jippermetti 'focus racking', iżda għandu, għall-fini ta 'realiżmu, ikun fih fond dejjaq ta' kamp awtomatikament.

Hawn taħt hawn vidjo li juri l-kapaċitajiet inizjali ta' NeRFocus, ipprovdut lilna mill-awtur korrispondenti tal-karta:

Lil hinn mill-Pjanijiet Fokali Ristretti

Konxji mir-rekwiżiti għall-kontroll tal-fokus, għadd ta’ proġetti NeRF f’dawn l-aħħar snin ipprovdew għaliha, għalkemm it-tentattivi kollha sal-lum huma effettivament soluzzjonijiet sleight of hand ta’ xi tip, jew inkella jinvolvu rutini notevoli ta’ wara l-ipproċessar li jagħmlu minnhom kontribuzzjonijiet improbabbli għall-ambjenti fil-ħin reali fl-aħħar mill-aħħar previsti għat-teknoloġiji Neural Radiance Fields.

Il-kontroll fokali sintetiku fl-oqfsa ta’ rendering newrali ġie ppruvat b’diversi metodi fl-aħħar 5-6 snin – pereżempju, bl-użu ta’ netwerk ta’ segmentazzjoni biex jintefa’ d-dejta ta’ tagħrif miksub u ta’ sfond, u mbagħad biex tiddiffuka l-isfond b’mod ġeneriku – a soluzzjoni komuni għal effetti sempliċi ta 'fokus fuq żewġ pjani.

Mill-karta 'Automatic Portrait Segmentation for Image Stylization', separazzjoni mundane, stil animazzjoni ta 'pjani fokali. Sors: https://jiaya.me/papers/portrait_eg16.pdf

Ir-rappreżentazzjonijiet b'ħafna pjani jżidu ftit 'ċelluli ta' animazzjoni' virtwali ma' din il-paradigma, pereżempju billi tuża l-istima tal-fond biex tnaqqas ix-xena f'gradjent imqaxxar iżda maniġġabbli ta' pjani fokali distinti, u mbagħad orkestra l-qlub li jiddependu mill-fond biex sintetizza ċċajpar.

Barra minn hekk, u rilevanti ħafna għal ambjenti potenzjali AR/VR, id-differenza bejn iż-żewġ opinjonijiet ta 'setup ta' kamera stereo tista 'tiġi utilizzata bħala prokura tal-fond - metodu propost minn Google Research fl-2015.

Mill-karta mmexxija minn Google Fast Bilateral-Space Stereo għal Synthetic Defocus, id-differenza bejn żewġ opinjonijiet tipprovdi mappa tal-fond li tista 'tħaffef. Madankollu, dan l-approċċ mhuwiex awtentiku fis-sitwazzjoni prevista hawn fuq, fejn ir-ritratt jittieħed b'mod ċar b'lenti 35-50mm (standard SLR), iżda d-defocusing estrem tal-isfond qatt iseħħ biss b'lenti li taqbeż il-200mm, li għandha t-tip. ta’ pjan fokali ristrett ħafna li jipproduċi fond dejjaq tal-kamp f’ambjenti normali ta’ daqs uman. Sors

Approċċi ta 'din in-natura għandhom it-tendenza li juru artifacts tat-tarf, peress li jippruvaw jirrappreżentaw żewġ sferi ta' fokus distinti u limitati bit-tarf bħala gradjent fokali kontinwu.

Fil 2021 il RawNeRF inizjattiva offriet funzjonalità ta' Medda Dinamika Għolja (HDR), b'kontroll akbar fuq sitwazzjonijiet ta' dawl baxx, u kapaċità apparentement impressjonanti biex tiffoka fuq ix-xtilliera:

L-ixkafef RawNeRF jiffokaw b'mod sabiħ (jekk, f'dan il-każ, b'mod mhux awtentiku, minħabba pjani fokali mhux realistiċi), iżda jiġi bi spiża għolja tal-kompjuter. Sors: https://bmild.github.io/rawnerf/

Madankollu, RawNeRF jeħtieġ kalkolu minn qabel ta 'piż għar-rappreżentazzjonijiet multiplane tiegħu tan-NeRF imħarreġ, li jirriżulta fi fluss tax-xogħol li ma jistax jiġi adattat faċilment għal implimentazzjonijiet eħfef jew b'latenza aktar baxxa ta' NeRF.

Immudellar ta 'Lenti Virtwali

NeRF innifsu huwa bbażat fuq il-mudell ta 'l-immaġini pinhole, li jirrendi x-xena kollha b'mod qawwi b'mod simili għal xena CGI default (qabel id-diversi approċċi li jirrendu ċajpir bħala effett ta' wara l-ipproċessar jew innat ibbażat fuq il-fond tal-kamp).

NeRFocus joħloq 'lenti rqiqa' virtwali (minflok apertura 'mingħajr ħġieġ') li tikkalkula l-mogħdija tar-raġġ ta' kull pixel li jkun dieħel u tirrendiha direttament, billi taqleb b'mod effettiv il-proċess standard tal-qbid tal-immaġni, li jopera post fatt fuq input tad-dawl li diġà ġie affettwat mill-proprjetajiet refrattivi tad-disinn tal-lenti.

Dan il-mudell jintroduċi firxa ta 'possibbiltajiet għall-għoti tal-kontenut ġewwa l-frustum (l-akbar ċirku ta' influwenza muri fl-immaġni ta 'hawn fuq).

Il-kalkolu tal-kulur u d-densità korretti għal kull perceptron b'ħafna saffi (MLP) f'din il-firxa usa' ta 'possibbiltajiet huwa kompitu addizzjonali. Dan kien solvuti qabel billi jiġi applikat taħriġ sorveljat għal numru għoli ta’ immaġini DLSR, li jinvolvi l-ħolqien ta’ settijiet ta’ dejta addizzjonali għal fluss tax-xogħol ta’ taħriġ probabilstiku – li jinvolvi b’mod effettiv il-preparazzjoni u l-ħażna impenjattiva ta’ riżorsi multipli ikkalkulati possibbli li jistgħu jew ma jistgħux ikunu meħtieġa.

NeRFocus jegħleb dan billi P-taħriġ, fejn settijiet tad-dejta tat-taħriġ huma ġġenerati bbażati fuq operazzjonijiet bażiċi ta 'ċajpra. Għalhekk, il-mudell huwa ffurmat b'operazzjonijiet ta 'ċajpra intrinsika u navigabbli.

Id-dijametru tal-apertura huwa ssettjat għal żero waqt it-taħriġ, u l-probabbiltajiet predefiniti użati biex jagħżlu qalba ċċajpar bl-addoċċ. Dan id-dijametru miksub jintuża biex ikabbar id-dijametri ta 'kull kon kompost, u jħalli l-MLP ibassar b'mod preċiż ir-radjanza u d-densità tal-frustums (iċ-ċrieki wesgħin fl-immaġini ta' hawn fuq, li jirrappreżentaw iż-żona massima ta 'trasformazzjoni għal kull pixel)

L-awturi tad-dokument il-ġdid josservaw li NeRFocus huwa potenzjalment kompatibbli mal-approċċ immexxi mill-HDR ta’ RawNeRF, li potenzjalment jista’ jgħin fit-twettiq ta’ ċerti taqsimiet ta’ sfida, bħal punti ewlenin spekulari defocused, u ħafna mill-effetti l-oħra ta’ komputazzjoni intensiva li għandhom sfidat il-flussi tax-xogħol CGI għal tletin sena jew aktar.

Il-proċess ma jinvolvix rekwiżiti addizzjonali għall-ħin u/jew il-parametri meta mqabbel ma’ approċċi preċedenti bħal NeRF ċentrali u Mip-NeRF (u, preżumibbilment Mip-NeRF 360, għalkemm dan mhuwiex indirizzat fid-dokument), u huwa applikabbli bħala estensjoni ġenerali għall-metodoloġija ċentrali ta 'kampijiet ta' radjanza newrali.

Ippublikat għall-ewwel darba fit-12 ta' Marzu 2022.