NeRFocus: Kawea mai te Mana Arotahi Maamaa ki nga Maara Neural Radiance

Ko nga rangahau hou mai i Haina e tuku ana i tetahi tikanga ki te whakatutuki i te mana utu mo te hohonutanga o nga paanga o te mara mo nga mara Neural Radiance (NeRF), ka tuku i te kaiwhakamahi mutunga ki te whatanga arotahi me te whakarereke i te whirihoranga o te arotahi mariko i roto i te waahi whakaputa.

Kua tapahia NeRFocus, ka whakatinanahia e te tikanga he huarahi hou 'whakaahua kanohi angiangi' kia aro ki te haere, me te auaha. P-whakangungu, he rautaki whakangungu tūponotanga e whakakore ana i te hiahia mo nga huingararaunga hohonu-a-mara kua whakatapua, me te whakangwari i te rerenga mahi whakangungu-whakahohea.

te pepa he taitara NeRFocus: Neural Radiance Field mo te 3D Synthetic Defocus, ka puta mai i nga kairangahau tokowha mai i te Kura Paetahi o Shenzhen i te Whare Wananga o Peking, me te Whare Taiwhanga Peng Cheng i Shenzhen, he whare wananga a te Kawanatanga Porowini o Guangdong.

Te Whakatau i te waahi o te aro ki te NeRF

Mena ka noho tonu a NeRF hei hangarau taraiwa whaimana mo te mooni mariko me te mooni whakanui ake, me whai tikanga ngawari ki te tuku tika. tāhuahua foveated, ko te nuinga o nga rauemi whakaputa e piki haere ana i te tirohanga a te kaiwhakamahi, kaua ki te tohatoha noa i te taumira iti puta noa i te waahi ataata e waatea ana.

Mai i te pepa 2021 Foveated Neural Radiance Fields for Real-Time and Egocentric Virtual Reality, ka kite tatou i te waahi aro ki roto i tetahi kaupapa whakaputa pukapuka mo te NeRF. Puna: https://arxiv.org/pdf/2103.16365.pdf

Ko tetahi waahanga nui o te pono o te tukunga ake o te NeRF egocentric ko te kaha o te punaha ki te whakaata i te kaha o te kanohi o te tangata ki te huri i te arotahi puta noa i te tirohanga whakamuri o te tirohanga (tirohia te ahua tuatahi o runga).

Ko tenei rōnaki o te arotahi he tohu tohu mo te tauine o te whakaaturanga; Ko te tirohanga mai i te waka topatopa e rere ana i runga i te taone ka kore e taea te whakatere, na te mea kei tua atu te tirohanga a te kaititiro ki waho o te kaha arotahi o waho o te kaimataki, engari ko te tirotiro i tetahi waahi iti, 'tata ki te mara' ranei e kore e taea anake te 'arotake racking', engari me taunoa, mo te whakaaro pono, kei roto te hohonutanga whaiti o te mara.

Kei raro nei he ataata e whakaatu ana i nga kaha tuatahi o NeRFocus, i tukuna mai ki a matou e te kaituhi o te pepa:

I tua atu i nga Rererangi Arotahi

Ma te mohio ki nga whakaritenga mo te whakahaere arotahi, he maha nga kaupapa NeRF i nga tau tata nei kua whakaritea mo taua mea, ahakoa ko nga nganatanga katoa o tenei ra he tino mahi hianga-a-ringa o etahi momo, ki te kore ranei ka uru ki nga mahinga mahi i muri i te tukatuka rongonui. kare pea he koha ki nga taiao-a-waa e whakaarohia ana mo nga hangarau Neural Radiance Fields.

Kua whakamatauhia te mana o te arotahi ki roto i nga anga whakaputa neural e nga momo tikanga i roto i nga tau 5-6 kua hori - hei tauira, ma te whakamahi i te kupenga wehewehe hei taiapa i te papamuri me te papamuri raraunga, katahi ka whakapouri i te papamuri - a otinga noa mo nga paanga arotahi-rua ngawari.

Mai i te pepa 'Wehenga Whakaahua Aunoa mo te Whakapapa Atahanga', he wehewehenga o nga rererangi arotahi. Puna: https://jiaya.me/papers/portrait_eg16.pdf

Ka taapirihia e nga tohu rererangi maha etahi 'turanga oro' mariko ki tenei tauira, hei tauira, ma te whakamahi i te whakatau tata hohonu ki te tapahi i te tirohanga ki roto i te rōnaki kopikopiko engari ka taea te whakahaere o nga rererangi arotahi motuhake, katahi ka whakarite i nga kakano e whakawhirinaki ana ki te hohonu. synthesize blur.

I tua atu, me te tino whaitake ki nga taiao AR/VR pea, ko te rereketanga i waenga i nga tirohanga e rua o te tatūnga kamera tiwharewha ka taea te whakamahi hei takawaenga hohonu - he tikanga i whakaarohia e Google Research i te tau 2015.

Mai i te pepa a Google Fast Bilateral-Space Stereo for Synthetic Defocus, ko te rereketanga i waenga i nga tirohanga e rua he mapi hohonu e taea ai te whakapouri. Heoi, he koretake tenei huarahi i roto i te ahuatanga e whakaarohia ana i runga ake nei, i reira ka ata tangohia te whakaahua me te arotahi 35-50mm (SLR paerewa), engari ko te tino whakapohehe o te papamuri ka puta noa me te arotahi neke atu i te 200mm, he ahua ano tera. o te waka rererangi tino herea e whakaputa ana i te hohonutanga whaiti o te mara i roto i nga taiao noa, te rahi o te tangata. Puna

Ko nga huarahi penei ka whakaatu i nga taonga o te taha, i te mea ka ngana ratou ki te whakaatu i nga waahanga e rua motuhake me te iti-iti o te arotahi hei rōnaki arotahi tonu.

I 2021 te RawNeRF I tukuna e te kaupapa te mahinga High Dynamic Range (HDR), me te kaha ake o te whakahaere i nga ahuatanga iti-marama, me te kaha whakahihiri ki te arotahi:

He tino ataahua te aro o nga whatanga RawNeRF (mehemea, i tenei keehi, he pohehe, na te kore o nga rererangi arotahi), engari he utu nui te utu rorohiko. Puna: https://bmild.github.io/rawnerf/

Heoi, ka hiahia a RawNeRF i te tataunga taumahatanga mo ana whakaaturanga rererangi maha o te NeRF kua whakangungua, ka puta he rerengamahi e kore e taea te urutau ki nga whakatinanatanga ngawari, iti ake ranei o NeRF.

Te whakatauira i te Arotahi Mariko

Ko te NeRF ake e tohuhia ana i runga i te tauira whakaahua pinhole, e whakaatu ana i te ahuatanga katoa kia rite ki te ahua o te CGI taunoa (i mua i nga momo huarahi ka puta kee te ahua o te mahi i muri i te tukatuka, i te paanga o roto ranei i runga i te hohonu o te mara).

Ka hangaia e NeRFocus he 'arotahi angiangi' mariko (kaore i te kohao 'karaihe') e tatau ana i te ara kurupae o ia pika taumai me te whakaputa tika, ka huri tika i te tikanga hopu whakaahua paerewa, e mahi ana. pou meka i runga i te whakaurunga marama kua paopaohia e nga ahuatanga whakaata o te hoahoa arotahi.

Ko tenei tauira e whakaatu ana i te whānuitanga o nga huarahi mo te whakaputa ihirangi i roto i te frustum (te porowhita awe nui e whakaatuhia ana i te ahua o runga).

He mahi taapiri te tatau i te tae me te kiato mo ia perceptron multilayer (MLP) i roto i tenei waahanga whanui. Ko tenei kua kua whakatauhia i mua na roto i te tono whakangungu maataki ki te maha o nga whakaahua DLSR, me te hanga i etahi atu huingararaunga mo te rerenga mahi whakangungu pea - e whai hua ana ki te whakareri me te rokiroki o nga rauemi rorohiko maha pea ka hiahiatia, kaore ranei.

Ka taea e NeRFocus tenei ma te P-whakangungu, i reira ka hangaia nga huingararaunga whakangungu i runga i nga mahi maamaa. No reira, ka hangaia te tauira me nga mahi puhoi me te whakatere.

Ko te diameter o te aperture kua tautuhia ki te kore i te wa e whakangungu ana, ka whakamahia nga tupono kua tautuhia ki te whiriwhiri i te kakano purongo. Ka whakamahia tenei diameter hei whakanui ake i nga diameter o ia koeko hiato, ma te MLP e matapae tika i te kanapa me te kiato o nga frustums (nga porowhita whanui i nga whakaahua o runga ake nei, e tohu ana i te rohe nui o te huringa mo ia pika)

Ko nga kaituhi o te pepa hou e kii ana he hototahi pea a NeRFocus ki te huarahi kua peia e te HDR a RawNeRF, tera pea ka awhina i te whakaputa i etahi waahanga whakawero, penei i nga tohu whakahirahira kua whakakorehia, me te maha atu o nga paanga-a-rorohiko kua puta. i werohia nga rerengamahi CGI mo nga tau e toru tekau neke atu ranei.

Ko te tukanga kaore e uru ki etahi atu whakaritenga mo te wa me te / ranei nga tawhā ki te whakataurite ki nga huarahi o mua penei i te NeRF matua me te Mip-NeRF (a, tera pea Mip-NeRF 360, ahakoa kaore tenei i te korerohia i roto i te pepa), a he mea tika hei toronga whanui ki te tikanga matua o nga mara kanapa neural.

I whakaputaina tuatahi i te 12 o Maehe 2022.