NeRF: Ko te Wero ki te Whakatikatika i te Ihirangi o nga Marae Neural Radiance

I te timatanga o tenei tau ko NVIDIA i ahu whakamua nga mara Neural Radiance (NeRF) rangahau me te InamataNeRF, te ahua ka kaha ki te whakaputa i nga tirohanga neural ka kitea i roto i nga hēkona noa - mai i tetahi tikanga, ina i puta mai i te tau 2020, he maha nga haora, etahi ra ranei ki te whakangungu.

Ko te InstantNeRF a NVIDIA e whakarato ana i nga hua whakamiharo me te tere. Puna: https://www.youtube.com/watch?v=DJ2hcC1orc4

Ahakoa ko tenei momo whakaurunga e whakaputa ana i te ahua tuuturu, kei te kaha ano a NeRF e whakaatu ana i nga nekehanga, me te whakatika 'kape-me-whakapiri' taketake, ka taea te whakahiato takitahi NeRF ki roto nga ahuatanga hiato or whakauruhia ki nga ahuatanga o naianei.

Nested NeRFs, i whakaatuhia i roto i te rangahau 2021 mai i te Whare Wananga Hangarau o Shanghai me te Hangarau Mamati DGene. Puna: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Heoi, mena kei te rapu koe ki te wawao i roto i te NeRF kua tatauhia me te whakarereke i tetahi mea kei roto i a koe (penei ano ka taea e koe te whakarereke i nga huānga o te whakaaturanga CGI tuku iho), kua puta te tere o te paanga o te waahanga. rawa torutoru rongoā tae noa ki tenei ra, karekau ano ka timata ki te rite ki nga kaha o nga rerengamahi CGI.

Ahakoa he mea nui te whakatau tata o te ahuahanga ki te hanga i tetahi ahuatanga NeRF, ko te hua whakamutunga ko nga uara 'kati' tika. Ahakoa kei reira etahi ahunga whakamua Ko nga mea i roto i te whakaaturanga NeRF ehara i te mata parametric ka taea te whakatika me te takaro, engari he rite tonu ki nga kapua pakaru me te tio.

I roto i tenei ahuatanga, ko te tangata i tukuna i roto i te NeRF he tino whakapakoko (he raupapa whakapakoko ranei, i roto i nga NeRF ataata); he kakano nga atarangi ka maka ki runga i a ratau me etahi atu mea, kaua ki nga tatauranga ngawari i runga i nga puna marama; a ko te whakarereketanga o nga ihirangi NeRF he iti noa ki nga whiringa i mahia e te kaitango whakaahua e tango ana i nga whakaahua iti noa i puta mai ai te NeRF. Ko nga tawhā penei i te atarangi me te ahua ka noho kore e taea te whakatika, ahakoa te ahua auaha.

NeRF-Whakatika

Ko te mahi tahi rangahau matauranga hou i waenga i a Haina me te UK hei whakatutuki i tenei wero NeRF-Whakatika, ka tangohia mai i te NeRF nga mata takawaenga ahua-CGI, he mea whakakino i te hiahia o te kaiwhakamahi, ka hoki ano nga huringa ki nga tatauranga neural a te NeRF:

Ko te karetao NeRF me te NeRF-whakatika, na te mea ko nga huringa i tatauhia mai i te rīpene ka whakamahia ki nga tohu rite i roto i te whakaaturanga NeRF. Puna: http://geometrylearning.com/NeRFEditing/

Te tikanga urutau te NeuS 2021 US/Haina tikanga hanga, e tango a Waitohu Mahi Tawhiti (SDF, he tikanga tawhito ake mo te hanga-a-roto) ka taea te ako i te ahuahanga i roto i te NeRF.

Ko tenei ahanoa SDF ka noho hei turanga whakairo mo te kaiwhakamahi, me te kaha ki te weriweri me te whakakoi e whakaratohia ana e te tino rangatira As-Rigid-As-Possible (ARAP) tikanga.

Ko te ARAP ka taea e nga kaiwhakamahi te whakarereke i te mata SDF kua tangohia, ahakoa ko etahi atu tikanga, penei i te anga-a-iwi me nga huarahi-a-raera (ara nga NURB), ka pai hoki. Puna: https://arxiv.org/pdf/2205.04978.pdf

I runga i nga whakarereketanga, he mea tika kia whakamaorihia enei korero mai i te vector ki te taumata RGB/pika taketake ki te NeRF, he roa ake te haerenga.

Ko nga pito tapatoru o te mata kua heehia e te kaiwhakamahi ka whakamaoritia i te tuatahi ki te mata tetrahedral, ka hanga he kiri huri noa i te mata-kaiwhakamahi. Ka tangohia mai he waahi rerekee mokowhiti mai i tenei mata taapiri, ka mutu ka riro mai he mara whakapouri haere tonu a NeRF ka taea te whakahoki ki roto i te taiao kanapa neural, e whakaatu ana i nga huringa me nga whakarereketanga a te kaiwhakamahi, me te pa tika ki nga hihi whakamaori i te whaainga. NeRF.

Ko nga mea kua whakakino, kua whakakorikorihia e te tikanga hou.

E kii ana te pepa:

'I muri i te whakawhiti i te mata deformation ki te mata tetrahedral, ka taea e tatou te tiki i te mara deformation motuhake o te "waahi whai hua". Ka whakamahia e matou enei huringa motuhake hei whakapiko i nga hihi whakarewa. Hei whakaputa i te ahua o te mara irirangi kua pakaru, ka makahia e matou nga hihi ki te waahi kei roto te mata tetrahedral kua pakaru.'

te pepa he taitara NeRF-Whakatika: Te Whakatikanga Geometry o nga Mahinga Neural Radiance, ka puta mai i nga kairangahau puta noa i nga whare wananga me nga umanga Hainamana e toru, me tetahi kairangahau mai i te Kura o Rorohiko Pūtaiao & Informatics i te Whare Wananga o Cardiff, me etahi atu kairangahau e rua mai i te Rōpū Alibaba.

Nga whakataunga

Ka rite ki te korero i mua ake nei, e kore e 'whakahou' te ahuahanga kua huri i nga ahuatanga e pa ana ki te NeRF kaore ano kia whakatikaia, kare ano hoki e whakaata i nga putanga tuarua o te huānga kua hee, penei i te atarangi. Ka whakaratohia e nga kairangahau he tauira, kei te noho tonu nga atarangi i raro i te ahua o te tangata i roto i te NeRF, ahakoa ko te whakarereketanga me whakarereke te rama:

Mai i te pepa: ka kite tatou kei te mau tonu te atarangi whakapae i runga i te ringa o te ahua ahakoa ka neke te ringa ki runga.

Nga wheako

Ka kite nga kaituhi i tenei wa kaore he tikanga rite mo te wawaotanga tika ki te ahuahanga NeRF. Na reira ko nga whakamatautau i mahia mo te rangahau he nui ake te torotoro atu i te whakataurite.

I whakaatuhia e nga kairangahau te NeRF-Editing i runga i te maha o nga huingararaunga a te iwi, tae atu ki nga tohu mai i Mixamo, me te Lego bulldozer me te heamana mai i te NeRF taketake. whakatinanatanga. I whakamatauria ano e ratou tetahi whakapakoko hoiho mau mai i te Raraunga raraunga FVS, me o ratou ake hopukanga taketake.

He mahunga o te hoiho i titaha.

Mo nga mahi a meake nei, ka whakaaro nga kaituhi ki te whakawhanake i a raatau punaha i roto i te angamahi ako miihini whakahiato (JIT) Jittor.

I whakaputaina tuatahi i te 16 o Haratua 2022.