ST-NeRF: Te Tito me te Whakatikatika mo te Whakaaturanga Ataata

He huinga rangahau Hainamana kua whakawhanakehia nga tikanga ki te kawe mai i nga mahi whakatika me te tito ki tetahi o nga waahanga rangahau whakahiato whakaahua tino wera o tera tau - Neural Radiance Fields (NeRF). Ko te mana o te punaha ko ST-NeRF (Spatio-Temporal Coherent Neural Radiance Field).

Ko te ahua he paraharaha kaamera tinana kei te ahua o raro nei ko te kaiwhakamahi 'panuku' noa i roto i nga tirohanga ki nga ihirangi ataata kei roto i te waahi 4D. Kaore te POV i maukati ki nga mahi a nga tangata e whakaatuhia ana i roto i te ataata, ka taea te maataki i o raatau nekehanga mai i tetahi waahanga o te radius 180-tohu.

Ko ia wahanga o roto o te ataata he huānga kua hopukina, kua whakahiatotia ki roto i te ahua whakakotahi ka taea te torotoro haere.

Ko nga waahanga ka taea te taarua noa i roto i te whakaaturanga, te rahi ano ranei:

I tua atu, ka ngawari te whakarereke, te whakaroa, te oma whakamuri, te raweke ranei i nga ahuatanga o te tinana o ia waahanga, te whakatuwhera i te huarahi ki te tarai i nga hoahoanga me te taumata teitei o te whakamaori.

E rua nga waahanga NeRF motuhake e rere ana i nga tere rereke i te waahi kotahi. Puna: https://www.youtube.com/watch?v=Wp4HfOwFGP4

Karekau he take ki te whakaroto i nga kaihaka, i nga taiao ranei, me tono ranei nga kaihaka ki te mahi matapo i o raatau nekehanga me te kore i roto i te horopaki o te waahi e whakaarohia ana. Engari, ka hopukina noa te riipene ma te huinga o nga kaamera ataata 16 e hipoki ana i nga nekehanga 180:

Ko nga mea e toru e whakaahuatia ana i runga ake nei, ko nga tangata e rua me te taiao, he rerekee, he mea whakahuahua anake mo nga kaupapa whakaata. Ka taea te huri ki waho, ka taea te whakauru ia ia ki roto i te whakaaturanga i te wa o mua, o muri mai ranei i roto i o raatau waahi hopu.

Ko ST-NeRF he mea hou mo te rangahau i nga mara Neural Radiance (NeRF), he anga ako miihini e whakahiatohia ai nga hopu tirohanga maha ki te waahi mariko ka taea te whakatere ma te whakangungu whanui (ahakoa ko te hopu tirohanga kotahi he waahanga iti o te rangahau NeRF).

Ka mahi a Neural Radiance Fields ma te whakahiato i nga tirohanga hopu maha ki te mokowhiti 3D kotahi, ka taea te whakatere, me nga aputa i waenga i te kapinga kua whakatauhia me te whakaputa e te whatunga neural. I te wa e whakamahia ana te ataata (kaore i te atahanga), he nui nga rauemi e hiahiatia ana. Puna: https://www.matthewtancik.com/nerf

Ko te hiahia ki te NeRF kua kaha ake i roto i nga marama e iwa kua pahure ake nei, me te Reddit-mau tonu rārangi o nga pepa NeRF pärönaki, torotoro ränei kei te whakarärangi i ngä kaupapa e ono tekau.

He iti noa iho o te maha o nga wana o te pepa NeRF taketake. Puna: https://crossminds.ai/graphlist/nerf-neural-radiance-fields-ai-research-graph-60708936c8663c4cfa875fc2/

Whakangungu utu utu

Ko te pepa he mahi tahi i waenga i nga kairangahau i te Whare Wananga Hangarau o Shanghai me Hangarau Mamati DGene, a kua whakaaehia me te ngakau nui i Open Review.

Ka tukuna e ST-NeRF te maha o nga mahi hou mo nga kaupapa o mua i roto i nga waahi ataata whakatere i ahu mai i te ML. Ko te iti rawa, ka eke ki te taumata teitei o te tino pono me nga kamera 16 anake. Ahakoa Facebook's DyNeRF e rua noa nga kaamera nui atu i tenei, ka tukuna e ia he pewa whakatere tino aukati.

He tauira o te taiao DyNeRF o Facebook, he iti ake te waahi o te neke, me te maha atu o nga kamera mo ia waewae tapawha e hiahiatia ana hei hanga ano i te waahi. Puna: https://neural-3d-video.github.io

I tua atu i te kore kaha ki te whakatika me te whakahiato i nga waahanga takitahi, he tino utu a DyNeRF mo nga rauemi rorohiko. Engari, ko nga kairangahau Hainamana e kii ana ko te utu whakangungu mo o raatau raraunga ka puta mai i waenga i te $ 900- $ 3,000, i whakaritea ki te $ 30,000 mo te ahua o te ahua o te ahua o te tauira DVDGAN, me nga punaha kaha penei i te DyNeRF.

Kua kite ano nga Kai-aroaro he mahi hou a ST-NeRF ki te wetewete i te tukanga ako mo te nekehanga mai i te tukanga o te whakahiato whakaahua. Ko tenei wehenga te mea e taea ai te whakatika me te tito, me nga huarahi o mua he aukati me te raina ma te whakataurite.

Ahakoa 16 nga kaamera he mea iti rawa mo te haurua porowhita katoa o te tirohanga, ko te tumanako nga kairangahau ki te tapahi i tenei nama i roto i nga mahi a muri ake nei ma te whakamahi i te takawaenga i mua i te karapahia nga papamuri pateko, me te maha atu o nga huarahi whakatauira mo te whakaaturanga. Kei te tumanako ano ratou ki te whakauru i nga rama rama, a auaha hou i roto i te rangahau NeRF.

Te Whakatau i nga Waahitanga o ST-NeRF

I roto i te horopaki o nga pepa CS matauranga e kaha ana ki te tarai i te tino whakamahinga o te punaha hou i roto i te waahanga mutunga o te maka-atu, ahakoa nga herenga e whakaaehia ana e nga kairangahau mo ST-NeRF he rerekee.

Ka kite ratou kaore e taea e te punaha te wehe takitahi me te wehe wehe i etahi mea i roto i tetahi whakaaturanga, na te mea kua wehea nga tangata kei roto i te riipene ki roto i nga hinonga takitahi ma te punaha i hangaia hei mohio ki te tangata, kaua ki nga taonga - he raru e ahua ngawari ana ki te whakaoti ma te YOLO me etahi atu. anga, me te kaha ake o te mahi ki te tango ataata tangata kua oti.

Ahakoa e kii ana nga kairangahau kaore e taea te whakaputa i nga nekehanga puhoi, he iti noa te ahua ki te aukati i te whakatinanatanga o tenei ma te whakamahi i nga mahi hou i roto i te taapiri anga penei i te DAIN a TE WAI.

Pērā i ngā whakatinanatanga NeRF katoa, me te maha atu o ngā rāngai rangahau tirohanga rorohiko, ka taka pea a ST-NeRF i te wā o te aukati kino, i te mea ka poapoa te kaupapa mo te wa poto e tetahi atu tangata, tetahi ahanoa ranei, a he uaua ki te whai tonu, ki te tika ranei. hoko ano i muri mai. Pērā i ētahi atu wāhi, me tatari pea tēnei uaua ki ngā rongoā whakarunga. I tenei wa, ka whakaae nga kairangahau e tika ana te wawaotanga a-ringa i roto i enei papa kua kati.

Ka mutu, ka kite nga kairangahau ko nga tikanga wehewehe tangata i tenei wa e whakawhirinaki ana ki nga rereketanga o te tae, ka taea te kohi pohehe o nga tangata e rua ki roto i te poraka wehenga kotahi - he tutukitanga kore ki te ST-NeRF, engari he mea nui ki te whare pukapuka e whakamahia ana. Ka taea pea te whakatau ma te tātari rerenga whatu me etahi atu tikanga ka puta ake.

I whakaputaina tuatahi i te 7 o Haratua 2021.