Raraunga Raraunga: Te Whakapiri i te Aputa Whakapiri ki te Whanako Aunoa Nui

Kua hangaia e nga Kairangahau o te Whare Wananga o Illinois he huingararaunga tirohanga rorohiko hou e whakamahi ana i nga whakaahua waihanga i hangaia e te miihini keemu Whawhai Whanui Nui hei awhina i te whakaoti i tetahi o nga tino arai i roto i te wehewehenga orooro - te mohio ki nga taonga ka kitea he waahi noa i roto i nga whakaahua me nga ataata.

Ki tenei mutunga, pera i whakaahuatia i roto i te pepa, kua whakamahia e nga kairangahau te miihini GTA-V ki te whakaputa i tetahi huingararaunga waihanga e kore e whakaatu noa i te maha o nga waahi occlusion, engari e whakaatu ana i te wahanga o te reo me te tapanga, me nga korero mo nga korero mo te waahi kaore i te pai. e arohia ana e nga huinga raraunga puna tuwhera rite.

Whakaotia te Maramatanga Scene

Ko te ataata i raro nei, i whakaputaina hei rauemi tautoko mo te rangahau, e whakaatu ana i nga painga o te tino mohiotanga 3D mo tetahi ahuatanga, i te mea ka mohiotia nga mea kerekere ka kitea i roto i te whakaaturanga i nga ahuatanga katoa, e taea ai e te punaha arotake te ako ki te whakahono i nga tirohanga kua whakakorehia. me te mea katoa (kua tapaina).

Puna: http://sailvos.web.illinois.edu/_site/index.html

Ko te hua o te huingararaunga, ko SAIL-VOS 3D te ingoa, e kii ana nga kaituhi ko ia te huinga raraunga mata ataata waihanga tuatahi me te tuhi anga-a-anga, te wahanga-taumata-a-ringa, te hohonutanga o te whenua mo nga tirohanga tirohanga me nga tohu tohu 2D kua tohua e nga pouaka here.

pūtake (Paatohia hei whakanui)

Kei roto i nga korero o SAIL-VOS 3D te hohonutanga, te aratau-taumata me te amodal wehewehenga, tapanga kupu me nga mata 3D. Kei roto i nga raraunga nga ataata 484 e 237,611 nga papa i te 1280x800 taumira, tae atu ki nga whakawhitinga pupuhi.

Kei runga ake, ko nga papa CGI taketake; te rarangi tuarua, te wahanga-taumata-taumata; rarangi tuatoru, te wehewehenga amodal, e whakaatu ana i te hohonutanga o te maaramatanga o te tirohanga me te maramatanga kei roto i nga raraunga. pūtake (Paatohia hei whakanui)

Ka wehea te huinga ki te 6,807 topenga me te toharite o te 34.6 papa mo ia papa, ka tuhia nga raraunga ki te 3,460,213 tauira ahanoa i ahu mai i nga tauira mata 3,576 i roto i te miihini keemu GTA-V. Ka tohatohahia enei ki te katoa o nga waahanga 178.

Te Hanga Mata Me te Tapanga Aunoa

I te mea ka puta pea te rangahau huingararaunga i runga i nga whakaahua o te ao, ko nga mata o SAIL-VOS 3D ka hangaia e te anga ako miihini, kaore i ahu mai i te miihini GTA-V.

Ma te maaramatanga o te hotaka me te tino 'holographic' mo te whakaaturanga katoa o te whakaaturanga, ka taea e te whakaahua SAIL-VOS 3D te whakahiato i nga tohu o nga mea e hunahia ana e nga aukati, penei i te ringa anga tawhiti o te tangata e huri ana ki konei, ma te ahua ke. e whakawhirinaki ana ki te maha o nga ahuatanga o te ao tuuturu. (Pāwhiritia kia rahi ake) Puna: https://arxiv.org/pdf/2105.08612.pdf

I te mea he ID ahurei kei ia ahanoa o te ao GTA-V, ka tangohia e SAIL-VOS enei mai i te miihini whakaputa ma te whakamahi i te whare pukapuka matau tuhinga GTA-V. Ma tenei ka whakatau i te raru o te whakahoki ano i te kaupapa mena ka wehe atu i te waahi tirohanga mo te wa poto, na te mea he pumau tonu te tapanga, he pono. He 162 nga taonga e waatea ana i te taiao, na nga kairangahau i mapi ki te maha o nga karaehe.

He momo momo tirohanga me nga taonga

He maha nga taonga kei roto i te miihini GTA-V he mea noa, na reira kei roto i te raarangi SAIL-VOS he waimarie 60% o nga karaehe kei roto i te Microsoft e whakamahia ana i te tau 2014. Raraunga raraunga MS-COCO.

Kei roto i te huinga raraunga SAIL-VOS te tini o nga ahuatanga o roto me waho i raro i nga ahuatanga huarere rereke, me nga kiripuaki e mau kakahu rereke ana. (Paatohia hei whakanui)

Te tono

Hei whakarite i te hototahitanga ki te whakahaerenga whanui o te rangahau i roto i tenei waahanga, me te whakapumau ka whai hua tenei huarahi hangai ki nga kaupapa kore-hangaia, i arotakehia e nga kairangahau te huingararaunga ma te whakamahi i te huarahi rapu anga-a-papa i whakamahia mo MS-COCO me te 2012 Te Wero a PASCAL Visual Object Classes (VOC)., me te tika toharite hei ine.

I kitea e nga kairangahau ko te whakangungu i mua i te huinga raraunga SAIL-VOS ka pai ake te mahi o Intersection over Union (IoU) mā te 19%, me te whakapai ake i roto VideoMatch mahi, mai i te 55% ki te 74% i runga i nga raraunga kore kitea.

Heoi, i nga keehi o te tino aukati, i etahi wa kaore i taea e nga tikanga tawhito katoa te tautuhi i tetahi mea, tangata ranei, ahakoa ko nga kairangahau e kii ana ka taea tenei te whakatika i nga ra kei te heke mai ma te tirotiro i nga papa tata ki te whakatau i te whakaaro mo te kanohi amodal. .

I roto i nga whakaahua-matau e rua, kua rahua e nga algorithm wehewehenga tawhito te tautuhi i te ahua wahine mai i te waahanga iti o tona mahunga e kitea ana. Ko nga mahi hou o muri mai me te aromatawai rere whatu ka pai ake enei hua. (Paatohia hei whakanui)