Artificial Intelligence
Dàta Synthetic: A’ dùnadh a’ bheàrn Occlusion le Grand Theft Auto
Tha luchd-rannsachaidh aig Oilthigh Illinois air clàr-dàta lèirsinn coimpiutair ùr a chruthachadh a bhios a’ cleachdadh ìomhaighean synthetigeach air an gineadh le einnsean geama Grand Theft Auto gus cuideachadh le fuasgladh fhaighinn air aon de na cnapan-starra as miosa ann an sgaradh semantach - ag aithneachadh nithean nach eil ach gu ìre ri fhaicinn ann an ìomhaighean stòr agus bhideothan.
Chun na crìche seo, mar a chaidh a mhìneachadh ann an am pàipear, tha an luchd-rannsachaidh air an einnsean geama bhidio GTA-V a chleachdadh gus stòr-dàta synthetigeach a ghineadh a tha chan ann a-mhàin a’ nochdadh an àireamh as àirde de shuidheachaidhean occlusion, ach anns a bheil sgaradh semantach foirfe agus bileagan, agus a bheir cunntas air fiosrachadh ùineail ann an dòigh nach eil. air a làimhseachadh le stòran-dàta stòr fosgailte coltach ris.
Tuigse sealladh coileanta
Tha am bhidio gu h-ìosal, a chaidh fhoillseachadh mar stuth taice airson an rannsachaidh, a’ sealltainn na buannachdan a tha an lùib tuigse 3D iomlan air sealladh, leis gu bheil nithean falaichte aithnichte agus fosgailte san t-sealladh anns a h-uile suidheachadh, a’ toirt cothrom don t-siostam measaidh ionnsachadh gus beachdan falaichte a cheangal ri chèile. leis an nì gu lèir (le bileagan).
Stòr: http://sailvos.web.illinois.edu/_site/index.html
Tha na h-ùghdaran ag ràdh gur e an stòr-dàta a thig às, ris an canar SAIL-VOS 3D, a’ chiad dàta mogal bhidio synthetigeach le notaichean frèam-air-frèam, sgaradh ìre eisimpleir, doimhneachd fìrinn talmhainn airson seallaidhean seallaidh agus notaichean 2D air an comharrachadh le bogsaichean crìche.
Stòr (Cliog gus a leudachadh)
Tha na notaichean de SAIL-VOS 3D a’ toirt a-steach doimhneachd, modal ìre-eisimpleir agus modal ìre eisimpleir atharrach sgaradh, bileagan semantach agus mogaill 3D. Tha an dàta a’ toirt a-steach 484 bhidio le 237,611 frèamaichean gu h-iomlan aig rùn 1280 × 800, a’ toirt a-steach eadar-ghluasadan peilear.
Gu h-àrd, na frèamaichean CGI tùsail; dàrna sreath, sgaradh ìre-eisimpleir; treas sreath, sgaradh cumhach, a tha a’ nochdadh doimhneachd tuigse sealladh agus follaiseachd a tha ri fhaighinn san dàta. Stòr (Cliog gus a leudachadh)
Bidh an seata a’ briseadh sìos gu criomagan 6,807 le cuibheas de 34.6 frèamaichean gach fear, agus tha an dàta air a chomharrachadh le 3,460,213 eisimpleirean de nithean a thàinig bho mhodailean mogal 3,576 anns an einnsean geama GTA-V. Tha iad sin air an sònrachadh do 178 roinnean semantach gu h-iomlan.
Ath-thogail mogal agus bileagan fèin-ghluasadach
Leis gu bheil coltas ann gun tachair rannsachadh dàta nas fhaide air adhart air ìomhaighean an t-saoghail fhìor, tha na mogaill ann an SAIL-VOS 3D air an gineadh leis an fhrèam ionnsachaidh inneil, seach a bhith a’ tighinn bhon einnsean GTA-V.
Le tuigse prògramaichte agus gu ìre mhòr ‘holographic’ air riochdachadh an t-seallaidh gu lèir, faodaidh ìomhaighean SAIL-VOS 3D riochdachaidhean de nithean a tha gu h-àbhaisteach falaichte le occlusions a cho-chur, leithid gàirdean aghaidh a’ charactar a’ tionndadh mun cuairt an seo, ann an dòigh a bhiodh air dhòigh eile. an urra ri mòran shuidheachaidhean riochdachail ann am fiolm san t-saoghal fhìor. (Cliog airson a dhèanamh nas motha) Stòr: https://arxiv.org/pdf/2105.08612.pdf
Leis gu bheil ID sònraichte aig gach nì ann an saoghal GTA-V, bidh SAIL-VOS gan toirt air ais bhon einnsean tairgse a’ cleachdadh leabharlann dubhan sgriobt GTA-V. Fuasglaidh seo an duilgheadas a thaobh a bhith a’ faighinn a’ chuspair ma bu chòir dha an raon seallaidh fhàgail airson ùine, leis gu bheil an leubail seasmhach agus earbsach. Tha 162 rud rim faighinn san àrainneachd, a mhapadh an luchd-rannsachaidh gu àireamh cho-fhreagarrach de chlasaichean.
Measgachadh de sheallaidhean is nithean
Tha mòran de na stuthan anns an einnsean GTA-V cumanta ann an nàdar, agus mar sin tha an clàr-seilbhe SAIL-VOS a’ toirt a-steach 60% fortanach de na clasaichean a tha an làthair ann an 2014 a bhios Microsoft a’ cleachdadh gu tric. Stòr-dàta MS-COCO.
Tha an stòr-dàta SAIL-VOS a’ toirt a-steach measgachadh mòr de sheallaidhean a-staigh agus a-muigh fo dhiofar shìde, le caractaran ann an aodach eadar-dhealaichte. (Cliog gus a leudachadh)
Ceanglaichean
Gus dèanamh cinnteach gu bheil e co-chòrdail ris an rannsachadh coitcheann san raon seo, agus gus dearbhadh gum faod an dòigh-obrach synthetigeach seo buannachd a thoirt do phròiseactan neo-shintéiseach, rinn an luchd-rannsachaidh measadh air an t-seata dàta a’ cleachdadh an dòigh lorgaidh stèidhichte air frèam a chaidh a chleachdadh airson MS-COCO agus an 2012. Dùbhlan Clasaichean Rud Lèirsinneach PASCAL (VOC)., le mionaideachd cuibheasach mar an meatrach.
Lorg an luchd-rannsachaidh gu bheil ro-thrèanadh air stòr-dàta SAIL-VOS a’ leasachadh coileanadh Intersection over Union (IOU) le 19%, le leasachadh co-ionann ann an Geama bhidio coileanadh, bho 55% gu 74% air dàta nach fhacas.
Ach, ann an cùisean fìor occlusion, bha amannan ann nuair nach robh na dòighean as sine fhathast comasach air rud no neach aithneachadh, ged a bha an luchd-rannsachaidh a’ ro-innse gum faodadh seo a bhith air a cheartachadh san àm ri teachd le bhith a’ sgrùdadh frèamaichean faisg air làimh gus an reusanachadh a stèidheachadh airson a’ chnap-starra. .
Anns an dà ìomhaigh air an làimh dheis, cha do shoirbhich le algorithms sgaraidh traidiseanta am figear boireann aithneachadh bhon chuibhreann glè bheag de a ceann a tha ri fhaicinn. Dh’ fhaodadh innleachdan nas fhaide air adhart le measadh sruthadh optigeach na toraidhean sin adhartachadh. (Cliog gus a leudachadh)
