Aalad ku-salaysan Browser-ku-sheegga Sawirka ee Xogta Aragtida Kombiyuutarka

Cilmi-baarayaal reer Finland ah ayaa soo saaray qalab ku summaynta sawirka browser-ku-saleysan oo loogu talagalay in lagu wanaajiyo fududeynta iyo xawaaraha hababka sharraxaadda sawirada caajiska ah ee xogta aragga kombayutarka. Loogu rakibay sidii OS-agnostic fidinta matoorada birawsarka ee ugu caansan, aaladda cusub waxay u saamaxdaa isticmaaleyaasha inay 'faham ka bixiyaan iyagoo si xor ah wax u baadhaya', halkii ay u baahnaan lahaayeen inay geliyaan kalfadhi calaamadayn macnaha guud ee habaysan, ama si ay u socodsiiyaan macmiilka- code side iyo xaalado kale oo gaar ah.

Wacan BRIMA (Qalabka sharraxaadda sawirka-kaliya ee BRowser-ka-hooseeya), nidaamka waxaa lagu sameeyay Jaamacadda Jyväskylä. Waxay meesha ka saaraysaa baahida loo qabo in la xoqo oo la ururiyo xogta xogta gudaha ama meelaha fog, waxaana loo habeyn karaa si loo soo saaro xog faa'iido leh oo ka mid ah xuduudaha xogta kala duwan ee laga heli karo goob kasta oo dadweynaha u jeedda.

BRIMA ficil ahaan. Xigasho: https://arxiv.org/pdf/2107.06351.pdf

Sidan BRIMA (oo lagu soo bandhigi doono ICIP 2021, goorta code sidoo kale waa la heli karaa) waxay meesha ka saaraysaa caqabadaha iman kara marka nidaamyada is-xoqidda shabakada ee otomaatiga ah la xannibo iyada oo loo marayo kala duwanaanta IP ama habab kale, lagana hor istaagayo ururinta xogta - xaalad loo dejiyay inay noqoto mid caan ah maaddaama ilaalinta IP ay si sii kordheysa diiradda u saarto. , sida ay leedahay dhawaan la sameeyay oo leh aaladda jiilka koodka ee AI-driven Microsoft, Copilot.

Maadaama BRIMA loogu talagalay kaliya tafatirka ku saleysan bini'aadmiga, isticmaalkeeda ayaa sidoo kale aad ugu yar inay kiciso noocyada kale ee jid gooyooyinka, sida caqabadaha CAPTCHA, ama nidaamyada kale ee otomaatiga ah ee loogu talagalay in lagu xannibo algorithm-yada xog-ururinta.

Awoodaha Ururinta Xogta La Qabsiga

BRIMA waxaa lagu fuliyaa iyada oo loo sii marayo Firefox-ka-kordhinta ama kordhinta Chrome-ka ee Windows, OSX ama Linux, waxaana loo habayn karaa in lagu daro xogta muhiimka ah ee ku salaysan dhibcaha xogta ee madal gaar ahi dooran karto inay soo bandhigto. Tusaale ahaan, marka la sharraxayo sawirrada Google Street View, nidaamku wuxuu ku xisaabtami karaa jihaynta iyo aragtida muraayadda, oo wuxuu diiwaangelin karaa goobta saxda ah ee goobta shayga uu ku tilmaamay isticmaaluhu.

BRIMA waxaa tijaabiyay Sebtembar 2020 hal-abuureyaasheeda, intii lagu guda jiray iskaashiga hindise dad badan si loo soo saaro xogta ogaanshaha shay ee walxaha CCTV (kameradaha ilaalada fiidyowga ah ee ku rakiban meelaha caamka ah, ama laga arki karo meelaha dadweynaha).

Nidaamku waxa uu ka kooban yahay rakibaadda dhinaca macmiilka ah ee JavaScript fudud oo ah qaabka fidinta browserka, iyo dhinaca server-ka oo hesha oo ururinaya xogta tafaasiisha. Hirgelinta tixraaca ee rakibaadda dhinaca server-ka waxaa lagu qoray Python iyo PHP oo leh Flask iyo Swagger/OpenAPI, laakiin cilmi-baarayaashu waxay ku nuuxnuuxsadeen in qaab dhismeedka dhexe ee habaynta si fudud loogu gudbin karo luqadaha kale iyo qaabeynta.

Kordhinta browserka iyo seerfarku waxay ku wada xidhiidhaan codsiyada RESTful API iyo HTTP/XHR, iyada oo xogta dhinaca macmiilka ah guriga loogu soo diray qaab JSON ah oo ku habboon MS COCO. Tani waxay ka dhigan tahay in xogta isla markiiba lagu isticmaali karo noocyo kala duwan oo ka mid ah qaababka ogaanshaha shayga ugu caansan, oo ay ku jiraan gadaal-dhamaadka kala duwan ee TensorFlow, sida Facebook's Detectron2, Iyo CenterMask2.

Qalab u gaar ah Mashruuca

In kasta oo ay tahay dabeecadda guud ee BRIMA, waxaa loo qaabayn karaa qaabaynta xog-ururinta aadka u gaarka ah, oo ay ku jiraan ku-soo-rogidda menu-hoos-u-dhigga iyo noocyada kale ee gelinta macnaha guud ee la xidhiidha qayb gaar ah. Sawirka hoose waxa aanu ku aragnaa in liiska hoos-u-dhaca ee macluumaadka kamarada lagu qoray BRIMA, si ay koox fallaareyaal ahi u bixiyaan macluumaad faahfaahsan oo mashruuca khuseeya.

Qalabkan dheeriga ah waxaa lagu habeyn karaa gudaha. Kordhigu waxa kale oo uu leeyahay rakibaad fudud iyo fur-gaabyada kiiboodhka la habeyn karo, oo ay la socdaan walxaha UI ee midabaysan.

Shaqadu waxay ku dhismaysaa tiro isku dayo ah sannadihii u dambeeyay si loo hagaajiyo tas-hiilaadka sharraxaadda sawirka ee shabakada-helay ama xogta u jeedda dadweynaha. Qalabka PhotoStuff, oo ay taageerto DARPA, ayaa bixisa sharraxaad khadka tooska ah iyada oo loo sii marayo shabakad shabakadeed oo gaar ah, waxaana lagu socodsiin karaa shabakadda semantic ama codsi gooni ah; 2004tii UC Berkeley ayaa soo jeedisay Faahfaahinta Sawirka Taleefanka Kamarada, kaas oo si weyn u faa'iideystey xogta badan, sababtoo ah xaddidnaanta daboolida shabakada iyo xaddidaadaha aragtida ee xilliga; MIT ee 2005 CalaamadeeMe mashruucu waxa kale oo uu soo dhawaaday sharraxaadda browser-ku-salaysan, isaga oo ku tiirsan agabka MATLAB;

Tan iyo markii la sii daayay 2015, qaabka FOSS Python/QT LabelImg waxa ay caan ku noqotay dadaallada sharraxaadda ee la soo ururiyey, oo leh rakibaad maxalli ah oo u go'an. Si kastaba ha ahaatee, cilmi-baarayaasha BRIMA waxay u fiirsadaan in xarumaha LabelImg ee PascalVOC iyo YOLO, aysan taageerin qaabka MS COCO JSON, oo ay ka fogaadaan qalabyada tilmaamaya laba geesoodka ah ee doorbidaya gobollada qabsashada ee fudud (taas oo u baahan doona qaybinta soo socota).