'Baaraha' AI wuxuu aqoonsan karaa dadka madmadow ilo badan

Cilmi-baarayaal ka tirsan Jaamacadda Oxford waxay soo saareen nidaam AI-awood u leh kaasoo si dhammaystiran u aqoonsan kara dadka ku jira fiidiyowyada iyagoo sameynaya baaritaanno u eg, baaritaanno meelo badan leh oo ku saabsan cidda ay noqon karaan, marka laga eego macnaha guud, iyo ilo kala duwan oo si guud loo heli karo, oo ay ku jiraan isbarbardhigga ilaha maqalka iyo walxaha muuqaal ee internetka.

Inkasta oo xarumaha cilmi-baadhistu ay ku salaysan yihiin aqoonsiga shakhsiyaadka dadweynaha, sida dadka ka muuqda barnaamijyada telefishinka iyo filimada, mabda'a aqoonsiga aqoonsiga ee macnaha guud waa aragti ahaan lagu dabaqi karo qof kasta oo wejigiisa, codkiisa, ama magaciisa ka muuqda ilaha internetka.

Run ahaantii, warqadaha Qeexitaanka caanka ah kuma koobna oo kaliya in la tuso shaqaalaha ganacsiga, iyada oo cilmi-baarayaashu ay ku dhawaaqeen 'Waxaan u muujineynaa dadka sawiro badan oo naftooda ku leh internetka sida caanka ah'.

Toos u Fiidiyowga

Cilmi-baadhayaashu, oo ka socda Kooxda Joomatari Visual ee Oxford ee Waaxda Sayniska Injineerinka, ayaa qeexaya habka baadhista qaabka aadanaha ee dhiirigeliyay shaqada:

Ka soo qaad inaad muuqaal daawanayso oo aad la kulanto qof cusub. Si aad si kalsooni leh u aqoonsato, waxaad marka hore ka raadin doontaa tilmaamo magacooda ah sida muuqaalka qoraalka, magacooda oo lagu sheegay hadalka, ama liiska xubnaha la tuuray ee kaydka internetka. Waxaa laga yaabaa inaad markaas hesho xoogaa caddayn ah si aad u xaqiijiso in magacani sax yahay, adiga oo qofka ka raadinaya khadka.'

Habka ay soo jeedisay warqaddu waa mid si toos ah u socota, waxayna meesha ka saaraysaa dhammaan calaamadaynta buug-gacmeedka ee dheeraadka ah (qiimaynta mid kasta oo ay sameeyeen bixiyeyaasha ilaha internetka). Nidaamku waxa kale oo la caddeeyey inuu si fiican uga shaqeeyo saddex xog-ururin oo aan xidhiidh la lahayn iyada oo aan loo baahnayn la-qabsiga domainka.

Ka doodista codsiga shaqada, cilmi-baarayaashu waxay xuseen kobaca jibbaarada ee xogta aan la aqoonsan, xogta muuqaalka ah, iyo baahida loo qabo nidaamyo cusub oo ka soo saari kara macluumaadka aqoonsiga iyaga oo aan lahayn tilmaamo qaali ah oo bini-aadmigu hoggaamiyo:

Miisaanka xogta, oo ay weheliso la'aanta xogta badan ee la xidhiidha, waxay ka dhigaysaa tusmaynta, falanqaynta iyo dhex-gudbinta nuxurkan hawl aad u adag. Ku-tiirsanaanta dheeraadka ah, sharraxaadda bini'aadamka ee gacanta ma ahan mid hadda suurtagal ah, iyo iyada oo aan lahayn hab wax ku ool ah oo lagu maareeyo fiidiyowyadan, bangigan aqoontu waa mid aan la heli karin.'

Matoorka tusmaynta ee dabeecaddan ayaa furaysa suurtogalnimada natiijada raadinta hyperlinks kuwaas oo si toos ah u yimaada barta fiidiyooga halkaasoo mawduuca raadinta uu ka soo muuqdo, sida lagu muujiyay caddaynta fikradda raadinta shabakadda ee uu bixiyay mashruuca.

Nidaamka Oxford wuxuu ogol yahay in la raadiyo tusaaleyaal qof la aqoonsaday. Natiijadu waxay si toos ah u gaynaysaa daawadayaasha barta fiidyowga halkaas oo qofka la aqoonsaday uu ka soo muuqday. Xigasho: https://www.robots.ox.ac.uk/~vgg/research/person_id_in_video/

Mid ka mid ah siyaabaha uu nidaamku u aqoonsado dadka 'dahsoon' waa marka loo eego macnaha guud ee ay la leeyihiin dadka kale. Sidaa darteed, mashiinka raadinta si fiican ayaa loo qalabeeyay si uu u raadiyo aqoonsiyo badan oo ka muuqda isla fiidiyooga:

Kalluun Weyn Iyo Kalluun Yar

Nidaamku wuxuu marka hore wax ka qabtaa 'miraha sudhan' - dadka wejigoodu si wanaagsan loogu tilmaamo ilaha shabakadaha dadweynaha ee tilmaamaya iyaga ayaa ah mid yar, iyadoo la barbardhigayo xogta badan ama qoraalka OCR'd ee fiidiyowyada lidka ku ah ilaha xogta dadweynaha sida IMDB liisaska. Qoraalka AI-turjumay ee qoraallada fiidyaha, credits iyo noocyada kale ee qoraalka rasterized ee fiidyaha ayaa sidoo kale awood loo yeeshay si loo sameeyo aqoonsiga.

Magacyada musharraxiinta ee raadinta waxaa si toos ah u ogaan kara nidaamka, iyadoo lagu salaynayo aqoonsiga jilaha indhaha (OCR) ee qoraalka la rasterized, ama qoraalka dhabta ah ee ilo kale, sida liisaska tuurista. Markaa, dadka si toos ah ayaa loo tilmaami karaa iyada oo aan wax su'aalo ah oo hore ka hor imanayn magacyadooda isticmaaleyaasha dhamaadka shakhsi ahaaneed, iyo iyada oo aan ka hor laga qaybgelin shabakadaha bulshada ee karti u leh AI. Xigasho: https://www.robots.ox.ac.uk/~vgg/publications/2021/Brown21/brown21.pdf

Meesha sawirada iyo muqaalka wejiyada saafiga ah ay xaqiijinayaan aqoonsiga qofka, baaritaanku waxa uu xaqiijinayaa aqoonsiga. Laakin meesha uu qofku ka madmadow badan yahay, habab kale ayaa la adeegsadaa, oo ay ku jiraan cod laga soo qaaday raadadka muuqaalka, kaas oo loo isticmaali karo xaqiijinta aqoonsiga. In kasta oo aan lagu daboolin shaqada, si macquul ah ma jiraan wax joojinaya qaab-dhismeedka dabeecaddan sidoo kale adeegsiga ilo maqal saafi ah iyo sidoo kale qaybaha maqalka ee fiidiyowga.

Aqoonsiga Is- Faafinta ee Panopticon

Marka laga soo tago soo saarista magacyada musharraxiinta ee qoraalka saafiga ah, tignoolajiyada aqoonsiga hadalka ayaa loo isticmaalaa mashruuca Oxford si loo aqoonsado magacyada kaliya. lagu hadlo nuxurka maqalka ah. Markaa aqoonsiga waxaa bilaabi kara hal ama laba qof oo keliya oo sheegaya qof saddexaad oo aan joogin.

Badbaadada uu mashruuca Oxford soo bandhigayo waa in musharraxa uu ka soo dhexmuuqdo xogta IMDB, laakiin meesha ka saarida qawaaniintan sabab la'aanta ah waxay si weyn u balaadhinaysaa baaxadda awoodaha nidaamka si aad ah, maadaama ay gebi ahaanba ku tiirsan tahay ilaha la xoqi karo shabakadda.

Sidaa darteed, isku-darka ilo ay ku jiraan magacyo laga soo qaatay qoraalka raster, qoraalka dhabta ah, hadal ku saleysan hadal iyo waxyaabo muuqaal ah oo aad u xaddidan, waxay noqoneysaa suurtagal in la aqoonsado shakhsiyaadka leh shabakad muuqaal hoose leh.

Farsamo ahaan, waxa kale oo ay suurtogal noqonaysaa in la dhiso muuqaal shakhsi ah oo aan weli la xidhiidhin sawir ama muuqaal muuqaal ah, laakiin kaas oo sawir ama muuqaal lagu dhejin karo ugu dambeyntii marka arrimo kale ay la xiriiraan isha fiidyowga cusub ee la geliyey.

Tijaabi Xogta

Cilmi-baarayaashu waxay isticmaaleen saddex xog-ururin si ay u qiimeeyaan waxtarka nidaamka: MediaEval, Kaas oo ka kooban Creative Commons warbaahinta bulshada iyo agabka sawirka beesha (ay ku jiraan Wikipedia iyo Flicker) oo la qabtay intii u dhaxaysay 2010-2015; Kooxda Oxford ee u gaarka ah 2017 Sherlock dataset, kaas oo muujinaya xogta fiidiyoow ee la sharraxay ee laga soo qaatay laqabsiga caanka ah ee BBC-da casriga ah ee dabeecadda caadiga ah ee Conan Doyle; iyo xog cusub oo fiidiyoow ah oo BBC-da loo sameeyay si gaar ah mashruuca, kaas oo adeegsada muuqaallo kala duwan oo muuqaallo ah oo laga soo qaatay BBC-da.

Nidaamku waxa uu ku guulaystaa meelo badan oo xog-ururin ah, oo ay ku jiraan waqtiyada uu wejiga ka maqan yahay milicsiga ama mugdiga.

Nidaamku sidoo kale wuxuu isticmaalaa qiimeynta raadinta sawirka tooska ah.

Natiijooyinka nidaamku waxay soo saareen saxnaan sare oo dhan saddexda nooc. Marka laga hadlayo xogta Sherlock, cilmi-baarayaashu waxay la yaabeen inay ogaadaan in nidaamka cusub uu ka fiicnaaday 3-6% qaabkii hore ee loo adeegsan jiray mashiinnada vector-ka (SVMs) ee kala-soocista qaabab badan, inkasta oo kala-soocida deriska ugu dhow loo adeegsaday shaqada cusub waa qalab ka awood yar.

Saameynta

Inta badan caqabadaha anshaxa ama wax ku oolka ah ee mashruuca Oxford waxaa iskood u soo rogay cilmi-baarayaashu, sida qeexida 'caanka' shardiga ah in aqoonsiga la helay ay joogaan IMDB, iyo in la tijaabiyo nidaamka oo keliya liddi ku ah xogta tacliinta ee la aasaasay ixtiraamka shatiga Creative Commons.

Si kastaba ha ahaatee, qaab dhismeedka lagama maarmaanka ah ee mashruucu wuxuu muujinayaa hab guud oo aan kaliya lagu aqoonsan shakhsiyaadka 'dahsoon' ee leh muuqaal hooseeya ama eber ee internetka lagama maarmaanka ah), laakiin si dhab ah loo abuuro jaantuska shakhsiyaadka oo ay wadaan wax aan ka badnayn xiisaha soo noqnoqda iyo farsamada farsamada, halkii ay ka ahaan lahaayeen baahida, ama joogitaanka cad ee xogta calaamadeysan (sida sawirada warbaahinta bulshada oo ay ku jiraan xogta badan ee PII).

Mashruucu ma isticmaalo xogta juqraafiyeed, ama qaabab kale oo xog badan oo la heli karo oo laga yaabo in laga helo wax ku biirinta dukumeentiyada xaqiijinta, sida macluumaadka goobta juqraafiyeed ee ku dhexjira galitaanka warbaahinta bulshada (halka kuwan aan loo xayuubin dookh isticmaale ahaan). Si kastaba ha ahaatee, ma jirto wax caqabad ah oo u muuqda isticmaalka cabbirrada dheeraadka ah ee xogta si loo xoojiyo habka caddaynta.

Halka mashruuca Oxford uu gooyo kuwa ka baxsan (aqoonsiga ku dhawaad ​​eber joogitaan, marka lagu daro in aan lagu qorin IMDB) si caadi ah mashruucyada barashada mashiinka, macluumaadka ugu yar ee noocan oo kale ah ayaa si wax ku ool ah u aqoonsan kara qof aan la garanayn intii dhici lahayd haddii xaddi sare oo macluumaad wakiil ah oo iyaga ku saabsan ayaa la heli karaa. Haddii kuwa ka baxsan ay yihiin waxa aad raadinayso (tusaale, shakhsiyaad leh raad shabakadeed oo yar), xogta yaryar waxay noqon kartaa mid tilmaan sare leh.

Helitaanka

Cilmi baadhayaasha Oxford waxay ku soo koobeen shaqada mashruuca matoorka raadinta Google u eg kaas oo la soo dejisan karo laguna rakibi karo mishiinka maxaliga ah iyada oo loo sii marayo Docker (inkasta oo tilmaamaha rakibaadda ee warqadda Maajo 2021 ay hadda ka kooban tahay macluumaadka taariikhda ka baxay ee shuruudaha Docker Tools, kaas oo waxaa laga yaabaa inay caqabad ku noqoto hawsha).

Sida muuqata ma jiro nooc online ah oo toos ah oo ka hadlaya hirgelinta mashruuca dhammaan saddexda xog-ururin, in kasta oo natiijooyinka xogta xogta BBC-da si xor ah wax looga weydiin karo http://zeus.robots.ox.ac.uk/bbc_search/.