Cybersecurity
Te tahae i nga Tauira Ako Miihini Na roto i te Putanga API
Ko nga rangahau hou mai i Kanata he huarahi ka taea e te hunga whakaeke te tahae i nga hua o nga anga ako miihini utu nui, ahakoa ko te uru anake ki tetahi punaha rangatira ma te API kua tino parakore me te ahua kua tiakina pai (he atanga, he kawa ranei e whakahaere ana i nga patai a nga kaiwhakamahi. taha-tūmau, me te whakahoki i te whakautu putanga anake).
I te mea kei te titiro whakamua te rangai rangahau ki te whakawhiwhi moni whakangungu tauira utu nui na roto i nga whakatinanatanga Miihini Miihini hei Ratonga (MLaaS), e kii ana te mahi hou Ako Whaiaro Whaiaro Ko nga tauira (SSL) he whakaraerae ake ki tenei momo tangohanga tauira, na te mea kua whakangungua kaore he tapanga kaiwhakamahi, he whakamaarama i te tangohanga, me te nuinga o te waa ka whakarato i nga hua e mau ana i te maha o nga korero whaihua mo te tangata e hiahia ana ki te whakahoki i te tauira puna (huna).
I roto i nga tauira whakamatautau 'pouaka pango' (i te mea kaore nga kairangahau i whakaae kia uru atu ratou ki tetahi tauira 'paanga' o te rohe i tera i te kaiwhakamahi mutunga ma te API paetukutuku), i taea e nga kairangahau te whakahoki i nga punaha whaainga me nga rauemi iti rawa. :
'Ka taea e [a tatou] whakaeke te tahae i tetahi kape o te tauira pärurenga e tutuki pai ai te mahi whakararo i roto i te iti iho i te 1/5 o nga paatai i whakamahia hei whakangungu i te patunga. I runga i te tauira pärurenga i whakangunguhia i runga i te 1.2M tauira kore tapanga mai i ImageNet, me te 91.9% tika i runga i te mahi whakararo o Fashion-MNIST, ko ta matou whakaeke tangohanga tika me te ngaro o InfoNCE i tahae i tetahi kape o te encoder e tutuki ana i te 90.5% tika i roto i nga patai 200K.
' Waihoki, ki te patunga i whakangungua i runga i te 50K tauira kore tapanga mai i CIFAR10, me te 79.0% tika i runga i te mahi whakarōpūtanga CIFAR10 whakararo, ko ta matou whakaeke tangohanga tika me te mate SoftNN i tahae i tetahi kape e tutuki ana i te 76.9% tika i roto i nga patai 9,000.'
I whakamahia e nga kairangahau nga tikanga whakaeke e toru, i te kitenga ko te 'Whakaahua Tika' te mea tino whai hua. I tahaetia enei tauira mai i tetahi kaiwhakawaehere pärurenga CIFAR10 i hangaia e te rohe ma te 9,000 nga patai mai i te huinga-whakamatautau CIFAR10. Puna: https://arxiv.org/pdf/2205.07890.pdf
Ka kite ano nga kairangahau ko nga tikanga e tika ana ki te tiaki i nga tauira kua maataki mai i te whakaekenga kaore e pai ki te urutau ki nga tauira kua whakangungua i runga i te kaupapa kore e tirotirohia - ahakoa ko enei tauira e tohu ana i etahi o nga hua e tino tumanakohia ana, e whakanuia ana hoki o te waahanga whakahiato whakaahua.
te hou pepa he taitara Mo te Uaua o te Whakawaa i te Ako Whaiaro Whaiaro ki te Tangohanga Tauira, ka puta mai i te Whare Wananga o Toronto me te Vector Institute for Artificial Intelligence.
E Whakaara-Whaiaro
I roto i te Ako Tiaki Whaiaro, ka whakangunguhia he tauira ki nga raraunga kore tapanga. Ki te kore he tapanga, me ako tetahi tauira SSL i nga hononga me nga roopu mai i te hanganga o te raraunga, me te rapu i nga ahuatanga o nga raraunga me te whakakotahi i enei waahanga ki roto i nga waahanga, hei tohu ranei.
Mena ka taea te huarahi SSL, he tino whai hua, na te mea ka karo i te hiahia mo nga utu utu nui tautohetia) te whakarōpūtanga na te hunga mahi tini, me te whakatau i nga raraunga ki a koe ano.
Ko nga huarahi SSL e toru e whakaarohia ana e nga kaituhi o te pepa hou ko SimCLR, he Whatunga Siamese; SimSiam, tetahi atu Whatunga Siamese e arotahi ana ki te ako whakakanohi; a Mahanga Barlow, he huarahi SSL i tutuki i te ahua-o-te-toi ImageNet mahi whakarōpū i tana tukunga i te tau 2021.
Ko te tangohanga tauira mo nga raraunga kua tapaina (arā, he tauira i whakangungua mai i nga akoranga kua maataki) he ahua ahua pai-tuhia wāhi rangahau. He maamaa ake hoki ki te wawao, na te mea me tiki e te kaitukino nga tapanga mai i te tauira patunga kia taea ai hanga ano.
Mai i te pepa o mua, he tauira whakaeke 'knockoff classifier' ki tetahi hoahoanga ako e maataki ana. Puna: https://arxiv.org/pdf/1812.02766.pdf
Ki te kore he urunga pouaka-ma, ehara tenei i te mahi iti, na te mea he iti ake nga korero o te whakaputanga mai i te tono API ki taua tauira i to te SSL API angamaheni.
Mai i te pepa*:
'Ko nga mahi o mua mo te tangohanga tauira e aro ana ki te tautuhinga Ako Maataki (SL), i te nuinga o te waa ka whakahokia mai e te tauira pärurenga he tapanga, etahi atu putanga iti-ahua penei tohu māia or takiuru.
'He rerekee, ka whakahokia mai e nga encoder SSL nga tohu-nui; te de märena putanga mo te tauira ResNet-50 Sim-CLR, he hoahoanga rongonui i roto i te matakite, he vector ahu 2048.
'E whakapae ana matou ko te rerenga korero tino teitei ake mai i nga kaiwhakawaehere ka whakaraerae ake ki nga whakaeke tangohanga atu i nga tauira SL.'
Hangahanga me te Raraunga
I whakamatauhia e nga kairangahau nga huarahi e toru ki te whakatauira / tangohanga tauira SSL: Tangohanga Tika, ka whakatauritehia te putanga API ki te whakaputanga a te kaiwhakawaehere i hanga ano ma te mahi mate mate penei i te Mean Squared Error (MSE); te hanga ano i te upoko matapae, ka whakahiatotia, ka whakamahia i roto i te tauira tauira; a te uru atu ki te upoko matapae, ka taea anake i roto i nga keehi kua tukuna e nga kaihanga taketake te hoahoanga.
I roto i te tikanga #1, Tangohanga Tika, ka whakatauritehia te putanga o te tauira patunga ki te putanga o te tauira o te rohe; Ko te tikanga #2 ko te hanga ano i te upoko matapae i whakamahia i roto i te hoahoanga whakangungu taketake (a ko te tikanga kaore i whakauruhia ki roto i te tauira kua tohatohahia).
I kitea e nga kairangahau ko te Tangohanga Tika te huarahi tino whai hua mo te tiki tauira mahi o te tauira kua tohua, me te whai hua ano ko te mea tino uaua ki te kiia he 'whakaeke' (na te mea he rereke te ahua o te ahua o te ahua me te whaimana. kaiwhakamahi mutunga).
I whakangunguhia e nga kaituhi nga tauira pärurenga i runga i nga kohinga whakaahua e toru: CIFAR10, ImageNet, me nga Nama Whare Tirohanga Tirohanga o Stanford (SVHN). I whakangunguhia a ImageNet i runga i te ResNet50, ko CIFAR10 me te SVHN i whakangungua i runga i te ResNet18 me ResNet24 mo te whakatinanatanga PyTorch e waatea ana. SimCLR.
I whakamatauria te mahinga o nga tauira ki raro (arā kua tohatohahia) ki te CIFAR100, STL10, SVHN, me Fashion-MNIST. I whakamatauria ano e nga kairangahau etahi atu tikanga 'pouaka ma' mo te whakawhiwhi tauira, ahakoa i puta ko te Tangohanga Tika, te huarahi iti rawa atu, i puta nga hua pai.
Hei arotake i nga whakakitenga e whakatauhia ana me te whakahoki ano i roto i nga whakaeke, ka taapirihia e nga kaituhi he paparanga matapae rarangi ki te tauira, he mea pai ki runga i te huinga whakangungu kua tapaina katoa mai i te mahi o muri mai (whakararo), me te toenga o nga paparanga whatunga kua maroke. . Ma tenei huarahi, ka taea e te whakamatautau tika i runga i te paparanga matapae te mahi hei ine mo te mahi. I te mea karekau he whai waahi ki te tukanga whakatau, kaore tenei e tohu ana i te mahi 'pouaka ma'.
Ko nga hua i runga i nga oma whakamatautau, i taea e te paparanga Aromātai Raina (kaore he takoha). Nga kaute tika i roto i te maia.
Ma te korero mo nga hua, ka kii nga kairangahau:
'Ka kitea e matou ko te whainga tika o te peehi i nga whakaaturanga a te tangata kua pa ki a ia he tino mahi i runga i nga mahi o raro ahakoa te whakaekenga he hautanga noa iho (iti iho i te 15% i etahi keehi) o te maha o nga patai e hiahiatia ana hei whakangungu i te encoder tahae i te tuatahi. '
A haere tonu:
'He uaua ki te tiaki i nga kaiwhakawaehere kua whakangungua ki te SSL na te mea he nui nga korero ka pakaru nga whakaaturanga whakaputa. Ko nga arai tino pai ko nga tikanga tauhohenga, penei i te tohuwai, ka taea te whakauru atu i nga taapiri motuhake i roto i nga kaiwhakawaehere kaha-nui.'
* Taku hurihanga o nga korero a-roto o te pepa ki nga honongaitua.
I whakaputaina tuatahi i te 18 o Haratua 2022.
