Pîroz
Dizîna Modelên Fêrbûna Makîneyê Bi Derketina API
Lêkolîna nû ya ji Kanada rêgezek mimkun pêşkêşî dike ku bi wê yekê êrîşkar dikarin fêkiyên çarçoveyên fêrbûna makîneyê yên biha bidizin, tewra gava ku tenê gihîştina pergalek xwedan bi navgînek API-yek pir paqijkirî û bi eşkereyî baş-parastî be (navberek an protokolek ku pirsên bikarhêneran dike. server-side, û tenê bersiva encam vedigere).
Gava ku sektora lêkolînê her ku diçe zêdetir ber bi dravkirina perwerdehiya modela biha digere bi pêkanînên Fêrbûna Makîneyê Wekî Karûbar (MLaaS), xebata nû pêşniyar dike ku Fêrbûna Xweserî Modelên (SSL) ji bi vî rengî derxistina modelê bêtir xeternak in, ji ber ku ew bêyî etîketên bikarhêner têne perwerde kirin, derxistina hêsan dikin, û bi gelemperî encamên ku ji bo kesê ku dixwaze modela çavkaniyê (veşartî) dubare bike, peyda dikin.
Di simulasyonên ceribandinê yên 'qutiya reş' de (ku lêkolîneran ji modelek 'mexdûr' a herêmî bêtir ji bikarhênerek dawîn a tîpîk a ku dê bi navgîniya API-ya webê ve hebe) nehiştin, lêkolîner karîbûn pergalên armanc bi çavkaniyên nisbeten kêm dubare bikin. :
'Êrîşên [me] dikarin kopiyek modela mexdûr bidizin ku di kêmtirî 1/5 pirsên ku ji bo perwerdekirina mexdûr têne bikar anîn performansa jêrîn a berbiçav bi dest dixe. Li hember modelek mexdûr a ku li ser 1.2M nimûneyên bêlabelkirî ji ImageNet hatî perwerde kirin, bi rastbûna% 91.9 li ser peywira dabeşkirina jêrîn a Fashion-MNIST, êrîşa derxistina me ya rasterast bi windabûna InfoNCE kopiyek şîfrekerê ku di 90.5K pirsan de ji% 200 rast distîne dizî.
"Bi vî rengî, li dijî mexdûrek ku li ser 50K nimûneyên bêlabelkirî yên ji CIFAR10 hatî perwerde kirin, bi rastbûna% 79.0 li ser peywira dabeşkirina jêrîn a CIFAR10, êrîşa derxistina me ya rasterast bi windabûna SoftNN kopiyek ku di 76.9 pirsan de ji sedî 9,000 rast bi dest dixe, dizî."
Lekolînwanan sê rêbazên êrîşê bikar anîn û dîtin ku "Derkêşandina rasterast" ya herî bi bandor bû. Van modelan ji şîfrekerek qurbanî ya CIFAR10-ê ya herêmî ku ji nû ve hatî çêkirin bi karanîna 9,000 pirsên ji koma ceribandinê ya CIFAR10 hatî dizîn. Çavkanî: https://arxiv.org/pdf/2205.07890.pdf
Lekolînwan di heman demê de destnîşan dikin ku rêbazên ku ji bo parastina modelên çavdêrîkirî ji êrişan guncan in, bi modelên ku li ser bingehek neçavdêrîkirî hatine perwerde kirin baş naguncînin - her çend modelên weha hin fêkiyên herî pêşbînîkirî û pîrozkirî yên sektora senteza wêneyê temsîl dikin.
The nû kaxez sernavkirî ye Li ser Zehmetiya Parastina Xweseriya Xweseriya Xweseriya Xweseriya Xweseriya Xweseriya Xweseriya Xweseriya Xweseriya Xweserî, û ji Zanîngeha Toronto û Enstîtuya Vector ya ji bo Îstixbarata Hunerî tê.
Agahdariya Xweseriyê
Di Fêrbûna Xweser-Servandar de, modelek li ser daneyên bêlabelkirî tê perwerde kirin. Bêyî etîketan, modelek SSL pêdivî ye ku komele û koman ji strukturên nepenî yên daneyan fêr bibe, li rûçikên daneyan ên wekhev bigere û hêdî hêdî van rûçikan di nav girêkan, an nûneran de berhev bike.
Li ku derê nêzîkatiyek SSL-ê guncan e, ew pir hilberdar e, ji ber ku ew hewcedariya biha derbas dike (bi gelemperî jêder û gengeşiyê) kategorîzekirin ji hêla xebatkarên girseyê ve, û bi bingehîn daneyan bi rengek xweser aqil dike.
Sê nêzîkatiyên SSL-ê yên ku ji hêla nivîskarên nû ve têne hesibandin ev in SimCLR, a Tora Siamese; SimSiam, Tora Siyamî ya din ku li ser fêrbûna nûnertiyê ye; û Barlow Twins, Nêzîkatiyek SSL-ê ya ku herî pêşkeftî bi dest xist IMAGEnet performansa dabeşker di berdana wê de di sala 2021-an de.
Derxistina modela ji bo daneyên bi etîketkirî (ango modelek ku bi fêrbûna çavdêrîkirî hatî perwerde kirin) nisbeten e baş-belgekirî qada lêkolînê. Di heman demê de parastina li hember jî hêsantir e, ji ber ku êrîşkar divê etîketan ji modela mexdûr werbigire da ku bike ji nû ve biafirîne.
Ji kaxezek berê, modelek êrîşa 'knockoff classifier' li dijî mîmariya fêrbûna çavdêrîkirî. Çavkanî: https://arxiv.org/pdf/1812.02766.pdf
Bêyî gihîştina qutiya spî, ev ne karekî hindik e, ji ber ku derketina tîpîk a ji daxwazek API-yê ji modelek wusa kêmtir agahdarî ji ya API-ya SSL-ya tîpîk dihewîne.
Ji kaxezê*:
"Xebata berê ya li ser derxistina modelê li ser mîhenga Fêrbûna Serpereştî (SL) ye, ku modela qurban bi gelemperî nîşanek an hilberên din ên kêm-alî vedigerîne. xalên bawerî or logits.
'Berevajî vê, şîfrekerên SSL-ê nûnertiyên pir-alî vedigerînin; ew de facto encam ji bo modelek ResNet-50 Sim-CLR, mîmariyek populer a di dîtinê de, vektorek 2048-alî ye.
'Em hîpotez dikin ku ev derçûna agahdariya pir zêde ya ji şîfrekeran wan li gorî modelên SL-ê ji êrişên derxistinê xeternaktir dike.'
Mîmarî û Daneyên
Lekolînwan sê nêzîkatiyên ji bo encamdana / derxistina modela SSL ceriband: Derxistina rasterast, ku tê de derketina API-yê bi hilberek şîfrekerek ji nû ve hatî çêkirin bi fonksiyonek windabûnê ya wekî Çewtiya Mean Squared (MSE) ve tê berhev kirin; nûavakirina serê projeksiyonê, li cihê ku fonksiyonek analîtîkî ya girîng a modelê, ku bi gelemperî berî veqetandinê tê avêtin, ji nû ve tê berhev kirin û di modelek replica de tê bikar anîn; û gihîştina serê projeksiyonê, ku tenê di rewşên ku pêşdebirên orîjînal mîmarî peyda kirine mimkun e.
Di rêbaza #1-ê de, Derxistina Rasterê de, hilberîna modela mexdûr bi hilberîna modelek herêmî re tê berhev kirin; rêbaza #2 ji nû ve afirandina serê projeksiyonê ku di mîmariya perwerdehiya orîjînal de tê bikar anîn (û bi gelemperî di modelek vekêşandî de tê de nayê girtin) vedihewîne.
Lekolînwanan dît ku Derxistina Rasterê rêbaza herî bi bandor bû ji bo bidestxistina kopiyek fonksiyonel a modela armancê, û feydeya lêzêdekirina wê ya herî dijwar e ku wekî 'êrîşek' were binav kirin (ji ber ku ew di bingeh de ji ya tîpîk û derbasdar hindik cûda tevdigere. bikarhênerê dawî).
Nivîskaran modelên qurbaniyê li ser sê daneyên wêneyan perwerde kirin: CIFAR10, IMAGEnet, û Hejmarên Xanî yên Stanford's Street View (SVHN). ImageNet li ser ResNet50 hate perwerde kirin, dema ku CIFAR10 û SVHN li ser ResNet18 û ResNet24 li ser pêkanîna PyTorch-ê ya ku bi serbestî peyda dibe hate perwerde kirin. SimCLR.
Performansa modela jêrîn (ango hatî bicîh kirin) li hember CIFAR100 hate ceribandin, STL10, SVHN, û Fashion-MNIST. Lekolînwanan di heman demê de bi rêbazên bêtir 'qutiya spî' yên vegirtina modelê ceriband, her çend xuya bû ku Derxistina Rasterê, nêzîkatiya herî kêm îmtiyaz, encamên çêtirîn derxist.
Ji bo nirxandina nûnertiyên ku di êrîşan de têne destnîşan kirin û têne dubare kirin, nivîskaran qatek pêşbîniya xêzikî li modelê zêde kirin, ku li ser koma perwerdehiya bi tam nîşankirî ya ji peywira paşerojê (jêrîn) ve hatî rêz kirin, digel ku tebeqeyên torê yên mayî cemidandibûn. . Bi vî rengî, rastbûna testê ya li ser qata pêşbîniyê dikare wekî metrîka performansê bixebite. Ji ber ku ew di pêvajoya encamdanê de tiştek nake, ev fonksiyona 'qutiya spî' temsîl nake.
Encamên li ser ceribandinên ceribandinê, ji hêla pîvana Nirxandina Rêzik (ne-tevkar) ve hatî çêkirin. Pûanên rastbûnê bi stûr têne hejmartin.
Li ser encaman, lêkolîner diyar dikin:
"Em dibînin ku armanca rasterast ya teqlîdkirina nûneratiyên mexdûr performansa bilind li ser peywirên jêrîn dide, tevî ku êrîşê tenê perçeyek (di hin rewşan de ji% 15 kêmtir) ji hejmara pirsên ku ji bo perwerdekirina şîfreya dizî di rêza yekem de hewce dike hewce dike. '
Û berdewam bike:
'[Ew] dijwar e ku meriv enkoderên ku bi SSL-ê hatine perwerde kirin biparêzin ji ber ku nûnerên derketinê gelek agahdarî diherikin. Parastinê yên herî hêvîdar, rêbazên reaktîf in, wek watermarking, ku dikarin zêdekirinên taybetî di şîfrekerên bi kapasîteya bilind de bicîh bikin.'
* Veguheztina min a navgînên navrû yên kaxezê bo hîpergirêdan.
Yekem car di 18-ê Gulana 2022-an de hate weşandin.
