Riċerkaturi Skopri Subnetworks Effiċjenti Għoli Fi ħdan Netwerks Newrali ta' Tagħlim Profond

In-netwerks newrali ta' tagħlim fil-fond huma ħafna drabi massivi u jeħtieġu ammonti kbar ta' qawwa tal-kompjuters, iżda skoperta ġdida turi kif dan jista' jitnaqqas biex jitlesta l-kompiti b'mod aktar effiċjenti. Jonathan Frankle u t-tim tiegħu barra mill-MIT ħarġu bl-"ipoteżi tal-biljetti tal-lotterija", li turi kif hemm subnetworks aktar sempliċi fi ħdan in-netwerks newrali akbar. Dawn is-subnetworks jistgħu jlestu l-kompitu f'idejhom b'mod aktar effiċjenti b'inqas qawwa tal-kompjuter meħtieġa, b'waħda mill-akbar sfidi tkun li jinstabu dawk is-subnetworks, jew ir-rebħ tal-biljetti tal-lotterija kif jirreferi għalihom it-tim.

It-tim skopra dawn is-subnetworks fi ħdan BERT, it-teknika ta’ tagħlim tal-magni tal-ogħla livell għall-ipproċessar tal-lingwa naturali (NLP). NLP, li huwa subqasam ta 'intelliġenza artifiċjali (AI), huwa responsabbli għad-deċifrar u l-analiżi tal-lingwa umana, u huwa użat għal applikazzjonijiet bħall-ġenerazzjoni ta' test ta 'tbassir u chatbots.

Madankollu, BERT hija kbira u teħtieġ qawwa tas-supercomputing, li hija inaċċessibbli għall-biċċa l-kbira tal-utenti. Bl-iskoperta l-ġdida ta 'dawn is-subnetworks, jista' jiftaħ dak l-aċċess, u jippermetti aktar utenti li jutilizzaw it-teknoloġija biex jiżviluppaw għodod NLP.

"Qed nilħqu l-punt fejn ser ikollna nagħmlu dawn il-mudelli aktar sempliċi u effiċjenti," jgħid Frankle.

Skond hu, dan l-iżvilupp jista '"jnaqqas il-barrieri tad-dħul" għall-NLP.

BERT - "Oxxenament għaljin"  

BERT huwa fundamentali għal affarijiet bħall-magna tat-tiftix ta 'Google u rċeviet ħafna attenzjoni minn meta Google ħarġetha fl-2018. Huwa metodu għall-ħolqien ta' netwerks newrali u huwa mħarreġ billi jipprova ħafna drabi biex jimla l-passaġġ vojt ta 'biċċiet tal-kitba. Waħda mill-aktar karatteristiċi impressjonanti tal-BERT hija s-sett tad-dejta tat-taħriġ inizjali massiv tiegħu.

Imbagħad jista 'jiġi rranġat mill-utenti għal kompiti speċifiċi, bħal chatbots tas-servizz tal-klijent, iżda għal darb'oħra, Jeħtieġ ammonti massivi ta' qawwa tal-ipproċessar, bil-possibbiltà li l-parametri jilħqu 1 biljun.

"Mudell standard BERT f'dawn il-jiem - il-varjetà tal-ġnien - għandu 340 miljun parametru," jgħid Frankle. “Dan huwa biss oxxenament għali. Dan huwa ferm lil hinn mill-kapaċità tal-kompjuter tiegħek jew jien.”

Skont l-awtur ewlieni Tianlong Chen mill-Università ta’ Texas f’Austin, mudelli bħal BERT “ibatu minn daqs enormi tan-netwerk,” iżda grazzi għar-riċerka l-ġdida, “l-ipoteżi tal-biljetti tal-lotterija tidher li hija soluzzjoni.”

Subnetworks Effiċjenti 

Chen u t-tim fittxew mudell iżgħar li jinsab fi ħdan BERT, u qabblu l-prestazzjonijiet tas-subnetworks skoperti mal-mudell oriġinali tal-BERT. Dan ġie ttestjat fuq varjetà ta 'kompiti NLP differenti, inkluż li jwieġeb mistoqsijiet u jimla kliem vojt f'sentenza.

It-tim skopra subnetworks ta 'suċċess li kienu impressjonanti 40 sa 90 fil-mija irqaq mill-mudell oriġinali BERT, bil-persentaġġ attwali jiddependi fuq il-kompitu. Barra minn hekk, jistgħu jidentifikawhom qabel l-irfinar speċifiku għall-kompitu, li jirriżulta fi spejjeż tal-kompjuters saħansitra aktar imnaqqsa. Vantaġġ ieħor kien li xi wħud mis-subnetworks magħżula għal kompitu speċifiku setgħu mbagħad jerġgħu jintużaw għal ieħor.

"Kont ixxukkjat li dan saħansitra ħadem," jgħid Frankle. “Mhix xi ħaġa li ħadt bħala fatt. Kont qed nistenna riżultat ħafna iktar iebsa milli ksibna.”

Skont Ari Morcos, xjenzat f'Facebook AI Research, din l-iskoperta hija "konvinċenti," u "Dawn il-mudelli qed isiru dejjem aktar mifruxa. Għalhekk huwa importanti li tifhem jekk l-ipoteżi tal-biljett tal-lotterija tgħoddx.”

Morcos jgħid ukoll li jekk dawn is-subnetworks jistgħu jaħdmu bl-użu ta’ qawwa tal-kompjuter drastikament inqas, allura dan ikun “tkun ta’ impatt kbir peress li dawn il-mudelli estremament kbar bħalissa jiswew ħafna flus biex jitħaddmu.”

"Ma nafx kemm nistgħu mmorru nużaw dawn il-komputazzjonijiet ta 'stil ta' superkompjuter," iżid Frankle. "Se jkollna nnaqqsu l-ostaklu għad-dħul."

"It-tama hija li dan inaqqas l-ispiża, li dan jagħmilha aktar aċċessibbli għal kulħadd ... għall-ġuvini żgħar li għandhom biss laptop," huwa jikkonkludi.

Ir-riċerka hija stabbilita biex tiġi ppreżentata fil- Konferenza dwar is-Sistemi ta 'l-Ipproċessar ta' Informazzjoni Newrali.