Il-ħolqien ta' Torok mekkaniċi artifiċjali b'mudelli ta' lingwi mħarrġa minn qabel

Parti kbira mill-iżvilupp ta’ sistemi ta’ tagħlim bil-magni tiddependi fuq it-tikkettjar tad-dejta, fejn mijiet, anke eluf ta’ mistoqsijiet (bħal Din hija stampa ta' qattus? u, Dan it-test huwa offensiv?) għandhom jiġu solvuti sabiex jiġu żviluppati settijiet ta' dejta awtorevoli li fuqhom se jiġu mħarrġa s-sistemi tal-IA.

Għalkemm ilkoll nikkontribwixxu għal dan il-proċess f'xi punt, il-maġġoranza ta 'dawn il-kompiti tat-tikkettar huma mwettqa għall-flus minn ħaddiema umani f'oqfsa bħal Amazon Mechanical Turk, fejn l-annotaturi jlestu ħidmiet minuri ta' klassifikazzjoni f'a ekonomija bil-biċċa.

L-iżvilupp tal-mudelli jkun irħas jekk mudelli tal-lingwa mħarrġa minn qabel (PLMs) jistgħu fihom infushom iwettqu xi wħud mill-Kompiti tal-Intelliġenza Umana (HITs) l-aktar bażiċi li bħalissa qed jiġu akkwistati mill-grupp fl-AMT u pjattaformi simili.

Riċerka reċenti mill-Ġermanja u Huawei tipproponi dan, fil- karta LMTurk: Few-Shot Learners bħala Ħaddiema tal-Crowdsourcing.

Mudelli Lingwistiċi li Jwettqu Tagħlim ta' Ftit Tir

L-awturi jissuġġerixxu li l-istati aktar sempliċi ta’ kompiti tipikament immirati lejn ħaddiema Torok (umani) huma analogi għal tagħlim ta 'ftit sparar, fejn qafas awtomatizzat irid jiddeċiedi mini-kompitu bbażat fuq numru żgħir ta 'eżempji mogħtija lilu.

Għalhekk jipproponu li s-sistemi AI jistgħu jitgħallmu b'mod effettiv minn PLMs eżistenti li oriġinarjament kienu mħarrġa minn crowdworkers - li l-għarfien ewlieni mogħti min-nies lill-magni diġà ntlaħaq b'mod effettiv, u li fejn tali għarfien huwa relattivament immutabbli jew empiriku b'xi mod, lingwa awtomatizzata. oqfsa mudell jistgħu potenzjalment iwettqu dawn il-kompiti fihom infushom.

'L-idea bażika tagħna hija li, għal kompitu T tal-NLP, nittrattaw studenti li għadhom ma qatgħux bħala ħaddiema mhux esperti, li jixbħu ħaddiema tal-crowdsourcing li jinnotaw riżorsi għat-teknoloġija tal-lingwa umana. Aħna ispirati mill-fatt li nistgħu nqisu ħaddiem tal-crowdsourcing bħala tip ta' ftit-shot li qed jitgħallem.'

L-implikazzjonijiet jinkludu l-possibbiltà li ħafna mill-veritajiet bażiċi li s-sistemi tal-IA tal-futur jiddependu minnhom ikunu ġew derivati ​​mill-bnedmin pjuttost ftit snin qabel, wara ttrattati bħala informazzjoni prevalidata u sfruttabbli li ma teħtieġx aktar intervent uman.

Impjiegi għal Mudelli tal-Lingwa ta' Mid-Range, Semi-prestazzjoni

Minbarra l-motivazzjoni biex titnaqqas l-ispiża tal-bnedmin-in-the-loop, ir-riċerkaturi jissuġġerixxu li l-użu ta' PLMs 'ta' medda medja' bħala tassew Mechanical Turks jipprovdi xogħol utli għal dawn is-sistemi 'also run', li qed jiġu mittiefsa dejjem aktar minn mudelli tal-lingwa li jiġbdu l-titoli, ta' skala eċċessiva u għaljin bħal GPT-3, li huma għaljin wisq u speċifikati żżejjed għal kompiti bħal dawn.

'L-għan tagħna f'dan id-dokument huwa li nfasslu metodi li jagħmlu użu aktar effettiv mill-istudenti attwali li għadhom ma' ftit shots. Dan huwa kruċjali għaliex numru dejjem jikber ta’ studenti ġiganteski ta’ ftit shots huma mħarrġa; kif tużahom b'mod effettiv hija għalhekk mistoqsija importanti. B'mod partikolari, irridu alternattiva għal mudelli enormi diffiċli biex jintużaw.

“Fl-istess ħin, irridu nieħdu vantaġġ sħiħ mis-saħħiet tal-PLMs: Il-versatilità tagħhom tiżgura applikabilità wiesgħa bejn il-kompiti; il-ħażna vasta tagħhom ta' għarfien dwar il-lingwa u d-dinja (mgħallma fit-taħriġ minn qabel) jimmanifesta fl-effiċjenza tad-dejta ta' studenti li għadhom kemm jitgħallmu, u jnaqqas il-konsum tax-xogħol u tal-ħin fl-annotazzjoni tad-dejta.'

Sal-lum, jargumentaw l-awturi, studenti ta’ ftit sparatura fl-NLP ġew ittrattati bħala stadji interstizjali li jintremew fit-triq lejn sistemi ta’ lingwa naturali ta’ livell għoli li huma ferm aktar intensivi fir-riżorsi, u li xogħol bħal dan sar b’mod astratt u mingħajr konsiderazzjoni għall- utilità possibbli ta’ dawn is-sistemi.

Metodu

L-offerta tal-awturi LMTurk (Mudell tal-Lingwa bħala Tork mekkaniku), fi fluss tax-xogħol fejn l-input minn dan il-HIT awtomatizzat jipprovdi tikketti għal mudell NLP ta 'livell medju.

Mudell ta’ kunċett bażiku għal LMTurk. Sors: https://arxiv.org/pdf/2112.07522.pdf

Din l-ewwel iterazzjoni tiddependi fuq dejta tad-'deheb' b'tikketti umani ftit shots, fejn it-Torok tal-oġġetti tal-laħam annotaw tikketti għal numru limitat ta' kompiti, u t-tikketti ġew klassifikati tajjeb, jew permezz ta' sorveljanza diretta mill-bniedem jew permezz ta' votazzjoni ta' kunsens. L-implikazzjoni għal din l-iskema hija li l-frieket jew l-iżviluppi minn dan il-punt tat-tluq imsejjes fuq il-bniedem jistgħu ma jkollhomx bżonn input uman addizzjonali fit-triq.

Għalkemm l-awturi jissuġġerixxu aktar esperimenti b'mudelli ibridi aktar tard (fejn l-input uman ikun preżenti, iżda mnaqqas ħafna), ma għamlux, għall-finijiet tar-riċerka tagħhom, mudelli LMTurk kontra riżultati ekwivalenti minn ħaddiema HIT iġġenerati mill-bniedem, meta wieħed iqis li l- data bit-tikketta tad-deheb hija stess 'input uman'.

Il-PLM iddisinjat biex iwettaq operazzjonijiet Turk kien adattat għall-kompitu minn P-Tuning, metodu ppubblikat minn riċerkaturi miċ-Ċina fl-2021, li ppropona kontinwament trainable inkorporazzjonijiet fil-pront biex ittejjeb il-prestazzjoni ta' mudelli ta' stil GPT-3 fuq kompiti ta' Fehim tal-Lingwa Naturali (NLU).

P-Tuning jipprova japprofondixxi s-setgħa ta 'tbassir ta' mudell ta 'stil GPT, u d-dehra tiegħu ta' fehim kunċettwali tal-lingwa, billi jinkorpora psewdo-prompts inkorporati. F'dan il-każ, il-mistoqsija tal-bidu hija 'Il-kapital tal-Gran Brittanja hija [x]'.  Sors: https://arxiv.org/pdf/2103.10385.pdf

Data u Arkitettura

LMTurk ġie evalwat fuq ħames datasets: tnejn mill- Stanford Sentiment Treebank; AG's News Corpus; Nagħrfu l-Involviment Testwali (RTE); u Corpus ta' Aċċettabbiltà Lingwistika (CoLA).

Għall-mudell akbar tiegħu, LMTurk juża l-PLMs disponibbli pubblikament ALBERT-XXLarge-v2 (AXLV2) bħala l-mudell tas-sors għall-konverżjoni f'Tork awtomatizzat. Il-mudell fih 223 miljun parametru (kuntrarju għall- 175 biljun parametri f'GPT-3). AXLV2, josservaw l-awturi, wera lilu nnifsu kapaċi li jegħleb mudelli fuq skala ogħla bħal 334M BERT-Kbir.

Għal mudell aktar b'aġilità, ħfief u skjerati fit-tarf, il-proġett juża TinyBERT-General-4L-312D (TBG), li fiha 14.5 miljun parametru b'rendiment komparabbli mal-bażi BERT (li għandha 110 miljun parametru).

Sar taħriġ fil-pront fuq PyTorch u HuggingFace għal AXLV2 fuq 100 pass tal-lott f'daqs ta 'lott ta' 13, fuq rata ta 'tagħlim ta' 5e-4, bl-użu ta 'decay lineari. Kull esperiment kien oriġinat bi tliet żrieragħ każwali differenti.

Riżultati

Il-proġett LMTurk imexxi mudelli diversi kontra tant sottosetturi speċifiċi tal-NLP li r-riżultati kumplessi tal-esperimenti tar-riċerkaturi mhumiex faċli biex jitnaqqsu għal evidenza empirika li LMTurk joffri fih innifsu approċċ vijabbli għall-użu mill-ġdid ta’ storiċi, umani- oriġinaw xenarji ta’ tagħlim ta’ ftit shot stil HIT.

Madankollu, għal skopijiet ta’ evalwazzjoni, l-awturi jqabblu l-metodu tagħhom ma’ żewġ xogħlijiet preċedenti: Sfruttament ta' Mistoqsijiet Cloze għal Klassifikazzjoni ta' Test ta' Ftit Shot u Inferenza tal-Lingwa Naturali mir-riċerkaturi Ġermaniżi Timo Schick u Hinrich Schutze; u jirriżulta minn Auto Ibbażat fuq il-Pront, dehru fi Nagħmlu Mudelli tal-Lingwa mħarrġa minn qabel Aħjar Studenti ta' ftit sparatura minn Gao, Chen u Fisch (rispettivament minn Princeton u MIT).

Riżultati mill-esperimenti LMTurk, bir-riċerkaturi jirrappurtaw prestazzjoni "komparabbli".

Fil-qosor, LMTurk joffri linja ta 'inkjesta relattivament promettenti għar-riċerkaturi li jfittxu li jintegraw u jħaddnu data oriġinata mill-bniedem bit-tikketta tad-deheb f'mudelli lingwistiċi ta' kumplessità medja li jevolvu fejn is-sistemi awtomatizzati jieħdu post l-input uman.

Bħal fil-każ tal-ammont relattivament żgħir ta’ xogħol preċedenti f’dan il-qasam, il-kunċett ċentrali jiddependi fuq l-immutabilità tad-dejta umana oriġinali, u l-preżunzjoni li fatturi temporali – li jistgħu jirrappreżentaw ostakli sinifikanti għall-iżvilupp tal-NLP – mhux se jeħtieġu aktar intervent uman peress li l- in-nisel tal-magni biss jevolvi.

Oriġinarjament ippubblikat fit-30 ta' Diċembru 2022