Tekoälypohjaisten Mechanical Turkin luominen esikoulutetuilla kielen mallilla

Suuri osa koneoppimisjärjestelmien kehittämisestä riippuu datan merkinnästä, jossa satoja, jopa tuhansia kysymyksiä (kuten Onko tämä kuva kissasta? ja Onko tämä teksti loukkaava?) on ratkaistava voidakseen kehittää auktoritatiivisia tietokantoja, joille koneoppimisjärjestelmät koulutetaan.

Vaikka me kaikki osallistumme tähän prosessiin jossain vaiheessa, suurin osa näistä merkintätehtävistä suoritetaan rahalla ihmistyöntekijöiden toimesta kehyksissä kuten Amazon Mechanical Turk, jossa annotaattorit suorittavat pieniä luokittelutehtäviä palkkatyön taloudessa.

Mallin kehittäminen olisi halvempi, jos esikoulutetut kielen mallit (PLM) voisi itse suorittaa joitakin perustason Human Intelligence Tasks (HIT) -tehtäviä, jotka tällä hetkellä ovat crowdsourcattu AMT: ssä ja samankaltaisissa alustoissa.

Saksasta ja Huaweista oleva uusi tutkimus ehdottaa tätä artikkelissa LMTurk: Few-Shot Learners as Crowdsourcing Workers.

Kielen mallit, jotka suorittavat vähäinen oppimisen

Tekijät ehdottavat, että yksinkertaiset tehtävät, jotka on tarkoitettu (ihmisen) Turk-työntekijöille, ovat analogisia vähäisen oppimisen kanssa, jossa automaattinen kehys on pakotettu tekemään päätöksen minitehtävän perusteella, joka on annettu sille.

He ehdottavat siten, että koneoppimisjärjestelmät voivat oppia tehokkaasti olemassa olevista PLM: istä, jotka alun perin koulutettiin crowdsourcattujen työntekijöiden toimesta – että ihmisten ja koneiden välillä tapahtuva tietojen siirtäminen on jo tapahtunut, ja että sellaisilla tietojen osilla, jotka ovat suhteellisen muuttumattomia tai empiirisesti jollain tavoin, automaattiset kielen mallikehykset voivat mahdollisesti suorittaa nämä tehtävät itse.

‘Meidän perusideamme on, että NLP-tehtävän T osalta käsittelemme vähäisiä oppijoita epävirallisina työntekijöinä, jotka muistuttavat crowdsourcattuja työntekijöitä, jotka annotoivat resursseja ihmisen kielen teknologialle. Olemme inspiroitu siitä, että voimme kohdella crowdsourcattua työntekijää vähäisenä oppijana.’

Tulokset sisältävät mahdollisuuden, että monet tulevaisuuden koneoppimisjärjestelmien perustana olevat totuudet on johdettu ihmisistä useita vuosia aikaisemmin, ja että nämä ovat käsitelty ennakkovarmistettuina ja hyödynnettävinä tietoina, jotka eivät enää vaadi ihmisen väliintuloa.

Töitä keskitason, puolittain suorituskykyisille kielen malleille

Tutkijat ehdottavat, että “keskitason” PLM:ien käyttäminen “oikeasti” Mechanical Turkeina tarjoaa hyödyllistä työtä näille “myös meneville” järjestelmille, jotka ovat yhä enenevissä määrin jäämässä suurempien, huippuluokan ja kalliiden kielen mallien varjoon, kuten GPT-3, jotka ovat liian kalliita ja ylikokoonpanoituja tällaisiin tehtäviin.

‘Tämän tutkimuksen tavoitteena on kehittää menetelmiä, jotka tekevät nykyisistä vähäisistä oppijoista tehokkaampia. Tämä on tärkeää, koska yhä useammat valtavat vähäiset oppijat koulutetaan; miten niitä voidaan käyttää tehokkaasti on tärkeä kysymys. Erityisesti haluamme vaihtoehdon hankalasti käyttöön otettaville valtaville malleille.

‘Samaan aikaan haluamme hyödyntää PLM:ien vahvuuksia: Niiden monikäyttöisyys takaa laajan soveltamisen tehtäviin; niiden valtava tietovarasto kielen ja maailman tiedosta (joka on opittu esikoulutuksessa) ilmenee vähäisten oppijoiden datatehokkuudessa, vähentäen työtä ja ajan kulutusta datamerkinnässä.’

Tähän asti vähäiset oppijat NLP: ssä on kohdeltu käyttöönottokelpoisina välimuotoina korkean tason luonnollisen kielen järjestelmiin, jotka ovat paljon resursseja vaativampia, ja että tällaista työtä on tehty abstraktisesti ja ilman huomiota näiden järjestelmien mahdollista hyödyllisyyttä.

Menetelmä

Tekijät tarjoavat LMTurk (kielen malli Mechanical Turkkina), työnkulkussa, jossa syöte tätä automaattista HIT: ää antaa merkinnät keskitason NLP-mallille.

LMTurkin peruskäsitteellinen malli. Lähde: https://arxiv.org/pdf/2112.07522.pdf

Tämä ensimmäinen iterointi perustuu vähäisiin ihmisen merkittyihin ‘kultaisiin’ tietoihin, joissa liha-Turkit ovat merkinneet merkinnät rajoitettuun määrään tehtäviä, ja merkinnät on arvioitu hyvin, joko suoran ihmisen valvonnan kautta tai konsensuksenvälityksellä. Tämän skeeman seuraus on, että tästä ihmisten perustamasta lähtökohtaa mahdolliset haarukat tai kehityssuunnat eivät välttämättä vaadi lisää ihmisen syöttämää tietoa tulevaisuudessa.

Vaikka tekijät ehdottavat myös myöhempiä hybridimalleja (joissa ihmisen syöttämä tieto on läsnä, mutta suuresti vähennetty), he eivät tutkimuksensa tarkoituksessa asettanut LMTurk-malleja vastakkain ihmisten tuottamien HIT-työntekijöiden vastaavien tulosten kanssa, koska kultaiset merkinnät itse ovat “ihmisen syöttämää tietoa”.

PLM, joka on suunniteltu suorittamaan Turk-toimintoja, on sovellettu tehtävään P-Tuning -menetelmällä, jota Kiinan tutkijat julkaisivat vuonna 2021, ja joka ehdotti koulutettavia jatkuvia prompt- upotusten parantamaan GPT-3-tyyppisten mallien suorituskykyä luonnollisen kielen ymmärtämisessä (NLU) -tehtävissä.

P-Tuning pyrkii syventämään GPT-tyyppisen mallin ennustusvoimaa ja kielen konseptuaalista ymmärtämistä sisällyttämällä upotettuja pseudo-promptteja. Lähde: https://arxiv.org/pdf/2103.10385.pdf

Data ja arkkitehtuuri

LMTurkia arvioitiin viidellä tietokannalla: kahdella Stanfordin mielipidetutkimuksen puusta; AG:n uutiskokoelmasta; Tekstuaalisen johtamisen tunnistamisesta (RTE); ja Kielitieteellisen hyväksyttävyyden kokoelmasta (CoLA).

Sen suuremmassa mallissa LMTurk käyttää julkisesti saatavilla olevaa PLM:ää ALBERT-XXLarge-v2 (AXLV2) lähtömallina muuntamiseksi automaattiseksi Turkkina. Malli sisältää 223 miljoonaa parametria (verrattuna 175 miljardiin parametriin GPT-3: ssa). AXLV2, jonka tutkijat huomauttavat, on osoittautunut pystyväksi ylittämään suuremmat mittakaavaiset mallit, kuten 334M BERT-Large.

Agilempiin, kevyempiin ja reunassa käyttöön otettaviin malleihin projekti käyttää TinyBERT-General-4L-312D: ä (TBG), joka sisältää 14,5 miljoonaa parametria, jonka suorituskyky on verrattavissa BERT-perusversioon (jossa on 110 miljoonaa parametria).

Prompt-koulutus tapahtui PyTorchilla ja HuggingFacella AXLV2: lle 100 erän askelissa eräkokoelmassa 13, oppimisnopeudella 5e-4, lineaarisella pienenemisellä. Jokainen koe aloitettiin kolmella eri satunnaisella siemenellä.

Tulokset

LMTurk-projekti ajaa monia malleja niin monia eri NLP:n alatehtäviä vastaan, että tutkijoiden kokeiden monimutkaiset tulokset eivät ole helppoja yhteenvedon muodossa esittää LMTurkin itsenäisenä lähestymistapana historiallisten, ihmisen alkuperäisten vähäisten oppimisen tilanteiden uudelleenkäytölle.

Kuitenkin arviointitarkoituksessa tekijät vertaavat menetelmäänsä kahteen aiempaan tutkimukseen: Cloze-kysymysten hyödyntäminen vähäisen tekstiluokittelun ja luonnollisen kielen johtamisen tutkimisessa Saksan tutkijoiden Timo Schickin ja Hinrich Schützen toimesta; ja tulokset Prompt-Based Auto -tutkimuksesta, joka on esitetty Tekoälypohjaisten kielen mallien tekeminen paremmaksi vähäisiksi oppijoiksi Gao, Chen ja Fisch (vastavuoroisesti Princetonista ja MIT: stä).

LMTurk-kokeiden tulokset, joissa tutkijat ilmoittavat ‘vertailukelpoisen’ suorituskyvyn.

Lyhykäisyyden vuoksi LMTurk tarjoaa suhteellisen lupaavan tutkimussuunnan tutkijoille, jotka etsivät tapaa upottaa ja vakiinnuttaa kultaiset merkinnät kehittyviin, keskitason monimutkaisuuden kielen malleihin, joissa automaattiset järjestelmät korvaavat ihmisen syötteen.

Kuten aiemmassa työssä tässä alalla, keskeinen käsite perustuu alkuperäisen ihmisen datan muuttumattomuuteen ja oletukseen, että aikamuuttujat – jotka voivat edustaa merkittäviä esteitä NLP:n kehitykselle – eivät vaadi lisää ihmisen väliintuloa, kunnes konevainainen sukupuu kehittyy. Alun perin julkaistu 30. joulukuuta 2022