Opprette kunstige mekaniske tyrkere med forhånds trenede språkmodeller

En stor del av utviklingen av maskinlæringsystemer avhenger av merking av data, hvor hundredvis, ja til og med tusenvis av spørsmål (slik som Er dette et bilde av en katt? og Er denne teksten offensiv?) må avgjøres for å utvikle autoritative datasett som AI-systemer vil bli trenet på.

Selv om vi alle bidrar til denne prosessen på et eller annet tidspunkt, utføres de fleste av disse merkingsoppgavene for penger av menneskelige arbeidere i rammer som Amazon Mechanical Turk, hvor annotatorer fullfører mindre klassifiseringsoppgaver i en stykkverksøkonomi.

Modellutviklingen ville være billigere hvis forhånds trenede språkmodeller (PLM-er) kunne selv utføre noen av de mer grunnleggende menneskelige intelligensoppgavene (HIT-er) som for tiden blir crowdsourcet på AMT og lignende plattformer.

Ny forskning fra Tyskland og Huawei foreslår dette, i artikkelen LMTurk: Few-Shot Learners som crowdsourcing-arbeidere.

Språkmodeller som utfører few-shot læring

Forfatterne foreslår at de enklere lagene av oppgaver som vanligvis rettes mot (menneskelige) tyrker-arbeidere, er analoge med few-shot læring, hvor et automatisert rammeverk må avgjøre en minioppgave basert på et lite antall eksempler gitt til det.

De foreslår derfor at AI-systemer kan lære effektivt fra eksisterende PLM-er som opprinnelig ble trenet av crowdworkers – at den grunnleggende kunnskapen som er overført fra mennesker til maskiner, har vært fullført allerede, og at der hvor slik kunnskap er relativt uforanderlig eller empirisk på en eller annen måte, kan automatiserte språkmodell-rammeverk potensielt utføre disse oppgavene selv.

‘Vår grundleggende idé er at, for en NLP-oppgave T, behandler vi few-shot-lærere som ikke-ekspertarbeidere, lignende crowdsourcing-arbeidere som annoterer ressurser for menneskespråkteknologi. Vi er inspirert av det faktum at vi kan se på en crowdsourcing-arbeider som en type few-shot-lærer.’

Konsekvensene inkluderer muligheten for at mange av de grunnleggende sannheter som fremtidens AI-systemer avhenger av, vil ha blitt avledet fra mennesker for noen år siden, og deretter behandlet som forhåndsvaliderert og utnyttbar informasjon som ikke lenger krever menneskelig inngripen.

Jobber for mid-range, semi-performante språkmodeller

Foruten motivasjonen til å kutte kostnadene ved mennesker-i-løkken, foreslår forskerne at bruk av ‘mid-range’ PLM-er som sannt mekaniske tyrkere, gir nyttig arbeid for disse ‘også-ran’-systemene, som stadig blir overskygget av overskrift-gripande, hyperskala og dyre språkmodeller som GPT-3, som er for dyre og over-spekket for slike oppgaver.

‘Vårt mål i denne artikkelen er å utvikle metoder som gjør mer effektivt bruk av nåværende few-shot-lærere. Dette er viktig fordi et økende antall gigantiske few-shot-lærere blir trenet; hvordan man bruker dem effektivt er derfor et viktig spørsmål. Spesielt ønsker vi en alternativ løsning til vanskelige å deploye store modeller.

‘Samtidig ønsker vi å ta fullt utgangspunkt av PLM-ernes styrker: Deres fleksibilitet sikrer bred anvendelighet over oppgaver; deres enorme lager av kunnskap om språk og verden (lært i forhåndstrenning) manifesterer seg i dataeffektiviteten til few-shot-lærere, reduserer arbeid og tidforbruk i dataannotering.’

Hittil har few-shot-lærere i NLP blitt behandlet som midlertidige stadier på veien til høy-nivå naturlige språk-systemer som er mye mer ressurs-intensive, og at slike arbeid har blitt utført abstrakt og uten hensyn til den mulige nytten av disse systemene.

Metode

Forfatterne tilbyr LMTurk (språkmodell som mekanisk tyrk), i en arbeidsflyt hvor inndata fra denne automatiserte HIT gir merker for en mid-nivå NLP-modell.

En grundleggende konseptmodell for LMTurk. Kilde: https://arxiv.org/pdf/2112.07522.pdf

Denne første iterasjonen avhenger av few-shot menneske-merkede ‘gull’-data, hvor kjøtt-tyrkere har annotert merker for en begrenset mengde oppgaver, og merkene har blitt poengsatt godt, enten via direkte menneskelig tilsyn eller gjennom konsensus-avstemning. Implikasjonen for dette skjemaet er at grener eller utviklinger fra dette menneske-baserte utgangspunktet kanskje ikke trenger ytterligere menneskelig inngripen ned veien.

Selv om forfatterne foreslår videre eksperimenter med senere hybrid-modeller (hvor menneskelig inngripen vil være til stede, men sterkt redusert), gjorde de det ikke, for formålet med deres forskning, å pit LMTurk-modeller mot ekvivalente resultater fra menneske-genererte HIT-arbeidere, med tanke på at de gull-merkede dataene i seg selv er ‘menneskelig inngripen’.

PLM-en som er designet for å utføre tyrk-operasjoner, ble tilpasset for oppgaven ved P-Tuning, en metode publisert av forskere fra Kina i 2021, som foreslo trenbare kontinuerlige prompt-embeddings for å forbedre ytelsen til GPT-3-liknende modeller på naturlige språkforståelsesoppgaver (NLU).

P-Tuning forsøker å dykke GPT-liknende modellers prediktive kraft, og deres fremtoning av konseptuell forståelse av språk, ved å inkorporere innebygde pseudo-prompts. I dette tilfelle er start-spørsmålet ‘Hovedstaden i Storbritannia er en [x]'”. Kilde: https://arxiv.org/pdf/2103.10385.pdf

Data og arkitektur

LMTurk ble evaluert på fem datasett: to fra Stanford Sentiment Treebank; AGs News Corpus; Gjenkjenning av tekstlig implikasjon (RTE); og Korpus av lingvistisk akseptabilitet (CoLA).

For sin større modell, bruker LMTurk den offentlig tilgjengelige PLM-en ALBERT-XXLarge-v2 (AXLV2) som kilde-modell for konvertering til en automatisert tyrk. Modellen har 223 millioner parametre (i motsetning til 175 milliarder parametre i GPT-3). AXLV2, observerer forfatterne, har vist seg å være i stand til å overgå høyere skala-modeller som 334M BERT-Large.

For en mer agil, lettvekt og kant-utplasserbar modell, bruker prosjektet TinyBERT-General-4L-312D (TBG), som har 14,5 millioner parametre med ytelse som er sammenlignbar med BERT-base (som har 110 millioner parametre).

Prompt-aktivert trening skjedde på PyTorch og HuggingFace for AXLV2 over 100 batch-steg med en batch-størrelse på 13, med en læringsrate på 5e-4, ved å bruke lineær nedgang. Hver eksperiment ble startet med tre forskjellige tilfeldige frø.

Resultater

LMTurk-prosjektet kjører diverse modeller mot så mange spesifikke undersektorer av NLP at de komplekse resultater av forskernes eksperimenter, er ikke lette å redusere ned til empirisk bevis på at LMTurk tilbyr i seg selv en livskraftig tilnærming til gjenbruk av historiske, menneske-oppståtte few-shot-læring-scenarier.

Likevel, for evalueringens skyld, sammenligner forfatterne sin metode med to tidligere arbeider: Utnytting av lukkede spørsmål for few-shot tekstklassifisering og naturlig språkinferens av tyske forskere Timo Schick og Hinrich Schutze; og resultater fra Prompt-Based Auto, presentert i Gjør forhånds-trente språkmodeller bedre few-shot-lærere av Gao, Chen og Fisch (henholdsvis fra Princeton og MIT).

Resultater fra LMTurk-eksperimentene, med forskerne som rapporterer ‘sammenlignbar’ ytelse.

Kort sagt, LMTurk tilbyr en relativt lovende linje for forskere som søker å innlemme og innfri gull-merkede menneske-oppståtte data i utviklende, midt-kompleksitetsspråkmodeller hvor automatiserte systemer står i for menneskelig inngripen.

Som med den relativt lille mengden tidligere arbeid i dette feltet, avhenger den sentrale konseptet på uforanderligheten av de opprinnelige menneskelige data, og antagelsen at tidsfaktorer – som kan representere betydelige hindringer for NLP-utvikling – ikke vil kreve ytterligere menneskelig inngripen når maskin-ættelinjen utvikler seg.

Opprinnelig publisert 30. desember 2022