Kunstmatige Mechanische Turken Maken Met Pregetrainde Taalmodellen

Een groot deel van de ontwikkeling van machine learning-systemen is afhankelijk van het labelen van gegevens, waarbij honderden, zelfs duizenden vragen (zoals Is dit een afbeelding van een kat? en Is deze tekst aanstootgevend?) moeten worden beantwoord om gezaghebbende datasets te ontwikkelen waarop AI-systemen getraind zullen worden.

Hoewel we allemaal bijdragen aan dit proces op een bepaald moment, worden de meeste van deze labeltaken uitgevoerd voor geld door menselijke werknemers in kaders zoals Amazon Mechanical Turk, waar annotators kleine classificatietaken uitvoeren in een stukloon-economie.

Modelontwikkeling zou goedkoper zijn als pregetrainde taalmodellen (PLM’s) zelf enkele van de meer basale Human Intelligence Tasks (HIT’s) konden uitvoeren die momenteel worden uitbesteed aan AMT en soortgelijke platforms.

Recent onderzoek van Duitsland en Huawei stelt dit voor, in de paper LMTurk: Few-Shot Learners as Crowdsourcing Workers.

Taalmodellen die Few-Shot Learning Uitvoeren

De auteurs suggereren dat de eenvoudigere taken die typisch op (menselijke) Turk-werkers zijn gericht, analoog zijn aan few-shot learning, waarbij een geautomatiseerd kader een mini-taak moet beslissen op basis van een klein aantal voorbeelden dat het krijgt.

Zij stellen daarom voor dat AI-systemen effectief kunnen leren van bestaande PLM’s die oorspronkelijk zijn getraind door crowdworkers – dat de kernkennis die van mensen naar machines is overgedragen, effectief al is voltooid, en dat waar deze kennis relatief onveranderlijk of empirisch is, geautomatiseerde taalmodelkaders deze taken potentieel zelf kunnen uitvoeren.

‘Ons basisidee is dat, voor een NLP-taak T, we few-shot learners behandelen als niet-expertwerknemers, die lijken op crowdworkers die resources annoteren voor menselijke taaltechnologie. We worden geïnspireerd door het feit dat we een crowdworker kunnen zien als een soort few-shot learner.’

De implicaties omvatten de mogelijkheid dat veel van de grondwaarheden waarop toekomstige AI-systemen afhankelijk zijn, zijn afgeleid van mensen die al enkele jaren eerder zijn behandeld, en vervolgens zijn behandeld als vooraf gevalideerde en exploiteerbare informatie die geen verdere menselijke interventie meer nodig heeft.

Banen voor Mid-Range, Semi-Performante Taalmodellen

Naast de motivatie om de kosten van menselijke interventie te verminderen, suggereren de onderzoekers dat het gebruik van ‘mid-range’ PLM’s als echte Mechanische Turken nuttig werk biedt voor deze ‘ook-ran’ systemen, die steeds meer worden overschaduwd door kopstukken, hyperschaal- en dure taalmodellen zoals GPT-3, die te duur en overgespecificeerd zijn voor dergelijke taken.

‘Ons doel in dit artikel is om methoden te ontwikkelen die een effectievere gebruik maken van huidige few-shot learners. Dit is cruciaal omdat een toenemend aantal reusachtige few-shot learners wordt getraind; hoe ze effectief te gebruiken is dus een belangrijke vraag. In het bijzonder willen we een alternatief voor moeilijk in te zetten grote modellen.

‘Tegelijkertijd willen we volledig gebruik maken van de sterke punten van de PLM’s: Hun veelzijdigheid zorgt voor brede toepasbaarheid bij taken; hun enorme kennis over taal en de wereld (verworven tijdens de voortraining) manifesteert zich in de gegevensefficiëntie van few-shot learners, waardoor de arbeid en de tijd die nodig is voor gegevensannotatie, worden verminderd.’

Tot nu toe, betogen de auteurs, zijn few-shot learners in NLP behandeld als wegwerpartikelen in de richting van hoogwaardige natuurlijke taalsystemen die veel meer resourcesintensief zijn, en dat een dergelijk werk abstract is uitgevoerd en zonder overweging voor het mogelijke nut van deze systemen.

Methode

De auteurs bieden LMTurk (Taalmodel als mechanische Turk) aan, in een workflow waarin invoer van deze geautomatiseerde HIT labels levert voor een mid-niveau NLP-model.

Een basisconceptmodel voor LMTurk. Bron: https://arxiv.org/pdf/2112.07522.pdf

Deze eerste iteratie is afhankelijk van few-shot human-gelabelde ‘goud’ gegevens, waarbij vleesware Turken labels hebben geannoteerd voor een beperkt aantal taken, en de labels goed zijn beoordeeld, hetzij via directe menselijke toezicht of via consensusstemming. De implicatie voor dit schema is dat forks of ontwikkelingen vanuit dit door de mens gestarte startpunt mogelijk geen verdere menselijke invoer nodig hebben.

Hoewel de auteurs voorstellen om verder te experimenteren met latere hybride modellen (waarbij menselijke invoer aanwezig zou zijn, maar sterk verminderd), hebben ze, voor de doeleinden van hun onderzoek, LMTurk-modellen niet tegenovergelijkbaar gemaakt met equivalent resultaten van door de mens gegenereerde HIT-werkers, aangezien de goud-geannoteerde gegevens zelf ‘menselijke invoer’ zijn.

De PLM die is ontworpen om Turk-operaties uit te voeren, is aangepast voor de taak door P-Tuning, een methode die is gepubliceerd door onderzoekers uit China in 2021, die trainable continue prompt embeddings heeft voorgesteld om de prestaties van GPT-3-achtige modellen op Natural Language Understanding (NLU)-taken te verbeteren.

P-Tuning probeert de voorspellende kracht van een GPT-achtig model te vergroten en de verschijning van conceptueel begrip van taal, door ingebedde pseudo-prompts te incorporeren. In dit geval is de startquery ‘De hoofdstad van Groot-Brittannië is een [x]’. Bron: https://arxiv.org/pdf/2103.10385.pdf

Gegevens en Architectuur

LMTurk werd geëvalueerd op vijf datasets: twee van de Stanford Sentiment Treebank; AG’s News Corpus; Recognizing Textual Entailment (RTE); en Corpus of Linguistic Acceptability (CoLA).

Voor zijn grotere model gebruikt LMTurk de openbaar beschikbare PLM’s ALBERT-XXLarge-v2 (AXLV2) als bronmodel voor conversie naar een geautomatiseerde Turk. Het model heeft 223 miljoen parameters (in tegenstelling tot de 175 miljard parameters in GPT-3). AXLV2, merken de auteurs op, heeft zichzelf bewezen als in staat om beter te presteren dan grotere modellen zoals 334M BERT-Large.

Voor een meer agile, lichtgewicht en edge-deployable model gebruikt het project TinyBERT-General-4L-312D (TBG), die 14,5 miljoen parameters heeft met prestaties die vergelijkbaar zijn met BERT-base (die 110 miljoen parameters heeft).

Prompt-geactiveerde training vond plaats op PyTorch en HuggingFace voor AXLV2 over 100 batch-stappen met een batchgrootte van 13, op een leer tempo van 5e-4, met lineaire afname. Elk experiment werd gestart met drie verschillende willekeurige zaden.

Resultaten

Het LMTurk-project voert diverse modellen uit tegen zo veel specifieke subsectoren van NLP dat de complexe resultaten van de experimenten van de onderzoekers niet gemakkelijk zijn terug te brengen tot empirisch bewijs dat LMTurk op zichzelf een haalbare aanpak biedt voor hergebruik van historische, door de mens gegenereerde HIT-achtige few-shot learning-scenario’s.

Hoewel, voor evaluatiedoeleinden, de auteurs hun methode vergelijken met twee eerder onderzoeken: Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference door Duitse onderzoekers Timo Schick en Hinrich Schutze; en resultaten uit Prompt-Based Auto, gepresenteerd in Making Pre-trained Language Models Better Few-shot Learners door Gao, Chen en Fisch (respectievelijk van Princeton en MIT).

Resultaten van de LMTurk-experimenten, met de onderzoekers die ‘vergelijkbare’ prestaties melden.

Kortom, LMTurk biedt een relatief veelbelovende lijn van onderzoek voor onderzoekers die goud-geannoteerde, door de mens gegenereerde gegevens in evoluerende, mid-complexiteit taalmodellen willen embedden en verankeren, waar geautomatiseerde systemen in de plaats komen van menselijke invoer.

Net als bij de relatief kleine hoeveelheid eerder onderzoek in dit veld, berust het centrale concept op de onveranderlijkheid van de oorspronkelijke menselijke gegevens en de veronderstelling dat tijdsfactoren – die significante obstakels voor NLP-ontwikkeling kunnen vormen – geen verdere menselijke interventie zullen vereisen naarmate de machine-only afstamming evolueert.

Oorspronkelijk gepubliceerd op 30 december 2022