Creazione di Mechanical Turks Artificiali con Modelli Linguistici Pre-addestrati

Una grande parte dello sviluppo dei sistemi di apprendimento automatico dipende dall’etichettatura dei dati, dove centinaia, anche migliaia di domande (come È questa una foto di un gatto? e È questo testo offensivo?) devono essere risolte per sviluppare set di dati autorevoli su cui saranno addestrati i sistemi di intelligenza artificiale.

Sebbene noi tutti contribuiamo a questo processo in qualche modo, la maggior parte di questi compiti di etichettatura viene eseguita per denaro da lavoratori umani su piattaforme come Amazon Mechanical Turk, dove gli annotatori completano compiti di classificazione minori in un economia di lavoro a pezzo.

Lo sviluppo del modello sarebbe più economico se i modelli linguistici pre-addestrati (PLM) potessero intraprendere alcuni dei compiti di intelligenza umana (HIT) più basilari attualmente crowdsourcings su AMT e piattaforme simili.

Recenti ricerche dalla Germania e Huawei propongono questo, nel documento LMTurk: Few-Shot Learners come lavoratori di crowdsourcing.

Modelli Linguistici che Eseguono l’Apprendimento a Few-Shot

Gli autori suggeriscono che gli strati più semplici dei compiti tipicamente rivolti ai lavoratori (umani) di Turk sono analoghi all’apprendimento a few-shot, dove un framework automatizzato deve decidere un mini-compito in base a un numero limitato di esempi forniti.

Pertanto, propongono che i sistemi di intelligenza artificiale possano apprendere efficacemente dai PLM esistenti che sono stati originariamente addestrati da lavoratori di crowdsourcing – che la conoscenza fondamentale trasmessa dalle persone alle macchine è stata effettivamente acquisita e che, laddove tale conoscenza è relativamente immutabile o empirica in qualche modo, i framework di modelli linguistici automatizzati possono potenzialmente eseguire questi compiti da soli.

‘La nostra idea di base è che, per un compito NLP T, trattiamo i learner a few-shot come lavoratori non esperti, simili ai lavoratori di crowdsourcing che annotano risorse per la tecnologia del linguaggio umano. Siamo ispirati dal fatto che possiamo considerare un lavoratore di crowdsourcing come un tipo di learner a few-shot.’

Le implicazioni includono la possibilità che molti dei punti di verità sui quali si basano i sistemi di intelligenza artificiale del futuro siano stati derivati da esseri umani molti anni prima e che, in seguito, siano stati trattati come informazioni pre-convalidate ed esploabili che non richiedono più intervento umano.

Lavori per Modelli Linguistici Mid-Range, Semi-performanti

Oltre alla motivazione per ridurre i costi degli esseri umani nella catena di produzione, i ricercatori suggeriscono che l’utilizzo di PLM “mid-range” come veri Mechanical Turks fornisce un lavoro utile per questi sistemi “anche ran”, che sono sempre più oscurati da modelli di linguaggio di grandi dimensioni e costosi come GPT-3, che sono troppo costosi e sovradimensionati per tali compiti.

‘Il nostro obiettivo in questo documento è di elaborare metodi che facciano un uso più efficace degli attuali learner a few-shot. Ciò è cruciale perché un numero crescente di gigantic learner a few-shot viene addestrato; come utilizzarli efficacemente è quindi una questione importante. In particolare, vogliamo un’alternativa ai modelli enormi difficili da distribuire.’

‘Allo stesso tempo, vogliamo sfruttare appieno i punti di forza dei PLM: la loro versatilità garantisce un’applicabilità ampia tra i compiti; la loro vasta conoscenza del linguaggio e del mondo (appresa durante l’addestramento pre-iniziale) si manifesta nell’efficienza dei dati dei learner a few-shot, riducendo il lavoro e il tempo di consumo nell’annotazione dei dati.’

Finora, gli autori sostengono che i learner a few-shot nel NLP sono stati trattati come fasi intermedie transitorie sulla strada per sistemi di linguaggio naturale di alto livello che sono molto più intensivi in termini di risorse e che tale lavoro è stato svolto in modo astratto e senza considerazione per l’eventuale utilità di questi sistemi.

Metodo

Gli autori offrono LMTurk (Modello di Linguaggio come Mechanical Turk), in un flusso di lavoro in cui l’input da questo HIT automatizzato fornisce etichette per un modello NLP di livello medio.

Un modello di base per LMTurk. Fonte: https://arxiv.org/pdf/2112.07522.pdf

Questa prima iterazione si basa su dati “gold” etichettati da esseri umani a few-shot, dove i lavoratori di Turk hanno annotato etichette per un numero limitato di compiti e le etichette sono state valutate bene, sia attraverso la supervisione diretta degli esseri umani che attraverso il voto di consenso. L’implicazione per questo schema è che le diramazioni o gli sviluppi da questo punto di partenza basato sugli esseri umani potrebbero non richiedere ulteriore input umano lungo la strada.

Sebbene gli autori suggeriscano ulteriori esperimenti con modelli ibridi successivi (dove l’input umano sarebbe presente, ma notevolmente ridotto), non hanno, per gli scopi della loro ricerca, confrontato i modelli LMTurk con risultati equivalenti da lavoratori di HIT generati dagli esseri umani, considerando che i dati “gold” etichettati sono essi stessi “input umano”.

Il PLM progettato per eseguire le operazioni di Turk è stato adattato per il compito mediante P-Tuning, un metodo pubblicato da ricercatori cinesi nel 2021, che ha proposto prompt embeddings continuamente addestrabili per migliorare le prestazioni dei modelli di tipo GPT-3 nei compiti di comprensione del linguaggio naturale (NLU).

P-Tuning tenta di approfondire il potere predittivo di un modello di tipo GPT e la sua apparenza di comprensione concettuale del linguaggio, incorporando pseudo-prompt incorporati. In questo caso, la query di inizio è ‘La capitale della Gran Bretagna è una [x]’. Fonte: https://arxiv.org/pdf/2103.10385.pdf

Dati e Architettura

LMTurk è stato valutato su cinque set di dati: due dal Stanford Sentiment Treebank; AG’s News Corpus; Recognizing Textual Entailment (RTE); e Corpus of Linguistic Acceptability (CoLA).

Per il suo modello più grande, LMTurk utilizza i PLM pubblicamente disponibili ALBERT-XXLarge-v2 (AXLV2) come modello di origine per la conversione in un Turk automatizzato. Il modello presenta 223 milioni di parametri (rispetto ai 175 miliardi di parametri in GPT-3). AXLV2, gli autori osservano, ha dimostrato di essere in grado di superare modelli di scala superiore come 334M BERT-Large.

Per un modello più agile, leggero e distribuibile ai bordi, il progetto utilizza TinyBERT-General-4L-312D (TBG), che presenta 14,5 milioni di parametri con prestazioni paragonabili a BERT-base (che ha 110 milioni di parametri).

L’addestramento abilitato ai prompt ha avuto luogo su PyTorch e HuggingFace per AXLV2 su 100 passi di batch con una dimensione del batch di 13, su una velocità di apprendimento di 5e-4, utilizzando una decadenza lineare. Ogni esperimento è stato originato con tre semi casuali diversi.

Risultati

Il progetto LMTurk esegue modelli diversi contro molti sottosettori specifici del NLP, quindi i risultati complessi degli esperimenti dei ricercatori non sono facili da ridurre a prove empiriche che LMTurk offra in sé un approccio valido per il riutilizzo di scenari di apprendimento a few-shot storici e di origine umana.

Tuttavia, per scopi di valutazione, gli autori confrontano il loro metodo con due lavori precedenti: Sfruttare le domande di Cloze per la classificazione del testo a few-shot e l’inferenza del linguaggio naturale di ricercatori tedeschi Timo Schick e Hinrich Schutze; e i risultati da Prompt-Based Auto, presentati in Rendere migliori i modelli linguistici pre-addestrati come learner a few-shot di Gao, Chen e Fisch (rispettivamente da Princeton e MIT).

Risultati degli esperimenti LMTurk, con i ricercatori che segnalano prestazioni ‘paragonabili’.

In breve, LMTurk offre una linea di indagine relativamente promettente per i ricercatori che cercano di incorporare e consolidare dati etichettati in oro di origine umana in modelli linguistici di complessità media in evoluzione, dove i sistemi automatizzati sostituiscono l’input umano.

Come per la quantità relativamente piccola di lavori precedenti in questo campo, il concetto centrale si basa sull’immutabilità dei dati umani originali e sulla presunzione che i fattori temporali – che possono rappresentare ostacoli significativi per lo sviluppo del NLP – non richiederanno ulteriore intervento umano mentre la discendenza della macchina si evolve.

Pubblicato originariamente il 30 dicembre 2022