Creazione di un modello linguistico di stile GPT per una singola domanda

I ricercatori della Cina hanno sviluppato un metodo economico per creare sistemi di elaborazione del linguaggio naturale di stile GPT-3, evitando le spese sempre più proibitive di tempo e denaro necessarie per l’addestramento di grandi volumi di dati – una tendenza in crescita che altrimenti minaccia di relegare questo settore dell’IA ai giocatori FAANG e agli investitori di alto livello.

La proposta di framework si chiama Task-Driven Language Modeling (TLM). Invece di addestrare un modello enorme e complesso su un vasto corpus di miliardi di parole e migliaia di etichette e classi, TLM addestra un modello molto più piccolo che incorpora effettivamente una query all’interno del modello.

A sinistra, un approccio tipico hyperscale ai modelli linguistici ad alto volume; a destra, il metodo slimline di TLM per esplorare un grande corpus linguistico su base per argomento o per domanda. Fonte: https://arxiv.org/pdf/2111.04130.pdf

Effettivamente, viene prodotto un algoritmo o modello NLP unico per rispondere a una singola domanda, invece di creare un enorme e ingombrante modello linguistico generale che possa rispondere a una varietà più ampia di domande.

Nel testare TLM, i ricercatori hanno scoperto che il nuovo approccio raggiunge risultati simili o migliori rispetto ai modelli linguistici pre-addestrati come RoBERTa-Large e ai sistemi NLP hyperscale come OpenAI’s GPT-3, Google’s TRILLION Parameter Switch Transformer Model, Korea’s HyperClover, AI21 Labs’ Jurassic 1 e Microsoft’s Megatron-Turing NLG 530B.

Nelle prove di TLM su otto dataset di classificazione in quattro domini, gli autori hanno inoltre scoperto che il sistema riduce le operazioni di punto fluttuante (FLOPs) richieste per l’addestramento di due ordini di grandezza. I ricercatori sperano che TLM possa ‘democratizzare’ un settore che sta diventando sempre più elitario, con modelli NLP così grandi che non possono realisticamente essere installati localmente e che invece si trovano, nel caso di GPT-3, dietro le costose e limitate API di OpenAI e, ora, Microsoft Azure.

Gli autori affermano che ridurre il tempo di addestramento di due ordini di grandezza riduce il costo di addestramento su 1.000 GPU per un giorno a sole 8 GPU in 48 ore.

Il nuovo rapporto si intitola NLP From Scratch Without Large-Scale Pretraining: A Simple and Efficient Framework e proviene da tre ricercatori dell’Università Tsinghua di Pechino e da un ricercatore della società di sviluppo AI cinese Recurrent AI, Inc.

Risposte non sostenibili

Il costo di addestramento di modelli linguistici efficaci e general-purpose sta diventando sempre più caratterizzato come un potenziale ‘limite termico’ per quanto riguarda la diffusione della cultura dell’NLP performante e accurata.

Statistiche sulla crescita dei facet nei modelli di architettura NLP, da un rapporto del 2020 di A121 Labs. Fonte: https://arxiv.org/pdf/2004.08900.pdf

Nel 2019, un ricercatore ha calcolato che il costo di addestramento del modello XLNet (che all’epoca superava BERT nei compiti NLP) su 512 core in 64 dispositivi per 2,5 giorni è di 61.440 dollari USA, mentre GPT-3 è stato stimato a costare 12 milioni di dollari per l’addestramento – 200 volte il costo di addestramento del suo predecessore, GPT-2 (anche se recenti stime ritengono che potrebbe essere addestrato ora per soli 4.600.000 dollari sui GPU cloud a prezzi più bassi).

Sottinsiemi di dati in base alle esigenze della query

Invece, la nuova architettura proposta cerca di derivare classificazioni accurate, etichette e generalizzazioni utilizzando una query come una sorta di filtro per definire un sottinsieme di informazioni da un grande database linguistico che verrà addestrato, insieme alla query, per fornire risposte su un argomento limitato.

Gli autori affermano:

‘TLM è motivato da due idee chiave. In primo luogo, gli esseri umani padroneggiano un compito utilizzando solo una piccola parte della conoscenza del mondo (ad esempio, gli studenti devono solo rivedere alcuni capitoli, tra tutti i libri del mondo, per prepararsi a un esame). ‘

‘Ipotizziamo che ci sia molta ridondanza nel grande corpus per un compito specifico. In secondo luogo, l’addestramento su dati etichettati supervisionati è molto più efficiente in termini di dati per le prestazioni downstream rispetto all’ottimizzazione dell’obiettivo di modellazione del linguaggio su dati non etichettati. Sulla base di queste motivazioni, TLM utilizza i dati del compito come query per recuperare un piccolo sottinsieme del corpus generale. Ciò è seguito da una joint optimization di un obiettivo di compito supervisionato e un obiettivo di modellazione del linguaggio utilizzando sia i dati recuperati che i dati del compito.’

Oltre a rendere l’addestramento dei modelli NLP molto efficace e accessibile, gli autori vedono una serie di vantaggi nell’utilizzo di modelli NLP guidati dal compito. Ad esempio, i ricercatori possono godere di una maggiore flessibilità, con strategie personalizzate per la lunghezza della sequenza, la tokenizzazione, la regolazione dei hyperparametri e le rappresentazioni dei dati.

I ricercatori prevedono inoltre lo sviluppo di sistemi ibridi futuri che scambiano una limitata pre-formazione di un PLM (che non è altrimenti prevista nell’attuale implementazione) contro una maggiore versatilità e generalizzazione rispetto ai tempi di addestramento. Considerano il sistema un passo avanti per l’avanzamento dei metodi di generalizzazione zero-shot in-domain.

Test e risultati

TLM è stato testato su sfide di classificazione in otto compiti su quattro domini – scienza biomedica, notizie, recensioni e informatica. I compiti sono stati divisi in categorie ad alta e bassa risorsa. I compiti ad alta risorsa includevano oltre 5.000 dati del compito, come AGNews e RCT, tra gli altri; i compiti a bassa risorsa includevano ChemProt e ACL-ARC, nonché il dataset di rilevamento delle notizie iperpartisan.

I ricercatori hanno sviluppato due set di addestramento intitolati Corpus-BERT e Corpus-RoBERTa, quest’ultimo dieci volte più grande del primo. Gli esperimenti hanno confrontato i modelli linguistici pre-addestrati generali BERT (di Google) e RoBERTA (di Facebook ) con la nuova architettura.

Il documento osserva che sebbene TLM sia un metodo generale e dovrebbe essere più limitato nella portata e nell’applicabilità rispetto ai modelli di stato dell’arte più ampi e di maggior volume, è in grado di eseguire vicino ai metodi di fine-tuning adattivi del dominio.

Risultati del confronto delle prestazioni di TLM contro set basati su BERT e RoBERTa.

Gli autori concludono che TLM è in grado di raggiungere risultati paragonabili o migliori rispetto ai PLM, con una sostanziale riduzione delle FLOPs necessarie e richiedendo solo 1/16 del corpus di addestramento. Su scale medie e grandi, TLM sembra migliorare le prestazioni di 0,59 e 0,24 punti in media, riducendo le dimensioni dei dati di addestramento di due ordini di grandezza.

‘Questi risultati confermano che TLM è altamente preciso e molto più efficiente dei PLM. Inoltre, TLM guadagna maggiori vantaggi in termini di efficienza su larga scala. Ciò indica che i PLM su larga scala potrebbero essere stati addestrati per memorizzare conoscenze generali non utili per un compito specifico.’