Perché il linguaggio storico è una sfida per l’intelligenza artificiale

Una delle sfide centrali dei sistemi di elaborazione del linguaggio naturale (NLP) è quella di derivare informazioni essenziali da una vasta gamma di materiali scritti. Le fonti di contributo per un set di dati di training per un nuovo algoritmo NLP potrebbero essere linguisticamente diverse come Twitter, giornali e riviste scientifiche, con tutte le eccentricità uniche di ciascuna di queste tre fonti.

Nella maggior parte dei casi, ciò vale solo per l’inglese; e solo per le fonti di testo attuali o recenti. Quando un algoritmo NLP deve considerare materiali provenienti da più epoche, di solito fatica a riconciliare i modi molto diversi in cui le persone parlano o scrivono attraverso comunità nazionali e sub-nazionali, e in particolare attraverso periodi storici diversi.

Tuttavia, utilizzare dati testuali (come trattati storici e opere scientifiche venerabili) che coprono epoche diverse è un metodo potenzialmente utile per generare una visione d’insieme storica di un argomento e per formulare ricostruzioni cronologiche statistiche che precedono l’adozione e la manutenzione di metriche per un dominio.

Ad esempio, le informazioni meteorologiche che contribuiscono ai modelli di intelligenza artificiale per la predizione del cambiamento climatico non sono state adeguatamente registrate in tutto il mondo fino al 1880, mentre l’estrazione di dati da testi classici fornisce registri più antichi di eventi meteorologici importanti che potrebbero essere utili per fornire dati meteorologici pre-vittoriani.

Disallineamento temporale

Un nuovo studio dell’Università di Washington e dell’Istituto Allen per l’intelligenza artificiale ha scoperto che anche un intervallo di tempo breve come cinque anni può causare disallineamento temporale che può compromettere l’utilità di un modello NLP pre-addestrato.

In tutti i casi, punteggi più alti sono migliori. Qui vediamo una mappa di calore della degradazione temporale su quattro corpora di testo che coprono un periodo di cinque anni. Tali discordanze tra dati di training e valutazione, secondo gli autori del nuovo studio, possono causare un ‘calo di prestazioni massiccio’. Fonte: https://arxiv.org/pdf/2111.07408.pdf

Lo studio afferma:

‘Abbiamo scoperto che il disallineamento temporale influisce sia sulla generalizzazione del modello linguistico che sulla prestazione del compito. Abbiamo trovato una notevole variazione nella degradazione attraverso domini di testo e compiti. In cinque anni, il punteggio F1 dei classificatori può deteriorarsi fino a 40 punti (affiliazione politica su Twitter) o solo 1 punto (valutazioni di Yelp). Due compiti distinti definiti sullo stesso dominio possono mostrare livelli di degradazione diversi nel tempo.’

Divisioni irregolari

Il problema principale è che i set di dati di training sono generalmente divisi in due gruppi, a volte in un rapporto di 80/20 piuttosto squilibrato, a causa della limitata disponibilità di dati. Il gruppo più grande di dati è addestrato su una rete neurale, mentre i dati rimanenti vengono utilizzati come gruppo di controllo per testare l’accuratezza dell’algoritmo risultante.

In set di dati misti che contengono materiali che coprono diversi anni, una distribuzione irregolare di dati di vari periodi potrebbe significare che i dati di valutazione sono composti in modo sproporzionato di materiali di un’epoca particolare.

Ciò causerà un cattivo terreno di prova per un modello addestrato su una miscela più diversificata di epoche (ad esempio, su più dei dati disponibili). In effetti, a seconda di whether i dati di valutazione rappresentano in modo eccessivo materiali più recenti o più antichi, è come chiedere al vostro nonno di valutare gli ultimi idoli K-Pop.

Il lungo workaround sarebbe quello di addestrare più modelli su set di dati più limitati nel tempo e cercare di raccogliere caratteristiche compatibili dai risultati di ciascun modello. Tuttavia, le pratiche di inizializzazione casuale del modello da sole comportano una serie di problemi nel raggiungere la parità e l’equità tra modelli, anche prima di considerare se i set di dati contribuenti fossero sufficientemente simili tra loro per rendere l’esperimento significativo.

Dati e addestramento

Per valutare il disallineamento temporale, gli autori hanno addestrato quattro corpora di testo su quattro domini;

Twitter
…dove hanno raccolto dati non etichettati estraendo una selezione casuale di 12 milioni di tweet uniformemente distribuiti tra il 2015 e il 2020, dove gli autori hanno studiato entità nominate (ad esempio persone e organizzazioni) e affiliazioni politiche.

Articoli scientifici
…dove gli autori hanno ottenuto dati non etichettati dal corpus Semantic Scholar, costituito da 650.000 documenti che coprono un periodo di 30 anni, e su cui hanno studiato la classificazione del tipo di menzione (SciERC) e la classificazione della sede di pubblicazione AI (AIC, che distingue se un articolo è stato pubblicato su AAAI o ICML).

Articoli di notizie
…dove gli autori hanno utilizzato nove milioni di articoli dal Newsroom Dataset che coprono un periodo dal 2009 al 2016, su cui hanno eseguito tre compiti: riassunto della redazione, classificazione dell’editore e classificazione dei frame dei media (MFC), che esamina la priorità percepita di vari argomenti attraverso la produzione di notizie.

Recensioni di cibo
…dove i ricercatori hanno utilizzato il Yelp Open Dataset su un unico compito: classificazione della valutazione delle recensioni (YELPCLS), una sfida di analisi dei sentimenti tipica di molta ricerca NLP in questo settore.

Risultati

I modelli sono stati valutati su GPT-2, con una serie di punteggi F1 risultanti. Gli autori hanno scoperto che la perdita di prestazioni a causa del disallineamento temporale è bidirezionale, il che significa che i modelli addestrati su dati recenti possono essere influenzati negativamente dall’influenza di dati più antichi e viceversa (vedere l’immagine all’inizio dell’articolo per i grafici). Gli autori notano che ciò ha particolari implicazioni per le applicazioni delle scienze sociali.

In generale, i risultati mostrano che il disallineamento temporale degrada la perdita di prestazioni ‘in modo sostanziale’ e ha un ampio effetto sulla maggior parte dei compiti. I set di dati che coprono lunghi periodi, come decenni, esacerbano naturalmente il problema.

Gli autori osservano inoltre che il disallineamento temporale influisce anche sui dati di pre-addestramento etichettati e non etichettati. Inoltre, i loro tentativi di mitigare gli effetti attraverso l’adattamento del dominio (vedi sotto) non hanno migliorato sostanzialmente la situazione, sebbene affermino che la regolazione fine dei dati nel set di dati possa aiutare fino a un certo punto.

Conclusione

I ricercatori confermano le scoperte precedenti che le soluzioni precedentemente suggerite che coinvolgono adattamento del dominio (DAPT, dove si presta attenzione alla disparità dei dati) e adattamento temporale (dove i dati vengono selezionati in base al periodo di tempo) fanno poco per alleviare il problema.

Lo studio conclude*:

‘I nostri esperimenti hanno rivelato una notevole variazione nella degradazione temporale attraverso i compiti, più di quanto trovato in studi precedenti. Questi risultati motivano ulteriori studi sul disallineamento temporale attraverso le applicazioni dell’NLP, la sua considerazione nelle valutazioni dei benchmark e la vigilanza da parte degli operatori in grado di monitorare le prestazioni del sistema live nel tempo.

‘In particolare, abbiamo osservato che l’addestramento continuo dei modelli linguistici su dati allineati temporalmente non ha molto effetto, motivando ulteriori ricerche per trovare metodi di adattamento temporale efficaci che siano meno costosi della continua raccolta di set di dati etichettati/annotati nel tempo.’

Gli autori suggeriscono che ulteriori indagini sull’apprendimento continuo, in cui i dati vengono costantemente aggiornati, potrebbero essere utili a questo riguardo, e che la deriva dei concetti e altri metodi di rilevamento dei cambiamenti nei compiti potrebbero essere un aiuto utile per l’aggiornamento dei set di dati.

* La mia conversione delle citazioni in linea in collegamenti ipertestuali.