Modelli di scrittura generativa basati sull’intelligenza artificiale spesso “copiano e incollano” i dati di origine

Il drammaturgo e imprenditore americano Wilson Mizner è spesso citato come autore della frase “Quando rubi da un autore, è plagio; se rubi da molti, è ricerca”.

Allo stesso modo, l’ipotesi intorno alla nuova generazione di sistemi di scrittura creativa basati sull’intelligenza artificiale è che le grandi quantità di dati fornite loro durante l’addestramento abbiano portato a una vera e propria astrazione di concetti e idee di alto livello; che questi sistemi abbiano a disposizione la saggezza distillata di migliaia di autori contribuenti, da cui l’IA può formulare scrittura innovativa e originale; e che coloro che utilizzano tali sistemi possano essere certi di non indulgere involontariamente nel plagio per procura.

È un’ipotesi messa in discussione da un nuovo articolo di un consorzio di ricerca (che include le divisioni di ricerca sull’intelligenza artificiale di Facebook e Microsoft ), che ha scoperto che i modelli di linguaggio generativo basati sull’apprendimento automatico come la serie GPT “a volte copiano anche lunghi passaggi” nel loro output suppostamente originale, senza attribuzione.

In alcuni casi, gli autori notano, GPT-2 duplica oltre 1.000 parole dal set di addestramento nel suo output.

L’articolo è intitolato Quanto i modelli di linguaggio copiano dai loro dati di addestramento? Valutazione della novità linguistica nella generazione di testo utilizzando RAVEN, e è una collaborazione tra l’Università Johns Hopkins, Microsoft Research, New York University e Facebook AI Research.

RAVEN

Lo studio utilizza un nuovo approccio chiamato RAVEN (RAtingVErbalNovelty), un acronimo che è stato divertentemente torturato per riflettere il villain aviano di una poesia classica:

‘Questo acronimo si riferisce a “Il Corvo” di Edgar Allan Poe, in cui il narratore incontra un misterioso corvo che ripete continuamente, “Mai più!” Il narratore non può dire se il corvo stia semplicemente ripetendo qualcosa che ha sentito dire da un umano, o se stia costruendo le sue stesse frasi (forse combinando mai e più)—la stessa ambiguità di base che il nostro articolo affronta.’

I risultati del nuovo articolo arrivano nel contesto di una crescita significativa per i sistemi di scrittura di contenuti basati sull’intelligenza artificiale che cercano di sostituire compiti di editing “semplici” e persino di scrivere contenuti completi. Uno di tali sistemi ha ricevuto 21 milioni di dollari in finanziamenti di serie A all’inizio della settimana.

I ricercatori notano che ‘GPT-2 a volte duplica passaggi di addestramento che sono oltre 1.000 parole lunghe.‘ (il loro enfasi), e che i sistemi di linguaggio generativo propagano errori linguistici nei dati di origine.

I modelli di linguaggio studiati sotto RAVEN erano la serie GPT di rilasci fino a GPT-2 (gli autori non avevano accesso a GPT-3 al momento), un Transformer, Transformer-XL e un LSTM.

Novità

L’articolo nota che GPT-2 conia inflessioni in stile Bush 2 come ‘svizzificato’, e derivazioni come ‘IKEA-ness’, creando tali parole nuove (che non appaiono nel set di addestramento di GPT-2) su principi linguistici derivati da spazi di alta dimensionalità stabiliti durante l’addestramento.

I risultati mostrano anche che ‘il 74% delle frasi generate da Transformer-XL ha una struttura sintattica che nessuna frase di addestramento ha’, indicando, come affermano gli autori, ‘i modelli di linguaggio neurale non memorizzano semplicemente; invece utilizzano processi produttivi che consentono loro di combinare parti familiari in modi nuovi.’

Quindi, tecnicamente, la generalizzazione e l’astrazione dovrebbero produrre testo innovativo e nuovo.

Duplicazione dei dati può essere il problema

L’articolo teorizza che le citazioni lunghe e testuali prodotte dai sistemi di generazione di linguaggio naturale potrebbero essere “incorporate” nel modello di intelligenza artificiale perché il testo di origine è ripetuto più volte in set di dati che non sono stati adeguatamente de-duplicati.

Sebbene un altro progetto di ricerca abbia scoperto che la duplicazione completa del testo può verificarsi anche se il testo di origine appare solo una volta nel set di dati, gli autori notano che il progetto ha architetture concettuali diverse da quelle comuni dei sistemi di generazione di contenuti basati sull’intelligenza artificiale.

Gli autori osservano anche che modificare il componente di decodifica nei sistemi di generazione di linguaggio può aumentare la novità, ma hanno scoperto che ciò si verifica a scapito della qualità dell’output.

Ulteriori problemi sorgono poiché i set di dati che alimentano gli algoritmi di generazione di contenuti diventano sempre più grandi. Oltre ad aggravare le questioni relative alla fattibilità e alla sostenibilità economica dell’elaborazione pre-data, nonché alla garanzia della qualità e alla de-duplicazione dei dati, molti errori di base rimangono nei dati di origine, che vengono poi propagati nel contenuto generato dall’intelligenza artificiale.

Gli autori notano*:

‘Recenti aumenti delle dimensioni dei set di addestramento rendono particolarmente critico verificare la novità perché la portata di questi set di addestramento può rompere le nostre intuizioni su ciò che può essere atteso naturalmente. Ad esempio, alcuni lavori notevoli nel linguaggio acquisizione si basano sull’ipotesi che le forme regolari del tempo passato di verbi irregolari (ad esempio, becomed, teached) non appaiono nell’esperienza di un apprendente, quindi se un apprendente produce tali parole, devono essere nuove per l’apprendente.

‘Tuttavia, si scopre che, per tutti i 92 verbi irregolari di base in inglese, la forma regolare errata appare nel set di addestramento di GPT-2.’

Ulteriore cura dei dati necessaria

L’articolo sostiene che è necessaria maggiore attenzione alla novità nella formulazione dei sistemi di linguaggio generativo, con un particolare accento sull’assicurarsi che la parte “ritenuta” del set di dati (la parte dei dati di origine che è stata messa da parte per testare come l’algoritmo finale ha valutato il corpo principale dei dati addestrati) sia adatta al compito.

‘Nell’apprendimento automatico, è fondamentale valutare i modelli su un set di test ritenuto. A causa della natura aperta della generazione di testo, il testo generato da un modello potrebbe essere copiato dal set di addestramento, nel qual caso non è ritenuto—quindi utilizzare quei dati per valutare il modello (ad esempio, per coerenza o grammaticalità) non è valido.’

Gli autori sostengono anche che è necessaria maggiore cura nella produzione di modelli di linguaggio a causa dell’effetto Eliza, una sindrome identificata nel 1966 che ha identificato “la suscettibilità delle persone a leggere molto più comprensione di quanto sia giustificato in stringhe di simboli—specialmente parole—collegate da computer”.

* La mia conversione delle citazioni in linea in collegamenti ipertestuali