Prevenire l'”allucinazione” in GPT-3 e altri modelli linguistici complessi

Una caratteristica distintiva delle “notizie false” è che presentano spesso informazioni false in un contesto di informazioni corrette, con i dati falsi che acquistano un’autorità percepita attraverso una sorta di osmosi letteraria – una preoccupante dimostrazione del potere delle mezze verità.

I modelli di elaborazione del linguaggio naturale generativo (NLP) sofisticati come GPT-3 hanno anche la tendenza a ‘allucinare’ questo tipo di dati ingannevoli. In parte, ciò è dovuto al fatto che i modelli linguistici richiedono la capacità di riformulare e riassumere lunghi e spesso labirintici tratti di testo, senza alcuna costrizione architettonica che possa definire, incapsulare e “sigillare” eventi e fatti in modo che siano protetti dal processo di ricostruzione semantica.

Pertanto, i fatti non sono sacri per un modello NLP; possono facilmente finire trattati nel contesto di “mattoni semantici Lego”, in particolare dove la grammatica complessa o il materiale di origine arcano rende difficile separare entità discrete dalla struttura linguistica.

Un’osservazione del modo in cui il materiale di origine tortuosamente formulato può confondere modelli linguistici complessi come GPT-3. Fonte: Paraphrase Generation Using Deep Reinforcement Learning

Questo problema si estende dalla macchina di apprendimento basata sul testo alla ricerca sulla visione computerizzata, in particolare nei settori che utilizzano la discriminazione semantica per identificare o descrivere oggetti.

L’allucinazione e la reinterpretazione ‘cosmetica’ inaccurata influiscono anche sulla ricerca sulla visione computerizzata.

Nel caso di GPT-3, il modello può diventare frustrato con le ripetute domande su un argomento che ha già trattato nel miglior modo possibile. Nel miglior scenario, ammetterà la sconfitta:

Un recente esperimento con il motore di base Davinci in GPT-3. Il modello ottiene la risposta giusta al primo tentativo, ma è infastidito dal fatto di essere stato chiesto la domanda una seconda volta. Poiché conserva una memoria a breve termine della risposta precedente e tratta la domanda ripetuta come un rifiuto di quella risposta, ammette la sconfitta. Fonte: https://www.scalr.ai/post/business-applications-for-gpt-3

DaVinci e DaVinci Instruct (Beta) funzionano meglio in questo senso rispetto ad altri modelli GPT-3 disponibili tramite l’API. Qui, il modello Curie fornisce una risposta errata, mentre il modello Babbage si dilunga con fiducia su una risposta altrettanto errata:

Cose che Einstein non ha mai detto

Quando si chiede al motore GPT-3 DaVinci Instruct (che attualmente sembra essere il più capace) per la famosa citazione di Einstein ‘Dio non gioca a dadi con l’universo’, DaVinci Instruct non riesce a trovare la citazione e inventa una non-citazione, andando avanti a “allucinare” tre altre citazioni relativamente plausibili e completamente inesistenti (di Einstein o di chiunque altro) in risposta a domande simili:

GPT-3 produce quattro citazioni plausibili di Einstein, nessuna delle quali produce risultati in una ricerca internet completa, anche se alcune attivano altre citazioni (reali) di Einstein sull’argomento dell'”immaginazione”.

Se GPT-3 fosse costantemente errato nel citare, sarebbe più facile scartare queste allucinazioni in modo programmatico. Tuttavia, più una citazione è diffusa e famosa, più è probabile che GPT-3 la citi correttamente:

GPT-3 sembra trovare citazioni corrette quando sono ben rappresentate nei dati di contributo.

Un secondo problema può sorgere quando i dati della storia di sessione di GPT-3 si riversano in una nuova domanda:

Einstein sarebbe probabilmente scandalizzato dal fatto che questo detto gli sia attribuito. La citazione sembra essere un’allucinazione insensata di un aforisma reale di Winston Churchill aforisma. La domanda precedente nella sessione di GPT-3 riguardava Churchill (non Einstein), e GPT-3 sembra aver utilizzato erroneamente questo token di sessione per informare la risposta.

Contrastare l’allucinazione economicamente

L’allucinazione è un ostacolo notevole all’adozione di modelli NLP sofisticati come strumenti di ricerca – tanto più in quanto l’output di tali motori è altamente astratto dal materiale di origine che lo ha formato, in modo che stabilire la veridicità delle citazioni e dei fatti diventi problematico.

Pertanto, una delle sfide di ricerca attuali in NLP è stabilire un mezzo per identificare testi allucinati senza dover immaginare interamente nuovi modelli NLP che incorporino, definiscano e autenticano fatti come entità discrete (un obiettivo a lungo termine, separato, in una serie di settori di ricerca più ampi).

Identificare e generare contenuti allucinati

Una nuova collaborazione tra l’Università di Carnegie Mellon e Facebook AI Research offre un approccio innovativo al problema dell’allucinazione, formulando un metodo per identificare l’output allucinato e utilizzare testi allucinati sintetici per creare un set di dati che possa essere utilizzato come base per futuri filtri e meccanismi che potrebbero eventualmente diventare parte integrante delle architetture NLP.

Fonte: https://arxiv.org/pdf/2011.02593.pdf

Nell’immagine sopra, il materiale di origine è stato segmentato su base per parola, con l’etichetta “0” assegnata alle parole corrette e l’etichetta “1” assegnata alle parole allucinate. Sotto, vediamo un esempio di output allucinato che è relativo alle informazioni di input, ma è arricchito con dati non autentici.

Il sistema utilizza un’autoencoder pre-addestrata che può mappare una stringa allucinata indietro al testo originale da cui è stata prodotta la versione corrotta (simile ai miei esempi sopra, in cui le ricerche internet hanno rivelato la provenienza di citazioni false, ma con una metodologia semantica programmatica e automatizzata). In particolare, viene utilizzato il modello autoencoder BART di Facebook BART per produrre le frasi corrotte.

Assegnazione dell’etichetta.

Il processo di mappatura dell’allucinazione indietro alla sorgente, che non è possibile nel caso dei modelli NLP di alto livello, consente di mappare la “distanza di modifica” e facilita un approccio algoritmico per identificare contenuti allucinati.

I ricercatori hanno scoperto che il sistema è in grado di generalizzare bene anche quando non ha accesso al materiale di riferimento disponibile durante l’addestramento, il che suggerisce che il modello concettuale è solido e ampiamente riproducibile.

Contrastare il sovraadattamento

Per evitare il sovraadattamento e arrivare a un’architettura ampiamente distribuibile, i ricercatori hanno casualmente rimosso token dal processo e hanno anche utilizzato parafrasi e altre funzioni di rumore.

La traduzione automatica (MT) fa parte di questo processo di offuscamento, poiché la traduzione di testi tra lingue è probabile che conservi il significato in modo robusto e impedisca ulteriormente il sovraadattamento. Pertanto, le allucinazioni sono state tradotte e identificate per il progetto da parte di parlanti bilingui in uno strato di annotazione manuale.

L’iniziativa ha raggiunto nuovi risultati migliori in una serie di test standard del settore e è la prima a raggiungere risultati accettabili utilizzando dati che superano i 10 milioni di token.

Il codice del progetto, intitolato Rilevamento di contenuti allucinati nella generazione di sequenze neurali condizionali, è stato rilasciato su GitHub e consente agli utenti di generare i propri dati sintetici con BART da qualsiasi corpus di testo. È inoltre prevista la generazione successiva di modelli di rilevamento di allucinazioni.