Affrontare l’allucinazione nei grandi modelli linguistici: una panoramica delle tecniche all’avanguardia

I grandi modelli linguistici (LLM) come GPT-4, PaLM e Llama hanno sbloccato notevoli progressi nelle capacità di generazione del linguaggio naturale. Tuttavia, una sfida persistente che limita la loro affidabilità e la loro distribuzione sicura è la loro tendenza a hallucinare – generare contenuti che sembrano coerenti ma sono fattualmente scorretti o non radicati nel contesto di input.

Mentre gli LLM continuano a crescere in potenza e ubiquità in applicazioni del mondo reale, affrontare le allucinazioni diventa imperativo. Questo articolo fornisce una panoramica completa delle tecniche più recenti introdotte dai ricercatori per rilevare, quantificare e mitigare le allucinazioni negli LLM.

Comprendere l’allucinazione negli LLM

L’allucinazione si riferisce a inesattezze fattuali o invenzioni generate dagli LLM che non sono radicate nella realtà o nel contesto fornito. Alcuni esempi includono:

• Inventare dettagli biografici o eventi non documentati nel materiale di origine quando si genera testo su una persona.
• Fornire consigli medici errati confabulando effetti collaterali di farmaci o procedure di trattamento.
• Creare dati, studi o fonti inesistenti per supportare un’affermazione.

Questo fenomeno si verifica perché gli LLM sono addestrati su grandi quantità di dati testuali online. Sebbene ciò consenta loro di acquisire forti capacità di modellazione del linguaggio, significa anche che imparano a estrapolare informazioni, fare salti logici e colmare lacune in un modo che sembra convincente ma può essere fuorviante o errato.

Alcuni fattori chiave responsabili delle allucinazioni includono:

• Generalizzazione dei modelli – Gli LLM identificano e estendono modelli nei dati di addestramento che potrebbero non generalizzare bene.
• Conoscenza obsoleta – L’addestramento statico impedisce l’integrazione di nuove informazioni.
• Ambiguità – Le promesse vaghe consentono spazio per ipotesi errate.
• Pregiudizi – I modelli perpetuano e amplificano prospettive distorte.
• Mancanza di fondamento – La mancanza di comprensione e ragionamento significa che i modelli generano contenuti che non comprendono appieno.

Affrontare le allucinazioni è fondamentale per una distribuzione affidabile in domini sensibili come la medicina, il diritto, la finanza e l’istruzione, dove la generazione di informazioni errate potrebbe portare a danni.

Tassonomia delle tecniche di mitigazione dell’allucinazione

I ricercatori hanno introdotto diverse tecniche per combattere le allucinazioni negli LLM, che possono essere categorizzate in:

1. Ingegneria delle promesse

Ciò comporta la creazione attenta di promesse per fornire contesto e guidare gli LLM verso risposte fattuali e radicate.

• Estensione del recupero – Recupero di prove esterne per radicare il contenuto.
• Cicli di feedback – Fornire iterativamente feedback per raffinare le risposte.
• Regolazione delle promesse – Regolare le promesse durante la fine-tuning per comportamenti desiderati.

2. Sviluppo del modello

Creare modelli intrinsecamente meno inclini a hallucinare attraverso modifiche architettoniche.

• Strategie di decodifica – Generare testo in modi che aumentino la fedeltà.
• Fondamento della conoscenza – Incorporare basi di conoscenza esterne.
• Funzioni di perdita nuove – Ottimizzare per la fedeltà durante l’addestramento.
• Regolazione supervisionata – Utilizzare dati etichettati umani per migliorare la fattualità.

Successivamente, esaminiamo le tecniche più importanti di ciascun approccio.

Tecniche di mitigazione dell’allucinazione più importanti

Generazione aumentata dal recupero

La generazione aumentata dal recupero migliora gli LLM recuperando e condizionando la generazione di testo su documenti di prova esterni, piuttosto che affidarsi solo alla conoscenza implicita del modello. Ciò radica il contenuto in informazioni aggiornate e verificabili, riducendo le allucinazioni.

Tecniche importanti includono:

• RAG – Utilizza un modulo di recupero che fornisce passaggi rilevanti per un modello seq2seq da generare. Entrambi i componenti sono addestrati end-to-end.
• RARR – Impiega LLM per ricercare affermazioni non attribuite nel testo generato e revisionarle per allinearle con le prove recuperate.
• Recupero della conoscenza – Convalida le generazioni incerte utilizzando la conoscenza recuperata prima di produrre il testo.
• LLM-Augmenter – Cerca iterativamente la conoscenza per costruire catene di prove per le promesse LLM.

Feedback e ragionamento

Sfruttare il feedback linguistico naturale iterativo o l’autoragionamento consente agli LLM di raffinare e migliorare le loro uscite iniziali, riducendo le allucinazioni.

CoVe impiega una tecnica di verifica a catena. L’LLM prima elabora una risposta alla query dell’utente. Quindi, genera potenziali domande di verifica per verificare la sua stessa risposta, in base alla sua fiducia in varie affermazioni fatte. Ad esempio, per una risposta che descrive un nuovo trattamento medico, CoVe potrebbe generare domande come “Qual è il tasso di efficacia del trattamento?”, “Ha ricevuto l’approvazione regolamentare?”, “Quali sono gli effetti collaterali potenziali?”. Fondamentalmente, l’LLM tenta poi di rispondere a queste domande di verifica in modo indipendente, senza essere influenzato dalla sua risposta iniziale. Se le risposte alle domande di verifica contraddicono o non possono supportare le affermazioni fatte nella risposta originale, il sistema identifica quelle come probabili allucinazioni e raffina la risposta prima di presentarla all’utente.

DRESS si concentra sull’adattare gli LLM per allinearsi meglio con le preferenze umane attraverso il feedback linguistico naturale. L’approccio consente agli utenti non esperti di fornire critiche in forma libera sulle generazioni del modello, come “Gli effetti collaterali menzionati sembrano esagerati” o istruzioni di raffinamento come “Per favore, discuti anche l’efficacia in termini di costo”. DRESS utilizza l’apprendimento per rinforzo per addestrare i modelli a generare risposte condizionate su tale feedback che si allineano meglio con le preferenze umane. Ciò migliora l’interattività riducendo le affermazioni irrealistiche o non supportate.

MixAlign affronta situazioni in cui gli utenti pongono domande che non corrispondono direttamente ai passaggi di prova recuperati dal sistema. Ad esempio, un utente potrebbe chiedere “Peggiorerà l’inquinamento in Cina?” mentre i passaggi recuperati discutono le tendenze dell’inquinamento a livello globale. Per evitare di hallucinare con un contesto insufficiente, MixAlign chiarisce esplicitamente con l’utente quando non è sicuro di come relazionare la sua domanda alle informazioni recuperate. Questo meccanismo umano-nel-ciclo consente di ottenere feedback per radicare e contestualizzare correttamente le prove, prevenendo risposte non radicate.

La tecnica di Auto-riflessione addestra gli LLM a valutare, fornire feedback e raffinare iterativamente le loro stesse risposte utilizzando un approccio multitask. Ad esempio, data una risposta generata per una query medica, il modello impara a valutare la sua accuratezza fattuale, identificare affermazioni contraddittorie o non supportate e modificarle recuperando la conoscenza rilevante. Insegnando agli LLM questo ciclo di feedback di controllo, critica e miglioramento delle loro stesse uscite, l’approccio riduce l’allucinazione cieca.

Regolazione delle promesse

La regolazione delle promesse consente di regolare le promesse istruttive fornite agli LLM durante la fine-tuning per comportamenti desiderati.

Il metodo SynTra impiega un compito di sintesi sintetica per minimizzare l’allucinazione prima di trasferire il modello a dataset di sintesi reali. Il compito sintetico fornisce passaggi di input e chiede ai modelli di riassumerli attraverso il recupero solo, senza astrazione. Ciò addestra i modelli a fare affidamento interamente sul contenuto di origine piuttosto che hallucinare nuove informazioni durante la sintesi. SynTra si è dimostrato efficace nel ridurre i problemi di allucinazione quando i modelli regolati vengono distribuiti su compiti di destinazione.

UPRISE addestra un recuperatore di promesse universale che fornisce la promessa ottimale per l’apprendimento a pochi shot su compiti a valle non visti. Recuperando promesse efficaci regolate su un insieme diversificato di compiti, il modello impara a generalizzare e adattarsi a nuovi compiti per cui mancano esempi di addestramento. Ciò migliora le prestazioni senza richiedere una regolazione specifica per compito.

Architetture di modelli nuove

FLEEK è un sistema focalizzato sull’assistenza ai verificatori e convalidatori umani. Identifica automaticamente affermazioni fattualmente verificabili potenzialmente fatte in un dato testo. FLEEK trasforma queste affermazioni in query, recupera prove correlate da basi di conoscenza e fornisce queste informazioni di contesto ai convalidatori umani per verificare efficacemente l’accuratezza del documento e le esigenze di revisione.

L’approccio di decodifica CAD riduce l’allucinazione nella generazione del linguaggio attraverso la decodifica consapevole del contesto. In particolare, CAD amplifica le differenze tra la distribuzione di output dell’LLM quando condizionata su un contesto rispetto a quando generata incondizionatamente. Ciò scoraggia la contraddizione delle prove di contesto, dirigendo il modello verso generazioni radicate.

DoLA mitiga le allucinazioni fattuali contrastando i logaritmi da diversi strati delle reti di trasformazione. Poiché la conoscenza fattuale tende a essere localizzata in certi strati medi, amplificare i segnali da quegli strati fattuali attraverso il contrasto dei logaritmi di DoLA riduce le generazioni fattualmente errate.

La struttura THAM introduce un termine di regolarizzazione durante l’addestramento per minimizzare l’informazione mutua tra input e output allucinati. Ciò aiuta ad aumentare la dipendenza del modello dal contesto di input fornito piuttosto che dall’immaginazione sciolta, riducendo le allucinazioni cieche.

Fondamento della conoscenza

Radicare le generazioni degli LLM in conoscenza strutturata impedisce la speculazione sfrenata e la fabbricazione.

Il modello RHO identifica entità in un contesto conversazionale e le collega a un grafo di conoscenza (KG). Fatti e relazioni relativi a queste entità vengono recuperati dal KG e fusi nella rappresentazione di contesto fornita all’LLM. Questo contesto arricchito dalla conoscenza dirige le risposte legate a fatti radicati su entità/eventi menzionati.

HAR crea set di dati di addestramento controfattuali che contengono allucinazioni generate dal modello per insegnare meglio il fondamento. Dato un passaggio fattuale, i modelli vengono invitati a introdurre allucinazioni o distorsioni generando una versione controfattuale alterata. La regolazione su questi dati costringe i modelli a fondare meglio il contenuto nelle fonti fattuali originali, riducendo l’improvvisazione.

Regolazione supervisionata

• Coach – Framework interattivo che risponde alle query dell’utente e chiede anche correzioni per migliorare.
• R-Tuning – Regolazione consapevole del rifiuto rifiuta domande non supportate identificate attraverso lacune nelle conoscenze dei dati di addestramento.
• TWEAK – Metodo di decodifica che classifica le generazioni in base a quanto supportano i fatti di input.

Sfide e limitazioni

Nonostante i progressi promettenti, alcune sfide chiave rimangono nella mitigazione delle allucinazioni:

• Le tecniche spesso scambiano qualità, coerenza e creatività per veracità.
• Difficoltà nella valutazione rigorosa oltre i domini limitati. Le metriche non catturano tutte le sfumature.
• Molti metodi sono computazionalmente costosi, richiedendo recupero o autoragionamento estensivi.
• Dipendono fortemente dalla qualità dei dati di addestramento e dalle fonti di conoscenza esterne.
• È difficile garantire la generalizzabilità attraverso domini e modalità.
• Le radici fondamentali dell’allucinazione come l’estrapolazione eccessiva rimangono irrisolte.

Affrontare queste sfide richiede probabilmente un approccio multilivello che combina il miglioramento dei dati di addestramento, il miglioramento dell’architettura del modello, le perdite che aumentano la fedeltà e le tecniche di inferenza.

La strada ahead

La mitigazione dell’allucinazione per gli LLM rimane un problema di ricerca aperto con progressi attivi. Alcune direzioni future promettenti includono:

• Tecniche ibride: Combinare approcci complementari come il recupero, il fondamento della conoscenza e il feedback.
• Modellazione della causalità: Migliorare la comprensione e il ragionamento.
• Integrazione della conoscenza online: Tenere aggiornata la conoscenza del mondo.
• Verifica formale: Fornire garanzie matematiche sui comportamenti del modello.
• Interpretazione: Costruire trasparenza nelle tecniche di mitigazione.

Mentre gli LLM continuano a proliferare in domini ad alto rischio, sviluppare soluzioni robuste per limitare le allucinazioni sarà fondamentale per garantire la loro distribuzione sicura, etica e affidabile. Le tecniche esaminate in questo articolo forniscono una panoramica delle tecniche proposte finora, dove rimangono sfide di ricerca aperte. Nel complesso, c’è una tendenza positiva verso il miglioramento della factualità del modello, ma il progresso continuo richiede di affrontare le limitazioni e di esplorare nuove direzioni come la causalità, la verifica e i metodi ibridi. Con gli sforzi diligenti dei ricercatori attraverso le discipline, il sogno di LLM potenti e yet affidabili può essere tradotto in realtà.