RAFT – Un approccio di fine-tuning e RAG per la risposta a domande specifiche di dominio

Mentre le applicazioni dei grandi modelli linguistici si espandono in domini specializzati, la necessità di tecniche di adattamento efficienti ed efficaci diventa sempre più cruciale. Entra RAFT (Retrieval Augmented Fine Tuning), un approccio innovativo che combina le forze della generazione aumentata di recupero (RAG) e del fine-tuning, progettato specificamente per compiti di risposta a domande specifiche di dominio.

La sfida dell’adattamento del dominio

Sebbene i LLM siano pre-addestrati su grandi quantità di dati, la loro capacità di eseguire bene in domini specializzati, come la ricerca medica, la documentazione legale o le basi di conoscenza aziendali, è spesso limitata. Questa limitazione deriva dal fatto che i dati di pre-addestramento potrebbero non rappresentare adeguatamente le sfumature e le complessità di questi domini specializzati. Per affrontare questa sfida, i ricercatori hanno tradizionalmente impiegato due tecniche principali: la generazione aumentata di recupero (RAG) e il fine-tuning.

Generazione aumentata di recupero (RAG)

RAG

RAG è una tecnica che consente ai LLM di accedere e utilizzare fonti di conoscenza esterne durante l’inferenza.

Ciò viene realizzato integrando il recupero dei dati in tempo reale nel processo generativo, rendendo così le uscite del modello più accurate e aggiornate. RAG consiste in tre passaggi fondamentali: recupero, dove vengono raccolti documenti pertinenti; generazione, dove il modello produce un’uscita in base ai dati recuperati; e aumento, che raffina ulteriormente l’uscita.

Il processo di recupero in RAG inizia con una query dell’utente. I LLM analizzano la query e recuperano informazioni pertinenti da database esterni, presentando un pool di dati da cui il modello può trarre per formulare le sue risposte. La fase di generazione sintetizza quindi questo input in un racconto o risposta coerente. Il passaggio di aumento raffina la generazione aggiungendo contesto o regolando la coerenza e la rilevanza.

I modelli RAG possono essere valutati utilizzando una varietà di metriche, valutando la loro capacità di fornire informazioni accurate, pertinenti e aggiornate.

Fine-tuning

supervised-fine-tuning

Fine-tuning, d’altra parte, comporta l’adattamento di un LLM pre-addestrato a un compito o dominio specifico, formandolo ulteriormente su un dataset più piccolo e specifico del compito. Questo approccio consente al modello di apprendere modelli e allineare le sue uscite con il compito o dominio desiderato. Sebbene il fine-tuning possa migliorare le prestazioni del modello, spesso non incorpora efficacemente le fonti di conoscenza esterne o tiene conto delle imperfezioni di recupero durante l’inferenza.

L’approccio RAFT

RAFT

RAFT sta per Retrieval-Aware Fine-Tuning, ed è un metodo di addestramento innovativo progettato per migliorare le prestazioni dei modelli linguistici in compiti specifici di dominio, in particolare per esami a libro aperto. RAFT si discosta dal fine-tuning standard preparando dati di addestramento che incorporano domande con una miscela di documenti pertinenti e non pertinenti, insieme a risposte in stile catena di pensieri derivate dai testi pertinenti. Questo metodo mira a migliorare la capacità dei modelli di ricordare non solo le informazioni, ma anche di ragionare e derivare risposte dai contenuti forniti.

In sostanza, RAFT addestra i modelli linguistici per essere più competenti in compiti che coinvolgono la comprensione del testo e l’estrazione di conoscenza da un set di documenti. Formando con sia documenti “oracolo” (che contengono la risposta) che documenti “distrattori” (che non la contengono), il modello apprende a discernere e utilizzare più efficacemente le informazioni rilevanti.

Preparazione dei dati di addestramento

Il processo di addestramento sotto RAFT prevede che una parte dei dati contenga documenti oracolo che si riferiscono direttamente alle risposte, mentre i dati restanti sono costituiti solo da documenti distrattori. Il fine-tuning incoraggia il modello ad apprendere quando affidarsi alle sue conoscenze interne (simile alla memorizzazione) e quando estrarre informazioni dal contesto fornito.

Il regime di addestramento di RAFT enfatizza anche la generazione di processi di ragionamento, che non solo aiutano a formare la risposta, ma anche a citare fonti, simile a come un essere umano giustificherebbe la sua risposta facendo riferimento al materiale che ha letto. Questo approccio non solo prepara il modello per un ambiente RAG (Retrieval Augmented Generation) in cui deve considerare i documenti recuperati top-k, ma assicura anche che l’addestramento del modello sia indipendente dal recuperatore utilizzato, consentendo una flessibile applicazione su diversi sistemi di recupero.

Questo approccio serve a diversi scopi:

1. Addestra il modello a identificare e utilizzare informazioni rilevanti dal contesto fornito, emulando l’ambiente di esame a libro aperto.
2. Migliora la capacità del modello di trascurare informazioni non rilevanti, una competenza critica per un’efficace RAG.
3. Espone il modello a scenari in cui la risposta non è presente nel contesto, incoraggiandolo a fare affidamento sulle sue conoscenze quando necessario.

Un altro aspetto chiave di RAFT è l’incorporazione della catena di pensieri nella fase di addestramento. Invece di fornire semplicemente le coppie di domanda e risposta, RAFT genera spiegazioni dettagliate di ragionamento che includono citazioni testuali dai documenti pertinenti. Queste spiegazioni, presentate in formato di catena di pensieri, guidano il modello attraverso i passaggi logici necessari per arrivare alla risposta corretta.

Formando il modello su queste catene di ragionamento, RAFT incoraggia lo sviluppo di forti capacità di ragionamento e migliora la comprensione del modello su come sfruttare efficacemente le fonti di conoscenza esterne.

Valutazione e risultati

Gli autori del documento RAFT hanno condotto valutazioni approfondite su vari set di dati, tra cui PubMed (ricerca biomedica), HotpotQA (risposta a domande a dominio aperto) e Gorilla APIBench (generazione di codice). I loro risultati hanno dimostrato che RAFT ha costantemente superato i punti di riferimento, come il fine-tuning specifico del dominio con e senza RAG, nonché modelli più grandi come GPT-3.5 con RAG.

RAFT improves RAG performance

Ad esempio, sul set di dati HuggingFace, RAFT ha raggiunto un’accuratezza del 74%, un miglioramento significativo del 31,41% rispetto al fine-tuning specifico del dominio (DSF) e del 44,92% rispetto a GPT-3.5 con RAG. Allo stesso modo, sul set di dati HotpotQA, RAFT ha esibito un guadagno di accuratezza del 28,9% rispetto a DSF.

Uno dei principali vantaggi di RAFT è la sua robustezza alle imperfezioni di recupero. Formando il modello con una miscela di documenti pertinenti e non pertinenti, RAFT migliora la capacità del modello di discernere e dare priorità alle informazioni rilevanti, anche quando il modulo di recupero restituisce risultati subottimali.

Gli autori hanno dimostrato che il fine-tuning con solo i documenti oracolo spesso porta a prestazioni inferiori rispetto alle configurazioni che includono documenti distrattori. Questo risultato sottolinea l’importanza di esporre il modello a scenari di recupero vari durante l’addestramento, assicurando la sua preparazione per applicazioni nel mondo reale.

Applicazioni pratiche e direzioni future

La tecnica RAFT ha implicazioni significative per una vasta gamma di applicazioni pratiche, tra cui:

1. Sistemi di risposta a domande: RAFT può essere utilizzato per costruire sistemi di risposta a domande altamente precisi e specifici del dominio, sfruttando sia le conoscenze apprese dal modello che le fonti di conoscenza esterne.
2. Gestione della conoscenza aziendale: le organizzazioni con grandi basi di conoscenza possono sfruttare RAFT per sviluppare sistemi di risposta a domande personalizzati, consentendo ai dipendenti di accedere e utilizzare rapidamente le informazioni rilevanti.
3. Ricerca medica e scientifica: RAFT può essere particolarmente prezioso in domini come la ricerca biomedica, dove l’accesso ai risultati e alla letteratura più recenti è cruciale per avanzare la comprensione scientifica.
4. Servizi legali e finanziari: RAFT può assistere i professionisti in questi settori fornendo risposte accurate e consapevoli del contesto in base a documenti legali o rapporti finanziari rilevanti.

Mentre la ricerca in questo ambito continua, possiamo aspettarci ulteriori progressi e raffinamenti della tecnica RAFT. Le potenziali direzioni future includono:

1. Esplorazione di moduli di recupero più efficienti ed efficaci, progettati per domini o strutture di documenti specifici.
2. Integrazione di informazioni multi-modalità, come immagini o tabelle, nel framework RAFT per una migliore comprensione del contesto.
3. Sviluppo di architetture di ragionamento specializzate che possano sfruttare meglio le spiegazioni della catena di pensieri generate durante l’addestramento.
4. Adattamento di RAFT ad altri compiti di linguaggio naturale oltre la risposta a domande, come la sintesi, la traduzione o i sistemi di dialogo.

Conclusione

RAFT rappresenta un significativo passo avanti nel campo della risposta a domande specifiche di dominio con modelli linguistici. Armonizzando le forze della generazione aumentata di recupero e del fine-tuning, RAFT equipaggia i LLM con la capacità di sfruttare efficacemente le fonti di conoscenza esterne mentre allinea le loro uscite con modelli e preferenze specifici del dominio.

Attraverso la sua innovativa cura dei dati di addestramento, l’incorporazione della catena di pensieri e la robustezza alle imperfezioni di recupero, RAFT offre una soluzione potente per organizzazioni e ricercatori che cercano di sbloccare il pieno potenziale dei LLM in domini specializzati.

Mentre la domanda di capacità di elaborazione del linguaggio naturale specifiche del dominio continua a crescere, tecniche come RAFT giocheranno un ruolo cruciale nell’abilitare modelli linguistici più precisi, consapevoli del contesto e adattabili, aprendo la strada a un futuro in cui la comunicazione uomo-macchina diventi veramente senza soluzione di continuità e indipendente dal dominio.