RAFT – Un approccio di perfezionamento e RAG alla risposta a domande specifiche del dominio

Man mano che le applicazioni di modelli linguistici di grandi dimensioni si espandono in domini specializzati, la necessità di tecniche di adattamento efficienti ed efficaci diventa sempre più cruciale. Entra in RAFT (Retrieval Augmented Fine Tuning), un nuovo approccio che combina i punti di forza della generazione aumentata di recupero (RAG) e della messa a punto, adattato specificamente per attività di risposta a domande specifiche del dominio.

La sfida dell'adattamento del dominio

Sebbene gli LLM siano pre-formati su grandi quantità di dati, la loro capacità di ottenere buoni risultati in settori specializzati, come la ricerca medica, la documentazione legale o le basi di conoscenza specifiche dell'azienda, è spesso limitata. Questa limitazione nasce dal fatto che i dati pre-formazione potrebbero non rappresentare adeguatamente le sfumature e le complessità di questi domini specializzati. Per affrontare questa sfida, i ricercatori hanno tradizionalmente utilizzato due tecniche principali: generazione aumentata con recupero (RAG) e messa a punto.

Generazione aumentata di recupero (RAG)

RAG

RAG è una tecnica che consente LLM accedere e utilizzare fonti di conoscenza esterne durante l'inferenza.

Ciò avviene integrando il recupero dei dati in tempo reale nel processo generativo, rendendo così i risultati del modello più accurati e aggiornati. RAG si compone di tre fasi fondamentali: recupero, dove vengono raccolti i documenti rilevanti; generazione, in cui il modello produce un output basato sui dati recuperati; e aumento, che perfeziona ulteriormente l'output.

Il processo di recupero in RAG inizia con la query di un utente. Gli LLM analizzano la query e recuperano informazioni pertinenti da database esterni, presentando un pool di dati da cui il modello può attingere per formulare le sue risposte. La fase di generazione sintetizza quindi questo input in una narrazione o risposta coerente. La fase di aumento perfeziona la generazione aggiungendo contesto o adattandola per coerenza e pertinenza.

I modelli RAG possono essere valutati utilizzando una varietà di parametri, valutandone la capacità di fornire informazioni accurate, pertinenti e aggiornate.

Ritocchi

messa a punto supervisionata

Ritocchi, d'altra parte, implica l'adattamento di un LLM pre-addestrato a un compito o dominio specifico addestrandolo ulteriormente su un set di dati più piccolo e specifico per l'attività. Questo approccio consente al modello di apprendere modelli e allineare i suoi risultati con l'attività o il dominio desiderato. Sebbene la messa a punto possa migliorare le prestazioni del modello, spesso non riesce a incorporare in modo efficace fonti di conoscenza esterne o a tenere conto delle imperfezioni di recupero durante l'inferenza.

L'approccio RAFT

ZATTERA

ZATTERA che sta per Retrieval-Aware Fine-Tuning, è un metodo di formazione innovativo su misura per i modelli linguistici per migliorare le loro prestazioni in compiti specifici del dominio, in particolare per gli esami a libro aperto. RAFT si discosta dalla messa a punto standard preparando dati di addestramento che incorporano domande con un mix di documenti rilevanti e non rilevanti, insieme a risposte in stile catena di pensiero derivate dai testi pertinenti. Questo metodo mira a migliorare le capacità dei modelli non solo di richiamare informazioni ma anche di ragionare e ricavare risposte dal contenuto fornito.

In sostanza, RAFT mette a punto i modelli linguistici per essere più competenti in compiti che implicano la comprensione della lettura e l’estrazione di conoscenza da una serie di documenti. Addestrandosi sia con i documenti “oracolo” (che contengono la risposta) che con i documenti “distrattori” (che non la contengono), il modello impara a discernere e utilizzare le informazioni rilevanti in modo più efficace.

Preparazione dei dati di formazione

Il processo di addestramento nell'ambito di RAFT prevede che una parte dei dati contenga documenti Oracle che si riferiscono direttamente alle risposte, mentre i dati rimanenti sono costituiti solo da documenti distrattori. La messa a punto incoraggia il modello a imparare quando fare affidamento sulla sua conoscenza interna (simile alla memorizzazione) e quando estrarre informazioni dal contesto fornito.

Il regime di formazione di RAFT enfatizza anche la generazione di processi di ragionamento, che non solo aiutano a formare la risposta ma citano anche le fonti, in modo simile a come un essere umano giustificherebbe la propria risposta facendo riferimento al materiale che ha letto. Questo approccio non solo prepara il modello per un'impostazione RAG (Retrieval Augmented Generation) in cui deve considerare i documenti recuperati top-k, ma garantisce anche che l'addestramento del modello sia indipendente dal retriever utilizzato, consentendo un'applicazione flessibile su diversi sistemi di recupero.

Questo approccio ha molteplici scopi:

1. Addestra il modello a identificare e utilizzare le informazioni rilevanti dal contesto fornito, imitando l'impostazione dell'esame a libro aperto.
2. Migliora la capacità del modello di ignorare le informazioni irrilevanti, un'abilità fondamentale per un RAG efficace.
3. Espone il modello a scenari in cui la risposta non è presente nel contesto, incoraggiandolo a fare affidamento sulle proprie conoscenze quando necessario.

Un altro aspetto chiave di RAFT è l’integrazione del ragionamento basato sulla catena di pensiero nel processo di formazione. Invece di fornire semplicemente coppie di domande e risposte, RAFT genera spiegazioni di ragionamento dettagliate che includono citazioni letterali dai documenti pertinenti. Queste spiegazioni, presentate in un formato a catena di pensiero, guidano il modello attraverso i passaggi logici necessari per arrivare alla risposta corretta.

Addestrando il modello su queste catene di ragionamento, RAFT incoraggia lo sviluppo di forti capacità di ragionamento e migliora la comprensione del modello su come sfruttare in modo efficace le fonti di conoscenza esterne.

Valutazione e risultati

Gli autori del documento RAFT hanno condotto valutazioni approfondite su vari set di dati, tra cui PubMed (ricerca biomedica), HotpotQA (risposte a domande su dominio aperto) e Gorilla APIBench (generazione di codice). I loro risultati hanno dimostrato che RAFT ha costantemente sovraperformato le linee di base, come la messa a punto specifica del dominio con e senza RAG, nonché modelli più grandi come GPT-3.5 con RAG.

RAFT migliora le prestazioni del RAG

Ad esempio, sul set di dati HuggingFace, RAFT ha raggiunto una precisione del 74%, un miglioramento significativo del 31.41% rispetto alla regolazione fine specifica del dominio (DSF) e del 44.92% rispetto a GPT-3.5 con RAG. Allo stesso modo, sul set di dati HotpotQA, RAFT ha mostrato un aumento di precisione del 28.9% rispetto a DSF.

Uno dei principali vantaggi di RAFT è la sua robustezza nel recupero delle imperfezioni. Addestrando il modello con un mix di documenti rilevanti e irrilevanti, RAFT migliora la capacità del modello di discernere e dare priorità alle informazioni rilevanti, anche quando il modulo di recupero restituisce risultati non ottimali.

Gli autori hanno dimostrato che la messa a punto solo con i documenti Oracle spesso porta a prestazioni inferiori rispetto alle configurazioni che includono documenti distrattori. Questa scoperta sottolinea l'importanza di esporre il modello a diversi scenari di recupero durante l'addestramento, garantendone la preparazione per le applicazioni del mondo reale.

Applicazioni pratiche e direzioni future

La tecnica RAFT ha implicazioni significative per un’ampia gamma di applicazioni pratiche, tra cui:

1. Sistemi di risposta alle domande: RAFT può essere impiegato per costruire sistemi di risposta alle domande altamente accurati e specifici per dominio, sfruttando sia la conoscenza appresa dal modello che le fonti di conoscenza esterne.
2. Gestione della conoscenza aziendale: le organizzazioni con ampie basi di conoscenza possono sfruttare RAFT per sviluppare sistemi di risposta alle domande personalizzati, consentendo ai dipendenti di accedere e utilizzare rapidamente le informazioni pertinenti.
3. Ricerca medica e scientifica: RAFT può essere particolarmente prezioso in settori come la ricerca biomedica, dove l’accesso alle scoperte e alla letteratura più recenti è fondamentale per far avanzare la comprensione scientifica.
4. Servizi legali e finanziari: RAFT può assistere i professionisti in questi campi fornendo risposte accurate e consapevoli del contesto basate su documenti legali o rapporti finanziari pertinenti.

Man mano che la ricerca in questo settore continua, possiamo aspettarci ulteriori progressi e perfezionamenti della tecnica RAFT. Le potenziali direzioni future includono:

1. Esplorazione di moduli di recupero più efficienti ed efficaci, personalizzati per domini o strutture documentali specifici.
2. Integrazione di informazioni multimodali, come immagini o tabelle, nel framework RAFT per una migliore comprensione del contesto.
3. Sviluppo di architetture di ragionamento specializzate in grado di sfruttare meglio le spiegazioni della catena di pensiero generate durante la formazione.
4. Adattamento di RAFT ad altri compiti del linguaggio naturale oltre alla risposta alle domande, come riepiloghi, traduzioni o sistemi di dialogo.

Conclusione

RAFT rappresenta un significativo passo avanti nel campo della risposta a domande specifiche del dominio con modelli linguistici. Unendo armoniosamente i punti di forza della generazione aumentata e del perfezionamento del recupero, RAFT fornisce agli LLM la capacità di sfruttare in modo efficace fonti di conoscenza esterne, allineando al tempo stesso i loro risultati con modelli e preferenze specifici del dominio.

Attraverso la sua innovativa curatela dei dati di formazione, l'incorporazione del ragionamento basato sulla catena di pensiero e la robustezza nel recupero delle imperfezioni, RAFT offre una potente soluzione per organizzazioni e ricercatori che cercano di sbloccare l'intero potenziale degli LLM in domini specializzati.

Poiché la domanda di capacità di elaborazione del linguaggio naturale specifiche per un dominio continua a crescere, tecniche come RAFT giocheranno un ruolo fondamentale nel consentire modelli linguistici più accurati, sensibili al contesto e adattivi, aprendo la strada a un futuro in cui la comunicazione uomo-macchina diventerà davvero efficace. senza soluzione di continuità e indipendente dal dominio.