RAFT – En finjustering og RAG-tilgang til domænespecifik spørgsmålssvarende

Da anvendelserne af store sprogmodeller udvides til specialiserede domæner, bliver behovet for effektive og effektive tilpasningsteknikker stadig mere kritisk. Indtast RAFT (Retrieval Augmented Fine Tuning), en ny tilgang, der kombinerer styrkerne fra retrieval-augmented generation (RAG) og finjustering, specifikt designet til domænespecifik spørgsmålssvarende opgaver.

Udfordringen med domænetilpasning

Selvom LLM’er er forudtrænet på enorme mængder data, er deres evne til at fungere godt i specialiserede domæner, såsom medicinsk forskning, juridisk dokumentation eller virksomhedsspecifik videnbasen, ofte begrænset. Denne begrænsning opstår, fordi forudtræningsdataene måske ikke tilstrækkeligt repræsenterer nuancerne og kompleksiteten af disse specialiserede domæner. For at imødegå denne udfordring har forskere traditionelt anvendt to hovedteknikker: retrieval-augmented generation (RAG) og finjustering.

Retrieval-Augmented Generation (RAG)

RAG

RAG er en teknik, der giver LLM’er adgang til og anvender eksterne videnkilder under inferens.

Det opnås ved at integrere realtidsdatahentning i den generative proces, hvilket gør modellens output mere præcis og opdateret. RAG består af tre kerneforløb: hentning, hvor relevante dokumenter indsamles; generation, hvor modellen producerer en output baseret på de hentede data; og tilføjelse, som yderligere forbedrer outputtet.

Hentningsprocessen i RAG starter med en brugers forespørgsel. LLM’er analyserer forespørgslen og henter relevante oplysninger fra eksterne databaser, præsenterer en pulje af data, som modellen kan trække på for at formulere sine svar. Generationsfasen syntetiserer herefter denne input til en sammenhængende fortælling eller svar. Tilføjelsesfasen forbedrer generationsfasen yderligere ved at tilføje kontekst eller justere for sammenhæng og relevans.

RAG-modeller kan vurderes ved hjælp af en række metrikker, der vurderer deres evne til at give præcise, relevante og opdaterede oplysninger.

Finjustering

supervised-fine-tuning

Finjustering, på den anden side, indebærer tilpasning af en forudtrænet LLM til en specifik opgave eller domæne ved yderligere træning på en mindre, opgave-specifik dataset. Denne tilgang giver modellen mulighed for at lære mønstre og tilpasse sine output med den ønskede opgave eller domæne. Selvom finjustering kan forbedre modellens præstation, fejler den ofte i at inkorporere eksterne videnkilder eller tage hensyn til hentningsfejl under inferens.

RAFT-tilgangen

RAFT

RAFT står for Retrieval-Aware Fine-Tuning og er en innovativ træningsmetode designet til at forbedre sprogmodellers præstation i domænespecifikke opgaver, især for åbne bog-spørgsmål. RAFT adskiller sig fra standard finjustering ved at forberede træningsdata, der inkorporerer spørgsmål med en blanding af relevante og irrelevante dokumenter, samt kæde-tanke-stil answers afledt fra de relevante tekster. Denne metode sigter mod at forbedre modellens evne til ikke kun at huske information, men også til at begrunde og aflede svar fra den tilgængelige kontekst.

I essensen finjusterer RAFT sprogmodeller til at være mere dygtige i opgaver, der involverer læsning og videnstrækning fra en samling dokumenter. Ved at træne med både “oracle”-dokumenter (der indeholder svaret) og “distraktor”-dokumenter (der ikke gør det), lærer modellen at skelne og anvende relevant information mere effektivt.

Træningsdataforberedelse

Træningsprocessen under RAFT indebærer, at en proportion af dataene indeholder “oracle”-dokumenter, der direkte relaterer til svarene, mens resten af dataene består af “distraktor”-dokumenter. Finjusteringen opmuntre modellen til at lære, hvornår den skal stole på sin interne viden (lignende huskning) og hvornår den skal trække information fra konteksten.

RAFT’s træningsregime lægger også vægt på generationen af tankeprocesser, der ikke kun hjælper med at danne svaret, men også citerer kilder, ligesom en menneskelig ville retfærdiggøre deres svar ved at henviser til materiale, de har læst. Denne tilgang forbereder ikke kun modellen på en RAG-indstilling, hvor den skal overveje top-k hentede dokumenter, men sikrer også, at modellens træning er uafhængig af den brugte henter, hvilket giver mulighed for fleksibel anvendelse på tværs af forskellige hentningssystemer.

Denne tilgang tjener flere formål:

1. Det træner modellen til at identificere og anvende relevant information fra den tilgængelige kontekst, lignende åbne bog-spørgsmål.
2. Det forbedrer modellens evne til at ignorere irrelevant information, en kritisk færdighed for effektiv RAG.
3. Det udsætter modellen for scenarier, hvor svaret ikke er til stede i konteksten, og opmuntre den til at stole på sin egen viden, når det er nødvendigt.

En anden nøgleaspekt af RAFT er inkorporeringen af kæde-tanke-grundlæggende i træningsprocessen. I stedet for blot at give spørgsmål og svarpar, genererer RAFT detaljerede grundlæggende forklaringer, der inkluderer ordret citeringer fra de relevante dokumenter. Disse forklaringer, præsenteret i en kæde-tanke-format, guider modellen gennem de logiske skridt, der er nødvendige for at nå det korrekte svar.

Ved at træne modellen på disse tanke-kæder opmuntre RAFT udviklingen af stærke grundlæggende færdigheder og forbedrer modellens forståelse af, hvordan man effektivt kan udnytte eksterne videnkilder.

Evaluering og resultater

Forfatterne af RAFT-papiret gennemførte omfattende evalueringer på forskellige datasæt, herunder PubMed (biomedicinsk forskning), HotpotQA (åbent domæne-spørgsmålssvarende) og Gorilla APIBench (kodegenerering). Deres resultater viste, at RAFT konsekvent overgik baseline, såsom domænespecifik finjustering med og uden RAG, samt større modeller som GPT-3.5 med RAG.

RAFT forbedrer RAG-præstation

For eksempel opnåede RAFT en nøjagtighed på 74% på HuggingFace-datasættet, en betydelig forbedring på 31,41% i forhold til domænespecifik finjustering (DSF) og 44,92% i forhold til GPT-3.5 med RAG. Lignende på HotpotQA-datasættet viste RAFT en nøjagtighedsforbedring på 28,9% i forhold til DSF.

En af de vigtigste fordele ved RAFT er dens robusthed over for hentningsfejl. Ved at træne modellen med en blanding af relevante og irrelevante dokumenter forbedrer RAFT modellens evne til at skelne og prioritere relevant information, selv når hentningsmodulen returnerer underoptimalt resultater.

Forfatterne demonstrerede, at finjustering med kun “oracle”-dokumenter ofte fører til dårligere præstation i forhold til konfigurationer, der inkluderer “distraktor”-dokumenter. Denne opdagelse understreger vigtigheden af at udsætte modellen for varierende hentningsscenarier under træning, hvilket sikrer, at den er forberedt på virkelige anvendelser.

Praktiske anvendelser og fremtidige retninger

RAFT-teknikken har betydelige implikationer for en bred vifte af praktiske anvendelser, herunder:

1. Spørgsmålssvarende systemer: RAFT kan anvendes til at opbygge højpræcise og domænespecifikke spørgsmålssvarende systemer, der udnytter både modellens lært viden og eksterne videnkilder.
2. Virksomhedsvidenstyring: Organisationer med store videnbaser kan anvende RAFT til at udvikle tilpassede spørgsmålssvarende systemer, der giver medarbejderne mulighed for at hurtigt få adgang til og anvende relevant information.
3. Medicinsk og videnskabelig forskning: RAFT kan være særligt værdifuld i domæner som biomedicinsk forskning, hvor adgang til de seneste fund og litteratur er afgørende for at fremme videnskabelig forståelse.
4. Juridiske og finansielle tjenester: RAFT kan hjælpe fagfolk i disse områder med at give præcise og kontekstafhængige svar baseret på relevante juridiske dokumenter eller finansielle rapporter.

Da forskningen i dette område fortsætter, kan vi forvente yderligere fremskridt og forbedringer af RAFT-teknikken. Potentielle fremtidige retninger inkluderer:

1. Udforskning af mere effektive og effektive hentningsmoduler, tilpasset til specifikke domæner eller dokumentstrukturer.
2. Integrering af multimodale oplysninger, såsom billeder eller tabeller, i RAFT-rammen for forbedret kontekstforståelse.
3. Udvikling af specialiserede grundlæggende arkitekturer, der kan bedre udnytte de kæde-tanke-forforklaringer, der genereres under træning.
4. Tilpasning af RAFT til andre naturlige sprogopgaver ud over spørgsmålssvarende, såsom sammenfatning, oversættelse eller dialogsystemer.

Konklusion

RAFT repræsenterer et betydeligt spring fremad i feltet domænespecifik spørgsmålssvarende med sprogmodeller. Ved at harmonisk blande styrkerne fra retrieval-augmented generation og finjustering giver RAFT LLM’er mulighed for effektivt at udnytte eksterne videnkilder, samtidig med at de tilpasser deres output til domænespecifikke mønstre og præferencer.

Gennem sin innovative træningsdataforberedelse, inkorporering af kæde-tanke-grundlæggende og robusthed over for hentningsfejl tilbyder RAFT en kraftfuld løsning for organisationer og forskere, der søger at udnytte fuldt potentialet af LLM’er i specialiserede domæner.

Da efterspørgslen efter domænespecifikke naturlige sprogbehandlingsfærdigheder fortsætter med at vokse, vil teknikker som RAFT spille en afgørende rolle i at muliggøre mere præcise, kontekstafhængige og adaptive sprogmodeller, der baner vejen for en fremtid, hvor menneske-maskine-kommunikation bliver virkelig ubesværet og domæneuafhængig.