RAFT – En finjusterings- och RAG-ansats för domänspecifik frågesvar

Medan tillämpningarna av stora språkmodeller expanderas till specialiserade domäner, blir behovet av effektiva och effektiva anpassningstekniker alltmer avgörande. Här kommer RAFT (Retrieval Augmented Fine Tuning), en ny ansats som kombinerar styrkorna hos retrieval-augmented generation (RAG) och finjustering, specialutvecklad för domänspecifika frågesvarsuppgifter.

Utmaningen med domänanpassning

Medan stora språkmodeller är förtränade på stora mängder data, är deras förmåga att prestera bra i specialiserade domäner, som medicinsk forskning, juridisk dokumentation eller företagsspecifik kunskapsbas, ofta begränsad. Denna begränsning uppstår eftersom förträningsdata kanske inte tillräckligt representerar nyanserna och komplexiteterna i dessa specialiserade domäner. För att möta denna utmaning har forskare traditionellt använt två huvudsakliga tekniker: retrieval-augmented generation (RAG) och finjustering.

Retrieval-Augmented Generation (RAG)

RAG

RAG är en teknik som möjliggör för stora språkmodeller att komma åt och använda externa kunskapskällor under inferens.

Det uppnår detta genom att integrera realtidsdatahämtning i den generativa processen, vilket gör modellens utdata mer precisa och uppdaterade. RAG består av tre kärnsteg: hämtning, där relevanta dokument samlas in; generering, där modellen producerar en utdata baserat på de hämtade data; och förbättring, som förbättrar utdatat ytterligare.

Den hämtningsprocess som RAG startar med en användares fråga. Stora språkmodeller analyserar frågan och hämtar relevant information från externa databaser, presenterar en pool av data som modellen kan dra från för att formulera sina svar. Genereringsfasen syntetiserar sedan denna indata till en sammanhängande berättelse eller svar. Förbättringssteget förbättrar genereringen genom att lägga till sammanhang eller justera för sammanhang och relevans.

RAG-modeller kan utvärderas med hjälp av en mängd olika metriker, som utvärderar deras förmåga att tillhandahålla precisa, relevanta och uppdaterade uppgifter.

Finjustering

supervised-fine-tuning

Finjustering, å andra sidan, innebär att anpassa en förtränad stor språkmodell till en specifik uppgift eller domän genom att ytterligare träna den på en mindre, uppgiftsspecifik dataset. Denna ansats tillåter modellen att lära sig mönster och justera sina utdata med den önskade uppgiften eller domänen. Medan finjustering kan förbättra modellens prestanda, misslyckas den ofta med att effektivt inkorporera externa kunskapskällor eller ta hänsyn till hämtningsfel under inferens.

RAFT-ansatsen

RAFT

RAFT står för Retrieval-Aware Fine-Tuning, och är en innovativ träningsmetod specialutvecklad för språkmodeller för att förbättra deras prestanda i domänspecifika uppgifter, särskilt för öppenboksexamen. RAFT avviker från standardfinjustering genom att förbereda träningsdata som inkorporerar frågor med en blandning av relevanta och icke-relevanta dokument, tillsammans med kedjeresonemangsstilade svar som hämtats från relevanta texter. Denna metod syftar till att förbättra modellernas förmåga att inte bara återkalla information utan också resonera och hämta svar från tillhandahållna innehåll.

I själva verket finjusterar RAFT språkmodeller för att bli mer kompetenta i uppgifter som involverar läsförståelse och kunskapsextrahering från en uppsättning dokument. Genom att träna med både “orakel”-dokument (som innehåller svaret) och “distraktions”-dokument (som inte gör det), lär sig modellen att urskilja och använda relevant information mer effektivt.

Träningsdataförberedelse

Träningsprocessen under RAFT innebär att en proportion av data innehåller orakel-dokument som direkt relaterar till svaren, medan resten av data består endast av distraktionsdokument. Finjusteringen uppmuntrar modellen att lära sig när den ska lita på sin interna kunskap (likt memorering) och när den ska hämta information från sammanhanget som tillhandahålls.

RAFT:s träningsregim betonar också genereringen av resonemangsprocesser, som inte bara hjälper till att bilda svaret utan också citerar källor, liknande hur en människa skulle motivera sin respons genom att hänvisa till material de har läst. Denna ansats förbereder inte bara modellen för en RAG-miljö (där den måste överväga de bästa hämtade dokumenten) utan säkerställer också att modellens träningsdata är oberoende av den hämtare som används, vilket möjliggör flexibel tillämpning över olika hämtningsystem.

Denna ansats tjänar flera syften:

1. Det tränar modellen att identifiera och använda relevant information från det tillhandahållna sammanhanget, vilket imiterar öppenboksexamensmiljön.
2. Det förbättrar modellens förmåga att bortse från irrelevant information, en kritisk färdighet för effektiv RAG.
3. Det utsätter modellen för scenarier där svaret inte finns i sammanhanget, vilket uppmuntrar den att lita på sin egen kunskap när det är nödvändigt.

En annan viktig aspekt av RAFT är inkorporeringen av kedjeresonemang i träningsprocessen. Istället för att bara tillhandahålla fråga och svarpar, genererar RAFT detaljerade resonemangs förklaringar som innehåller ordagrant citat från relevanta dokument. Dessa förklaringar, presenterade i kedjeresonemangsformat, guider modellen genom de logiska steg som krävs för att nå det korrekta svaret.

Genom att träna modellen på dessa resonemangskedjor uppmuntrar RAFT utvecklingen av starka resonemangsförmågor och förbättrar modellens förståelse för hur man effektivt kan utnyttja externa kunskapskällor.

Utvärdering och resultat

Författarna till RAFT-pappret genomförde omfattande utvärderingar på olika dataset, inklusive PubMed (biomedicinsk forskning), HotpotQA (öppen domänfrågesvar) och Gorilla APIBench (kodgenerering). Deras resultat visade att RAFT konsekvent överträffade baslinjer, såsom domänspecifik finjustering med och utan RAG, samt större modeller som GPT-3.5 med RAG.

RAFT improves RAG performance

Till exempel uppnådde RAFT en noggrannhet på 74% på HuggingFace-dataset, en betydande förbättring på 31,41% jämfört med domänspecifik finjustering (DSF) och 44,92% jämfört med GPT-3.5 med RAG. Likaså visade RAFT en 28,9% noggrannhetsförbättring jämfört med DSF på HotpotQA-dataset.

En av de viktigaste fördelarna med RAFT är dess robusthet mot hämtningsfel. Genom att träna modellen med en blandning av relevanta och irrelevanta dokument, förbättrar RAFT modellens förmåga att urskilja och prioritera relevant information, även när hämtningsmodulen returnerar undermåliga resultat.

Författarna visade att finjustering med endast orakel-dokument ofta leder till sämre prestanda jämfört med konfigurationer som inkluderar distraktionsdokument. Denna upptäckt understryker vikten av att utsätta modellen för varierande hämtnings scenarier under träningsprocessen, vilket säkerställer dess beredskap för verkliga tillämpningar.

Praktiska tillämpningar och framtida riktningar

RAFT-tekniken har betydande implikationer för en mängd olika praktiska tillämpningar, inklusive:

1. Frågesvarssystem: RAFT kan användas för att bygga högprecisa och domänspecifika frågesvarssystem, som utnyttjar både modellens inlärda kunskap och externa kunskapskällor.
2. Företagskunskapsförvaltning: Organisationer med stora kunskapsbaser kan utnyttja RAFT för att utveckla anpassade frågesvarssystem, vilket möjliggör för medarbetare att snabbt komma åt och utnyttja relevant information.
3. Medicinsk och vetenskaplig forskning: RAFT kan vara särskilt värdefullt i domäner som biomedicinsk forskning, där tillgång till de senaste rönen och litteraturen är avgörande för att främja vetenskaplig förståelse.
4. Juridik och finansiella tjänster: RAFT kan hjälpa yrkesverksamma inom dessa områden genom att tillhandahålla precisa och sammanhangsberoende svar baserat på relevanta juridiska dokument eller finansiella rapporter.

Medan forskningen inom detta område fortskrider, kan vi förvänta oss ytterligare framsteg och förbättringar av RAFT-tekniken. Potentiella framtida riktningar inkluderar:

1. Utforskning av mer effektiva och effektiva hämtningsmoduler, anpassade för specifika domäner eller dokumentstrukturer.
2. Integrering av multimodalt innehåll, såsom bilder eller tabeller, i RAFT-ramverket för förbättrad sammanhangsförståelse.
3. Utveckling av specialiserade resonemangsarkitekturer som kan bättre utnyttja kedjeresonemangs förklaringar som genereras under träningsprocessen.
4. Anpassning av RAFT till andra naturliga språkuppgifter utöver frågesvar, såsom sammanfattning, översättning eller dialogsystem.

Slutsats

RAFT representerar ett betydande steg framåt inom området domänspecifik frågesvar med språkmodeller. Genom att harmoniskt kombinera styrkorna hos retrieval-augmented generation och finjustering, utrustar RAFT stora språkmodeller med förmågan att effektivt utnyttja externa kunskapskällor samtidigt som de justerar sina utdata för att matcha domänspecifika mönster och preferenser.

Genom sin innovativa träningsdatakurering, inkorporering av kedjeresonemang och robusthet mot hämtningsfel, erbjuder RAFT en kraftfull lösning för organisationer och forskare som söker utnyttja den fulla potentialen hos stora språkmodeller i specialiserade domäner.

Medan efterfrågan på domänspecifika naturliga språkbehandlingsförmågor fortsätter att växa, kommer tekniker som RAFT att spela en avgörande roll för att möjliggöra mer precisa, sammanhangsberoende och anpassningsbara språkmodeller, vilket banar väg för en framtid där mänsklig-maskinkommunikation blir verkligt sömlös och domänagnostisk.