RAFT – En finjusterings- och RAG-approach för domänspecifikt frågesvar

Medan tillämpningarna av stora språkmodeller utvidgas till specialiserade domäner, blir behovet av effektiva och effektiva anpassningstekniker alltmer avgörande. Här kommer RAFT (Retrieval Augmented Fine Tuning), en ny approach som kombinerar styrkorna hos retrieval-augmenterad generation (RAG) och finjustering, anpassad specifikt för domänspecifika frågesvarsuppgifter.

Utmaningen med domänanpassning

Medan stora språkmodeller är förtränade på stora mängder data, är deras förmåga att prestera bra i specialiserade domäner, som medicinsk forskning, juridisk dokumentation eller företagsspecifika kunskapsbaser, ofta begränsad. Denna begränsning uppstår eftersom förträningsdata kanske inte tillräckligt representerar nyanserna och komplexiteterna i dessa specialiserade domäner. För att tackla denna utmaning har forskare traditionellt använt två huvudsakliga tekniker: retrieval-augmenterad generation (RAG) och finjustering.

Retrieval-Augmenterad Generation (RAG)

RAG

RAG är en teknik som möjliggör för LLM att komma åt och använda externa kunskapskällor under inferens.

Det uppnår detta genom att integrera realtidsdatahämtning i den generativa processen, vilket gör modellens utdata mer exakta och uppdaterade. RAG består av tre kärnsteg: hämtning, där relevanta dokument samlas in; generering, där modellen producerar en utdata baserat på de hämtade data; och augmentering, som raffinerar utdatat ytterligare.

Hämtningsprocessen i RAG börjar med en användares fråga. LLM analyserar frågan och hämtar relevant information från externa databaser, och presenterar en pool av data som modellen kan dra från för att formulera sina svar. Genereringsfasen syntetiserar sedan denna indata till en sammanhängande berättelse eller svar. Augmenteringssteget raffinerar genereringen genom att lägga till kontext eller justera för sammanhang och relevans.

RAG-modeller kan utvärderas med hjälp av en mängd olika mått, som bedömer deras förmåga att tillhandahålla exakt, relevant och uppdaterad information.

Finjustering

supervised-fine-tuning

Finjustering, å andra sidan, innebär att anpassa en förtränad LLM till en specifik uppgift eller domän genom att ytterligare träna den på en mindre, uppgiftsspecifik dataset. Denna approach möjliggör för modellen att lära sig mönster och anpassa sina utdata med den önskade uppgiften eller domänen. Medan finjustering kan förbättra modellens prestanda, misslyckas den ofta med att effektivt inkorporera externa kunskapskällor eller ta hänsyn till hämtningsfel under inferens.

RAFT-approachen

RAFT

RAFT står för Retrieval-Aware Fine-Tuning, och är en innovativ träningsmetod anpassad för språkmodeller för att förbättra deras prestanda i domänspecifika uppgifter, särskilt för öppenboks-examina. RAFT avviker från standardfinjustering genom att förbereda träningsdata som inkorporerar frågor med en blandning av relevanta och icke-relevanta dokument, tillsammans med kedje-tänkande-svar som hämtats från relevanta texter. Denna metod syftar till att förbättra modellernas förmåga att inte bara komma ihåg information, utan också resonera och hämta svar från tillhandahållna innehåll.

I själva verket finjusterar RAFT språkmodeller för att bli mer skickliga i uppgifter som involverar läsförståelse och kunskapsextrahering från en uppsättning dokument. Genom att träna med både “oracle”-dokument (som innehåller svaret) och “distraktor”-dokument (som inte gör det), lär sig modellen att urskilja och använda relevant information mer effektivt.

RAFT:s träningsregim betonar också genereringen av resonemangsprocesser, som inte bara hjälper till att forma svaret, utan också citerar källor, liknande hur en människa skulle motivera sitt svar genom att hänvisa till material de har läst. Denna approach inte bara förbereder modellen för en RAG (Retrieval Augmenterad Generation)-inställning där den måste överväga topp-k-hämtade dokument, utan säkerställer också att modellens träningsdata är oberoende av den hämtare som används, vilket möjliggör flexibel tillämpning över olika hämtningsystem.

Denna approach tjänar flera syften:

1. Den tränar modellen att identifiera och använda relevant information från den tillhandahållna kontexten, och liknar den öppna boken-examensinställningen.
2. Den förbättrar modellens förmåga att bortse från irrelevant information, en kritisk färdighet för effektiv RAG.
3. Den utsätter modellen för scenarier där svaret inte finns i kontexten, och uppmuntrar den att lita på sin egen kunskap när det är nödvändigt.

En annan viktig aspekt av RAFT är inkorporeringen av kedje-tänkande-resonemang i träningsprocessen. Istället för att bara tillhandahålla fråga och svarpar, genererar RAFT detaljerade resonemangsförklaringar som inkluderar ordagrant citat från relevanta dokument. Dessa förklaringar, presenterade i en kedje-tänkande-format, guider modellen genom de logiska steg som krävs för att komma till det korrekta svaret.

Genom att träna modellen på dessa resonemangskedjor, uppmuntrar RAFT utvecklingen av starka resonemangs-förmågor och förbättrar modellens förståelse av hur man effektivt kan utnyttja externa kunskapskällor.

Utvärdering och Resultat

Författarna till RAFT-papperet genomförde omfattande utvärderingar på olika dataset, inklusive PubMed (biomedicinsk forskning), HotpotQA (öppen-domän-frågesvar) och Gorilla APIBench (kodgenerering). Deras resultat visade att RAFT konsekvent överträffade baslinjer, såsom domänspecifik finjustering med och utan RAG, samt större modeller som GPT-3.5 med RAG.

RAFT förbättrar RAG-prestanda

Till exempel, på HuggingFace-dataset, uppnådde RAFT en noggrannhet på 74%, en betydande förbättring på 31,41% jämfört med domänspecifik finjustering (DSF) och 44,92% jämfört med GPT-3.5 med RAG. Likaså, på HotpotQA-dataset, visade RAFT en 28,9% noggrannhetsförbättring jämfört med DSF.

En av de viktigaste fördelarna med RAFT är dess robusthet mot hämtningsfel. Genom att träna modellen med en blandning av relevanta och irrelevanta dokument, förbättrar RAFT modellens förmåga att urskilja och prioritera relevant information, även när hämtningsmodulen returnerar undermåliga resultat.

Författarna visade att finjustering med endast “oracle”-dokument ofta leder till sämre prestanda jämfört med konfigurationer som inkluderar “distraktor”-dokument. Denna upptäckt understryker vikten av att utsätta modellen för varierande hämtnings-scenarier under träningsprocessen, för att säkerställa dess beredskap för verkliga tillämpningar.

Praktiska Tillämpningar och Framtida Riktningar

RAFT-tekniken har betydande implikationer för en mängd olika praktiska tillämpningar, inklusive:

1. Frågesvars-system: RAFT kan användas för att bygga högprecisa och domänspecifika frågesvars-system, som utnyttjar både modellens inlärda kunskap och externa kunskapskällor.
2. Företagskunskaps-hantering: Organisationer med stora kunskapsbaser kan utnyttja RAFT för att utveckla anpassade frågesvars-system, som möjliggör för anställda att snabbt komma åt och utnyttja relevant information.
3. Medicinsk och Vetenskaplig Forskning: RAFT kan vara särskilt värdefull i domäner som biomedicinsk forskning, där tillgång till de senaste forskningsresultaten och litteraturen är avgörande för att främja vetenskaplig förståelse.
4. Juridik och Finans: RAFT kan assistera proffs inom dessa områden genom att tillhandahålla exakta och kontext-medvetna svar baserat på relevanta juridiska dokument eller finansiella rapporter.

Såsom forskningen inom detta område fortskrider, kan vi förvänta oss ytterligare framsteg och förbättringar av RAFT-tekniken. Potentiella framtida riktningar inkluderar:

1. Utforskning av mer effektiva och effektiva hämtningsmoduler, anpassade för specifika domäner eller dokumentstrukturer.
2. Integrering av multimodal information, såsom bilder eller tabeller, i RAFT-ramverket för förbättrad kontextförståelse.
3. Utveckling av specialiserade resonemangs-arkitekturer som kan bättre utnyttja kedje-tänkande-förklaringar som genereras under träningsprocessen.
4. Anpassning av RAFT till andra naturliga språk-uppgifter utöver frågesvar, såsom sammanfattning, översättning eller dialogsystem.

Slutsats

RAFT representerar ett betydande steg framåt inom området domänspecifikt frågesvar med språkmodeller. Genom att harmoniskt kombinera styrkorna hos retrieval-augmenterad generation och finjustering, utrustar RAFT LLM med förmågan att effektivt utnyttja externa kunskapskällor samtidigt som den anpassar sina utdata med domänspecifika mönster och preferenser.

Genom sin innovativa träningsdata-curation, inkorporering av kedje-tänkande-resonemang och robusthet mot hämtningsfel, erbjuder RAFT en kraftfull lösning för organisationer och forskare som söker att låsa upp den fulla potentialen hos LLM i specialiserade domäner.

Såsom efterfrågan på domänspecifika naturliga språk-behandlingsförmågor fortsätter att växa, kommer tekniker som RAFT att spela en avgörande roll i att möjliggöra mer exakta, kontext-medvetna och anpassningsbara språkmodeller, och bana väg för en framtid där mänsklig-maskin-kommunikation blir verkligt sömlös och domän-agnostisk.