RAFT – En finjustering og RAG-tilnærming til domenespesifikt spørsmål-svar

Ettersom anvendelsene av store språkmodeller utvides til spesialiserte domener, blir behovet for effektive og effisiente tilpasningsmetoder stadig viktigere. Inn kommer RAFT (Retrieval Augmented Fine Tuning), en ny tilnærming som kombinerer styrkene til retrieval-augmented generation (RAG) og finjustering, tilpasset spesifikt for domenespesifikt spørsmål-svar.

Ufordringen med domene-tilpasning

Selv om store språkmodeller er fortrent på store mengder data, er deres evne til å fungere godt i spesialiserte domener, som medisinsk forskning, juridisk dokumentasjon eller bedriftsspesifikke kunnskapsbaserte systemer, ofte begrenset. Dette skyldes at fortreningdataene kanskje ikke representerer nuansene og kompleksiteten i disse spesialiserte domenene tilstrekkelig. For å møte denne utfordringen, har forskere tradisjonelt brukt to hovedteknikker: retrieval-augmented generation (RAG) og finjustering.

Retrieval-Augmented Generation (RAG)

RAG

RAG er en teknikk som gjør det mulig for store språkmodeller å få tilgang til og bruke eksterne kunnskapskilder under inferens.

Det oppnår dette ved å integrere sanntidsdata-henting i den generative prosessen, og gjør dermed modellens utdata mer nøyaktig og oppdatert. RAG består av tre kjerne-steg: henting, der relevante dokumenter hentes; generering, der modellen produserer en utdata basert på de hentede dataene; og augmentering, som refinerer utdataene videre.

Henting-prosessen i RAG starter med en brukers spørsmål. Store språkmodeller analyserer spørsmålet og henter relevante informasjon fra eksterne databaser, og presenterer en mengde data som modellen kan trekke fra for å formulere sine svar. Genereringsfasen syntetiserer denne innmaten til en sammenhengende fortelling eller svar. Augmenteringssteget refinerer genereringen ved å legge til kontekst eller justere for kohesjon og relevans.

RAG-modeller kan vurderes ved hjelp av en rekke mål, som vurderer deres evne til å levere nøyaktig, relevant og oppdatert informasjon.

Finjustering

supervised-fine-tuning

Finjustering, på den andre siden, innebærer å tilpasse en fortrent stor språkmodell til en spesifikk oppgave eller domene ved å videre trene den på en mindre, oppgave-spesifikk datasett. Denne tilnærmingen gjør det mulig for modellen å lære mønster og justere sine utdata med den ønskede oppgaven eller domenen. Selv om finjustering kan forbedre modellens ytelse, lykkes den ofte ikke å effektivt inkorporere eksterne kunnskapskilder eller håndtere henting-feil under inferens.

RAFT-tilnærmingen

RAFT

RAFT står for Retrieval-Aware Fine-Tuning, og er en innovativ treningsmetode tilpasset for språkmodeller til å forbedre deres ytelse i domenespesifikt arbeid, spesielt for åpne-bok-eksamen. RAFT avviker fra standard finjustering ved å forberede treningsdata som inkorporerer spørsmål med en blanding av relevante og irrelevante dokumenter, samt chain-of-thought-stilte svar som er avledet fra de relevante tekstene. Denne metoden har som mål å forbedre modellens evne til ikke bare å huske informasjon, men også å grunne og avlede svar fra den tilgjengelige informasjonen.

I essensen finejusterer RAFT språkmodeller til å bli mer kompetente i oppgaver som involverer lesing og kunnskaps-utvinning fra en mengde dokumenter. Ved å trene med både “oracle”-dokumenter (som inneholder svaret) og “distractor”-dokumenter (som ikke gjør det), lærer modellen å skille og bruke relevant informasjon mer effektivt.

Treningsdata-forberedelse

Treningsprosessen under RAFT innebærer at en proporsjon av dataene skal inneholde “oracle”-dokumenter som direkte relaterer til svarene, mens resten av dataene består bare av “distractor”-dokumenter. Finjusteringen oppmuntres til å lære når å stole på sin interne kunnskap (liknende husking) og når å utvinne informasjon fra konteksten som er gitt.

RAFTs treningsregime legger også vekt på generering av grunningsprosesser, som ikke bare hjelper til å danne svaret, men også å sitere kilder, likt hvordan en menneske ville begrunne sin respons ved å referere til materiale de har lest. Denne tilnærmingen gjør ikke bare at modellen er forberedt for en RAG (Retrieval Augmented Generation)-innstilling hvor den må vurdere top-k hentede dokumenter, men sikrer også at modellens treningsprosess er uavhengig av henteren som brukes, og tillater dermed fleksibel anvendelse over forskjellige hentingsystemer.

Denne tilnærmingen tjener flere formål:

1. Den trener modellen til å identifisere og bruke relevant informasjon fra den tilgjengelige konteksten, og ligner på åpne-bok-eksamen-innstillingen.
2. Den forbedrer modellens evne til å forkaste irrelevant informasjon, en kritisk ferdighet for effektiv RAG.
3. Den eksponerer modellen for scenarier hvor svaret ikke er til stede i konteksten, og oppmuntres til å stole på sin egen kunnskap når det er nødvendig.

En annen viktig aspekt av RAFT er inkorporeringen av chain-of-thought-grunningsprosesser i treningsprosessen. I stedet for bare å gi spørsmål og svar-par, genererer RAFT detaljerte grunnings-forklaringer som inkluderer ordrette sitater fra de relevante dokumentene. Disse forklaringene, presentert i en chain-of-thought-format, guider modellen gjennom de logiske stegene som er nødvendige for å nå det riktige svaret.

Ved å trene modellen på disse grunnings-kjedene, oppmuntres RAFT til å utvikle sterke grunnings-ferdigheter og forbedre modellens forståelse av hvordan å effektivt bruke eksterne kunnskapskilder.

Evaluering og resultater

Forfatterne av RAFT-artikkelen gjennomførte omfattende evalueringer på forskjellige datasett, inkludert PubMed (biomedisinsk forskning), HotpotQA (åpen-domen-spørsmål-svar) og Gorilla APIBench (kode-generering). Deres resultater viste at RAFT konsistent overgikk baseline-modellene, som inkluderte domene-spesifikk finjustering med og uten RAG, samt større modeller som GPT-3.5 med RAG.

RAFT improves RAG performance

For eksempel, på HuggingFace-datasettet, oppnådde RAFT en nøyaktighet på 74%, en betydelig forbedring på 31,41% sammenlignet med domene-spesifikk finjustering (DSF) og 44,92% sammenlignet med GPT-3.5 med RAG. Liknende, på HotpotQA-datasettet, viste RAFT en nøyaktighets-gevinst på 28,9% sammenlignet med DSF.

En av de viktigste fordelen med RAFT er dens robusthet til henting-feil. Ved å trene modellen med en blanding av relevante og irrelevante dokumenter, forbedrer RAFT modellens evne til å skille og prioritere relevant informasjon, selv når henting-modulen returnerer underoptimale resultater.

Forfatterne demonstrerte at finjustering med bare “oracle”-dokumenter ofte leder til dårligere ytelse sammenlignet med konfigurasjoner som inkluderer “distractor”-dokumenter. Dette funn understreker viktigheten av å eksponere modellen for varierende henting-scenarier under treningsprosessen, og sikrer at modellens treningsprosess er uavhengig av henteren som brukes.

Praktiske anvendelser og fremtidige retninger

RAFT-teknikken har betydelige implikasjoner for en rekke praktiske anvendelser, inkludert:

1. Spørsmål-svar-systemer: RAFT kan brukes til å bygge høyt nøyaktige og domene-spesifikt spørsmål-svar-systemer, som utnytter både modellens lærte kunnskap og eksterne kunnskapskilder.
2. Bedrifts-kunnskapsforvaltning: Organisasjoner med store kunnskapsbaserte systemer kan bruke RAFT til å utvikle tilpassede spørsmål-svar-systemer, som gjør det mulig for ansatte å raskt få tilgang til og bruke relevant informasjon.
3. Medisinsk og vitenskapelig forskning: RAFT kan være spesielt verdifullt i domener som biomedisinsk forskning, hvor tilgang til de siste funn og litteratur er avgjørende for å fremme vitenskapelig forståelse.
4. Juridiske og finansielle tjenester: RAFT kan hjelpe fagfolk i disse feltene med å gi nøyaktige og kontekst-avhengige svar basert på relevante juridiske dokumenter eller finansielle rapporter.

Ettersom forskningen i dette feltet fortsetter, kan vi forvente videre fremgang og forbedringer av RAFT-teknikken. Potensielle fremtidige retninger inkluderer:

1. Utforskning av mer effektive og effisiente henting-moduler, tilpasset for spesifikke domener eller dokument-strukturer.
2. Integrering av multi-modale informasjon, som bilder eller tabeller, i RAFT-rammeverket for bedre kontekst-forståelse.
3. Utvikling av spesialiserte grunnings-arkitekturer som kan bedre utnytte chain-of-thought-forklaringene som genereres under treningsprosessen.
4. Tilpasning av RAFT til andre naturlige språk-oppgaver utenfor spørsmål-svar, som sammenfatting, oversettelse eller dialog-systemer.

Konklusjon

RAFT representerer et betydelig skritt fremover i feltet domene-spesifikt spørsmål-svar med språkmodeller. Ved å harmonisk blande styrkene til retrieval-augmented generation og finjustering, utstyrer RAFT store språkmodeller med evnen til å effektivt bruke eksterne kunnskapskilder samtidig som de justerer sine utdata med domene-spesifikt mønster og preferanser.

Gjennom sin innovative treningsdata-forberedelse, inkorporering av chain-of-thought-grunningsprosesser og robusthet til henting-feil, tilbyr RAFT en kraftfull løsning for organisasjoner og forskere som søker å låse opp full potensiale i store språkmodeller i spesialiserte domener.

Ettersom etterspørselen etter domene-spesifikt naturlig språk-behandling fortsetter å vokse, vil teknikker som RAFT spille en avgjørende rolle i å muliggjøre mer nøyaktig, kontekst-avhengig og adaptiv språk-modellering, og åpner veien for en fremtid hvor menneske-maskin-kommunikasjon blir virkelig sømløs og domene-uavhengig.