RAFT – En finjustering og RAG-tilnærming til domenespesifikt spørsmålssvar

Ettersom anvendelsene av store språkmodeller utvides til spesialiserte domener, blir behovet for effektive og effisiente tilpasningsteknikker stadig mer kritisk. Her kommer RAFT (Retrieval Augmented Fine Tuning), en ny tilnærming som kombinerer styrkene til retrieval-augmented generering (RAG) og finjustering, tilpasset spesielt for domenespesifikt spørsmålssvar.

Ufordringen med domeneadaptasjon

Selv om LLM-er er forhåndstreinet på store mengder data, er deres evne til å fungere godt i spesialiserte domener, som medisinsk forskning, juridisk dokumentasjon eller bedriftsspesifike kunnskapsbasier, ofte begrenset. Denne begrensningen oppstår fordi forhåndstreningsdataene kanskje ikke representerer nyansene og kompleksiteten i disse spesialiserte domenene tilstrekkelig. For å møte denne utfordringen, har forskere tradisjonelt brukt to hovedteknikker: retrieval-augmented generering (RAG) og finjustering.

Retrieval-Augmented Generation (RAG)

RAG

RAG er en teknikk som gjør det mulig for LLM-er å få tilgang til og bruke eksterne kunnskapskilder under inferens.

Den oppnår dette ved å integrere sanntidsdatahenting i den generative prosessen, og gjør dermed modellens utdata mer nøyaktige og oppdaterte. RAG består av tre kjerneprosesser: henting, der relevante dokumenter hentes; generering, der modellen produserer en utdata basert på de hentede dataene; og augmentasjon, som finjusterer utdataene videre.

Hentingsprosessen i RAG starter med en brukers spørring. LLM-er analyserer spørringen og henter relevante informasjon fra eksterne databaser, og presenterer en mengde data som modellen kan trekke fra for å formulere sine svar. Genereringsfasen syntetiserer denne inputen til en sammenhengende fortelling eller svar. Augmentasjonssteget finjusterer genereringen ved å legge til kontekst eller justere for kohesjon og relevans.

RAG-modeller kan vurderes ved hjelp av en rekke mål, som vurderer deres evne til å gi nøyaktig, relevant og oppdatert informasjon.

Finjustering

supervised-fine-tuning

Finjustering, på den andre siden, innebærer å tilpasse en forhåndstreinet LLM til en spesifikk oppgave eller domene ved å videre trene den på en mindre, oppgavespesifikk datasett. Denne tilnærmingen gjør det mulig for modellen å lære mønster og justere sine utdata i henhold til den ønskede oppgaven eller domenen. Selv om finjustering kan forbedre modellens ytelse, svikter den ofte i å effektivt inkorporere eksterne kunnskapskilder eller håndtere hentingsfeil under inferens.

RAFT-tilnærmingen

RAFT

RAFT står for Retrieval-Aware Fine-Tuning, og er en innovativ treningsmetode tilpasset for språkmodeller for å forbedre deres ytelse i domenespesifikt arbeid, spesielt for åpne bok-eksamen. RAFT avviker fra standard finjustering ved å forberede treningsdata som inkorporerer spørsmål med en blanding av relevante og irrelevante dokumenter, samt chain-of-thought-stilte svar som er avledet fra de relevante tekstene. Denne metoden har som mål å forbedre modellens evne til ikke bare å huske informasjon, men også å resonere og avlede svar fra den tilgjengelige innholdet.

I essensen finjusterer RAFT språkmodeller for å bli mer dyktige i oppgaver som involverer leseforståelse og kunnskapsutvinning fra en mengde dokumenter. Ved å trene med både “oracle”-dokumenter (som inneholder svaret) og “distractor”-dokumenter (som ikke gjør det), lærer modellen å skille og bruke relevant informasjon mer effektivt.

RAFTs treningsregime legger også vekt på generering av resoneringprosesser, som ikke bare hjelper i å danne svaret, men også sitere kilder, likt hvordan en menneske ville begrunne sine svar ved å referere til materialet de har lest. Denne tilnærmingen gjør ikke bare at modellen er forberedt for en RAG (Retrieval Augmented Generation)-innstilling hvor den må vurdere top-k hentede dokumenter, men sikrer også at modellens trening er uavhengig av retrieveren som brukes, og gjør det mulig for fleksibel anvendelse over forskjellige hentingsystemer.

Denne tilnærmingen tjener flere formål:

1. Den trener modellen til å identifisere og bruke relevant informasjon fra den tilgjengelige konteksten, og ligner på åpne bok-eksamen.
2. Den forbedrer modellens evne til å ignorere irrelevant informasjon, en kritisk ferdighet for effektiv RAG.
3. Den eksponerer modellen for scenarier hvor svaret ikke er til stede i konteksten, og oppmuntrer den til å stole på sin egen kunnskap når det er nødvendig.

En annen viktig aspekt ved RAFT er inkorporeringen av chain-of-thought-resonering i treningsprosessen. I stedet for å bare gi spørsmål og svarpar, genererer RAFT detaljerte resoneringforklaringer som inkluderer ordret sitat fra de relevante dokumentene. Disse forklaringene, presentert i en chain-of-thought-format, guider modellen gjennom de logiske stegene som er nødvendige for å nå det riktige svaret.

Ved å trene modellen på disse resoneringsekvensene, oppmuntrer RAFT utviklingen av sterke resoneringsevner og forbedrer modellens forståelse av hvordan å effektivt utnytte eksterne kunnskapskilder.

Evaluering og resultater

Forfatterne av RAFT-papiret gjennomførte omfattende evalueringer på forskjellige datasett, inkludert PubMed (biomedisinsk forskning), HotpotQA (åpen domene-spørsmålssvar) og Gorilla APIBench (kodegenerering). Deres resultater viste at RAFT konsistent overgikk baseline, som domenespesifikk finjustering med og uten RAG, samt større modeller som GPT-3.5 med RAG.

RAFT improves RAG performance

For eksempel, på HuggingFace-datasett, oppnådde RAFT en nøyaktighet på 74%, en betydelig forbedring på 31,41% sammenlignet med domenespesifikk finjustering (DSF) og 44,92% sammenlignet med GPT-3.5 med RAG. Liksom på HotpotQA-datasett, viste RAFT en nøyaktighetsøkning på 28,9% sammenlignet med DSF.

En av de viktigste fordelene med RAFT er dens robusthet til hentingsfeil. Ved å trene modellen med en blanding av relevante og irrelevante dokumenter, forbedrer RAFT modellens evne til å skille og prioritere relevant informasjon, selv når hentingsmodulen returnerer underoptimale resultater.

Forfatterne demonstrerte at finjustering med bare “oracle”-dokumenter ofte fører til dårligere ytelse sammenlignet med konfigurasjoner som inkluderer distractor-dokumenter. Dette funn understreker viktigheten av å eksponere modellen for varierende hentningsscenarier under trening, og sikrer at den er forberedt for anvendelse i virkelige verden.

Praktiske anvendelser og fremtidige retninger

RAFT-teknikken har betydelige implikasjoner for en rekke praktiske anvendelser, inkludert:

1. Spørsmålssvarsystemer: RAFT kan brukes til å bygge høyt nøyaktige og domenespesifikt spørsmålssvarsystemer, som utnytter både modellens lærte kunnskap og eksterne kunnskapskilder.
2. Bedriftskunnskapsforvaltning: Organisasjoner med store kunnskapsbasier kan bruke RAFT til å utvikle tilpassede spørsmålssvarsystemer, som gjør det mulig for ansatte å raskt få tilgang til og bruke relevant informasjon.
3. Medisinsk og vitenskapelig forskning: RAFT kan være spesielt verdifullt i domener som biomedisinsk forskning, hvor tilgang til de siste funn og litteratur er avgjørende for å fremme vitenskapelig forståelse.
4. Juridiske og finansielle tjenester: RAFT kan assistere fagfolk i disse feltene ved å gi nøyaktige og kontekstbevisste svar basert på relevante juridiske dokumenter eller finansielle rapporter.

Ettersom forskningen i dette området fortsetter, kan vi forvente videre fremgang og forbedringer av RAFT-teknikken. Mulige fremtidige retninger inkluderer:

1. Utforskning av mer effektive og effisiente hentingsmoduler, tilpasset for spesifikke domener eller dokumentstrukturer.
2. Integrering av multimodale informasjon, som bilder eller tabeller, i RAFT-rammeverket for bedre kontekstforståelse.
3. Utvikling av spesialiserte resoneringarkitekturer som kan bedre utnytte chain-of-thought-forklaringer generert under trening.
4. Tilpasning av RAFT til andre naturlige språkoppaver enn spørsmålssvar, som sammenfatting, oversettelse eller dialogsystemer.

Konklusjon

RAFT representerer et betydelig skritt fremover i feltet domenespesifikt spørsmålssvar med språkmodeller. Ved å harmonisk blande styrkene til retrieval-augmented generering og finjustering, utstyrer RAFT LLM-er med evnen til å effektivt utnytte eksterne kunnskapskilder samtidig som den justerer sine utdata i henhold til domenespesifikt mønster og preferanser.

Gjennom sin innovative treningsdatakurering, inkorporering av chain-of-thought-resonering og robusthet til hentingsfeil, tilbyr RAFT en kraftfull løsning for organisasjoner og forskere som søker å låse opp full potensiale i LLM-er i spesialiserte domener.

Ettersom etterspørselen etter domenespesifikt naturlig språkbehandling fortsetter å vokse, vil teknikker som RAFT spille en avgjørende rolle i å muliggjøre mer nøyaktige, kontekstbevisste og adaptive språkmodeller, og åpne veien for en fremtid hvor menneske-maskin-kommunikasjon blir virkelig sømløs og domeneuavhengig.