RAFT – Een fine-tuning- en RAG-benadering voor domeinspecifiek vraagbeantwoorden

Naarmate de toepassingen van grote taalmodellen zich uitbreiden naar gespecialiseerde domeinen, wordt de behoefte aan efficiënte en effectieve adaptatietechnieken steeds cruciaal. Hier komt RAFT (Retrieval Augmented Fine Tuning) om de hoek kijken, een novatieve benadering die de krachten van retrieval-augmented generation (RAG) en fine-tuning combineert, specifiek ontwikkeld voor domeinspecifiek vraagbeantwoorden.

De uitdaging van domeinadaptatie

Hoewel grote taalmodellen zijn getraind op enorme hoeveelheden data, is hun vermogen om goed te presteren in gespecialiseerde domeinen, zoals medisch onderzoek, juridische documentatie of ondernemingsspecifieke kennisbases, vaak beperkt. Deze beperking ontstaat doordat de pre-training data mogelijk niet adequaat de nuances en complexiteiten van deze gespecialiseerde domeinen vertegenwoordigt. Om deze uitdaging aan te pakken, hebben onderzoekers traditioneel twee hoofdtechnieken gebruikt: retrieval-augmented generation (RAG) en fine-tuning.

Retrieval-Augmented Generation (RAG)

RAG

RAG is een techniek die grote taalmodellen in staat stelt om externe kennisbronnen te benaderen en te gebruiken tijdens inferentie.

Het bereikt dit door real-time datatoegang te integreren in het generatieproces, waardoor de uitvoer van het model nauwkeuriger en up-to-date wordt. RAG bestaat uit drie kernstappen: toegang, waarbij relevante documenten worden verzameld; generatie, waarbij het model een uitvoer produceert op basis van de opgehaalde data; en aanvulling, die de uitvoer verder verfijnt.

Het toegangsproces in RAG begint met een query van de gebruiker. Grote taalmodellen analyseren de query en halen relevante informatie op uit externe databases, waardoor een verzameling data ontstaat waaruit het model zijn antwoorden kan formuleren. De generatiefase synthetiseert deze invoer tot een coherent verhaal of antwoord. De aanvullingsfase verfijnt de generatie door context toe te voegen of aan te passen voor coherentie en relevantie.

RAG-modellen kunnen worden geëvalueerd met behulp van verschillende metrics, die hun vermogen om nauwkeurige, relevante en up-to-date informatie te verstrekken beoordelen.

Fine-tuning

supervised-fine-tuning

Fine-tuning, aan de andere kant, houdt in dat een voorgetraind groot taalmodel wordt aangepast aan een specifieke taak of domein door het verder te trainen op een kleinere, taak-specifieke dataset. Deze benadering stelt het model in staat om patronen te leren en zijn uitvoer aan te passen aan de gewenste taak of domein. Hoewel fine-tuning de prestaties van het model kan verbeteren, faalt het vaak om externe kennisbronnen effectief te integreren of rekening te houden met toegangsfouten tijdens inferentie.

De RAFT-benadering

RAFT

RAFT staat voor Retrieval-Aware Fine-Tuning, een innovatieve trainingsmethode die specifiek is ontwikkeld voor taalmodellen om hun prestaties in domeinspecifieke taken te verbeteren, met name voor open-boekexamens. RAFT wijkt af van standaard fine-tuning door trainingsdata voor te bereiden die vragen bevatten met een mengsel van relevante en niet-relevante documenten, evenals antwoorden in de vorm van een keten van gedachten die zijn afgeleid van de relevante teksten. Deze methode heeft tot doel de modellen te verbeteren om niet alleen informatie te onthouden, maar ook om redeneringen te ontwikkelen en antwoorden af te leiden uit de verstrekte inhoud.

In wezen fine-tuned RAFT taalmodellen om meer vaardig te zijn in taken die leesbegrip en kennisextractie uit een verzameling documenten vereisen. Door te trainen met zowel “oracle”-documenten (die het antwoord bevatten) als “distractor”-documenten (die het antwoord niet bevatten), leert het model om relevante informatie effectiever te onderscheiden en te gebruiken.

Trainingsdatavoorbereiding

Het trainingsproces onder RAFT omvat een deel van de data dat bestaat uit “oracle”-documenten die rechtstreeks verband houden met de antwoorden, terwijl de rest van de data uitsluitend bestaat uit “distractor”-documenten. De fine-tuning moedigt het model aan om te leren wanneer het moet vertrouwen op zijn interne kennis (soortgelijk aan memoriseren) en wanneer het informatie moet extraheren uit de context die wordt verstrekt.

RAFT’s trainingsregime legt ook de nadruk op het genereren van redeneringsprocessen, die niet alleen helpen bij het formuleren van het antwoord, maar ook bronnen citeren, net zoals een mens zou doen om zijn antwoord te rechtvaardigen door materiaal te verwijzen dat hij heeft gelezen. Deze benadering bereidt het model niet alleen voor op een RAG-setting (Retrieval Augmented Generation) waarin het top-k opgehaalde documenten moet overwegen, maar zorgt er ook voor dat de training van het model onafhankelijk is van de retriever die wordt gebruikt, waardoor het flexibel toepasbaar is in verschillende retrieval-systemen.

Deze benadering dient meerdere doelen:

1. Het traint het model om relevante informatie te identificeren en te gebruiken uit de verstrekte context, waardoor het een open-boekexamen-omgeving nabootst.
2. Het versterkt het vermogen van het model om irrelevante informatie te negeren, een cruciale vaardigheid voor effectieve RAG.
3. Het exposeert het model aan scenario’s waarin het antwoord niet in de context aanwezig is, waardoor het wordt aangemoedigd om te vertrouwen op zijn eigen kennis wanneer nodig.

Een ander belangrijk aspect van RAFT is de integratie van keten van gedachten-redenering in het trainingsproces. In plaats van alleen vraag- en antwoordparen te verstrekken, genereert RAFT gedetailleerde redeneringsverklaringen die letterlijke citaten uit de relevante documenten bevatten. Deze verklaringen, die in een keten van gedachten-formaat worden gepresenteerd, leiden het model door de logische stappen die nodig zijn om het correcte antwoord te bereiken.

Door het model te trainen op deze redeneringsketens, moedigt RAFT de ontwikkeling van sterke redeneringsvaardigheden aan en versterkt het de begrip van het model over hoe het effectief externe kennisbronnen kan benutten.

Evaluatie en resultaten

De auteurs van het RAFT-artikel voerden uitgebreide evaluaties uit op verschillende datasets, waaronder PubMed (biomedisch onderzoek), HotpotQA (open-domein vraagbeantwoorden) en de Gorilla APIBench (codegeneratie). Hun resultaten toonden aan dat RAFT consequent beter presteerde dan baselines, zoals domeinspecifieke fine-tuning met en zonder RAG, evenals grotere modellen zoals GPT-3.5 met RAG.

RAFT improves RAG performance

Bijvoorbeeld, op de HuggingFace-dataset, behaalde RAFT een nauwkeurigheid van 74%, een significante verbetering van 31,41% ten opzichte van domeinspecifieke fine-tuning (DSF) en 44,92% ten opzichte van GPT-3.5 met RAG. Evenzo, op de HotpotQA-dataset, toonde RAFT een nauwkeurigheidsverbetering van 28,9% ten opzichte van DSF.

Een van de belangrijkste voordelen van RAFT is zijn robuustheid tegen toegangsfouten. Door het model te trainen met een mengsel van relevante en irrelevante documenten, versterkt RAFT het vermogen van het model om relevante informatie te onderscheiden en prioriteit te geven, zelfs wanneer de toegangsmodule suboptimale resultaten oplevert.

De auteurs toonden aan dat fine-tuning met alleen de “oracle”-documenten vaak leidt tot inferieure prestaties in vergelijking met configuraties die “distractor”-documenten bevatten. Deze bevinding onderstreept het belang van het blootstellen van het model aan verschillende toegangssituaties tijdens de training, waardoor het model voorbereid is op echte toepassingen.

Praktische toepassingen en toekomstige richtingen

De RAFT-techniek heeft significante implicaties voor een breed scala aan praktische toepassingen, waaronder:

1. Vraagbeantwoordingsystemen: RAFT kan worden gebruikt om hoog nauwkeurige en domeinspecifieke vraagbeantwoordingsystemen te ontwikkelen, die zowel de geleerde kennis van het model als externe kennisbronnen benutten.
2. Ondernemingskennisbeheer: Organisaties met grote kennisbases kunnen RAFT gebruiken om aangepaste vraagbeantwoordingsystemen te ontwikkelen, waardoor medewerkers snel toegang hebben tot en gebruik kunnen maken van relevante informatie.
3. Medisch en wetenschappelijk onderzoek: RAFT kan bijzonder waardevol zijn in domeinen zoals biomedisch onderzoek, waar toegang tot de laatste bevindingen en literatuur cruciaal is voor het bevorderen van wetenschappelijke kennis.
4. Juridische en financiële diensten: RAFT kan professionals in deze sectoren helpen door nauwkeurige en contextuele antwoorden te bieden op basis van relevante juridische documenten of financiële rapporten.

Naarmate het onderzoek in dit gebied voortgaat, kunnen we verdere vooruitgang en verfijning van de RAFT-techniek verwachten. Potentiële toekomstige richtingen omvatten:

1. Onderzoek naar efficiëntere en effectievere toegangsmodules, aangepast aan specifieke domeinen of documentstructuren.
2. Integratie van multimodale informatie, zoals afbeeldingen of tabellen, in het RAFT-kader voor verbeterd contextbegrip.
3. Ontwikkeling van gespecialiseerde redeneringsarchitecturen die de keten van gedachten-verklaringen die tijdens de training worden gegenereerd, beter kunnen benutten.
4. Aanpassing van RAFT aan andere natuurlijke taaltaken, zoals samenvatting, vertaling of dialoogsystemen, buiten vraagbeantwoorden.

Conclusie

RAFT vertegenwoordigt een significante stap voorwaarts in het veld van domeinspecifiek vraagbeantwoorden met taalmodellen. Door de krachten van retrieval-augmented generation en fine-tuning te combineren, voorziet RAFT taalmodellen van de mogelijkheid om externe kennisbronnen effectief te benutten, terwijl het ook hun uitvoer afstemt op domeinspecifieke patronen en voorkeuren.

Door zijn innovatieve trainingsdatavoorbereiding, integratie van keten van gedachten-redenering en robuustheid tegen toegangsfouten, biedt RAFT een krachtige oplossing voor organisaties en onderzoekers die de volle potentie van taalmodellen in gespecialiseerde domeinen willen benutten.

Naarmate de vraag naar domeinspecifieke natuurlijke taalverwerkingsmogelijkheden blijft groeien, zullen technieken zoals RAFT een cruciale rol spelen bij het mogelijk maken van meer nauwkeurige, contextuele en adaptieve taalmodellen, waardoor mens-machinecommunicatie uiteindelijk echt naadloos en domeinonafhankelijk wordt.