RAFT – Een Fine-Tuning en RAG-benadering voor domeinspecifiek vraagbeantwoorden

Naarmate de toepassingen van grote taalmodellen zich uitbreiden naar gespecialiseerde domeinen, wordt de behoefte aan efficiënte en effectieve adaptatie technieken steeds cruciaal. Komt RAFT (Retrieval Augmented Fine Tuning), een novale benadering die de sterke punten van retrieval-augmented generatie (RAG) en fine-tuning combineert, specifiek ontworpen voor domeinspecifieke vraagbeantwoordtaken.

De uitdaging van domeinadaptatie

Terwijl LLM’s zijn voorgetraind op enorme hoeveelheden data, is hun vermogen om goed te presteren in gespecialiseerde domeinen, zoals medisch onderzoek, juridische documentatie of ondernemingsspecifieke kennisbases, vaak beperkt. Deze beperking ontstaat omdat de voortrainingsdata mogelijk niet adequaat de nuances en complexiteiten van deze gespecialiseerde domeinen vertegenwoordigen. Om deze uitdaging aan te pakken, hebben onderzoekers traditioneel twee hoofdtechnieken gebruikt: retrieval-augmented generatie (RAG) en fine-tuning.

Retrieval-Augmented Generation (RAG)

RAG

RAG is een techniek die LLM’s in staat stelt om toegang te krijgen tot en gebruik te maken van externe kennisbronnen tijdens inferentie.

Het bereikt dit door real-time dataretrieval te integreren in het generatieve proces, waardoor de uitvoer van het model nauwkeuriger en up-to-date wordt. RAG bestaat uit drie kernstappen: retrieval, waarbij relevante documenten worden verzameld; generatie, waarbij het model een uitvoer produceert op basis van de opgehaalde data; en augmentatie, die de uitvoer verder verfijnt.

Het retrievalproces in RAG begint met een query van de gebruiker. LLM’s analyseren de query en halen pertinente informatie op uit externe databases, waardoor een pool van data ontstaat waaruit het model zijn antwoorden kan formuleren. De generatie fase synthetiseert deze invoer in een coherent verhaal of antwoord. De augmentatie stap verfijnt de generatie door context toe te voegen of aan te passen voor coherentie en relevantie.

RAG-modellen kunnen worden geëvalueerd met behulp van een verscheidenheid aan metrics, die hun vermogen beoordelen om nauwkeurige, relevante en up-to-date informatie te verstrekken.

Fine-Tuning

supervised-fine-tuning

Fine-tuning, aan de andere kant, houdt in dat een voorgetraind LLM wordt aangepast aan een specifieke taak of domein door het verder te trainen op een kleinere, taak-specifieke dataset. Deze benadering stelt het model in staat om patronen te leren en zijn uitvoer aan te passen aan de gewenste taak of domein. Terwijl fine-tuning de prestaties van het model kan verbeteren, faalt het vaak om externe kennisbronnen effectief te incorporeren of rekening te houden met retrievalimperfecties tijdens inferentie.

De RAFT-benadering

RAFT

RAFT staat voor Retrieval-Aware Fine-Tuning, een innovatieve trainingsmethode ontworpen voor taalmodellen om hun prestaties te verbeteren in domeinspecifieke taken, met name voor open-boek examens. RAFT wijkt af van standaard fine-tuning door trainingsdata voor te bereiden die vragen bevatten met een mengsel van relevante en niet-relevante documenten, evenals antwoorden in de vorm van een keten van gedachten, afgeleid van de relevante teksten. Deze methode heeft tot doel de mogelijkheden van modellen te verbeteren om niet alleen informatie te onthouden, maar ook om redeneringen te ontwikkelen en antwoorden af te leiden uit de verstrekte inhoud.

In wezen fine-tuned RAFT taalmodellen om meer vaardig te zijn in taken die leesbegrip en kennisextractie uit een set documenten betreffen. Door te trainen met zowel “oracle”-documenten (die het antwoord bevatten) als “distractor”-documenten (die het antwoord niet bevatten), leert het model om relevante informatie effectiever te onderscheiden en te gebruiken.

Trainingsdatavoorbereiding

Het trainingsproces onder RAFT omvat een proportie van de data die bestaat uit oracle-documenten die rechtstreeks verband houden met de antwoorden, terwijl de resterende data alleen bestaat uit distractor-documenten. De fine-tuning moedigt het model aan om te leren wanneer het moet vertrouwen op zijn interne kennis (gelijkaardig aan memorisatie) en wanneer het informatie moet extraheren uit de verstrekte context.

De trainingsregimen van RAFT benadrukt ook de generatie van redeneringsprocessen, die niet alleen helpen bij het formuleren van het antwoord, maar ook bronnen citeren, vergelijkbaar met hoe een mens zijn antwoord zou rechtvaardigen door materiaal te citeren dat hij heeft gelezen. Deze benadering bereidt het model niet alleen voor op een RAG (Retrieval Augmented Generation)-omgeving waarin het top-k opgehaalde documenten moet overwegen, maar zorgt er ook voor dat de training van het model onafhankelijk is van de retriever die wordt gebruikt, waardoor flexibele toepassing mogelijk is op verschillende retrievalsysteemen.

Deze benadering dient meerdere doelen:

1. Het traint het model om relevante informatie te identificeren en te gebruiken uit de verstrekte context, waardoor het een open-boek examen-omgeving nabootst.
2. Het verhoogt de mogelijkheid van het model om irrelevante informatie te negeren, een cruciale vaardigheid voor effectieve RAG.
3. Het exposeert het model aan scenario’s waarin het antwoord niet in de context aanwezig is, waardoor het aangemoedigd wordt om te vertrouwen op zijn eigen kennis wanneer nodig.

Een ander belangrijk aspect van RAFT is de incorporatie van keten van gedachten-redenering in het trainingsproces. In plaats van alleen vraag- en antwoordparen te verstrekken, genereert RAFT gedetailleerde redeneringsverklaringen die verbatim citaten uit de relevante documenten bevatten. Deze verklaringen, gepresenteerd in een keten van gedachten-formaat, leiden het model door de logische stappen die nodig zijn om het correcte antwoord te bereiken.

Door het model te trainen op deze redeneringsketens, moedigt RAFT de ontwikkeling van sterke redeneringsvaardigheden aan en verhoogt het de mogelijkheid van het model om effectief gebruik te maken van externe kennisbronnen.

Evaluatie en resultaten

De auteurs van het RAFT-artikel voerden uitgebreide evaluaties uit op verschillende datasets, waaronder PubMed (biomedisch onderzoek), HotpotQA (open-domein vraagbeantwoorden) en de Gorilla APIBench (codegeneratie). Hun resultaten toonden aan dat RAFT consistent beter presteerde dan baselines, zoals domeinspecifieke fine-tuning met en zonder RAG, evenals grotere modellen zoals GPT-3.5 met RAG.

RAFT improves RAG performance

Bijvoorbeeld, op de HuggingFace-dataset, behaalde RAFT een nauwkeurigheid van 74%, een significante verbetering van 31,41% ten opzichte van domeinspecifieke fine-tuning (DSF) en 44,92% ten opzichte van GPT-3.5 met RAG. Vergelijkbaar, op de HotpotQA-dataset, toonde RAFT een nauwkeurigheidsverbetering van 28,9% ten opzichte van DSF.

Een van de belangrijkste voordelen van RAFT is zijn robuustheid tegenover retrievalimperfecties. Door het model te trainen met een mengsel van relevante en irrelevante documenten, verhoogt RAFT de mogelijkheid van het model om relevante informatie te onderscheiden en prioriteit te geven, zelfs wanneer de retrievermodule suboptimale resultaten retourneert.

De auteurs toonden aan dat fine-tuning met alleen de oracle-documenten vaak leidt tot inferieure prestaties in vergelijking met configuraties die distractor-documenten bevatten. Deze bevinding onderstreept het belang van het blootstellen van het model aan verschillende retrievalsituaties tijdens de training, waardoor het model voorbereid is op reële toepassingen.

Praktische toepassingen en toekomstige richtingen

De RAFT-techniek heeft significante implicaties voor een breed scala aan praktische toepassingen, waaronder:

1. Vraagbeantwoordsystemen: RAFT kan worden gebruikt om hoog nauwkeurige en domeinspecifieke vraagbeantwoordsystemen te bouwen, die zowel de geleerde kennis van het model als externe kennisbronnen benutten.
2. Ondernemingskennisbeheer: Organisaties met grote kennisbases kunnen RAFT gebruiken om aangepaste vraagbeantwoordsystemen te ontwikkelen, waardoor medewerkers snel toegang hebben tot en gebruik kunnen maken van relevante informatie.
3. Medisch en wetenschappelijk onderzoek: RAFT kan bijzonder waardevol zijn in domeinen zoals biomedisch onderzoek, waar toegang tot de laatste bevindingen en literatuur cruciaal is voor het bevorderen van wetenschappelijk begrip.
4. Juridische en financiële diensten: RAFT kan professionals in deze domeinen helpen door nauwkeurige en contextuele antwoorden te verstrekken op basis van relevante juridische documenten of financiële rapporten.

Naarmate het onderzoek in dit gebied voortduurt, kunnen we verwachten dat de RAFT-techniek verder wordt verbeterd en verfijnd. Mogelijke toekomstige richtingen omvatten:

1. Het onderzoeken van meer efficiënte en effectieve retrievelmodules, aangepast aan specifieke domeinen of documentstructuren.
2. De integratie van multimodale informatie, zoals afbeeldingen of tabellen, in het RAFT-kader voor verbeterd contextbegrip.
3. De ontwikkeling van gespecialiseerde redeneringsarchitecturen die de keten van gedachten-verklaringen die tijdens de training worden gegenereerd, beter kunnen benutten.
4. De aanpassing van RAFT aan andere natuurlijke taaltaken buiten vraagbeantwoorden, zoals samenvatting, vertaling of dialoogsystemen.

Conclusie

RAFT vertegenwoordigt een significante stap voorwaarts in het veld van domeinspecifiek vraagbeantwoorden met taalmodellen. Door de sterke punten van retrieval-augmented generatie en fine-tuning te combineren, voorziet RAFT LLM’s van de mogelijkheid om effectief gebruik te maken van externe kennisbronnen, terwijl het ook zijn uitvoer afstemt op domeinspecifieke patronen en voorkeuren.

Door zijn innovatieve trainingsdatavoorbereiding, de incorporatie van keten van gedachten-redenering en robuustheid tegenover retrievalimperfecties, biedt RAFT een krachtige oplossing voor organisaties en onderzoekers die de volledige potentie van LLM’s in gespecialiseerde domeinen willen ontsluiten.

Naarmate de vraag naar domeinspecifieke natuurlijke taalverwerking capaciteiten blijft groeien, zullen technieken zoals RAFT een cruciale rol spelen bij het mogelijk maken van meer nauwkeurige, contextuele en adaptieve taalmodellen, waardoor mens-machine communicatie werkelijk naadloos en domeinonafhankelijk wordt.