RAFT – Jemné ladění a RAG přístup k doméně-specifické otázce zodpovězení

Jak se aplikace velkých jazykových modelů rozšiřují do specializovaných domén, potřeba efektivní a efektivní adaptace technik se stává stále kritičtější. Vstoupí RAFT (Retrieval Augmented Fine Tuning), novátorský přístup, který kombinuje sílu retrieval-augmented generace (RAG) a jemného ladění, speciálně navrženého pro doméně-specifické úkoly otázek a odpovědí.

Výzva doménové adaptace

Zatímco LLM jsou předtrénovány na velkém množství dat, jejich schopnost dobře fungovat ve specializovaných doménách, jako je lékařský výzkum, právní dokumentace nebo firemní znalostní báze, je často omezená. Tento limit vzniká proto, že předtrénovací data nemusí dostatečně reprezentovat nuance a složitosti těchto specializovaných domén. Aby se tato výzva řešila, výzkumníci tradičně využívali dvě hlavní techniky: retrieval-augmented generaci (RAG) a jemné ladění.

Retrieval-Augmented Generation (RAG)

RAG

RAG je technika, která umožňuje LLM přístup k externím znalostním zdrojům během inferencí.

Toho dosahuje integrováním reálného času dat do generativního procesu, čímž se modelové výstupy stávají přesnějšími a aktuálními. RAG se skládá ze tří základních kroků: retrieval, kde se shromažďují relevantní dokumenty; generace, kde model produkuje výstup na základě načtených dat; a augmentation, který dále upravuje výstup.

Retrieval proces v RAG začíná uživatelským dotazem. LLM analyzují dotaz a načtou relevantní informace z externích databází, prezentují sadu dat, ze které model může čerpat pro formulaci svých odpovědí. Generační fáze poté syntetizuje tento vstup do koherentního narativu nebo odpovědi. Augmentační krok upravuje generaci přidáním kontextu nebo úpravou pro koherenci a relevanci.

RAG modely lze hodnotit pomocí různých metrik, které hodnotí jejich schopnost poskytovat přesné, relevantní a aktuální informace.

Jemné ladění

supervised-fine-tuning

Jemné ladění, na druhé straně, zahrnuje adaptaci předtrénovaného LLM na konkrétní úkol nebo doménu prostřednictvím dalšího trénování na menším, úkolově specifickém datasetu. Tento přístup umožňuje modelu naučit se vzorce a sladit své výstupy s požadovaným úkolem nebo doménou. Zatímco jemné ladění může zlepšit modelovu výkonnost, často selhává při efektivní inkorporaci externích znalostních zdrojů nebo při zohlednění retrieval nedokonalostí během inferencí.

RAFT přístup

RAFT

RAFT znamená Retrieval-Aware Fine-Tuning, je inovativní trénovací metoda speciálně navrženým pro jazykové modely ke zlepšení jejich výkonu v doméně-specifických úkolech, zejména pro otevřené knihy otázek a odpovědí. RAFT se liší od standardního jemného ladění přípravou trénovacích dat, která zahrnuje otázky s mixem relevantních a irelevantních dokumentů, spolu s chain-of-thought stylizovanými odpověďmi odvozenými z relevantních textů. Tento přístup má za cíl zlepšit modelovu schopnost nejen vzpomínat na informace, ale také rozumět a odvozovat odpovědi z poskytnutého obsahu.

V podstatě RAFT jemně ladí jazykové modely, aby byly více profesionální v úkolech, které zahrnují čtení a extrakci znalostí z sady dokumentů. Trénováním s “oracle” dokumenty (které obsahují odpověď) a “distractor” dokumenty (které neobsahují odpověď), model se učí rozlišovat a využívat relevantní informace efektivněji.

Příprava trénovacích dat

Trénovací proces pod RAFT zahrnuje část dat, která obsahuje “oracle” dokumenty, které přímo souvisejí s odpověďmi, zatímco zbývající data se skládají pouze z “distractor” dokumentů. Jemné ladění podporuje model, aby se naučil, kdy spoléhat na svou vnitřní znalost (podobně jako paměť) a kdy extrahovat informace z kontextu.

RAFTův tréninkový režim také zdůrazňuje generování rozumových procesů, které nejen pomáhají při formování odpovědi, ale také citují zdroje, podobně jako by člověk odůvodnil svou odpověď odkazem na materiál, který četl. Tento přístup nejen připravuje model pro RAG (Retrieval Augmented Generation) nastavení, kde musí zohlednit top-k načtené dokumenty, ale také zajišťuje, že modelovo trénování je nezávislé na retrieveru, umožňující flexibilní aplikaci napříč různými retrieval systémy.

Tento přístup slouží několika účelům:

1. Učí model identifikovat a využívat relevantní informace z poskytnutého kontextu, imitující otevřenou knihu otázek a odpovědí.
2. Zlepšuje modelovu schopnost ignorovat irelevantní informace, kritickou dovednost pro efektivní RAG.
3. Vystavuje model scénářům, kde odpověď není přítomna v kontextu, podporuje model, aby se spoléhal na svou vlastní znalost, když je to nutné.

Dalším klíčovým aspektem RAFT je inkorporace chain-of-thought rozumování do trénovacího procesu. Místo toho, aby byly poskytnuty pouze otázky a odpovědi, RAFT generuje detailní vysvětlení, která zahrnují citace z relevantních dokumentů. Tato vysvětlení, prezentovaná v chain-of-thought formátu, vedou model prostřednictvím logických kroků potřebných k dosažení správné odpovědi.

Trénováním modelu na těchto rozumových řetězcích, RAFT podporuje rozvoj silných rozumových schopností a zlepšuje modelovo pochopení, jak efektivně využívat externí znalostní zdroje.

Hodnocení a výsledky

Autoři RAFT článku provedli rozsáhlé hodnocení na různých datech, včetně PubMed (biomedicínský výzkum), HotpotQA (otevřená otázka a odpověď) a Gorilla APIBench (generování kódu). Jejich výsledky prokázaly, že RAFT konzistentně překonal základní modely, jako je doméně-specifické jemné ladění s a bez RAG, stejně jako větší modely jako GPT-3.5 s RAG.

RAFT improves RAG performance

Například na HuggingFace datasetu RAFT dosáhl přesnosti 74%, což je významné zlepšení o 31,41% ve srovnání s doméně-specifickým jemným laděním (DSF) a 44,92% ve srovnání s GPT-3.5 s RAG. Podobně na HotpotQA datasetu RAFT prokázal 28,9% zlepšení přesnosti ve srovnání s DSF.

Jednou z hlavních výhod RAFT je jeho odolnost vůči retrieval nedokonalostem. Trénováním modelu s mixem relevantních a irelevantních dokumentů, RAFT zlepšuje modelovu schopnost rozlišovat a prioritizovat relevantní informace, i když retrieval modul vrátí suboptimální výsledky.

Autoři prokázali, že jemné ladění pouze s “oracle” dokumenty často vede k horšímu výkonu ve srovnání s konfiguracemi, které zahrnují “distractor” dokumenty. Tento výsledek zdůrazňuje důležitost vystavení modelu různým retrieval scénářům během trénování, zajišťující jeho připravenost pro reálné aplikace.

Praktické aplikace a budoucí směry

RAFT technika má významné implikace pro širokou škálu praktických aplikací, včetně:

1. Systémy otázek a odpovědí: RAFT lze použít k vytvoření vysoce přesných a doméně-specifických systémů otázek a odpovědí, využívajících jak modelovou znalost, tak externí znalostní zdroje.
2. Firemní znalostní management: Organizace s velkými znalostními bázemi mohou využít RAFT k vývoji přizpůsobených systémů otázek a odpovědí, umožňujících zaměstnancům rychlý přístup a využití relevantních informací.
3. Lékařský a vědecký výzkum: RAFT může být besonders cenný v oblastech, jako je biomedicínský výzkum, kde je přístup k nejnovějším zjištěním a literatuře kritický pro pokrok vědeckého porozumění.
4. Právní a finanční služby: RAFT může pomoci profesionálům v těchto oblastech poskytováním přesných a kontextově-aware odpovědí na základě relevantních právních dokumentů nebo finančních zpráv.

Jak výzkum v této oblasti pokračuje, můžeme očekávat další pokroky a úpravy RAFT techniky. Potenciální budoucí směry zahrnují:

1. Prozkoumání efektivnějších a účinnějších retrieval modulů, přizpůsobených pro konkrétní domény nebo dokumentové struktury.
2. Integraci multi-modálních informací, jako jsou obrázky nebo tabulky, do RAFT frameworku pro lepší kontextové porozumění.
3. Vývoj specializovaných rozumových architektur, které mohou lépe využít chain-of-thought vysvětlení generovaná během trénování.
4. Adaptaci RAFT na další přirozené jazykové úkoly beyond otázek a odpovědí, jako je shrnutí, překlad, nebo dialogové systémy.

Závěr

RAFT představuje významný skok vpřed v oblasti doméně-specifické otázek a odpovědí s jazykovými modely. Harmonicky kombinuje sílu retrieval-augmented generace a jemného ladění, RAFT vybavuje LLM schopností efektivně využívat externí znalostní zdroje, zatímco také sladění jejich výstupů s doméně-specifickými vzorci a preferencemi.

Prostřednictvím svého inovativního trénovacího datového kurzu, inkorporace chain-of-thought rozumování a odolnosti vůči retrieval nedokonalostem, RAFT nabízí silné řešení pro organizace a výzkumníky, kteří hledají odemknout plný potenciál LLM v specializovaných doménách.

Jak poptávka po doméně-specifických přirozených jazykových zpracovacích schopnostech pokračuje růst, techniky jako RAFT budou hrát zásadní roli při umožnění více přesných, kontextově-aware a adaptivních jazykových modelů, vytvářejících cestu pro budoucnost, kde lidská-strojová komunikace se stane skutečně bezproblémovou a doméně-agnostic.