RAFT – Jemné ladenie a prístup RAG k odpovedaniu na otázky špecifické pre doménu

Ako sa aplikácie veľkých jazykových modelov rozširujú do špecializovaných domén, potreba účinných a efektívnych adaptačných techník sa stáva čoraz dôležitejšou. Vstúpte do RAFT (Retrieval Augmented Fine Tuning), nového prístupu, ktorý kombinuje silné stránky rozšíreného generovania vyhľadávania (RAG) a jemného ladenia, prispôsobeného špeciálne pre úlohy súvisiace s odpovedaním na otázky špecifické pre danú oblasť.

Výzva adaptácie domény

Zatiaľ čo LLM sú vopred vyškolení na obrovské množstvo údajov, ich schopnosť dobre fungovať v špecializovaných oblastiach, ako je lekársky výskum, právna dokumentácia alebo podnikové databázy znalostí, je často obmedzená. Toto obmedzenie vzniká, pretože údaje pred tréningom nemusia primerane reprezentovať nuansy a zložitosti týchto špecializovaných domén. Na riešenie tejto výzvy výskumníci tradične používajú dve hlavné techniky: generovanie rozšíreného vyhľadávania (RAG) a jemné ladenie.

Retrieval-Augmented Generation (RAG)

handra

handra je technika, ktorá umožňuje LLM pristupovať a využívať externé zdroje vedomostí počas vyvodzovania.

Dosahuje to integráciou získavania údajov v reálnom čase do generatívneho procesu, čím sú výstupy modelu presnejšie a aktuálnejšie. RAG pozostáva z troch základných krokov: vyhľadávanie, kde sa zhromažďujú príslušné dokumenty; generovanie, kde model vytvára výstup na základe získaných údajov; a augmentácia, ktorá výstup ďalej spresňuje.

Proces vyhľadávania v RAG začína dopytom používateľa. LLM analyzujú dotaz a získavajú príslušné informácie z externých databáz, pričom prezentujú súbor údajov, z ktorých môže model čerpať na formulovanie svojich odpovedí. Generačná fáza potom syntetizuje tento vstup do koherentného príbehu alebo odpovede. Krok rozšírenia spresňuje generovanie pridaním kontextu alebo úpravou pre súdržnosť a relevantnosť.

Modely RAG možno hodnotiť pomocou rôznych metrík, pričom sa hodnotí ich schopnosť poskytovať presné, relevantné a aktuálne informácie.

Jemné doladenie

pod dohľadom-jemné dolaďovanie

Doladenie, na druhej strane zahŕňa prispôsobenie vopred vyškoleného LLM konkrétnej úlohe alebo doméne jeho ďalším školením na menšom súbore údajov špecifických pre danú úlohu. Tento prístup umožňuje modelu naučiť sa vzorce a zosúladiť svoje výstupy s požadovanou úlohou alebo doménou. Zatiaľ čo jemné ladenie môže zlepšiť výkon modelu, často nedokáže efektívne začleniť externé zdroje znalostí alebo zohľadniť nedokonalosti pri získavaní počas odvodzovania.

Prístup RAFT

RAFTING

RAFTING skratka pre Retrieval-Aware Fine-Tuning je inovatívna školiaca metóda prispôsobená jazykovým modelom na zlepšenie ich výkonu pri úlohách špecifických pre danú oblasť, najmä pri skúškach s otvorenými knihami. RAFT sa odchyľuje od štandardného jemného dolaďovania prípravou školiacich údajov, ktoré zahŕňajú otázky so zmesou relevantných a nerelevantných dokumentov spolu s odpoveďami v štýle reťazca odvodených z relevantných textov. Cieľom tejto metódy je zlepšiť schopnosti modelov nielen si vybaviť informácie, ale aj uvažovať a odvodzovať odpovede z poskytnutého obsahu.

RAFT v podstate dolaďuje jazykové modely tak, aby boli zdatnejší v úlohách, ktoré zahŕňajú čítanie s porozumením a extrakciu vedomostí zo súboru dokumentov. Trénovaním s dokumentmi „oracle“ (ktoré obsahujú odpoveď) a „distractor“ dokumentmi (ktoré nie) sa model učí efektívnejšie rozlišovať a využívať relevantné informácie.

Príprava tréningových dát

Tréningový proces v rámci RAFT zahŕňa časť údajov tak, aby obsahovali dokumenty orákula, ktoré sa priamo týkajú odpovedí, zatiaľ čo zvyšné údaje pozostávajú iba z dokumentov odvádzajúcich pozornosť. Jemné doladenie povzbudzuje model, aby sa naučil, kedy sa má spoľahnúť na svoje vnútorné znalosti (podobné memorovaniu) a kedy získať informácie z poskytnutého kontextu.

Tréningový režim RAFT tiež kladie dôraz na generovanie procesov uvažovania, ktoré nielen pomáhajú pri vytváraní odpovede, ale aj citujú zdroje, podobne ako by človek odôvodnil svoju odpoveď odkazovaním na materiál, ktorý čítal. Tento prístup nielen pripravuje model pre nastavenie RAG (Retrieval Augmented Generation), kde musí brať do úvahy top-k vyhľadaných dokumentov, ale tiež zaisťuje, že tréning modelu je nezávislý od použitého vyhľadávača, čo umožňuje flexibilné použitie v rôznych systémoch vyhľadávania.

Tento prístup slúži viacerým účelom:

1. Trénuje model, aby identifikoval a využil relevantné informácie z poskytnutého kontextu, napodobňujúc prostredie skúšky s otvorenou knihou.
2. Zvyšuje schopnosť modelu ignorovať irelevantné informácie, čo je kritická zručnosť pre efektívne RAG.
3. Vystavuje model scenárom, kde odpoveď nie je prítomná v kontexte, čím ho povzbudzuje, aby sa v prípade potreby spoliehal na svoje vlastné znalosti.

Ďalším kľúčovým aspektom RAFT je začlenenie myšlienkového uvažovania do tréningového procesu. Namiesto jednoduchého poskytovania párov otázok a odpovedí RAFT generuje podrobné vysvetlenia odôvodnenia, ktoré obsahuje doslovné citácie z príslušných dokumentov. Tieto vysvetlenia, prezentované vo formáte reťaze myšlienok, vedú model cez logické kroky potrebné na dosiahnutie správnej odpovede.

Trénovaním modelu na týchto reťazcoch uvažovania RAFT podporuje rozvoj silných rozumových schopností a zlepšuje pochopenie modelu, ako efektívne využiť externé zdroje vedomostí.

Hodnotenie a výsledky

Autori článku RAFT vykonali rozsiahle hodnotenia rôznych súborov údajov vrátane PubMed (biomedicínsky výskum), HotpotQA (zodpovedanie otázok v otvorenej doméne) a Gorilla APIBench (generovanie kódu). Ich výsledky preukázali, že RAFT trvalo prekonal základné línie, ako napríklad doménovo špecifické jemné ladenie s RAG a bez neho, ako aj väčšie modely ako GPT-3.5 s RAG.

RAFT zlepšuje výkon RAG

Napríklad v súbore údajov HuggingFace dosiahol RAFT presnosť 74 %, významné zlepšenie o 31.41 % v porovnaní s doladením špecifickým pre doménu (DSF) a 44.92 % v porovnaní s GPT-3.5 s RAG. Podobne v súbore údajov HotpotQA RAFT vykazoval 28.9% zvýšenie presnosti v porovnaní s DSF.

Jednou z kľúčových výhod RAFT je jeho odolnosť voči nedokonalostiam vyhľadávania. Trénovaním modelu pomocou kombinácie relevantných a irelevantných dokumentov, RAFT zlepšuje schopnosť modelu rozlíšiť a uprednostniť relevantné informácie, aj keď vyhľadávací modul vracia suboptimálne výsledky.

Autori demonštrovali, že jemné doladenie len s dokumentmi Oracle často vedie k horšiemu výkonu v porovnaní s konfiguráciami, ktoré obsahujú dokumenty distraktora. Toto zistenie podčiarkuje dôležitosť vystavenia modelu rôznym scenárom vyhľadávania počas školenia, čím sa zabezpečí jeho pripravenosť na aplikácie v reálnom svete.

Praktické aplikácie a budúce smery

Technika RAFT má významné dôsledky pre širokú škálu praktických aplikácií, vrátane:

1. Systémy odpovedania na otázky: RAFT možno použiť na vytvorenie vysoko presných systémov odpovedí na otázky špecifických pre danú oblasť, ktoré využívajú naučené znalosti modelu aj externé zdroje znalostí.
2. Enterprise Knowledge Management: Organizácie s rozsiahlymi znalostnými bázami môžu využiť RAFT na vývoj prispôsobených systémov odpovedí na otázky, ktoré zamestnancom umožnia rýchly prístup a využitie relevantných informácií.
3. Lekársky a vedecký výskum: RAFT môže byť obzvlášť cenný v oblastiach, ako je biomedicínsky výskum, kde je prístup k najnovším zisteniam a literatúre rozhodujúci pre pokrok vo vedeckom chápaní.
4. Právne a finančné služby: RAFT môže pomôcť odborníkom v týchto oblastiach poskytovaním presných a kontextových odpovedí na základe relevantných právnych dokumentov alebo finančných správ.

Keďže výskum v tejto oblasti pokračuje, môžeme očakávať ďalšie pokroky a vylepšenia techniky RAFT. Potenciálne budúce smery zahŕňajú:

1. Skúmanie efektívnejších a efektívnejších modulov vyhľadávania, prispôsobených pre špecifické domény alebo štruktúry dokumentov.
2. Integrácia multimodálnych informácií, ako sú obrázky alebo tabuľky, do rámca RAFT pre lepšie pochopenie kontextu.
3. Vývoj špecializovaných architektúr uvažovania, ktoré môžu lepšie využiť vysvetlenia myšlienkového reťazca generované počas školenia.
4. Prispôsobenie RAFT iným úlohám v prirodzenom jazyku nad rámec zodpovedania otázok, ako sú sumarizácia, preklad alebo dialógové systémy.

záver

RAFT predstavuje významný skok vpred v oblasti odpovedí na špecifické otázky pomocou jazykových modelov. Harmonickým spojením silných stránok generovania a dolaďovania s rozšíreným vyhľadávaním, RAFT vybavuje LLM schopnosťou efektívne využívať externé zdroje znalostí a zároveň zosúladiť ich výstupy so vzormi a preferenciami špecifickými pre danú doménu.

Vďaka svojej inovatívnej správe školiacich údajov, začleneniu myšlienkového uvažovania a odolnosti voči nedokonalostiam pri vyhľadávaní ponúka RAFT výkonné riešenie pre organizácie a výskumníkov, ktorí chcú odomknúť plný potenciál LLM v špecializovaných doménach.

Keďže dopyt po schopnostiach spracovania prirodzeného jazyka špecifických pre danú oblasť neustále rastie, techniky ako RAFT budú hrať kľúčovú úlohu pri umožňovaní presnejších, kontextovo orientovaných a adaptívnych jazykových modelov, čím sa pripraví pôda pre budúcnosť, v ktorej sa komunikácia medzi človekom a strojom stane skutočnou bezproblémové a doménovo agnostické.