RAFT – fino podešavanje i RAG pristup odgovaranju na pitanja specifična za domenu

Kako se primjene velikih jezičnih modela šire u specijalizirana područja, potreba za učinkovitim i učinkovitim tehnikama prilagodbe postaje sve ključnija. Uključite se u RAFT (Retrieval Augmented Fine Tuning), novi pristup koji kombinira prednosti generiranja proširenog dohvaćanja (RAG) i finog podešavanja, posebno skrojenog za zadatke odgovaranja na pitanja specifična za domenu.

Izazov prilagodbe domene

Dok su LLM-i unaprijed obučeni za ogromne količine podataka, njihova sposobnost da dobro rade u specijaliziranim domenama, kao što su medicinska istraživanja, pravna dokumentacija ili baze znanja specifične za poduzeće, često je ograničena. Ovo ograničenje nastaje jer podaci prije obuke možda neće adekvatno predstavljati nijanse i zamršenosti ovih specijaliziranih domena. Kako bi odgovorili na ovaj izazov, istraživači tradicionalno koriste dvije glavne tehnike: generiranje proširenog dohvaćanja (RAG) i fino podešavanje.

Generacija proširenog dohvaćanja (RAG)

RAG

RAG je tehnika koja omogućuje LLMs za pristup i korištenje vanjskih izvora znanja tijekom zaključivanja.

To postiže integracijom dohvaćanja podataka u stvarnom vremenu u generativni proces, čineći rezultate modela točnijim i ažurnijim. RAG se sastoji od tri temeljna koraka: dohvaćanje, gdje se prikupljaju relevantni dokumenti; generacija, gdje model proizvodi izlaz na temelju dohvaćenih podataka; i povećanje, koje dodatno poboljšava rezultat.

Proces dohvaćanja u RAG-u započinje korisničkim upitom. LLM analiziraju upit i dohvaćaju relevantne informacije iz vanjskih baza podataka, predstavljajući skup podataka iz kojih model može crpiti kako bi formulirao svoje odgovore. Faza generiranja zatim sintetizira ovaj unos u koherentnu pripovijest ili odgovor. Korak povećanja pročišćava generiranje dodavanjem konteksta ili prilagođavanjem koherentnosti i relevantnosti.

RAG modeli mogu se ocijeniti korištenjem različitih metrika, procjenjujući njihovu sposobnost da pruže točne, relevantne i ažurne informacije.

Fino podešavanje

nadzirano fino ugađanje

Fino podešavanje, s druge strane, uključuje prilagodbu prethodno obučenog LLM-a određenom zadatku ili domeni daljnjom obukom na manjem skupu podataka specifičnom za zadatak. Ovaj pristup omogućuje modelu da nauči obrasce i uskladi svoje rezultate sa željenim zadatkom ili domenom. Iako fino podešavanje može poboljšati izvedbu modela, ono često ne uspijeva učinkovito uključiti vanjske izvore znanja ili uzeti u obzir nesavršenosti dohvaćanja tijekom zaključivanja.

RAFT pristup

SPLAV

SPLAV stoji za Retrieval-Aware Fine-Tuning, inovativna je metoda obuke prilagođena jezičnim modelima kako bi se poboljšala njihova izvedba u zadacima specifičnim za domenu, posebno za ispite s otvorenom knjigom. RAFT odstupa od standardnog finog podešavanja pripremajući podatke o obuci koji uključuju pitanja s mješavinom relevantnih i nerelevantnih dokumenata, zajedno s odgovorima u stilu lanca misli izvedenim iz relevantnih tekstova. Ova metoda ima za cilj poboljšati sposobnosti modela ne samo da se prisjećaju informacija, već i da razmišljaju i izvlače odgovore iz ponuđenog sadržaja.

U biti, RAFT fino podešava jezične modele kako bi bili vještiji u zadacima koji uključuju razumijevanje pročitanog i izvlačenje znanja iz skupa dokumenata. Uvježbavanjem i s "oracle" dokumentima (koji sadrže odgovor) i s "distraktorskim" dokumentima (koji ga ne sadrže), model uči razaznavati i učinkovitije koristiti relevantne informacije.

Priprema podataka o obuci

Proces obuke pod RAFT-om uključuje dio podataka koji sadrže proročke dokumente koji se izravno odnose na odgovore, dok se preostali podaci sastoje samo od distraktorskih dokumenata. Fino podešavanje potiče model da nauči kada se osloniti na svoje interno znanje (slično pamćenju), a kada izvući informacije iz danog konteksta.

RAFT-ov režim treninga također naglašava stvaranje procesa zaključivanja, koji ne samo da pomažu u oblikovanju odgovora, već također citiraju izvore, slično kao što bi čovjek opravdao svoj odgovor pozivanjem na materijal koji je pročitao. Ovaj pristup ne samo da priprema model za postavku RAG (Retrieval Augmented Generation) gdje mora uzeti u obzir top-k dohvaćene dokumente, već također osigurava da je obuka modela neovisna o korištenom dohvativaču, što omogućuje fleksibilnu primjenu u različitim sustavima dohvaćanja.

Ovaj pristup ima višestruke svrhe:

1. Uvježbava model da identificira i koristi relevantne informacije iz danog konteksta, oponašajući postavku ispita otvorene knjige.
2. Poboljšava sposobnost modela da zanemari irelevantne informacije, ključnu vještinu za učinkovit RAG.
3. Izlaže model scenarijima u kojima odgovor nije prisutan u kontekstu, potičući ga da se oslanja na vlastito znanje kada je to potrebno.

Drugi ključni aspekt RAFT-a je uključivanje rasuđivanja u lancu misli u proces obuke. Umjesto jednostavnog pružanja parova pitanja i odgovora, RAFT generira detaljna obrazloženja koja uključuju doslovne citate iz relevantnih dokumenata. Ova objašnjenja, predstavljena u obliku lanca misli, vode model kroz logične korake potrebne da se dođe do točnog odgovora.

Uvježbavanjem modela na ovim lancima razmišljanja, RAFT potiče razvoj snažnih sposobnosti zaključivanja i poboljšava razumijevanje modela o tome kako učinkovito iskoristiti vanjske izvore znanja.

Evaluacija i rezultati

Autori RAFT-ovog dokumenta proveli su opsežne evaluacije različitih skupova podataka, uključujući PubMed (biomedicinsko istraživanje), HotpotQA (odgovaranje na pitanja otvorene domene) i Gorilla APIBench (generiranje koda). Njihovi rezultati pokazali su da RAFT dosljedno nadmašuje osnovne vrijednosti, kao što je fino ugađanje specifično za domenu sa i bez RAG-a, kao i veće modele poput GPT-3.5 s RAG-om.

RAFT poboljšava performanse RAG-a

Na primjer, na skupu podataka HuggingFace, RAFT je postigao točnost od 74%, značajno poboljšanje od 31.41% u odnosu na fino podešavanje specifično za domenu (DSF) i 44.92% u odnosu na GPT-3.5 s RAG-om. Slično tome, na skupu podataka HotpotQA, RAFT je pokazao povećanje točnosti od 28.9% u usporedbi s DSF-om.

Jedna od ključnih prednosti RAFT-a je njegova otpornost na nesavršenosti izvlačenja. Obučavanjem modela kombinacijom relevantnih i nerelevantnih dokumenata, RAFT poboljšava sposobnost modela da razluči i odredi prioritet relevantnih informacija, čak i kada modul za pronalaženje daje rezultate ispod optimalnih.

Autori su pokazali da fino ugađanje samo s oracle dokumentima često dovodi do lošijih performansi u usporedbi s konfiguracijama koje uključuju distraktorske dokumente. Ovo otkriće naglašava važnost izlaganja modela različitim scenarijima dohvaćanja tijekom obuke, osiguravajući njegovu spremnost za aplikacije u stvarnom svijetu.

Praktične primjene i budući smjerovi

RAFT tehnika ima značajne implikacije za širok raspon praktičnih primjena, uključujući:

1. Sustavi za odgovaranje na pitanja: RAFT se može koristiti za izgradnju vrlo preciznih sustava za odgovaranje na pitanja specifičnih za domenu, koristeći i naučeno znanje modela i vanjske izvore znanja.
2. Upravljanje znanjem poduzeća: Organizacije s velikim bazama znanja mogu iskoristiti RAFT za razvoj prilagođenih sustava za odgovaranje na pitanja, omogućujući zaposlenicima brz pristup i korištenje relevantnih informacija.
3. Medicinska i znanstvena istraživanja: RAFT može biti osobito vrijedan u područjima kao što su biomedicinska istraživanja, gdje je pristup najnovijim nalazima i literaturi ključan za unaprjeđenje znanstvenog razumijevanja.
4. Pravne i financijske usluge: RAFT može pomoći stručnjacima u ovim područjima pružanjem točnih i kontekstualnih odgovora na temelju relevantnih pravnih dokumenata ili financijskih izvješća.

Kako se istraživanja u ovom području nastavljaju, možemo očekivati ​​daljnji napredak i usavršavanje tehnike RAFT. Potencijalni budući smjerovi uključuju:

1. Istraživanje učinkovitijih i učinkovitijih modula za pronalaženje, skrojenih za specifične domene ili strukture dokumenata.
2. Integracija višemodalnih informacija, kao što su slike ili tablice, u okvir RAFT za poboljšano razumijevanje konteksta.
3. Razvoj specijaliziranih arhitektura rezoniranja koje mogu bolje iskoristiti objašnjenja u lancu razmišljanja koja se generiraju tijekom obuke.
4. Prilagodba RAFT-a drugim zadacima prirodnog jezika izvan odgovaranja na pitanja, poput sažimanja, prijevoda ili sustava dijaloga.

Zaključak

RAFT predstavlja značajan korak naprijed u području odgovaranja na domenska pitanja s jezičnim modelima. Skladnim spajanjem prednosti generiranja i finog podešavanja proširenog pretraživanja, RAFT oprema LLM-ove sposobnošću da učinkovito iskoriste vanjske izvore znanja, dok također usklađuju svoje rezultate s obrascima i preferencijama specifičnim za domenu.

Svojom inovativnom obradom podataka o obuci, ugradnjom razmišljanja u lancu razmišljanja i otpornošću na nesavršenosti pronalaženja, RAFT nudi snažno rješenje za organizacije i istraživače koji žele otključati puni potencijal LLM-a u specijaliziranim domenama.

Kako potražnja za mogućnostima obrade prirodnog jezika specifičnim za domenu nastavlja rasti, tehnike poput RAFT-a igrat će ključnu ulogu u omogućavanju preciznijih, kontekstualno svjesnih i prilagodljivih jezičnih modela, utirući put budućnosti u kojoj komunikacija između čovjeka i stroja postaje istinski besprijekoran i nevezan za domenu.