RAFT – O abordare de fine-tuning și RAG pentru răspunsuri la întrebări specifice domeniului

Pe măsură ce aplicațiile modelelor de limbaj mari se extind în domenii specializate, nevoia de tehnici de adaptare eficiente și eficace devine din ce în ce mai crucială. Intră RAFT (Fine-tuning cu recuperare augmentată), o abordare inovatoare care combină puterea generării augmentate cu recuperare (RAG) și a fine-tuning-ului, special concepută pentru sarcinile de răspuns la întrebări specifice domeniului.

Provocarea adaptării la domeniu

În timp ce modelele de limbaj mari (LLM) sunt pre-antrenate pe cantități uriașe de date, capacitatea lor de a performa bine în domenii specializate, cum ar fi cercetarea medicală, documentația juridică sau bazele de cunoștințe specifice întreprinderilor, este adesea limitată. Această limitare apare pentru că datele de pre-antrenare nu pot reprezenta întotdeauna nuanțele și complexitățile acestor domenii specializate. Pentru a aborda această provocare, cercetătorii au folosit în mod tradițional două tehnici principale: generarea augmentată cu recuperare (RAG) și fine-tuning-ul.

Generarea augmentată cu recuperare (RAG)

RAG

RAG este o tehnică care permite LLM-urilor să acceseze și să utilizeze surse de cunoștințe externe în timpul inferenței.

Acesta realizează acest lucru prin integrarea recuperării de date în timp real în procesul generativ, făcând astfel ca ieșirile modelului să fie mai precise și actualizate. RAG constă în trei pași de bază: recuperarea, în care se adună documente relevante; generarea, în care modelul produce o ieșire pe baza datelor recuperate; și augmentarea, care rafinează ieșirea mai departe.

Procesul de recuperare în RAG începe cu o întrebare a utilizatorului. LLM-urile analizează întrebarea și adună informații pertinente din baze de date externe, prezentând un set de date din care modelul poate extrage pentru a-și formula răspunsurile. Faza de generare sintetizează această intrare într-un discurs coerent sau răspuns. Pașii de augmentare rafinează generarea prin adăugarea de context sau ajustarea pentru coerență și relevanță.

Modelele RAG pot fi evaluate utilizând o varietate de metrice, evaluând capacitatea lor de a furniza informații precise, relevante și actualizate.

Fine-tuning

supervised-fine-tuning

Fine-tuning-ul, pe de altă parte, implică adaptarea unui LLM pre-antrenat la o sarcină sau domeniu specific prin antrenarea suplimentară a acestuia pe un set de date mai mic, specific sarcinii sau domeniului. Această abordare permite modelului să învețe modele și să alinieze ieșirile sale cu sarcina sau domeniul dorit. În timp ce fine-tuning-ul poate îmbunătăți performanța modelului, adesea nu reușește să incorporeze eficient surse de cunoștințe externe sau să țină cont de imperfecțiunile de recuperare în timpul inferenței.

Abordarea RAFT

RAFT

RAFT înseamnă Fine-tuning cu recuperare conștientă, o metodă de antrenare inovatoare concepută pentru a îmbunătăți performanța modelelor de limbaj în sarcini specifice domeniului, în special pentru examenele cu carte deschisă. RAFT se diferențiază de fine-tuning-ul standard prin pregătirea datelor de antrenare care incorporează întrebări cu un amestec de documente relevante și nerelevante, împreună cu răspunsuri în stilul lanțului de gândire, derivate din texte relevante. Această metodă urmărește să îmbunătățească capacitatea modelelor de a nu numai aminti informații, ci și de a raționa și de a deriva răspunsuri din conținutul furnizat.

În esență, RAFT ajustează modelele de limbaj pentru a fi mai pricepute în sarcinile care implică înțelegerea textului și extragerea cunoștințelor dintr-un set de documente. Prin antrenarea cu atât “documente oracle” (care conțin răspunsul), cât și “documente distractor” (care nu conțin), modelul învață să discerne și să utilizeze informații relevante mai eficient.

Pregătirea datelor de antrenare

Procesul de antrenare sub RAFT implică o proporție a datelor care conțin documente oracle care se referă direct la răspunsuri, în timp ce restul datelor constă numai din documente distractor. Fine-tuning-ul încurajează modelul să învețe când să se bazeze pe cunoștințele sale interne (asemănător cu memorizarea) și când să extragă informații din contextul furnizat.

Regimul de antrenare RAFT subliniază, de asemenea, generarea proceselor de raționament, care nu numai că ajută la formarea răspunsului, dar și citarea surselor, similar cu modul în care un om ar justifica răspunsul său prin referirea la materialul pe care l-a citit. Această abordare nu numai că pregătește modelul pentru un mediu RAG (Generare augmentată cu recuperare), în care trebuie să ia în considerare documentele recuperate top-k, dar asigură și că antrenamentul modelului este independent de recuperatorul utilizat, permițând o aplicare flexibilă în diferite sisteme de recuperare.

Această abordare servește multiple scopuri:

1. Antrenează modelul să identifice și să utilizeze informații relevante din contextul furnizat, imitând mediul examenului cu carte deschisă.
2. Îmbunătățește capacitatea modelului de a ignora informațiile nerelevante, o abilitate critică pentru RAG eficient.
3. Expune modelul la scenarii în care răspunsul nu este prezent în context, încurajându-l să se bazeze pe cunoștințele sale atunci când este necesar.

Un alt aspect cheie al RAFT este incorporarea raționamentului lanțului de gândire în procesul de antrenare. În loc de a furniza doar perechi de întrebări și răspunsuri, RAFT generează explicații detaliate de raționament care includ citări verbatim din documentele relevante. Aceste explicații, prezentate în format lanț de gândire, conduc modelul prin pașii logici necesari pentru a ajunge la răspunsul corect.

Prin antrenarea modelului pe aceste lanțuri de raționament, RAFT încurajează dezvoltarea unor puternice abilități de raționament și îmbunătățește înțelegerea modelului cu privire la modul de a utiliza eficient sursele de cunoștințe externe.

Evaluare și rezultate

Autorii lucrării RAFT au efectuat evaluări extensive pe diverse seturi de date, incluzând PubMed (cercetare biomedicală), HotpotQA (răspuns la întrebări în domeniu deschis) și Gorilla APIBench (generare de cod). Rezultatele lor au demonstrat că RAFT a depășit în mod constant liniile de bază, cum ar fi fine-tuning-ul specific domeniului cu și fără RAG, precum și modele mai mari, cum ar fi GPT-3.5 cu RAG.

RAFT îmbunătățește performanța RAG

De exemplu, pe setul de date HuggingFace, RAFT a atins o acuratețe de 74%, o îmbunătățire semnificativă de 31,41% față de fine-tuning-ul specific domeniului (DSF) și 44,92% față de GPT-3.5 cu RAG. Similar, pe setul de date HotpotQA, RAFT a arătat o creștere a acurateței de 28,9% în comparație cu DSF.

Una dintre avantajele cheie ale RAFT este robustețea sa la imperfecțiunile de recuperare. Prin antrenarea modelului cu un amestec de documente relevante și nerelevante, RAFT îmbunătățește capacitatea modelului de a discerne și de a prioriza informațiile relevante, chiar și atunci când modulul de recuperare returnează rezultate suboptimale.

Autorii au demonstrat că fine-tuning-ul cu doar documentele oracle adesea duce la o performanță inferioară în comparație cu configurațiile care includ documente distractor. Această constatare subliniază importanța expunerii modelului la diverse scenarii de recuperare în timpul antrenamentului, asigurând pregătirea sa pentru aplicații din lumea reală.

Aplicații practice și direcții viitoare

Tehnica RAFT are implicații semnificative pentru o gamă largă de aplicații practice, incluzând:

1. Sisteme de răspuns la întrebări: RAFT poate fi utilizat pentru a construi sisteme de răspuns la întrebări foarte precise și specifice domeniului, valorificând atât cunoștințele învățate de model, cât și sursele de cunoștințe externe.
2. Managementul cunoștințelor în întreprinderi: Organizațiile cu baze de cunoștințe mari pot utiliza RAFT pentru a dezvolta sisteme personalizate de răspuns la întrebări, permițând angajaților să acceseze și să utilizeze rapid informații relevante.
3. Cercetare medicală și științifică: RAFT poate fi deosebit de valoros în domenii precum cercetarea biomedicală, unde accesul la cele mai recente descoperiri și literatură este crucial pentru înaintarea înțelegerii științifice.
4. Servicii juridice și financiare: RAFT poate asista profesioniștii din aceste domenii prin furnizarea de răspunsuri precise și conștiente de context, bazate pe documente juridice sau rapoarte financiare relevante.

Pe măsură ce cercetarea în acest domeniu continuă, ne putem aștepta la progrese și rafinări suplimentare ale tehnicii RAFT. Direcții viitoare pot include:

1. Explorarea unor module de recuperare mai eficiente și mai eficace, specializate pentru domenii sau structuri de documente specifice.
2. Integrarea informațiilor multi-modale, cum ar fi imagini sau tabele, în cadrul RAFT pentru o înțelegere îmbunătățită a contextului.
3. Dezvoltarea unor arhitecturi de raționament specializate care pot valorifica mai bine explicațiile lanțului de gândire generate în timpul antrenamentului.
4. Adaptarea RAFT la alte sarcini de procesare a limbajului natural, dincolo de răspunsul la întrebări, cum ar fi rezumarea, traducerea sau sistemele de dialog.

Concluzie

RAFT reprezintă un salt semnificativ înainte în domeniul răspunsului la întrebări specifice domeniului cu modele de limbaj. Prin combinarea armonioasă a puterii generării augmentate cu recuperare și a fine-tuning-ului, RAFT dotează LLM-urile cu capacitatea de a valorifica eficient sursele de cunoștințe externe, aliniind în același timp ieșirile sale cu modelele și preferințele specifice domeniului.

Prin pregătirea inovatoare a datelor de antrenare, incorporarea raționamentului lanțului de gândire și robustețea la imperfecțiunile de recuperare, RAFT oferă o soluție puternică pentru organizații și cercetători care caută să deblocheze pe deplin potențialul LLM-urilor în domenii specializate.

Pe măsură ce cererea de capacități de procesare a limbajului natural specifice domeniului continuă să crească, tehnici precum RAFT vor juca un rol crucial în permiterea unor modele de limbaj mai precise, conștiente de context și adaptabile, deschizând calea către un viitor în care comunicarea între oameni și mașini devine cu adevărat fără efort și independentă de domeniu.