RAFT – Metoda doskonalenia i RAG do domenowo-specyficznych zadań odpowiedzi na pytania

Wraz ze wzrostem zastosowań dużych modeli językowych w specjalistycznych dziedzinach, potrzeba efektywnych i skutecznych technik adaptacji staje się coraz bardziej istotna. Wkraczamy w RAFT (Retrieval Augmented Fine Tuning), nowatorskie podejście, które łączy siły generacji wspomaganej przez odzyskiwanie (RAG) i doskonalenia, dostosowane specjalnie do zadań odpowiedzi na pytania w określonych dziedzinach.

Wyzwanie adaptacji domenowej

Chociaż duże modele językowe są wstępnie szkolone na ogromnych ilościach danych, ich zdolność do osiągania dobrych wyników w specjalistycznych dziedzinach, takich jak badania medyczne, dokumentacja prawna lub bazy wiedzy przedsiębiorstw, jest często ograniczona. Ograniczenie to wynika z faktu, że dane wstępnego szkolenia mogą nie odpowiednio reprezentować niuansów i złożoności tych specjalistycznych dziedzin. Aby rozwiązać to wyzwanie, badacze tradycyjnie stosowali dwie główne techniki: generację wspomaganą przez odzyskiwanie (RAG) i doskonalenie.

Generacja wspomagana przez odzyskiwanie (RAG)

RAG

RAG jest techniką, która umożliwia dużym modelom językowym dostęp i wykorzystanie zewnętrznych źródeł wiedzy podczas inferencji.

Osiąga to poprzez integrację odzyskiwania danych w czasie rzeczywistym do procesu generacji, co sprawia, że dane wyjściowe modelu są bardziej dokładne i aktualne. RAG składa się z trzech podstawowych kroków: odzyskiwania, gdzie gromadzone są odpowiednie dokumenty; generacji, gdzie model produkuje dane wyjściowe na podstawie odzyskanych danych; oraz augmentacji, która doskonali dane wyjściowe poprzez dodanie kontekstu lub dostosowanie do spójności i istotności.

Proces odzyskiwania w RAG rozpoczyna się od zapytania użytkownika. Duże modele językowe analizują zapytanie i pobierają istotne informacje z zewnętrznych baz danych, prezentując pulę danych, z której model może korzystać do sformułowania swoich odpowiedzi. Faza generacji syntetyzuje ten input w spójną narrację lub odpowiedź. Krok augmentacji doskonali generację przez dodanie kontekstu lub dostosowanie do spójności i istotności.

Modele RAG mogą być oceniane za pomocą różnych metryk, oceniających ich zdolność do dostarczania dokładnych, istotnych i aktualnych informacji.

Doskonalenie

supervised-fine-tuning

Doskonalenie, z drugiej strony, polega na dostosowaniu wstępnie szkolonego dużego modelu językowego do określonego zadania lub dziedziny poprzez dalsze szkolenie na mniejszym, zadaniowo-specyficznym zbiorze danych. To podejście pozwala modelowi nauczyć się wzorców i dostosować swoje dane wyjściowe do pożądanego zadania lub dziedziny. Chociaż doskonalenie może poprawić wydajność modelu, często nie jest w stanie skutecznie włączyć zewnętrznych źródeł wiedzy lub uwzględnić niedoskonałości odzyskiwania podczas inferencji.

Podejście RAFT

RAFT

RAFT oznacza Retrieval-Aware Fine-Tuning, jest to innowacyjna metoda szkolenia dostosowana do modeli językowych w celu poprawy ich wydajności w zadaniach specyficznych dla dziedziny, szczególnie w przypadku egzaminów otwartych. RAFT różni się od standardowego doskonalenia poprzez przygotowanie danych szkoleniowych, które obejmują pytania z mieszanką istotnych i nieistotnych dokumentów, wraz z odpowiedziami w stylu łańcucha myśli pochodzącymi z istotnych tekstów. Metoda ta ma na celu poprawę zdolności modeli do nie tylko przypominania informacji, ale także do wnioskowania i wyprowadzania odpowiedzi z dostarczonych treści.

W istocie, RAFT doskonali modele językowe, aby były bardziej wydajne w zadaniach, które obejmują zrozumienie i ekstrakcję wiedzy z zestawu dokumentów. Poprzez szkolenie z dokumentami “oracle” (które zawierają odpowiedź) i dokumentami “distractor” (które nie zawierają odpowiedzi), model uczy się rozróżniać i wykorzystywać istotne informacje w sposób bardziej efektywny.

Przygotowanie danych szkoleniowych

Proces szkolenia w RAFT obejmuje proporcję danych, które zawierają dokumenty “oracle”, które bezpośrednio odnoszą się do odpowiedzi, podczas gdy pozostałe dane składają się tylko z dokumentów “distractor”. Doskonalenie zachęca model do nauki, kiedy polegać na swojej wewnętrznej wiedzy (podobnej do zapamiętywania) i kiedy wykorzystywać informacje z kontekstu.

Reżim szkoleniowy RAFT kładzie również nacisk na generowanie procesów myślowych, które nie tylko pomagają w tworzeniu odpowiedzi, ale także cytują źródła, podobnie jak człowiek uzasadniałby swoją odpowiedź, odwołując się do materiału, który przeczytał. To podejście nie tylko przygotowuje model do ustawienia RAG (Retrieval Augmented Generation), w którym musi brać pod uwagę najlepsze dokumenty odzyskane, ale także zapewnia, że szkolenie modelu jest niezależne od modułu odzyskiwania, umożliwiając elastyczne zastosowanie w różnych systemach odzyskiwania.

To podejście spełnia wiele celów:

1. Uczy model, aby identyfikować i wykorzystywać istotne informacje z dostarczonego kontekstu, naśladując ustawienie egzaminu otwartego.
2. Poprawia zdolność modelu do ignorowania nieistotnych informacji, co jest kluczową umiejętnością dla skutecznej RAG.
3. Eksponuje model na sytuacje, w których odpowiedź nie jest obecna w kontekście, zachęcając go do polegania na swojej własnej wiedzy, gdy jest to konieczne.

Innym kluczowym aspektem RAFT jest włączenie łańcucha myśli do procesu szkolenia. Zamiast po prostu dostarczać pary pytań i odpowiedzi, RAFT generuje szczegółowe wyjaśnienia rozumowania, które obejmują cytaty z istotnych dokumentów. Te wyjaśnienia, przedstawione w formacie łańcucha myśli, prowadzą model przez logiczne kroki niezbędne do uzyskania prawidłowej odpowiedzi.

Poprzez szkolenie modelu na tych łańcuchach myśli, RAFT zachęca rozwój silnych zdolności rozumowania i poprawia zrozumienie modelu, jak skutecznie wykorzystywać zewnętrzne źródła wiedzy.

Ocena i wyniki

Autorzy artykułu o RAFT przeprowadzili obszerną ocenę na różnych zbiorach danych, w tym PubMed (badania biomedyczne), HotpotQA (otwarte odpowiedzi na pytania) i Gorilla APIBench (generowanie kodu). Ich wyniki wykazały, że RAFT konsekwentnie przewyższał punkty odniesienia, takie jak doskonalenie specyficzne dla dziedziny z i bez RAG, a także większe modele, takie jak GPT-3.5 z RAG.

RAFT improves RAG performance

Na przykład, w przypadku zestawu danych HuggingFace, RAFT osiągnął dokładność 74%, co stanowi znaczną poprawę o 31,41% w porównaniu z doskonaleniem specyficznym dla dziedziny (DSF) i 44,92% w porównaniu z GPT-3.5 z RAG. Podobnie, w przypadku zestawu danych HotpotQA, RAFT wykazał zysk dokładności o 28,9% w porównaniu z DSF.

Jednym z głównych zalet RAFT jest jego odporność na niedoskonałości odzyskiwania. Poprzez szkolenie modelu z mieszanką istotnych i nieistotnych dokumentów, RAFT poprawia zdolność modelu do rozróżniania i priorytetowego traktowania istotnych informacji, nawet gdy moduł odzyskiwania zwraca podoptymalne wyniki.

Autorzy wykazali, że doskonalenie tylko z dokumentami “oracle” często prowadzi do gorszej wydajności w porównaniu z konfiguracjami, które obejmują dokumenty “distractor”. To odkrycie podkreśla wagę eksponowania modelu na różne scenariusze odzyskiwania podczas szkolenia, zapewniając jego przygotowanie do aplikacji w świecie rzeczywistym.

Praktyczne zastosowania i kierunki przyszłego rozwoju

Technika RAFT ma istotne implikacje dla szerokiego zakresu praktycznych zastosowań, w tym:

1. Systemy odpowiedzi na pytania: RAFT może być wykorzystany do budowy wysoko dokładnych i specyficznych dla dziedziny systemów odpowiedzi na pytania, wykorzystując zarówno wiedzę nauczona przez model, jak i zewnętrzne źródła wiedzy.
2. Zarządzanie wiedzą w przedsiębiorstwach: Organizacje z dużymi bazami wiedzy mogą wykorzystać RAFT do opracowania niestandardowych systemów odpowiedzi na pytania, umożliwiając pracownikom szybki dostęp i wykorzystanie istotnych informacji.
3. Badania medyczne i naukowe: RAFT może być szczególnie cenny w dziedzinach takich jak badania biomedyczne, gdzie dostęp do najnowszych odkryć i literatury jest kluczowy dla rozwoju zrozumienia naukowego.
4. Usługi prawne i finansowe: RAFT może pomóc profesjonalistom w tych dziedzinach, dostarczając dokładne i kontekstowo-świadome odpowiedzi oparte na istotnych dokumentach prawnych lub raportach finansowych.

Wraz z kontynuacją badań w tej dziedzinie, możemy oczekiwać dalszych postępów i udoskonaleń techniki RAFT. Potencjalne przyszłe kierunki rozwoju obejmują:

1. Eksplorację bardziej efektywnych i skutecznych modułów odzyskiwania, dostosowanych do określonych dziedzin lub struktur dokumentów.
2. Integrację informacji wielomodalnych, takich jak obrazy lub tabele, do ramy RAFT w celu poprawy zrozumienia kontekstu.
3. Rozwój specjalistycznych architektur rozumowania, które mogą lepiej wykorzystywać wyjaśnienia łańcucha myśli generowane podczas szkolenia.
4. Adaptację RAFT do innych zadań przetwarzania języka naturalnego, poza odpowiedziami na pytania, takich jak streszczenia, tłumaczenia lub systemy dialogowe.

Wnioski

RAFT reprezentuje znaczący krok naprzód w dziedzinie odpowiedzi na pytania specyficzne dla dziedziny z wykorzystaniem modeli językowych. Poprzez harmonijne połączenie sił generacji wspomaganej przez odzyskiwanie i doskonalenia, RAFT wyposaża duże modele językowe w zdolność efektywnego wykorzystania zewnętrznych źródeł wiedzy, jednocześnie dostosowując swoje dane wyjściowe do wzorców i preferencji specyficznych dla dziedziny.

Przez swoją innowacyjną kurację danych szkoleniowych, włączenie łańcucha myśli i odporność na niedoskonałości odzyskiwania, RAFT oferuje potężne rozwiązanie dla organizacji i badaczy, którzy szukają sposobu na odblokowanie pełnego potencjału dużych modeli językowych w specjalistycznych dziedzinach.

Wraz ze wzrostem zapotrzebowania na zdolności przetwarzania języka naturalnego specyficzne dla dziedziny, techniki takie jak RAFT będą odgrywać kluczową rolę w umożliwieniu bardziej dokładnych, kontekstowo-świadomych i adaptacyjnych modeli językowych, otwierając drogę ku przyszłości, w której komunikacja między ludźmi a maszynami stanie się naprawdę bezproblemowa i niezależna od dziedziny.