Metody fine-tuning o wysokiej wydajności parametrów, czyli PeFT, mają na celu adaptację dużych modeli językowych poprzez aktualizację niewielkiej liczby wag. Jednak większość istniejących prac z dziedziny interpretowalności wykazała, że reprezentacje kodują bogatą informację semantyczną, co sugeruje, że może to być lepsza i bardziej efektywna alternatywa dla edycji tych reprezentacji. Duże, wstępnie wytrenowane modele są często dostosowywane do nowych dziedzin lub zadań, a podczas procesu fine-tuning, jeden model bazowy może być dostosowany do szerokiej gamy zadań, nawet przy niewielkiej ilości danych z danej dziedziny dostępnych dla modelu. Jednak proces fine-tuning całego modelu jest czasochłonny i kosztowny, szczególnie dla modeli językowych o znacznie większej liczbie parametrów.

Metody fine-tuning o wysokiej wydajności parametrów, czyli PeFT, proponują rozwiązanie problemu wysokich kosztów związanych z fine-tuning całego modelu, poprzez aktualizację tylko niewielkiej części dostępnych wag, co pomaga w redukcji czasu treningu oraz zużycia pamięci. Co więcej, metody te wykazały podobną wydajność do fine-tuning w kilku praktycznych sytuacjach. Adaptory, czyli rodzina metod PeFT, uczą się edycji, którą można dodać do dodatkowego zestawu wag, które działają wraz z zamrożonym modelem bazowym. Niedawne adaptory, takie jak LoRA, wykazały, że możliwe jest trenowanie pełnoprecyzyjnych adapterów na górze modeli o zmniejszonej precyzji, bez wpływu na wydajność.

Z poprzednimi pracami, które wykazały, że edycja reprezentacji może być lepszą alternatywą dla metod PeFT, w tym artykule będziemy omawiać metody ReFT, czyli Representation Fine-tuning, które działają na zamrożonym modelu i uczą się interwencji specyficznych dla zadań na ukrytych reprezentacjach. Celem tego artykułu jest przedstawienie ramy ReFT wraz z jej mechanizmem, metodologią, architekturą oraz porównaniem z innymi ramami.

ReFT: Reprezentacja Fine-tuning dla Modeli Językowych

W próbie adaptacji wstępnie wytrenowanych modeli językowych do nowych dziedzin i zadań, obecne ramy często stosują fine-tuning tych modeli, co pozwala na dostosowanie jednego modelu bazowego do szerokiej gamy zadań, nawet przy niewielkiej ilości danych z danej dziedziny dostępnych dla modelu. Chociaż proces fine-tuning zwiększa ogólną wydajność, jest to kosztowny proces, szczególnie dla modeli językowych o znacznie większej liczbie parametrów. Aby rozwiązać ten problem i zredukować związane z tym koszty, ramy PeFT aktualizują tylko niewielką część dostępnych wag, co nie tylko redukuje czas treningu, ale również zużycie pamięci, co pozwala ramom PeFT na osiągnięcie podobnej wydajności w porównaniu z pełnym fine-tuning w praktycznych sytuacjach.

Jednym z głównych punktów obecnych ram PeFT jest to, że zamiast modyfikować reprezentacje, modyfikują one wagi. Jednak ramy zajmujące się interpretowalnością wykazały, że reprezentacje kodują bogatą informację semantyczną, co sugeruje, że edycja reprezentacji może być lepszą i bardziej efektywną alternatywą. To założenie, że edycja reprezentacji jest lepszą alternatywą, stanowi podstawę ramy ReFT, która uczy się interwencji zamiast dostosowywać wagi modelu, co pozwala modelowi na manipulację niewielką częścią wszystkich reprezentacji w celu sterowania zachowaniami modelu podczas inferencji.

Przechodząc dalej, w przeciwieństwie do pełnego fine-tuning, ramy PeFT trenują tylko niewielką część parametrów modelu i są w stanie dostosować model do zadań dolnych. Ramy PeFT można podzielić na trzy główne kategorie:

• Metody oparte na adapterach: Metody oparte na adapterach trenują dodatkowe moduły, takie jak warstwy całkowicie połączone, na górze wstępnie wytrenowanego modelu z zamrożonymi wagami. Seria adapterów wstawia komponenty pomiędzy warstwami wielowarstwowymi perceptronów lub warstwami uwagi modelu językowego, podczas gdy adaptery równoległe dodają moduły obok istniejących komponentów. Ponieważ adaptory dodają nowe komponenty, które nie mogą być łatwo scalone z istniejącymi wagami modelu, stanowią one dodatkowe obciążenie podczas inferencji.

• LoRA: LoRA, wraz z jej niedawnymi wariantami, przybliża addytywne wagi podczas treningu, używając macierzy o niskim rzędzie, i nie wymagają one dodatkowych nakładów podczas inferencji, ponieważ aktualizacje wag mogą być scalone z modelem, co jest powodem, dla którego są one uważane za obecnie najsilniejsze ramy PeFT.

• Metody oparte na prompcie: Metody oparte na prompcie dodają miękkie tokeny, które są inicjowane losowo do wejścia, i trenują ich osadzanie, podczas gdy wagi modelu językowego są zamrożone. Wydajność oferowana przez te metody jest często niezadowalająca w porównaniu z innymi podejściami PeFT, i również ponoszą one znaczny koszt obciążenia inferencji.

Zamiast aktualizować wagi, ramy ReFT uczą się interwencji w celu modyfikacji niewielkiej części wszystkich reprezentacji. Co więcej, niedawne prace nad inżynierią reprezentacji i sterowaniem aktywacjami wykazały, że dodanie stałych wektorów sterujących do strumienia resztowego może umożliwić pewien stopień kontroli nad generacjami dużych modeli językowych bez wymagania kosztownego fine-tuning.

ReFT: Metodologia i Architektura

Aby zachować proces zachowania stylu prostym, ramy ReFT zakładają, że docelowy model jest modelem transformatorowym, który jest w stanie wyprodukować kontekstualizowaną reprezentację sekwencji tokenów. Dla danej sekwencji z n tokenami wejściowymi, ramy ReFT najpierw osadzają te tokeny wejściowe w liście reprezentacji, po czym m warstw oblicza listę ukrytych reprezentacji kolejno jako funkcję poprzedniej listy ukrytych reprezentacji. Każda reprezentacja ukryta jest wektorem, a model językowy używa ostatecznych reprezentacji ukrytych do wyprodukowania predykcji. Ramy ReFT uwzględniają zarówno modele językowe z maskowaniem, jak i autoregresyjne.

Co więcej, w badaniach nad interpretowalnością, ramy abstrakcji przyczynowej używają interwencji wymiennych w celu ustalenia roli składników sieci neuronowej w implementowaniu konkretnych zachowań. Logika interwencji wymiennych polega na tym, że jeśli jeden ustali reprezentację na to, czym byłaby dla wejścia kontrfaktualnego, i ta interwencja wpływa na wyjście modelu w sposób spójny z twierdzeniami ram ReFT o składniku odpowiedzialnym za produkcję tej reprezentacji, to składnik odgrywa rolę przyczynową w zachowaniu. Chociaż istnieją różne metody, interwencja wymienna rozproszona jest idealnym podejściem do testowania, czy pojęcie jest zakodowane w liniowej podprzestrzeni reprezentacji, jak twierdzi hipoteza reprezentacji liniowej.

Ekspressja oferowana przez DAS sugeruje, że podejście to może być idealnym narzędziem do kontrolowania zachowania modelu językowego, a także do pracy nad generacją sterowaną i edycją odpowiedzialną. Dlatego też, aby dostosować modele językowe do zadań dolnych, ramy ReFT używają operacji interwencji wymiennych rozproszonych w celu stworzenia nowej metody wydajnej parametrów. Co więcej, metoda ReFT jest zbiorem interwencji, a ramy narzucają, że dla dwóch interwencji, które działają na tym samym poziomie, pozycje interwencji muszą być rozłączne, przy czym parametry wszystkich funkcji interwencji pozostają niezależne.

ReFT: Eksperymenty i Wyniki

Aby ocenić swoją wydajność w porównaniu z istniejącymi ramami PeFT, ramy ReFT przeprowadzają eksperymenty na czterech różnych benchmarkach przetwarzania języka naturalnego, obejmujących ponad 20 zestawów danych, z głównym celem przedstawienia bogatego obrazu, jak ramy LoReFT radzą sobie w różnych sytuacjach. Co więcej, gdy ramy LoReFT są wdrożone w życie, deweloperzy muszą zdecydować, ile interwencji nauczyć, oraz pozycje wejściowe i warstwy, na których stosować każdą z nich.

1. Liczba pozycji prefiksu do interwencji.
2. Liczba pozycji sufiksu do interwencji.
3. Jaki zestaw warstw do interwencji.
4. Czy powiązać parametry interwencji w różnych pozycjach w tym samym poziomie.

Dzięki temu ramy ReFT upraszczają przestrzeń wyszukiwania hiperparametrów i zapewniają tylko stały dodatkowy koszt inferencji, który nie skaluje się z długością promtu.

Powyższa tabela porównuje dokładność modeli LLaMA-7B i LLaMA-13B z istniejącymi modelami PeFT na 8 zestawach danych z rozumnego rozumowania. Jak można zobaczyć, model LoReFT przewyższa istniejące podejścia PeFT o przyzwoitą granicę, pomimo posiadania znacznie mniej parametrów, przy czym średnia wydajność trzech przebiegów jest raportowana z odrębnymi nasionami parametrów dla modelu LoReFT.

Powyższa tabela podsumowuje porównanie dokładności modeli LLaMA-7B i LLaMA-13B z istniejącymi modelami PeFT na 4 różnych zestawach danych z rozumnego rozumowania, przy czym ramy raportują średnią wydajność trzech przebiegów z odrębnymi losowymi nasionami.

Powyższa tabela podsumowuje porównanie dokładności modeli RoBERTa-base i RoBERTa-large z istniejącymi modelami PeFT na benchmarku GLUE, przy czym ramy raportują średnią wydajność pięciu przebiegów z odrębnymi losowymi nasionami.

Podsumowanie

W tym artykule omówiliśmy LoReFT, potężną alternatywę dla istniejących ram PeFT, która osiąga silną wydajność na benchmarkach z czterech różnych dziedzin, oferując nawet do 50-krotną wydajność w porównaniu z poprzednimi modelami PeFT. Wstępnie wytrenowane duże modele są często dostosowywane do nowych dziedzin i zadań, a podczas procesu fine-tuning, jeden model bazowy może być dostosowany do szerokiej gamy zadań, nawet przy niewielkiej ilości danych z danej dziedziny dostępnych dla modelu. Jednak proces fine-tuning całego modelu jest czasochłonny i kosztowny, szczególnie dla modeli językowych o znacznie większej liczbie parametrów. Metody fine-tuning o wysokiej wydajności parametrów, czyli PeFT, proponują rozwiązanie problemu wysokich kosztów związanych z fine-tuning całego modelu, poprzez aktualizację tylko niewielkiej części dostępnych wag, co pomaga w redukcji czasu treningu oraz zużycia pamięci. Notably, LoReFT establishes new state-of-the-art performance on commonsense reasoning, instruction-following, and natural language understanding against the strongest PEFTs.