Uszkodzenia spowodowane przez fine-tuning modelu AI mogą być łatwo odwrócone, wynika z badań

Nowe badania przeprowadzone w USA wskazują, że fine-tuning modelu AI na własnych danych nie musi powodować ograniczenia lub uszkodzenia oryginalnego modelu – i że dość prosta naprawa może nie tylko przywrócić możliwości oryginalnego modelu, ale również poprawić jakość wyjścia, które użytkownik próbuje uzyskać z już wytrenowanego modelu.

Zyski wydajności w różnych modelach z nową kalibracją po treningu autorów. Źródło: http://export.arxiv.org/pdf/2409.16223

Wnioski z tego są znaczące, nie tylko dla gigantów technologicznych, których uwaga koncentruje się na finansowych korzyściach z wynajmowania systemów generatywnych “jako usługi”, ale również dla rosnącej liczby “hobbyistów”, którzy pobierają i dostosowują otwarte modele, aby uzyskać dostęp do spersonalizowanych systemów generatywnych AI za niższą cenę i z mniejszymi ograniczeniami.

Autorzy artykułu nie boją się okazywać entuzjazmu dla potencjału swojej metody, która zdaje się czynić znaczące postępy w stosunku do przedłożenia z 2023 roku Holistic Transfer: Towards Non-Disruptive Fine-Tuning with Partial Target Data (współautorem są wielu współpracowników nowego artykułu).

Stwierdzają oni:

‘Wyniki są zachęcające i mają głębokie implikacje! Wskazują one, że prosta kalibracja po treningu może potencjalnie rozwiązać problem gorszej dokładności modelu w przypadku brakujących klas, przywracając możliwości oryginalnego modelu i ujawniając poprawioną jakość cech we wszystkich klasach.’

Zajmiemy się nowymi badaniami wkrótce. Najpierw zobaczmy, jaki problem próbuje rozwiązać.

Dlaczego to ma znaczenie

Pierwsza fala powszechnego fine-tuningu wystąpiła po wydaniu modelu Stable Diffusion w sierpniu 2002 roku. Wczesne modele, wytrenowane na podzbiorze ogromnego zbioru LAION, były dostępne do pobrania przez każdego.

Jednak użytkownicy, którzy chcieli wstawić konkretne treści (takie jak ich własne tożsamości, style artystyczne lub reprezentacje celebrytów) do nadzwyczajnych cech generatywnych modelu Stable Diffusion, musieli skorzystać z takich technik, jak DreamBooth – ekstrapolacja metody dostosowywania opracowanej przez Google, która pozwalała użytkownikom wytrenować nowe dane w modelu za pomocą fine-tuningu.

Przykłady procesu użytkownika dla oficjalnej implementacji DreamBooth z 2022 roku. Użytkownik kuratoruje niewielką kolekcję obrazów i wybiera unikalną nazwę (która nie jest zawarta w danych treningowych modelu Stable Diffusion) w tekstowych prompach z modelu po fine-tuningu. Źródło: https://dreambooth.github.io/

W ten sposób było możliwe uzyskanie kopii modelu, który był bardzo dobry w tworzeniu określonej osoby lub niestandardowego stylu artystycznego, ale który był teraz ‘uszkodzony’ dla ogólnego użycia.

To oznaczało, że jeśli chcieli Państwo dostosować model Stable Diffusion, aby mógł on dokładnie przedstawiać trzy różne osoby, musieli Państwo stworzyć trzy różne modele, każdy o wielkości 2-4 GB lub większy.

Wszystkie próby dostosowania tych modeli po raz drugi nie tylko pogorszyłyby ogólną wydajność modelu, ale również negatywnie wpłynęłyby na wyniki poprzedniego sesji dostosowania.

W każdym przypadku, modele DreamBooth dla celebrytów szybko rozprzestrzeniły się w internecie, gromadząc się głównie w domenie civit.ai. Ostatecznie mniej uciążliwe metody, takie jak Low-Rank Adaptation (LoRA), przewyższyły popularność fine-tuningu (chociaż, czy wyniki LoRA są tak skuteczne, jak pełne dostosowanie, pozostaje sporne, a NVIDIA od tego czasu udostępniła apparently bardziej skuteczną metodę o nazwie DoRA).

LoRA należy do kategorii Parameter-Efficient Fine-Tuning (PEFT), która wpływa tylko na podzbiór wytrenowanych parametrów modelu.

Niektórzy użytkownicy chcieli zmienić fundamentalną naturę otwartych punktów kontrolnych modelu Stable Diffusion, dostosowując je do tysięcy obrazów.

To, skutecznie, wytworzyło alternatywny model podstawowy, poświęcony dowolnej dziedzinie, której użytkownik próbował nauczyć. Do tego celu metody “lekkie”, takie jak LoRA, byłyby mniej skuteczne, ponieważ wagi modelu wymagałyby znacznego przekrzywienia w kierunku nowych danych treningowych.

Rozmowa lokalna

Wraz z ostatnim wzrostem zainteresowania dużymi modelami językowymi (LLM), użytkownicy, którzy chcieli uniknąć rosnących kosztów i ograniczeń usług API, zaczęli pobierać i dostosowywać skuteczne otwarte modele, takie jak Llama 3, i wiele innych.

Tutaj również LoRA mogą być używane zamiast fine-tuningu pełnego punktu kontrolnego. Utrzymywaliśmy wcześniej, że fine-tuning jest lepszą metodą produkcji LLM, które są dostosowane do konkretnych potrzeb użytkownika. Chociaż fine-tuning może wymagać większych wymagań sprzętowych i może trwać dłużej, oferuje głębszą generalizację nowych danych, które użytkownik chce, aby model przyswoił.

Kłopot z fine-tuningiem polega na tym, że jest to proces destrukcyjny, który nie może być szkoleniowy w sposób inkrementalny na dodatkowych danych później, jak wcześniej wspomniano.

Cechy i przekrzywienia wstrzykiwane do modelu wydają się zakłócać oryginalny balans wag w zbiorze danych, co oznacza, że model jest albo zbyt prawdopodobny, aby odzwierciedlić dane wprowadzone przez użytkownika, albo będzie wykonywał gorzej w ogóle niż oryginalny model podstawowy (w zadaniach niezwiązanych z nowymi danymi).

Można to naprawić do pewnego stopnia, zamrażając pewne części modelu podczas treningu; jednak może to prowadzić do zmniejszenia ogólnej funkcjonalności, ponieważ zamrożona część architektury może nie generalizować dobrze do nowych danych w przestrzeni latentnej modelu.

Byłoby więc bardzo dobrze, gdyby istniał jakiś łatwiejszy sposób, aby zachować oryginalne możliwości modelu po fine-tuningu, przy jednoczesnym zachowaniu zdolności modelu do produkcji wyników na podstawie danych z fine-tuningu.

Taki rozwój byłby korzystny w całym zakresie potencjalnych użytkowników, od hobbystów i wczesnych adoptujących, którzy używają lokalnych LLM i innych typów modeli generatywnych, po poziom FAANG, gdzie bardzo drogi model AI mógłby być ulepszony w sposób iteracyjny i nie-destrukcyjny, bez wielomilionowych kosztów rozpoczęcia treningu od nowa z dodatkowymi danymi.

Kalibracja po treningu

To nas prowadzi z powrotem do nowego artykułu, który nosi tytuł Fine-Tuning is Fine, if Calibrated i pochodzi od 11 badaczy z Ohio State University, University of Wisconsin Madison i Rensselar Polytechnic Institute.

Badacze próbowali ustalić, co zostaje uszkodzone w modelu podstawowym, gdy jest on dostosowywany. Doszli do wniosku, że jedyną znaczącą różnicą między modelem “przed” i “po” jest to, że skale logitów w klasach dostosowywania i oryginalnych klasach w modelu wykazują znaczną dysproporcję.

Logit łączy przewidują prawdopodobieństwo sukcesu w procesie regresji logicznej, konwertując oszacowane wartości (które mogą być bardzo dokładne) na zero lub jeden.

Autorzy nie tylko stwierdzili, że ten deficyt jest prawie przypadkowo odwracalny przez technikę kalibracji, ale również, że ta post facto naprawa faktycznie poprawia jakość wyjścia dla danych dostosowywania. Zatem, za pomocą tej techniki, nie tylko odzyskujesz oryginalne możliwości modelu podstawowego, ale również lepszą integrację własnych danych dostosowywania.

(Chociaż artykuł nie bada perspektywy, ta technika sugeruje, że model może być dostosowywany wielokrotnie i pozostać skuteczny)

Omawiając swoje ustalenia dotyczące szkód w modelu po dostosowaniu, autorzy stwierdzają:

‘Do naszego zaskoczenia, stwierdzamy, że model dostosowany nie zapomina relacji między innymi klasami, ani nie pogarsza cech do rozpoznania tych klas.

‘Zamiast tego, model dostosowany często wytwarza bardziej rozróżniające cechy dla tych innych klas, nawet jeśli były one nieobecne podczas dostosowania!

‘To, co naprawdę szkodzi dokładności, jest to dysproporcja skal logitów między klasami dostosowywania a innymi klasami, co sugeruje, że prosta kalibracja po treningu może przywrócić możliwości modelu podstawowego i ujawnić poprawę cech we wszystkich klasach.’

Autorzy udostępnili wyniki swoich testów tej teorii w repozytorium GitHub.

Stwierdzili oni, że podczas dochodzenia, jedyną częścią architektury modelu podstawowego, która jest uszkodzona podczas dostosowania, jest klasyfikator binarny, który błędnie klasyfikuje klasy, które są nieobecne w oryginalnym modelu jako klasy dostosowywania.

Artykuł stwierdza*:

‘Dodając czynnik kalibracji do wszystkich logitów klas nieobecnych [4, 40], model dostosowany może pomyślnie odzyskać dokładność klas nieobecnych i uzyskać przyzwoitą poprawę w dalszym obszarze [domeny].

‘Wyniki są nawet lepsze niż silna baza porównawcza [Holistic Transfer – artykuł, na którym ten artykuł się opiera] w wielu benchmarkach, w tym ImageNet i jego warianty [ImageNet, ImageNet-R(endition), ImageNet-S(ketch)], Office-Home i VTAB, bez skomplikowanego treningu i ustawień hiperparametrów.’

Wyniki z artykułu: model dostosowany, który przeszedł kalibrację po treningu, może, zdaniem autorów, przewyższyć podejście stanu sztuki w tym problemie.

Autorzy klasyfikują poprawioną wydajność modelu dostosowanego po kalibracji jako “nieoczekiwane korzystne zachowania” i obserwują, że gdy używa się podstawowego optymalizatora gradientu (SGD), uzyskuje się lepszy wynik niż z bardziej popularnych obecnie optymalizatorów, takich jak Adam.

‘Jednak’ zauważają oni ‘z mniejszymi współczynnikami uczenia i rozkładem wag, korzystne zachowania pojawiają się i trwają.’

Naprawy mniejsze

Aby naprawić dysproporcje logitów wynikające z dostosowania, autorzy wypożyczyli technikę z uczenia bez przykładu, dodając stały czynnik do logitów wszystkich klas nieobecnych. To prowadzi do nowej reguły klasyfikacji.

Autorzy zauważają, że ten proces “promuje” zaniedbane klasy nieobecne do tej samej jakości przewidywania, co klasy dostosowywania, przywracając oryginalną wydajność i poprawiając wydajność “dodanych” danych w czasie inferencji.

W testach, technika kalibracji po treningu przywróciła wydajność różnym modelom dostosowanym. ‘Orakulum’ wskazane w tabeli odnosi się do klasyfikatora dostosowanego, który również uwzględnia brakujące dane klasy.

Oni również obserwują, że kalibracja po treningu jest “potencjalnie stosowalna do każdego modelu” i że metody, które starają się utrzymać integralność modelu podstawowego poprzez zamrażanie warstw (takich jak klasyfikator i trzon), uzyskują słabsze wyniki w porównaniu z ich własnym proponowanym podejściem.

Wnioski

Wyniki z tego współpracy wydają się znaczące. Trening modelu AI na ogromnym zbiorze danych jest ogromnym zobowiązaniem, podobnym do startu samolotu pasażerskiego. Chociaż trening może być przerwany, a wszelkie szkody mogą być złagodzone przez zapisanie bieżących wag w regularnych odstępach czasu (co wymaga znacznego kosztu przechowywania), aby umożliwić przerwy w treningu, jest relatywnie niewiele, co można zrobić, aby zmienić wynik po starcie.

Czym jest imponujące w tej pracy, jest to, że badacze zdają się odkryć fundamentalną zasadę w ogólnym treningu modeli AI, a ich rozwiązanie jest zaskakująco eleganckie.

Ekonomiczne implikacje możliwości zachowania dokładności modelu podstawowego po dostosowaniu są również znaczące. Do tej pory, najczęstszą metodą rozwiązywania słabości modeli wielomilionowych dolarów było filtrowanie wyników w czasie inferencji lub kontrolowanie inferencji, aby uniknąć słabych punktów modelu.

Ponadto, taka technika mogłaby teoretycznie przynieść znaczące ulepszenia możliwości modeli generatywnych dostosowanych na poziomie konsumenta, z bonusem w postaci poprawy jakości wyjścia.

* Moja konwersja cytatów wewnętrznych autorów na hiperłącza.

Pierwotnie opublikowane we wtorek, 1 października 2024