Uszkodzenia spowodowane przez fine-tuning modelu AI mogą być łatwo odwrócone, wynika z badań

Nowe badania z USA wskazują, że fine-tuning modelu AI na własnych danych nie musi zmniejszać lub pogarszać funkcjonalności oryginalnego modelu – i że dość prosta naprawa może nie tylko przywrócić możliwości oryginalnego modelu, ale również poprawić jakość wyjścia, które próbuje się uzyskać z już wytrenowanego modelu.

Wzrost wydajności w różnych modelach z nową kalibracją po treningu. Szczegóły później w artykule. Źródło: http://export.arxiv.org/pdf/2409.16223

Wnioski z tego są znaczące, nie tylko dla gigantów technologicznych, których uwaga koncentruje się na finansowych korzyściach z wynajmowania systemów generatywnych “as-a-service”, ale również dla rosnącej liczby “cord-cutter” hobbystów, którzy pobierają i dostosowują modele open source, aby uzyskać dostęp do spersonalizowanych systemów generowania tekstu i obrazu/wideo za mniejsze pieniądze – i z mniejszymi ograniczeniami.

Autorzy artykułu nie boją się okazać entuzjazmu dla potencjału swojej metody, która wydaje się robić znaczące postępy w stosunku do pracy z 2023 roku Holistic Transfer: Towards Non-Disruptive Fine-Tuning with Partial Target Data (współautorem której są wielu współpracowników nowego artykułu).

Stwierdzają:

‘Wyniki są zachęcające i mają głębokie implikacje! Wskazują one, że prosta kalibracja po treningu może potencjalnie rozwiązać problem gorszej dokładności modelu w przypadku brakujących klas, przywracając możliwości oryginalnego modelu i ujawniając poprawioną jakość cech we wszystkich klasach.’

Zajmiemy się nową pracą niebawem. Najpierw zobaczmy, jaki problem próbuje rozwiązać.

Dlaczego to ma znaczenie

Pierwsza fala powszechnego fine-tuningu wystąpiła po wydaniu modelu Stable Diffusion przez Stability.ai w sierpniu 2002 roku. Wczesne modele, wytrenowane na podzbiorze ogromnego zbioru LAION, były dostępne dla każdego do pobrania.

Jednak użytkownicy, którzy chcieli wstawić konkretne treści (takie jak ich własne tożsamości, style artystyczne lub reprezentacje celebrytów) do nadzwyczajnych cech generatywnych Stable Diffusion, musieli skorzystać z takich technik, jak DreamBooth – ekstrapolacja metody dostosowywania Google Research, która pozwalała użytkownikowi wytrenować nowe dane w modelu, za pomocą fine-tuningu.

Przykłady procesu użytkownika dla oficjalnej implementacji DreamBooth z 2022 roku. Użytkownik kuratoruje niewielką kolekcję obrazów i wybiera unikalną nazwę (która nie jest w danych treningowych Stable Diffusion) w tekstowych prompach z fine-tunowanego modelu. Źródło: https://dreambooth.github.io/

W ten sposób było możliwe uzyskanie kopii modelu, który był bardzo dobry w tworzeniu określonej osoby lub niestandardowego stylu artystycznego, ale który był teraz ‘skompromitowany’ dla ogólnego użycia.

Oznaczało to, że jeśli chcieli Państwo fine-tunować Stable Diffusion, aby mogło ono dokładnie przedstawić trzy różne osoby, musieli Państwo stworzyć trzy różne modele, każdy o wielkości 2-4 GB lub więcej.

Każda próba fine-tuningu tych modeli po raz drugi nie tylko pogorszyłaby ogólną wydajność modelu, ale również negatywnie wpłynęłaby na wyjście z poprzedniej sesji fine-tuningu.

W każdym razie, modele DreamBooth dla celebrytów szybko rozprzestrzeniły się w Internecie, gromadząc się głównie w domenie civit.ai. W końcu mniej uciążliwe metody, takie jak Low-Rank Adaptation (LoRA), przewyższyły fine-tuning pod względem popularności (chociaż czy wyjście LoRA jest tak skuteczne, jak pełne fine-tuning, pozostaje spornym, a NVIDIA od tego czasu udostępniła apparently bardziej skuteczną metodę o nazwie DoRA).

LoRA należy do kategorii Parameter-Efficient Fine-Tuning (PEFT), która wpływa tylko na podzbiór wytrenowanych parametrów modelu.

Niektórzy użytkownicy chcieli zmienić fundamentalną naturę otwartych modeli Stable Diffusion checkpoints, fine-tunując je na wielu tysiącach obrazów.

To skutecznie wytworzyło alternatywny model podstawowy, poświęcony dowolnej dziedzinie, której użytkownik próbował nauczyć (takiej jak określony styl artystyczny). Do tego celu “lekkie” metody, takie jak LoRA, byłyby mniej skuteczne, ponieważ wagi modelu wymagałyby znacznego skrzywienia w kierunku nowych danych treningowych.

Local Chat

Wraz z ostatnim wzrostem zainteresowania Large Language Models (LLM), użytkownicy, którzy chcą uniknąć rosnących punktów (i związanych z nimi kosztów) usług API, takich jak ChatGPT, coraz częściej pobierają i fine-tunują skuteczne modele open source jak Llama 3, wśród wielu innych.

Tu również LoRA mogą być używane zamiast fine-tuningu pełnego checkpoint. Utrzymujemy wcześniej, że fine-tuning jest lepszą metodą produkcji LLM, które są dostosowane do konkretnych potrzeb użytkownika. Chociaż fine-tuning może mieć większe wymagania sprzętowe i może trwać dłużej, oferuje głębszą generalizację nowych danych, które użytkownik chce, aby model przyswoił.

Problem z fine-tuningiem polega na tym, że jest to destrukcyjny proces, który nie może być szkoleniowy w sposób przyrostowy później, jak zauważyliśmy powyżej.

Cechy i skrzywienia wstrzykiwane do modelu wydają się naruszać oryginalną równowagę wag w zbiorze danych, co oznacza, że model albo jest nadmiernie skłonny odzwierciedlać dane wprowadzone przez użytkownika, albo będzie wykonywał gorzej ogólnie niż oryginalny model podstawowy (w zadaniach niezwiązanych z nowymi danymi).

Można to naprawić do pewnego stopnia, zamrażając pewne części modelu podczas treningu; jednak może to prowadzić do zmniejszenia ogólnej funkcjonalności, ponieważ zamrożona część architektury może nie generalizować dobrze do nowych danych fine-tuningu w przestrzeni latentnej modelu.

Byłoby więc bardzo dobrze, gdyby istniał jakiś łatwiejszy sposób, aby zachować oryginalne możliwości fine-tunowanego modelu, jednocześnie zachowując zdolność modelu do generowania wyjścia na podstawie danych fine-tuningu.

Taki rozwój byłby korzystny w całym zakresie potencjalnych użytkowników, od hobbystów i wczesnych adoptujących, którzy używają lokalnych LLM i innych typów modeli generatywnych, po poziom FAANG, gdzie bardzo drogi model AI mógłby być ulepszony w sposób iteracyjny i nie-destrukcyjny, bez wielomilionowych kosztów rozpoczęcia treningu od nowa z dodatkowymi danymi.

Kalibracja po przetworzeniu

To prowadzi nas z powrotem do nowego artykułu, który nosi tytuł Fine-Tuning is Fine, if Calibrated, i pochodzi od 11 badaczy z Ohio State University, University of Wisconsin Madison i Rensselar Polytechnic Institute.

Badacze próbowali dowiedzieć się, co zostaje uszkodzone w modelu podstawowym, gdy jest on fine-tunowany. Doszli do wniosku, że jedyną znaczącą różnicą między modelem “przed” i “po” jest to, że skale logitów w klasach fine-tuningu i oryginalnych klasach w modelu wykazują znaczącą dysproporcję.

Łącza logitów przewidują prawdopodobieństwo sukcesu w procesie regresji logicznej, konwertując oszacowane wartości (które mogą być bardzo precyzyjne) na zero lub jeden.

Autorzy nie tylko stwierdzili, że ten deficyt jest prawie przypadkowo odwracalny przez technikę kalibracji, ale że ta post facto naprawa faktycznie poprawia jakość wyjścia dla danych fine-tuningu. Zatem, z tą techniką, nie tylko uzyskuje się oryginalne możliwości modelu podstawowego, ale także lepszą integrację własnych danych fine-tuningu.

(Chociaż artykuł nie bada perspektywy, ta technika sugeruje, że model mógłby być fine-tunowany wielokrotnie i pozostać skuteczny)

Omawiając swoje wyniki dotyczące uszkodzenia modelu po fine-tuningu, autorzy stwierdzają:

‘Do naszego zaskoczenia, stwierdzamy, że fine-tunowany model nie zapomina relacji między innymi klasami, ani nie pogarsza cech do rozpoznania tych klas.

‘Zamiast tego, fine-tunowany model często wytwarza bardziej dyskryminacyjne cechy dla tych innych klas, nawet jeśli były one nieobecne podczas fine-tuningu!

‘To, co naprawdę szkodzi dokładności, jest dysproporcją skal logitów między klasami fine-tuningu a innymi klasami, co sugeruje, że prosta kalibracja po przetworzeniu mogłaby przywrócić możliwości oryginalnego modelu i ujawnić poprawę cech we wszystkich klasach.’

Autorzy udostępnili wyniki swoich testów tej teorii w repozytorium GitHub.

Stwierdzili, że podczas badania, jedyną częścią architektury modelu podstawowego, która zostaje uszkodzona w fine-tuningu, jest klasyfikator binarny, który błędnie klasyfikuje klasy, które są nieobecne w oryginalnym modelu jako klasy fine-tuningu.

Artykuł stwierdza*:

‘[Dodając] stały czynnik do logitów wszystkich nieobecnych klas [4, 40 ], fine-tunowany model może pomyślnie odzyskać dokładność nieobecnych klas i uzyskać przyzwoitą poprawę w dalszym obszarze.

‘Wynikająca z tego wydajność nawet przewyższa silną bazę [Holistic Transfer – artykuł, na którym ten artykuł się opiera ] w wielu benchmarkach, w tym ImageNet i jego wariantów [ImageNet, ImageNet-R(endition), ImageNet-S(ketch) ], Office-Home, i VTAB, bez skomplikowanego treningu i ustawiania hiperparametrów.’

Wyniki z artykułu: fine-tunowany model, który przeszedł kalibrację po przetworzeniu, może, zdaniem autorów, przewyższyć podejście stanu sztuki w tej kwestii.

Autorzy klasyfikują poprawioną wydajność kalibrowanego modelu fine-tunowanego jako “nieoczekiwane zachowania łagodne”, i obserwują, że gdy używa się podstawowego optymizatora Stochastic Gradient Descent (SGD), uzyskuje się lepszy wynik niż z bardziej popularnych obecnie optymizatorów, takich jak Adam.

‘Jeszcze,’ zauważają ‘z wystarczająco małymi współczynnikami uczenia i rozkładem wag, zachowania łagodne pojawiają się i trwają.’

Naprawy mniejsze

Aby naprawić dysproporcje logitów wynikające z fine-tuningu, autorzy wypożyczyli technikę z uczenia się zero-shot, dodając stały czynnik do logitów wszystkich nieobecnych klas. To prowadzi do nowej reguły klasyfikacji.

Autorzy zauważają, że ten proces “promuje” zaniedbane nieobecne klasy do tego samego poziomu jakości przewidywania, co klasy fine-tuningu, przywracając oryginalną wydajność i poprawiając wydajność “dodanych” danych w czasie inferencji.

W testach, technika kalibracji po przetworzeniu przywróciła wydajność różnym modelom fine-tunowanym. ‘Oracle’ wskazany w tabeli odnosi się do fine-tunowanego klasyfikatora, który również bierze pod uwagę brakujące dane klasy.

Stwierdzają dalej, że kalibracja po przetworzeniu jest “potencjalnie stosowalna do każdego modelu”, i że metody, które starają się utrzymać integralność modelu podstawowego poprzez zamrażanie warstw (takich jak klasyfikator i backbone), uzyskują słabsze wyniki w porównaniu z ich własnym proponowanym podejściem.

Podsumowanie

Wyniki z tego współpracy wydają się znaczące. Trening modelu AI na ogromnym zbiorze danych jest ogromnym zobowiązaniem, analogicznym do startu samolotu pasażerskiego. Chociaż trening może być przerwany, a wszelkie uszkodzenia mogą być złagodzone przez zapisanie bieżących wag okresowo (przy znacznym koszcie pamięci), aby umożliwić przerwy w treningu, jest relatywnie niewiele, co można zrobić, aby zmienić wynik po starcie.

To, co imponuje w tej pracy, to fakt, że badacze wydają się odkryć fundamentalną zasadę w ogólnym treningu modeli AI, i że ich rozwiązanie jest zaskakująco eleganckie.

Wnioski ekonomiczne z możliwości zachowania dokładności modelu podstawowego po fine-tuningu są również znaczące. Do tej pory najczęstszym sposobem radzenia sobie z niedostatkami modeli wielomilionowych dolarów było filtrowanie wyjścia w czasie inferencji lub kontrolowanie inferencji, aby uniknąć jakiegokolwiek słabego punktu widocznego w modelu.

Ponadto, taka technika mogłaby teoretycznie przynieść znaczące ulepszenia możliwości fine-tunowanych modeli generatywnych na poziomie konsumenta, z bonusem w postaci poprawy jakości wyjścia.

* Moja konwersja cytowań w tekście autorów na łącza.

Pierwotnie opublikowane we wtorek, 1 października 2024