Poškození z jemného ladění modelu AI lze snadno obnovit, zjistila výzkumu

Nová výzkumu z USA ukazuje, že jemné ladění základního modelu AI na vašich vlastních datech nemusí snižovat nebo poškozovat funkčnost původního modelu – a že relativně jednoduché řešení může nejen obnovit schopnosti původního modelu, ale také vylepšit kvalitu výstupu, který se snažíte získat z (již trénovaného) modelu.

Zlepšení výkonu u různých modelů s novou post-trénovací kalibrací autorů. Další podrobnosti později v článku. Source: http://export.arxiv.org/pdf/2409.16223

Dopady tohoto jsou významné, nejen pro technologické giganty, jejichž pozornost se soustředí na finanční odměny za pronájem generativních systémů “jako službu”, ale také pro rostoucí počet “odpojovačů” hobbyistů, kteří stahují a přizpůsobují otevřené modely, aby mohli získat přístup k personalizovaným systémům AI pro psaní a generování obrázků a videí za nižší cenu – a s menšími omezeními.

Autoři článku nejsou ochotni skrýt svou nadšení pro potenciál své metody, která činí zdánlivě významné pokroky oproti přihlášky Holistic Transfer: Towards Non-Disruptive Fine-Tuning with Partial Target Data (spoluautorem s mnoha přispěvateli do nového článku).

Prohlašují:

‘Výsledky jsou povzbudivé a mají hluboké implikace! Naznačují, že jednoduchá post-procesní kalibrace může potenciálně řešit nižší přesnost jemně laděného modelu na absentních třídách, obnovit schopnosti předtrénovaného modelu a zároveň odhalit zlepšení kvality funkcí ve všech třídách.’

Podíváme se na novou práci brzy. Nejprve se podívejme, jaký problém se snaží řešit.

Proč to matters

První vlna široce rozšířeného jemného ladění nastala v důsledku vydání modelu Stable Diffusion text-to-image v srpnu 2002. Rané modely, trénované na podmnožině hyperscale LAION datasetu, byly k dispozici pro každého ke stažení.

Nicméně, uživatelé, kteří chtěli vložit konkrétní obsah (jako jejich vlastní identity, umělecké styly nebo reprezentaci celebrit) do výjimečných generativních kvalit Stable Diffusion, museli použít techniky, jako je DreamBooth – extrapolace Google Research customization metody, která umožňovala uživateli trénovat nová data do volně dostupného modelu prostřednictvím jemného ladění.

Příklady uživatelského procesu pro oficiální implementaci DreamBooth od Google z roku 2022. Uživatel vybírá malou sbírku obrázků a zvolí jedinečný název (který Stable Diffusion nemá ve svém tréninkovém datu) v textových podnětech z jemně laděného modelu. Source: https://dreambooth.github.io/

Tímto způsobem bylo možné získat kopii modelu, která byla velmi dobrá v vytváření konkrétní osoby nebo vlastního uměleckého stylu, ale která byla teď ‘poškozená’ pro obecnější použití.

To znamenalo, že pokud jste chtěli jemně ladit Stable Diffusion, aby mohla přesně zobrazovat tři různé osoby, museli jste vytvořit tři různé modely, každý kolem 2-4GB, nebo více.

Jakékoli pokusy o jemné ladění těchto modelů podruhé by nejen zhoršily obecný výkon modelu, ale také nepříznivě ovlivnily výstup z předchozího jemného ladění.

V každém případě, celebrity DreamBooth modely brzy proliferují na internetu, konvenují především na doméně civit.ai. Nakonec, méně náročné metody, jako je Low-Rank Adaptation (LoRA), překonaly jemné ladění v popularitě (ačkoli zda výstup LoRA je tak efektivní jako plné jemné ladění zůstává sporné, a NVIDIA od té doby otevřeně přístupnou metodu nazvanou DoRA).

LoRA spadá do kategorie Parameter-Efficient Fine-Tuning (PEFT), která ovlivňuje pouze podmnožinu modelových trénovaných parametrů.

Někteří uživatelé chtěli změnit základní povahu otevřených zdrojů Stable Diffusion kontrolních bodů, jemně laděním na tisících obrázků.

To efektivní vytvořilo alternativní základní model, věnovaný jakékoli doméně, kterou uživatel se snažil trénovat (jako konkrétní umělecký styl). Pro tento účel, “lehké” metody, jako je LoRA, byly pravděpodobně méně efektivní, protože váhy modelu potřebovaly závažnou bias směrem k novým tréninkovým datům.

Místní chat

S nedávným vzestupem zájmu o Large Language Models (LLM), uživatelé, kteří chtějí避nout rostoucí kanály (a související náklady) API-řízených služeb, jako je ChatGPT, začali stahovat a jemně ladit efektivní otevřené modely jako Llama 3, mezi mnoha jinými.

Zde také, LoRAs lze použít místo jemného ladění plného kontrolního bodu. Již jsme tvrdili, že jemné ladění je lepší metodou pro produkci LLM, které jsou přizpůsobeny konkrétním potřebám uživatele. Ačkoli jemné ladění může mít větší požadavky na hardware a může trvat déle, nabízí hlubší generalizaci nových dat, která uživatel chce, aby model asimiloval.

Problém s jemným laděním je, že je to destruktivní proces, který nemůže být trénován inkrementálně na dalších datech později, jak jsme poznamenali výše.

Funkce a biasy, které jsou vstřikovány do modelu, zdánlivě narušují původní rovnováhu váh v datasetu, což znamená, že model je buď příliš pravděpodobně odráží uživatelsky přispěná data, nebo bude alespoň horší obecný výkon než původní základní model (na úkolech, které nejsou související s novými daty).

To lze zmírnit, do jisté míry, zamrazit určitou část modelu během tréninku; ale to může vést ke snížení obecné funkčnosti, protože zmrazená část architektury nemusí generalizovat dobře na nově jemně laděná data uvnitř modelu latentního prostoru.

Bylo by proto skvělé, kdyby existovala nějaká jednodušší cesta, jak zachovat původní schopnosti jemně laděného modelu, zatímco zachování modelu schopnosti produkovat výstup založený na datech jemného ladění.

Takový vývoj by byl prospěšný napříč rozsahem potenciálních uživatelů, od hobbyistů a raných adoptérů, kteří používají lokální LLM a další typy generativních modelů, až po FAANG-úroveň (kde velmi drahý AI model by mohl být vylepšen iterativně a ne-destruktivně, bez multi-milionářských nákladů na restartování tréninku s dalšími daty).

Post-procesní kalibrace

To nás přivádí zpět k novému článku, který se nazývá Fine-Tuning is Fine, if Calibrated, a pochází od 11 výzkumníků z Ohio State University, University of Wisconsin Madison a Rensselar Polytechnic Institute.

Výzkumníci se snažili zjistit, co se přesně poškodí v základním modelu, když je jemně laděn. Došli k závěru, že jediným hlavním rozdílem mezi “před a po” modelem je, že logit škály napříč jemně laděnými třídami a původními třídami v modelu vykazují velkou nesrovnalost.

Logit odkazy předpovídají pravděpodobnost úspěchu v logické regresi procesu, převádějící odhadované hodnoty (které mohou být velmi přesné) na nulu nebo jedničku.

Autoři nejen zjistili, že tento deficit je téměř nečinně reverzibilní pomocí kalibrační techniky, ale že tato post facto oprava vlastně vylepšuje kvalitu výstupu pro jemně laděná data. Proto, s touto technikou, získáte nejen původní schopnosti základního modelu, ale také lepší integraci svých vlastních jemně laděných dat.

(Ačkoli článek nezkoumá perspektivu, tato technika naznačuje, že model by mohl být jemně laděn mnohokrát a zůstal by účinný)

Diskutují o svých nálezech při zkoumání poškození modelu po jemném ladění, autoři prohlašují:

‘K našemu překvapení, zjistili jsme, že jemně laděný model si nepamatuje vztah mezi ostatními třídami ani nezhoršuje funkce pro rozpoznání těchto tříd.

‘Místo toho jemně laděný model často produkuje více diskriminativní funkce pro tyto ostatní třídy, i když chyběly během jemného ladění!

‘[Co] skutečně poškozuje přesnost, je nesrovnalost logit škály mezi jemně laděnými třídami a ostatními [třídami], naznačující, že jednoduchá post-procesní kalibrace by mohla obnovit schopnosti předtrénovaného modelu a zároveň odhalit zlepšení funkcí ve všech třídách.’

Autoři umístili výsledky svých testů pro tuto teorii do GitHub repozitáře.

Zjistili, že při zkoumání, jediným poškozeným částí architektury základního modelu je binární klasifikátor, který nesprávně klasifikuje třídy, které jsou absentní v původním modelu jako jemně laděné třídy.

Článek prohlašuje*:

‘[Přidáním] kalibrační bias faktoru ke všem absentním třídám [4, 40 ], jemně laděný model může úspěšně získat zpět absentní třídovou přesnost a získat důstojné celkové zlepšení v downstream [doméně].

‘Výsledný výkon dokonce překonává silný baseline [Holistic Transfer – článek, na kterém tento článek staví ] v mnoha z benchmarků, včetně ImageNet a jeho variant [ImageNet, ImageNet-R(endition), ImageNet-S(ketch) ], Office-Home, a VTAB, bez komplikovaného tréninku a nastavení hyperparametrů.’

Výsledky z článku: jemně laděný model, který prošel post-procesní kalibrací, může, podle autorů, překonat stávající přístup k problému.

Autoři klasifikují zlepšený výkon post-kalibrovaného jemně laděného modelu jako “neočekávané benigní chování”, a pozorují, že když se používá základní Stochastic Gradient Descent (SGD) optimalizátor, je dosaženo lepšího výsledku než s populárnějšími current optimalizátory, jako je Adam.

‘Stále,’ poznamenávají ‘s dostatečně malými learning rates a weight decay, benigní chování se objevují a drží.’

Menší opravy

Chcete-li opravit logit nesrovnalosti vyplývající z jemného ladění, autoři použili techniku z nula-shot učení, přidáním konstantního faktoru k logitům všech absentních tříd. To vede k nové klasifikační pravidlu.

Autoři poznamenávají, že tento proces “promuje” zanedbané absentní třídy na stejnou předpovědní kvalitu jemně laděných tříd, obnovuje původní výkon a zlepšuje výkon “přidaných” dat během inferenční doby.

V testech post-kalibrační technika obnovila výkon na různých jemně laděných modelech. ‘Oracle’ uvedený v tabulce se týká jemně laděného klasifikátoru, který také zohledňuje chybějící třídová data.

Pozorují dále, že post-procesní kalibrace je “potenciálně aplikovatelná na jakýkoli model”, a že metody, které se snaží zachovat integritu základního modelu prostřednictvím zmrazení vrstev (jako klasifikátor a backbone), dosahují špatných výsledků ve srovnání se svou vlastní navrhovanou přístupem.

Závěr

Zjištění z této spolupráce se zdají být významná. Trénování modelu AI na hyperscale datasetu je enormním závazkem, analogickým k vzletu pasažérského letadla. Ačkoli trénink může být přerušen, a jakékoli poškození může být zmírněno uložením aktuálních váh periodicky (za značných nákladů na úložiště), aby umožnilo přerušení tréninku, existuje relativně málo toho, co lze udělat pro změnu výsledku po startu.

Co je působivé na této práci, je, že výzkumníci zdánlivě objevili fundamentální princip v obecném tréninku modelu AI, a že jejich řešení je překvapivě elegantní.

Ekonomické implikace zachování přesnosti základního modelu po jemném ladění jsou také významné. Do současnosti, nejčastější metodou řešení nedostatků multi-milionářských modelů bylo filtrování výstupu během inferenční doby, nebo kontrola inferenční doby, aby se zabránilo jakýmkoli Achillovým patám, které jsou evidentní v modelu.

Kromě toho, taková technika by teoreticky mohla přinést významná zlepšení schopností jemně laděných generativních modelů na spotřebitelské úrovni, s bonusem v podobě zvýšení kvality výstupu.

* Moje konverze autorů inline citací na hypertextové odkazy.

Poprvé publikováno úterý, 1. října 2024