Pagubele cauzate de reglarea fină a unui model de IA pot fi ușor recuperate, arată cercetările

Noi cercetări din Statele Unite arată că reglarea fină a unui model de IA de bază pe propriile date nu trebuie să reducă sau să afecteze funcționalitatea modelului original – și că o soluție relativ simplă poate nu numai să restaureze capacitățile modelului original, dar să și îmbunătățească calitatea ieșirii pe care încerci să o obții de la modelul (deja antrenat).

Câștiguri de performanță pe modele diverse cu noua post-reglare a autorilor. Mai multe detalii mai târziu în articol. Sursă: http://export.arxiv.org/pdf/2409.16223

Implicațiile acestor descoperiri sunt semnificative, nu numai pentru gigantii tehnologici care se concentrează pe recompensele financiare ale sistemelor generative “ca serviciu”, ci și pentru numărul tot mai mare de “cord-cutter” hobbisti care descarcă și personalizează modele deschise, astfel încât să poată accesa sisteme de scriere și generare de imagini/video personalizate la un preț mai mic – și cu mai puține restricții.

Autorii lucrării nu se sfiesc să-și arate entuziasmul pentru potențialul metodei lor, care pare să facă progrese semnificative față de depunerea din 2023 Holistic Transfer: Towards Non-Disruptive Fine-Tuning with Partial Target Data (co-autorat cu mulți dintre contributorii la noul articol).

Ei afirmă:

‘Rezultatele sunt încurajatoare și au implicații profunde! Ele implică faptul că o simplă post-reglare poate potențial aborda inexactitatea modelului reglat fin pe clasele absente, readucând capacitatea modelului pre-antrenat, în timp ce dezvăluie îmbunătățirea calității caracteristicilor pe toate clasele.’

Mai târziu vom examina noul studiu. Mai întâi, să vedem ce problemă încearcă să o rezolve.

De ce contează

Prima undă de reglare fină pe scară largă a avut loc în urma lansării modelului de text-la-imagini Stable Diffusion de către Stability.ai în august 2002. Primele modele, antrenate pe un subset al setului de date hyperscale LAION, au fost puse la dispoziția oricui pentru descărcare.

Cu toate acestea, utilizatorii care doreau să insereze conținut specific (cum ar fi identitățile proprii, stiluri de artă sau reprezentarea celebrităților) în calitățile generative extraordinare ale Stable Diffusion au fost nevoiți să recurgă la tehnici precum DreamBooth – o extrapolare a unei metode de personalizare a cercetării Google, care a permis utilizatorilor să antreneze noi date în modelul disponibil gratuit, prin reglare fină.

Exemple ale procesului de utilizator pentru implementarea oficială DreamBooth a Google din 2022. Utilizatorul selectează o mică colecție de imagini și alege un nume unic (care nu se află în datele de antrenare ale Stable Diffusion) în prompturi de text de la modelul reglat fin. Sursă: https://dreambooth.github.io/

În acest fel, a fost posibil să se obțină o copie a modelului care era foarte bun la crearea unei persoane sau a unui stil de artă personalizat, dar care era acum ‘compromis’ pentru utilizare generală.

Acest lucru a însemnat că, dacă doreai să reglezi fin Stable Diffusion astfel încât să poată reprezenta cu acuratețe trei persoane diferite, trebuia să creezi trei modele diferite, fiecare cu aproximativ 2-4 GB sau mai mult.

Orice încercare de a regla fin aceste modele a doua oară nu numai că ar fi deteriorat și mai mult performanța generală a modelului, dar ar fi afectat și ieșirea de la sesiunea de reglare fină anterioară.

În orice caz, modelele DreamBooth pentru celebrități au început să prolifereze pe internet, în special pe domeniul civit.ai. În cele din urmă, metode mai puțin problematice, cum ar fi Adaptarea de rang scăzut (LoRA), au depășit reglarea fină în popularitate (deși dacă ieșirea LoRA este la fel de eficientă ca o reglare fină completă rămâne discutabil, iar NVIDIA a deschis recent o abordare aparent mai eficientă numită DoRA).

O adaptare de rang scăzut face parte din categoria Reglării fine eficiente din punct de vedere al parametrilor (PEFT), care influențează doar un subset din parametrii antrenați ai modelului.

Unii utilizatori au dorit să schimbe natura fundamentală a punctelor de control deschise ale modelului Stable Diffusion, reglându-le fin pe mii de imagini.

Acest lucru, în esență, a produs un model de bază alternativ, dedicat domeniului pe care utilizatorul încerca să-l antreneze (cum ar fi un anumit stil de artă). Pentru acest scop, metode “ușoare” precum LoRA erau probabil să fie mai puțin eficiente, deoarece greutățile modelului aveau nevoie de o puternică bias către noile date de antrenare.

Chat local

Cu recenta creștere a interesului pentru Modele de limbaj mari (LLM), utilizatorii care doresc să evite canalele în creștere (și costurile asociate) ale serviciilor bazate pe API, cum ar fi ChatGPT, au început din ce în ce mai mult să descarce și să regleze fin modele deschise eficiente precum Llama 3, printre altele.

Și aici, se pot folosi LoRA în loc de reglare fină a unui punct de control complet. Am susținut anterior că reglarea fină este o metodă superioară pentru producerea de LLM care sunt adaptate nevoilor specifice ale utilizatorului. Deși reglarea fină poate avea cerințe de hardware mai mari și poate dura mai mult, oferă o generalizare mai profundă a noilor date pe care utilizatorul dorește ca modelul să le asimileze.

Problema cu reglarea fină este că este un proces distructiv care nu poate fi antrenat incremental pe date suplimentare ulterioară, așa cum am menționat mai devreme.

Caracteristicile și biasurile injectate în modelul par să perturbe echilibrul original de greutăți din setul de date, ceea ce înseamnă că modelul este fie excesiv de probabil să reflecte datele contribuite de utilizator, fie va performa mai prost în general decât modelul de bază original (la sarcini care nu sunt legate de noile date).

Se poate remedia acest lucru, într-o anumită măsură, prin înghețarea anumitor părți ale modelului în timpul antrenării; dar acest lucru poate duce la o funcționalitate generală redusă, deoarece partea înghețată a arhitecturii poate să nu se generalizeze bine la noile date fine-reglate în spațiul latent al modelului latent.

Ar fi, deci, foarte bine dacă ar exista o cale mai ușoară de a păstra capacitățile originale ale unui model reglat fin, în timp ce se păstrează și capacitatea modelului de a produce ieșiri bazate pe datele de reglare fină.

O astfel de dezvoltare ar fi benefică pentru întreaga gamă de utilizatori potențiali, de la hobbisti și adoptatori timpurii care utilizează LLM locale și alte tipuri de modele generative, până la nivelul FAANG (unde un model de IA foarte scump ar putea fi îmbunătățit iterativ și non-distructiv, fără cheltuielile de milioane de dolari ale reluării antrenării de la zero cu datele suplimentare).

Calibrare post-procesare

Acest lucru ne aduce înapoi la noul articol, care se numește Reglarea fină este în regulă, dacă este calibrată, și provine de la 11 cercetători de la Universitatea de Stat Ohio, Universitatea din Wisconsin Madison și Institutul Politehnic Rensselaer.

Cercetătorii au încercat să afle exact ce se deteriorează într-un model de bază atunci când este reglat fin. Ei au concluzionat că singura mare diferență între modelul “înainte și după” este că logit-urile pe clasele de reglare fină și clasele originale din model prezintă o discrepanță semnificativă.

Logit-urile prezic probabilitatea de succes într-un proces de regresie logică, transformând valorile estimate (care pot fi foarte precise) în zero sau unu.

Autorii nu numai că au descoperit că acest deficit este aproape casual reversibil printr-o tehnică de calibrare, dar că și această soluție post facto îmbunătățește calitatea ieșirii pentru datele de reglare fină. Prin urmare, cu această tehnică, nu numai că obții capacitățile originale ale modelului de bază, dar și o integrare mai bună a propriilor date de reglare fină.

(Deși articolul nu examinează perspectiva, această tehnică implică faptul că un model poate fi reglat fin de mai multe ori și poate rămâne eficient)

Discutând despre descoperirile lor privind deteriorarea modelului după reglarea fină, autorii afirmă:

‘Pentru surpriza noastră, am constatat că modelul reglat fin nu uită relația dintre celelalte clase și nu deteriorează caracteristicile pentru a recunoaște aceste clase.

‘În schimb, modelul reglat fin produce adesea caracteristici mai discriminative pentru aceste alte clase, chiar dacă au fost absente în timpul reglării fine!

‘[Ce] afectează cu adevărat precizia este discrepanța dintre logit-urile clasei de reglare fină și celelalte clase, ceea ce implică faptul că o simplă calibrare post-procesare poate readuce capacitatea modelului pre-antrenat și, în același timp, poate dezvălui îmbunătățirea caracteristicilor pe toate clasele.’

Autorii au făcut rezultatele testelor pentru această teorie reproduse într-un depozit GitHub.

Ei au constatat că, la investigare, singura parte a arhitecturii modelului de bază care este deteriorată în timpul reglării fine este clasificatorul binar, care clasifică greșit clasele absente în modelul original ca clase de reglare fină.

Articolul afirmă*:

‘[Prin] adăugarea unui factor de bias de calibrare la toate logit-urile claselor absente [4, 40 ], modelul reglat fin poate reclama cu succes acuratețea claselor absente și obține o îmbunătățire decentă a performanței în domeniul downstream.

‘Performanța rezultată chiar depășește linia de bază puternică [Holistic Transfer – articolul pe care se bazează acest articol ] în multe dintre benchmark-urile, incluzând ImageNet și variantele sale [ImageNet, ImageNet-R(endition), ImageNet-S(ketch) ], Office-Home, și VTAB, fără antrenare și setare complicată de hiperparametri.’

Rezultate din articol: un model reglat fin care a avut efectuată o calibrare post-procesare poate, după cum afirmă autorii, depăși abordarea de stat a problemei.

Autorii clasifică performanța îmbunătățită a unui model reglat fin post-calibrat ca “comportamente benigne neașteptate” și observă că, atunci când se utilizează un optimizator Stochastic Gradient Descent (SGD) de bază, se obține un rezultat mai bun decât cu optimizatori mai populare în prezent, cum ar fi Adam.

‘Încă,’ ei notează ‘cu rate de învățare suficient de mici și decădere a greutății, comportamentele benigne apar și se mențin.’

Reparații minore

Pentru a repara discrepanțele logit-urilor rezultate din reglarea fină, autorii au împrumutat o tehnică din învățarea cu zero shot, adăugând un factor constant la logit-urile tuturor claselor absente. Acest lucru duce la o nouă regulă de clasificare.

Autorii notează că acest proces “promovează” clasele absente neglijate la aceeași calitate de predicție a claselor reglate fin, restabilind performanța originală și îmbunătățind performanța “datelor adăugate” la momentul inferenței.

În teste, tehnica de calibrare post-procesare a restabilit performanța la o diversitate de modele reglate fin. ‘Oracle’ din tabel se referă la un clasificator reglat fin care ia în considerare și datele de clasă lipsă.

Ei observă, de asemenea, că calibrarea post-procesare este “potențial aplicabilă oricărui model” și că metodele care încearcă să mențină integritatea modelului de bază prin înghețarea straturilor (cum ar fi clasificatorul și spatele) obțin scoruri slabe în comparație cu abordarea propusă de ei.

Concluzie

Descoperirile din această colaborare par semnificative. Antrenarea unui model de IA pe un set de date hyperscale este un angajament enorm, similar cu decolarea unui avion de pasageri. Deși antrenarea poate fi întreruptă, iar orice deteriorare poate fi mitigată prin salvarea greutăților curente periodic (la un cost de stocare considerabil), pentru a permite întreruperi ale antrenării, există relativ puțin ce se poate face pentru a altera rezultatul după lansare.

Ceea ce este impresionant despre această lucrare este că cercetătorii par să fi descoperit un principiu fundamental în antrenarea generală a modelului de IA, și că soluția lor este surprinzător de elegantă.

Implicațiile economice ale faptului că se poate păstra acuratețea modelului de bază după reglarea fină sunt, de asemenea, semnificative. Până în prezent, metoda cea mai comună de abordare a deficiențelor modelelor de milioane de dolari a fost să se filtreze ieșirea la momentul inferenței sau să se controleze inferența pentru a evita orice punct slab evident în model.

În plus, o astfel de tehnică ar putea teoretic aduce îmbunătățiri semnificative capacităților modelelor generative reglate fin la nivelul consumatorului, cu bonusul unui impuls al calității ieșirii.

* Conversia mea a citărilor inline ale autorilor în legături.

Publicat pentru prima dată marți, 1 octombrie 2024