Vahingot hienosäätöä tekevältä AI-mallilta voidaan helposti korjata, tutkimus osoittaa

Uusi tutkimus Yhdysvalloista osoittaa, että hienosäätö AI-perusmallia omilla tiedoilla ei välttämättä vahingoita alkuperäisen mallin toimintaa, ja että suhteellisen yksinkertainen korjaus voi palauttaa alkuperäisen mallin ominaisuudet ja jopa parantaa tuotoksen laatua.

Suorituskyvyn parannukset monilla malleilla uuden post-training-kalibroinnin kanssa. Lisätietoja myöhemmin artikkelissa. Lähde: http://export.arxiv.org/pdf/2409.16223

Tämän vaikutukset ovat merkittäviä, ei vain teknologiajättien kannalta, jotka ovat kiinnostuneita generatiivisten järjestelmien “as-a-service”-vuokraamisen taloudellisista hyödyistä, vaan myös kasvavan määrän “kaapelia katkaisseiden” harrastajien kannalta, jotka lataavat ja mukauttavat avoimen lähdekoodin malleja, jotta he voivat käyttää henkilökohtaista AI-kirjoittamista ja kuvan/videon generointijärjestelmistä edullisemmin ja vähemmän rajoituksin.

Tutkimuksen tekijät eivät pelkää osoittaa innostustaan menetelmänsä mahdollisuuksille, joka näyttää tekevän merkittäviä edistysaskelia vuoden 2023 julkaisuun Holistic Transfer: Towards Non-Disruptive Fine-Tuning with Partial Target Data (jossa on useita tämän tutkimuksen kirjoittajia).

He sanovat:

‘Tulokset ovat rohkaisevia ja niillä on syvät vaikutukset! Ne viittaavat siihen, että yksinkertainen post-processing-kalibrointi voi mahdollisesti osoittaa hienosäätömallin heikomman tarkin luokan tarkkuuden, palauttaa perusmallin kyvyn ja paljastaa parannetun ominaisuuden laadun kaikissa luokissa.’

Katsotaanpa uusi työ hieman myöhemmin. Ensinnäkin, katsotaan, minkä ongelman se pyrkii ratkaisemaan.

Miksi se on tärkeää

Ensimmäinen laaja hienosäätöaalto tapahtui Stable Diffusion -teksti-kuvaksi-mallin julkaisun jälkeen elokuussa 2002. Varhaiset mallit, jotka oli koulutettu osaan hyperskaalan LAION -tietokannasta, olivat saatavilla kaikille ladattaviksi.

Kuitenkin käyttäjät, jotka halusivat lisätä tietyt sisällöt (kuten oman identiteettinsä, taidesuunnittelunsa tai julkimojen edustamisen) Stable Diffusionin poikkeuksellisiin generatiivisiin ominaisuuksiin, joutuivat turvautumaan tekniikoihin kuten DreamBooth – Google Research -mukautusmenetelmän laajennukseen, joka salli käyttäjän kouluttaa uudet tiedot vapaasti saatavilla olevaan malliin hienosäätömenetelmällä.

Käyttäjän prosessin esimerkkejä Google:n virallisesta DreamBooth-toteutuksesta vuodelta 2022. Käyttäjä kokoaa pienoiskokoelman kuvia ja valitsee yksilöivän nimen (jonka Stable Diffusionilla ei ole koulutusaineistossaan) tekstiprompteissa hienosäätömallista. Lähde: https://dreambooth.github.io/

Tällä tavoin oli mahdollista saada mallin kopio, joka oli erittäin hyvä luomaan tietyn henkilön tai mukautetun taidesuunnittelun, mutta joka oli vahingoittunut yleisemmässä käytössä.

Tämä tarkoitti, että jos halusit hienosäätää Stable Diffusionia, jotta se voisi tarkasti kuvata kolmea eri henkilöä, joutuisit välttämättä luomaan kolme eri mallia, kunkin noin 2-4 GB, tai enemmän.

Mikä tahansa yritys hienosäätää näitä malleja toisen kerran ei ainoastaan heikentänyt yleistä suorituskykyä entisestään, vaan vaikutti myös epäedullisesti edellisen hienosäätöistunnon tuloksiin.

Milloin tahansa, julkkisten DreamBooth-mallit levisivät pian internetissä, kokoontuen pääasiassa civit.ai-verkkotunnukseen. Lopulta, vähemmän raskassoutuva menetelmiä, kuten Low-Rank Adaptation (LoRA), ohittivat hienosäätösuosion (vaikka on kiistanalaista, onko LoRA-tulos yhtä tehokas kuin täysi hienosäätö, ja NVIDIA on avannut avoin näennäisesti tehokkaamman lähestymistavan, DoRA).

LoRA kuuluu Parameter-Efficient Fine-Tuning (PEFT) -luokkaan, joka vaikuttaa ainoastaan osaan mallin koulutettuja parametreja.

Joillakin käyttäjillä oli halu muuttaa avoimen lähdekoodin Stable Diffusion tarkistuspisteitä hienosäätämällä niitä tuhansilla kuvilla.

Tämä tuotti käytännössä vaihtoehtoisen perusmallin, joka oli omistettu sille alueelle, jota käyttäjä yritti kouluttaa (kuten tietyn taidesuunnittelun). Tämän tarkoituksen vuoksi “kevyet” menetelmät, kuten LoRA, olisivat todennäköisesti vähemmän tehokkaita, koska mallin painot tarvitsivat vakavan vinouman uusien koulutusaineistojen suhteen.

Paikallinen keskustelu

Viimeaikaisen kiinnostuksen kasvun myötä suurten kielen mallien (LLM) kanssa, käyttäjät, jotka haluavat välttää kasvavia API-pohjaisia palvelujen kustannuksia, kuten ChatGPT:tä, ovat yhä enemmän lataaneet ja hienosäätäneet tehokkaita avoimen lähdekoodin malleja, kuten Llama 3, monien muiden joukossa.

Tässäkin LoRA voidaan käyttää hienosäätöä täyden tarkistuspisteen sijaan. Olemme väittäneet aiemmin, että hienosäätö on parempi menetelmä LLM:ien tuottamiseen, jotka on mukautettu käyttäjän tarpeisiin. Vaikka hienosäätö voi vaatia enemmän laitteistovaatimuksia ja kestää kauemmin, se tarjoaa syvemmän yleistymisen uusille tiedoille, joita käyttäjä haluaa mallin omaksuvan.

Hienosäätöongelma on, että se on tuhova prosessi, jota ei voida kouluttaa lisää aineistoa myöhemmin, kuten mainitsimme aiemmin.

Ominaisuudet ja vinoumat, jotka injektoidaan malliin, näyttävät häirinneen alkuperäisen painotusbalanssin tietokannassa, mikä tarkoittaa, että malli on joko liian todennäköisesti heijastamaan käyttäjän tarjoamaa dataa tai suorittaa huonommin kuin alkuperäinen perusmalli (tehtävissä, jotka eivät liity uusiin tietoihin).

Tätä voidaan korjata tiettyyn asti jäädyttämällä tiettyjä osia mallista koulutuksen aikana; mutta tämä voi johtaa vähemmän yleiseen toiminnallisuuteen, koska jäädytetty osa arkkitehtuurista ei välttämättä yleisty hyvin uusille hienosäätödataan mallin latenttiavaruudessa.

Olisi siis erittäin hyvä, jos olisi olemassa helpompi tapa säilyttää hienosäätömallin alkuperäisiä ominaisuuksia samalla, kun malli pystyy tuottamaan tuloksia hienosäätödatasta.

Tällainen kehitys olisi hyödyllinen kaikenlaisille käyttäjille, harrastajista ja varhaisista omaksujista, jotka käyttävät paikallisia LLM:ejä ja muita generatiivisia malleja, aina FAANG-tasolle (jossa erittäin kalliin AI-mallin voi parantaa iteratiivisesti ja ei-tuhoavasti ilman koulutuksen uudelleenkäynnistämisen monimiljoonan dollarin kustannuksia).

Post-processing-kalibrointi

Tämä tuo meidät takaisin uuteen tutkimukseen, joka on nimeltään Hienosäätö on ok, jos kalibroitu, ja se tulee 11 tutkijalta Ohio State Universitysta, Wisconsinin yliopistosta Madisonissa ja Rensselaer Polytechnic Institutesta.

Tutkijat yrittivät selvittää, mitä vahinkoa perusmalliin tulee, kun se hienosäätetään. He ovat päättäneet, että ainoa suuri ero “ennen ja jälkeen” -mallissa on, että logit-asteikot hienosäätöluokissa ja alkuperäisissä luokissa mallissa osoittavat suuren epäsymmetrian.

Logit-linkit ennustavat onnistumisen todennäköisyyden loogisessa regressiossa, muuttaen arvioidut arvot (joita voi olla hyvin tarkka) nollaksi tai yhdeksi.

Tutkijat havaitsivat, että tämä puute on melkein tahattomasti palautettavissa kalibrointitekniikalla, ja että tämä post facto -korjaus parantaa itse asiassa hienosäätödatasta saatavan tuloksen laatua. Näin ollen, tämän tekniikan avulla saat alkuperäisen perusmallin ominaisuudet ja paremman integraation omiin hienosäätödataan.

(Vaikka tutkimus ei tarkastele mahdollisuutta, tämä tekniikka viittaa siihen, että malli voidaan hienosäätää useita kertoja ja säilyttää tehokkuutensa)

Keskustellessaan havaintojaan mallivahinkojen tutkimisesta hienosäätöön, tutkijat sanovat:

‘Havaitsemme yllättäen, että hienosäätömalli ei unohda suhdetta muiden luokkien välillä eikä heikennä ominaisuuksia, joilla ne tunnetaan.

‘Sen sijaan hienosäätömalli usein tuottaa enemmän erottuvia ominaisuuksia näille muille luokille, vaikka ne puuttuvat hienosäätöprosessista!

‘Se, mikä todella vahingoittaa tarkkuutta, on logit-asteikkojen epäsymmetria hienosäätöluokissa ja muissa luokissa, mikä viittaa siihen, että yksinkertainen post-processing-kalibrointi voisi palauttaa perusmallin kyvyn ja paljastaa ominaisuuden parannuksen kaikissa luokissa.’

Tutkijat ovat tehneet tutkimuksensa tulokset toistettaviksi GitHub-repositoriossa.

He havaitsivat, että perusmallin arkkitehtuurin ainoa osa, joka vahingoittuu hienosäätössä, on binääri-luokittelija, joka luokittelee väärin luokat, jotka puuttuvat alkuperäisestä mallista hienosäätöluokkina.

Tutkimus sanoo:

‘[Lisäämällä kalibrointivakio kaikkien poissaolevien luokkien logiteille [4, 40 ], hienosäätömalli voi onnistuneesti palauttaa poissaolevan luokan tarkin ja saavuttaa kohtuullisen yleisen parannuksen alueessa.

‘Tuloksena oleva suorituskyky voittaa vahvan vertailupohjan [Holistic Transfer – paperi, jolle tämä tutkimus perustuu ] useissa benchmark-kojeissa, mukaan lukien ImageNet ja sen variantit [ImageNet, ImageNet-R(endition), ImageNet-S(ketch) ], Office-Home ja VTAB, ilman monimutkaista koulutusta ja hyperparametrien asettamista.’

Tutkimuksen tulokset: hienosäätömalli, jolle on tehty post-processing-kalibrointi, voi ylittää alan parhaan lähestymistavan.

Tutkijat luokittelevat hienosäätömallin parannetun suorituskyvyn “odottamattomaksi myönteiseksi käyttäytymiseksi” ja huomaavat, että kun perus Stokastinen Gradient Descent (SGD) -optimoija käytetään, saadaan parempi tulos kuin nykyään suositummilla optimoimilla, kuten Adam.

‘Silti,’ he huomaavat ‘pienillä oppimisnopeuksilla ja painojen pienenemisellä myönteiset käyttäytymiset ilmestyvät ja säilyvät.’

Pienet korjaukset

Vahinkojen korjaamiseksi, jotka johtuvat hienosäätölogitiikan epäsymmetriasta, tutkijat lainasivat tekniikan nollausopista ja lisäsivät vakion kaikkien poissaolevien luokkien logiteille. Tämä johtaa uuteen luokittelusääntöön.

Tutkijat huomaavat, että tämä prosessi “edistää” puutteellisia poissaolevia luokkia samalle ennustuslaadulle kuin hienosäätöluokat, palauttaa alkuperäisen suorituskyvyn ja parantaa “lisätyn” datan suorituskykyä johtopäätöksessä.

Post-kalibrointitekniikka palautti suorituskyvyn moniin hienosäätömalliin. ‘Oracle’ taulukossa viittaa hienosäätöluokittelijaan, joka ottaa huomioon myös puutteellisen luokan datan.

He huomaavat myös, että post-processing-kalibrointi on “potentiaalisesti sovellettavissa mihin tahansa malliin”, ja että menetelmät, jotka pyrkivät ylläpitämään perusmallin eheys luokkien (kuten luokittelijan ja rungon) jäädyttämisen kautta, saavuttavat heidän ehdottamansa lähestymistapaa heikommin.

Johtopäätös

Tutkimuksen tulokset näyttävät merkittäviltä. Kouluttaa AI-malli hyperskaalaisella tietokannalla on valtava sitoutuminen, joka on verrattavissa matkustajakoneen lähtöön. Vaikka koulutusta voidaan keskeyttää ja vahinkoa voidaan lieventää tallentamalla nykyiset painot säännöllisesti (suurella tallennuskustannuksella), jotta koulutuksen keskeytysten salliminen olisi mahdollista, on suhteellisen vähän mitä voidaan tehdä tuloksen muuttamiseksi lähdön jälkeen.

Mitä on vaikuttavaa tässä työssä, on, että tutkijat näyttävät löytäneen periaatteen yleisessä AI-mallin koulutuksessa, ja että heidän ratkaisunsa on yllättävän kaunis.

Taloudelliset vaikutukset perusmallin tarkin säilyttämisestä hienosäätöön perustuvat myös merkittäviin. Tähän asti yleisin tapa osoittaa monimiljoonan dollarin mallien heikkouksia on ollut suodattaa tulosta johtopäätöksessä tai ohjata johtopäätöstä välttääksesi mallin heikkous.

Lisäksi tämä tekniikka voi teoreettisesti tuoda merkittäviä parannuksia hienosäätögeneratiivisten mallien kykyihin kuluttajatasolla, ja se voi myös parantaa tuloksen laatua.

* Minun muutos kirjoittajien sisäisistä viittauksista hyperlinkkeihin.

Julkaistu ensimmäisen kerran tiistaina 1. lokakuuta 2024