Skaden fra finjustering av en AI-modell kan lett gjenopprettes, forskning viser

Ny forskning fra USA indikerer at finjustering av en AI-grunnmodell på eget data ikke behøver å redusere eller skade funksjonaliteten til den opprinnelige modellen – og at en relativt enkel løsning kan ikke bare gjenopprette evnene til den opprinnelige modellen, men faktisk forbedre kvaliteten på utdataene du prøver å få modellen til å produsere.

Ytelsesforbedringer på diverse modeller med forfatternes nye post-trening kalibrering. Mer informasjon senere i artikkelen. Kilde: http://export.arxiv.org/pdf/2409.16223

Implikasjonene for dette er betydelige, ikke bare for teknologigigantene hvis oppmerksomhet konvergerer mot de finansielle belønningene ved å leie ut generative systemer ‘som en tjeneste’, men også den voksende mengden ‘cord-cutter’ hobbyister som laste ned og tilpasser åpne kildekodemodeller, slik at de kan få tilgang til personlige AI-skrive- og bilde/video-genereringssystemer billigere – og med færre begrensninger.

Forfatterne av artikkelen er ikke redd for å vise sin entusiasme for potensialet i deres metode, som synes å gjøre betydelige fremskritt i forhold til 2023 innsending Holistic Transfer: Towards Non-Disruptive Fine-Tuning with Partial Target Data (medforfattet med mange av bidragsyterne til den nye artikkelen).

De uttaler:

‘Funnene er oppmuntrende og har dyptgående implikasjoner! De antyder at en enkel post-prosess kalibrering kan potensielt løse problemet med finjusteringsmodellens lavere nøyaktighet på fraværende klasser, og gjenopprette den forhåndstrænte modellens evner, samtidig som den avdekker forbedret kvalitet på alle klasser.’

Vi skal se på det nye arbeidet om litt. Først skal vi se hva problemet er det retter seg mot.

Hvorfor det betyr noe

Den første bølgen av omfattende finjustering skjedde i kjølvannet av lanseringen av Stability.ai’s Stable Diffusion tekst-til-bilde-modell i august 2002. De tidlige modellene, trent på en undermengde av hyperskala LAION-datasettet, ble gjort tilgjengelig for alle å laste ned.

Brukere som ønsket å sette spesifikke innhold (slik som deres eget identitet, kunststiler eller fremstilling av kjendiser) inn i de ekstraordinære generative egenskapene til Stable Diffusion, måtte vende seg til tekniker som DreamBooth – en ekstrapolasjon av en Google Research-tilpasningsmetode, som tillot brukeren å trene nye data inn i den fritt tilgjengelige modellen, via finjustering.

Eksempler på brukerprosessen for Googles offisielle DreamBooth- implementering fra 2022. Brukeren kuraterer en liten samling bilder og velger et unikt navn (ett som Stable Diffusion ikke har i sin treningdata) i tekst-prompter fra den finjusterte modellen. Kilde: https://dreambooth.github.io/

På denne måten var det mulig å få en kopi av modellen som var svært god til å lage en bestemt person, eller en tilpasset kunststil, men som nå var ‘kompromittert’ for mer generell bruk.

Dette betød at hvis du ønsket å finjustere Stable Diffusion så den kunne nøyaktig avbilde tre forskjellige personer, måtte du uunngåelig tre forskjellige modeller, hver på rundt 2-4GB, eller mer.

Enhver forsøk på å finjustere disse modellene en gang til ville ikke bare forringe den generelle ytelsen til modellen enda mer, men også negativt påvirke utdata fra den foregående finjusteringssesjonen.

Uansett, ville kjendis-DreamBooth-modeller snart florere på internettet, hovedsakelig på civit.ai-domenet. Til slutt ville mindre plagsomme metoder som Low-Rank Adaptation (LoRA) overtake finjustering i popularitet (selv om det er usikkert om LoRA-utdata er like effektivt som en full finjustering, og NVIDIA har siden åpnet en tilsynelatende mer effektiv tilnærming kalt DoRA).

En LoRA faller under kategorien Parameter-Efficient Fine-Tuning (PEFT), som bare påvirker en undermengde av modellens trente parametre.

Noen brukere ønsket å endre den grunnleggende naturen til den åpne kildekodemodellen Stable Diffusion checkpoints, ved å finjustere dem på mange tusen bilder.

Dette, effektivt, produserte en alternativ grunnmodell, dedikert til hva som helst brukeren prøvde å trene (slik som en bestemt kunststil). For dette formålet var ‘lettvekt’-metoder som LoRA sannsynligvis mindre effektive, siden vektene til modellen trengte en alvorlig bias mot den nye treningdata.

Lokal chat

Med den nylige økningen i interesse for Store språkmodeller (LLM), har brukere som ønsker å unngå de voksende utgangspunktene (og tilhørende kostnader) av API-drevne tjenester som ChatGPT, begynt å laste ned og finjustere effektive åpne kildekodemodeller som Llama 3, blant mange andre.

Her også, kan LoRAs brukes i stedet for finjustering av en full checkpoint. Vi har hevdet tidligere at finjustering er en overlegen metode for å produsere LLM-er som er tilpasset brukerens spesifikke behov. Selv om finjustering kan ha større hardware-krav og kan ta lengre tid, tilbyr den en dypere generalisering av den nye data som brukeren ønsker modellen skal assimilere.

Problemet med finjustering er at det er en destruktiv prosess som ikke kan treningsses på tilleggdata senere, som vi noterte ovenfor.

Egenskapene og biasene som injiseres i modellen, synes å forstyrre den opprinnelige balansen av vekter i datasettet, noe som betyr at modellen enten er for sannsynlig å reflektere denne brukerbidragete data, eller vil i det minste fungere dårligere enn den opprinnelige grunnmodellen (på oppgaver som ikke er relatert til den nye data).

En kan lett gjøre dette, til en viss grad, ved å fryse visse deler av modellen under trening; men dette kan føre til redusert generell funksjonalitet, siden den frosne delen av arkitekturen kanskje ikke generaliserer godt til den ny finjusterte data innenfor modellens latente rom.

Det ville derfor være veldig bra hvis det var en enklere måte å bevare de opprinnelige evnene til en finjustert modell, samtidig som den beholdt evnen til å produsere utdata basert på finjusteringsdata.

En slik utvikling ville være gunstig over hele rekken av potensielle brukere, fra hobbyister og tidlige adopterer som bruker lokale LLM-er og andre typer generative modeller, opp til FAANG-nivå (hvor en svært dyrt AI-modell kunne forbedres iterativt og ikke-destruktivt, uten den multi-million dollar-utgift å starte treningen på nytt med den tilleggsdata).

Post-prosess kalibrering

Dette bringer oss tilbake til den nye artikkelen, som heter Finjustering er fin, hvis kalibrert, og kommer fra 11 forskere på Ohio State University, University of Wisconsin Madison og Rensselar Polytechnic Institute.

Forskerne prøvde å finne ut akkurat hva som skades i en grunnmodell når den finjusteres. De har konkludert med at den eneste store forskjellen mellom ‘før og etter’-modellen er at logit-skalaene over finjusteringsklassene og de opprinnelige klassene i modellen viser en stor diskrepans.

Logit-lenker forutsier sannsynligheten for suksess i en logisk regresjon-prosess, og konverterer de estimerte verdiene (som kan være svært nøyaktige) til en null eller en en.

Forfatterne fant ikke bare at denne underskuddet er nesten kasuelt reversibelt ved en kalibreringsteknikk, men at denne post facto-løsningen faktisk forbedrer kvaliteten på utdata for finjusteringsdata. Derfor, med denne teknikken, får du ikke bare de opprinnelige evnene til grunnmodellen, men også en bedre integrasjon av dine egne finjusterte data.

(Selv om artikkelen ikke undersøker prospektet, antyder denne teknikken at en modell kunne finjusteres flere ganger og fortsatt være effektiv)

Diskuterer sine funn i undersøkelsen av modellskade etter finjustering, uttaler forfatterne:

‘Til vår overraskelse, finner vi at den finjusterte modellen hverken glemmer relasjonen mellom de andre klassene eller forringrer egenskapene for å gjenkjenne disse klassene.

‘I stedet produserer den finjusterte modellen ofte mer diskriminerende egenskaper for disse andre klassene, selv om de manglet under finjustering!

‘[Hva] virkelig skader nøyaktigheten, er den diskrepante logit-skalaen mellom finjusteringsklassene og de andre [klassene], noe som antyder at en enkel post-prosess kalibrering ville bringe tilbake den forhåndstrænte modellens evne og samtidig avdekke forbedret kvalitet på alle klasser.’

Forfatterne har gjort resultater fra deres tester for denne teorien reproducerbare i en GitHub-repository.

De fant at ved undersøkelse, var den eneste delen av grunnmodellens arkitektur som ble skadet under finjustering, binær klassifikator, som mis klassifiserer klasser som mangler i den opprinnelige modellen som finjusteringsklasser.

Artikkelen sier*:

‘[Ved] å legge til en kalibreringsbiasfaktor til alle de fraværende klassenes logits [4, 40 ], kan den finjusterte modellen suksessfullt gjenopprette den fraværende klasse-nøyaktigheten og oppnå en anstendig generell forbedring i nedstrøms [domene].

‘Den resulterende ytelsen slår selv den sterke baseline [Holistic Transfer – artikkelen som denne artikkelen bygger på ] i mange av benchmarkene, inkludert ImageNet og dens varianter [ImageNet, ImageNet-R(endition), ImageNet-S(ketch) ], Office-Home, og VTAB,

Resultater fra artikkelen: en finjustert modell som har hatt post-prosess kalibrering utført på den, kan, ifølge forfatterne, overgå den beste tilnærmingen til problemet.

Forfatterne klassifiserer den forbedrede ytelsen til en post-kalibrert finjustert modell som ‘uventede benign atferd’, og observerer at når en grunnleggende Stochastic Gradient Descent (SGD)-optimerer brukes, oppnås en bedre resultat enn med mer populære nåværende optimerere, som Adam.

‘Likevel,’ noterer de ‘med små nok læringsrater og vekt-forfall, viser de benign atferdene seg og holder.’

Mindre reparasjoner

For å reparere logit-diskrepansene som resulterer fra finjustering, lånte forfatterne en teknikk fra zero-shot-læring, og la til en konstant faktor til logitene til alle de fraværende klassene. Dette resulterer i en ny klassifikasjonsregel.

Forfatterne noterer at denne prosessen ‘fremmer’ de forsumte fraværende klassene til samme prediksjonskvalitet som finjusteringsklassene, og gjenoppretter den opprinnelige ytelsen og forbedrer ytelsen til den ’tilføyde’ data under inferens-tid.

I tester, gjenopprettet post-kalibreringsteknikken ytelsen til en rekke finjusterte modeller. ‘Oracle’ i tabellen refererer til en finjustert klassifikator som også tar hensyn til manglende klasse-data.

De observerer videre at post-prosess kalibrering er ‘potensielt anvendelig på alle modeller’, og at metoder som søker å bevare grunnmodell-integritet via frysing av lag (slik som klassifikatoren og ryggraden) scorer dårlig i sammenligning med deres eget foreslåtte tilnærming.

Konklusjon

Funnene fra dette samarbeidet synes betydelige. Å trene en AI-modell på et hyperskala-datasett er en enorm forpliktelse, analogt til avgangen av et passasjerfly. Selv om trening kan avbrytes, og eventuell skade kan mildnes ved å lagre nåværende vekter periodisk (til betydelig lagringskostnad), for å tillate avbrytninger av trening, er det relativt lite en kan gjøre for å endre utfallet etter avgang.

Det som er imponerende med arbeidet er at forskerne synes å ha oppdaget en grunnleggende prinsipp i generell AI-modell-trening, og at deres løsning er overraskende elegant.

De økonomiske implikasjonene av å kunne bevare grunnmodell-nøyaktighet etter finjustering er også betydelige. Til nå har den vanligste metoden for å løse manglene til multimillion-dollar-modeller vært å filtere utdata på inferenstid, eller å kontrollere inferens for å unngå noen Achilles-hæl som er synlig i modellen.

I tillegg kan en slik teknikk teoretisk sett bringe betydelige forbedringer til evnene til finjusterte generative modeller på forbrukernivå, med bonusen av en forbedring av utdatakvalitet.

* Min konvertering av forfatternes inline-citater til lenker.

Først publisert tirsdag, 1. oktober 2024