Skaden fra finjustering af et AI-model kan let genskabes, viser forskning

Nyt forskning fra USA viser, at finjustering af et AI-fundamentsmodel på egen data ikke behøver at reducere eller svække funktionen af det originale model – og at en relativt simpel løsning kan ikke kun genskabe det originale models evner, men også forbedre kvaliteten af outputtet, man forsøger at få det (allerede trænede) model til at producere.

Performance-gain på diverse modeller med forfatternes nye post-træning kalibrering. Yderligere detaljer senere i artiklen. Kilde: http://export.arxiv.org/pdf/2409.16223

Konsekvenserne heraf er betydelige, ikke kun for teknologigigantene, hvis opmærksomhed konvergerer mod de finansielle belønninger ved at leje generative systemer ‘as-a-service’ ud, men også for den voksende mængde ‘cord-cutter’ hobbyister, der downloader og tilpasser åbne kildemodeller, så de kan få adgang til personlige AI-skrivning og billed/video-genereringssystemer billigere – og med færre begrænsninger.

Artiklens forfattere er ikke bange for at vise deres entusiasme for potentialet i deres metode, som synes at gøre betydelige fremskridt i forhold til 2023 indsendelse Holistic Transfer: Towards Non-Disruptive Fine-Tuning with Partial Target Data (co-forfattet med mange af bidragerne til den nye artikel).

De siger:

‘Forskningens resultater er opmuntrende og har dybtgående konsekvenser! De antyder, at en simpel post-processing kalibrering kan potentielt løse fine-tunet modells ringe nøjagtighed på de fraværende klasser, og bringe det forhåndenstrænede models evner tilbage, samtidig med at den afslører en forbedret funktionkvalitet over alle klasser.’

Lad os se på det nye arbejde om lidt. Først skal vi se, hvilket problem det søger at løse.

Hvorfor det betyder noget

Den første bølge af omfattende finjustering fandt sted i kølvandet på udgivelsen af Stability.aiss Stable Diffusion tekst-til-billede-model i august 2002. De tidlige modeller, der var trænet på en undermængde af den hyperskala LAION-dataset, blev gjort tilgængelige for alle at downloade.

Men brugere, der ønskede at indsætte bestemt indhold (såsom deres eget identitet, kunststil eller repræsentation af berømtheder) i den ekstraordinære generative kvalitet af Stable Diffusion, var nødt til at benytte sig af teknikker som DreamBooth – en ekstrapolation af en Google Research-tilpasningsmetode, der tillod brugeren at træne nye data ind i den frit tilgængelige model via finjustering.

Eksempler på brugerprocessen for Googles officielle DreamBooth-implementation fra 2022. Brugeren kuraterer en lille samling af billeder og vælger et unikt navn (et, som Stable Diffusion ikke har i sin træningsdata) i tekst-prompt fra det finjusterede model. Kilde: https://dreambooth.github.io/

På denne måde var det muligt at få en kopi af modellen, der var meget god til at skabe en bestemt person eller en brugerdefineret kunststil, men som nu var nu ‘kompromitteret’ for mere generel brug.

Dette betød, at hvis man ønskede at finjustere Stable Diffusion, så den kunne nøjagtigt afbillede tre forskellige personer, var man nødt til at oprette tre forskellige modeller, hver på omkring 2-4GB eller mere.

Enhver forsøg på at finjustere disse modeller en anden gang ville ikke kun svække den generelle ydeevne af modellen yderligere, men også have en negativ indvirkning på outputtet fra den tidligere finjusteringssession.

Under alle omstændigheder ville celebrity DreamBooth-modeller snart blive almindelige på internettet, især på civit.ai-domænet. Til sidst ville mindre besværlige metoder som Low-Rank Adaptation (LoRA) overtage finjustering i popularitet (selv om det er omdiskuteret, hvor effektivt LoRA-output er i forhold til en fuld finjustering, og NVIDIA har siden open-sourcet en tilsyneladende mere effektiv tilgang kaldet DoRA).

En LoRA falder under kategorien Parameter-Efficient Fine-Tuning (PEFT), der kun påvirker en undermængde af modellens trænede parametre.

Nogle brugere ønskede at ændre den fundamentale natur af den åbne kilde Stable Diffusion checkpoints, ved at finjustere dem på mange tusinde billeder.

Dette, effektivt, producerede en alternativ fundamentsmodel, dedikeret til hvilket som helst domæne, brugeren forsøgte at træne (såsom en bestemt kunststil). Til dette formål var ‘letvægts’-metoder som LoRA sandsynligvis mindre effektive, da vægtene af modellen havde brug for en alvorlig bias mod den nye træningsdata.

Lokal Chat

Med den seneste opblomstring af interesse i Large Language Models (LLM’er), har brugere, der ønsker at undgå de voksende kanaler (og tilhørende omkostninger) af API-drevne tjenester som ChatGPT, i stigende grad downloadet og finjusteret effektive åbne kildemodeller som Llama 3, blandt mange andre.

Også her kan LoRAs bruges i stedet for finjustering af en fuld checkpoint. Vi har hævdet tidligere, at finjustering er en overlegen metode til at producere LLM’er, der er tilpasset brugerens specifikke behov. Selv om finjustering kan have større hardwarekrav og måske tage længere tid, tilbyder den en dybere generalisering af den nye data, brugeren ønsker, at modellen skal assimilere.

Problemet med finjustering er, at det er en destruktiv proces, der ikke kan trænes inkrementalt på yderligere data senere, som vi nævnte ovenfor.

Funktionerne og bias, der indsættes i modellen, synes at forstyrre den originale balance af vægte i datasettet, hvilket betyder, at modellen enten er alt for sandsynlig til at reflektere den brugerbidragne data eller vil yde dårligere overall end det originale fundamentsmodel (på opgaver, der ikke er relateret til den nye data).

Man kan afhjælpe dette til en vis grad ved at fryse bestemte dele af modellen under træning; men dette kan føre til reduceret generel funktionalitet, da den frosne del af arkitekturen måske ikke generaliserer godt til den ny finjusterede data inde i modellens latente rum.

Det ville derfor være rigtig godt, hvis der var en lettere måde at bevare det originale models evner på, samtidig med at modellen kan producere output baseret på finjusteringsdata.

En sådan udvikling ville være gavnlig på tværs af brugerne, fra hobbyister og tidlige adopterer, der bruger lokale LLM’er og andre typer generative modeller, op til FAANG-niveau (hvor en meget dyr AI-model kunne forbedres iterativt og ikke-destruktivt, uden den multi-million dollar omkostning ved at starte træningen forfra med den ekstra data).

Post-træning kalibrering

Dette bringer os tilbage til den nye artikel, der hedder Finjustering er fin, hvis kalibreret, og kommer fra 11 forskere på Ohio State University, University of Wisconsin Madison og Rensselar Polytechnic Institute.

Forskerne forsøgte at finde ud af, hvad der bliver skadet i et fundamentsmodel, når det finjusteres. De har konkluderet, at den eneste store forskel mellem ‘før og efter’-modellen er, at logit-skalaerne på tværs af finjusteringsklasserne og de originale klasser i modellen viser en betydelig diskrepans.

Logit-forbindelser forudser sandsynligheden for succes i en logisk regression-proces, der konverterer de estimerede værdier (der kan være meget præcise) til en 0 eller en 1.

Forfatterne fandt ikke kun, at denne deficit næsten kan vendes tilbage ved en kalibreringsteknik, men også, at denne post facto-løsning faktisk forbedrer kvaliteten af output for finjusteringsdata. Derfor får man med denne teknik ikke kun det originale models evner, men også en bedre integration af egen finjusteret data.

(Selv om artiklen ikke undersøger dette, antyder denne teknik, at en model kan finjusteres multiple gange og forblive effektiv)

Under diskussion af deres fund i undersøgelsen af modellens skade efter finjustering, siger forfatterne:

‘Til vores overraskelse finder vi, at det finjusterede model ikke glemmer relationen mellem de andre klasser eller svækker funktionen til at genkende disse klasser.

‘I stedet producerer det finjusterede model ofte mere diskriminerende funktioner for disse andre klasser, selv om de var fraværende under finjustering!

‘[Hvad] virkelig skader nøjagtigheden, er den diskrepante logit-skala mellem finjusteringsklasserne og de andre [klasser], hvilket antyder, at en simpel post-processing kalibrering kan bringe det forhåndenstrænede models evner tilbage og samtidig afsløre funktionforbedringen over alle klasser.’

Forfatterne har gjort resultaterne af deres tests for denne teori reproducerbare i en GitHub-repository.

De fandt, at ved undersøgelse, var den eneste del af fundamentsmodellens arkitektur, der blev skadet under finjustering, den binære klassifikator, der mis klassificerer klasser, der er fraværende i det originale model som finjusteringsklasser.

Artiklen siger*:

‘[Ved] at tilføje en kalibreringsbiasfaktor til alle de fraværende klassers logits [4, 40 ], kan det finjusterede model succesfuldt genskabe den fraværende klasse-nøjagtighed og opnå en anstændig samlet forbedring i downstream [domæne].

‘Den resulterende ydeevne slår endda den stærke baseline [Holistic Transfer – artiklen, som denne artikel bygger på ] i mange af benchmarks, herunder ImageNet og dets varianter [ImageNet, ImageNet-R(endition), ImageNet-S(ketch) ], Office-Home, og VTAB, uden kompliceret træning og hyperparameter-indstilling.’

Resultater fra artiklen: et finjusteret model, der har haft post-processing kalibrering udført på det, kan, ifølge forfatterne, overgå den nuværende tilgang til problemet.

Forfatterne klassificerer den forbedrede ydeevne af et post-kalibreret finjusteret model som ‘uventede benign adfærd’, og observerer, at når en grundlæggende Stochastic Gradient Descent (SGD) optimizer bruges, opnås en bedre resultater end med mere populære nuværende optimizatorer, såsom Adam.

‘Alligevel,’ noterer de ‘med små nok læringsrater og vægtforfald, viser de benign adfærd og holder.’

Minor reparationer

For at reparere logit-diskrepanser, der resulterer fra finjustering, lånte forfatterne en teknik fra zero-shot-læring, ved at tilføje en konstant faktor til logits af alle de fraværende klasser. Dette resulterer i en ny klassifikationsregel.

Forfatterne noterer, at denne proces ‘fremmer’ de forsumpede fraværende klasser til samme forudsigelseskvalitet som finjusteringsklasserne, og genskaber det originale models ydeevne og forbedrer ydeevnen af den ’tilføjede’ data ved inferens-tid.

I tests, genskabte post-kalibreringsteknikken ydeevne til en diversitet af finjusterede modeller. ‘Oraklet’ i tabellen henviser til en finjusteret klassifikator, der også tager hensyn til manglende klasse-data.

De observerer yderligere, at post-processing kalibrering er ‘potentielt anvendelig på enhver model’, og at metoder, der søger at bevare fundamentsmodellens integritet via frysning af lag (såsom klassifikatoren og backbone) scorer dårligt i forhold til deres egen foreslåede tilgang.

Konklusion

Forskningsresultaterne synes at være betydelige. Træning af en AI-model på en hyperskala-dataset er en enorm forpligtelse, analog til starten af et passagerfly. Selv om træning kan afbrydes, og enhver skade kan afhjælpes ved at gemme den aktuelle vægt periodisk (til en betydelig lagringsomkostning), for at tillade afbrydelse af træning, er der relativt lidt, man kan gøre for at ændre udfaldet efter start.

Det, der er imponerende ved arbejdet, er, at forskerne synes at have opdaget en grundlæggende princip i generel AI-modeltræning, og at deres løsning er overraskende elegant.

De økonomiske konsekvenser af at kunne bevare fundamentsmodellens nøjagtighed efter finjustering er også betydelige. Indtil nu har den mest almindelige metode til at løse manglerne i multi-million dollar-modeller været at filtrere output ved inferens-tid eller at kontrollere inferens for at undgå enhver Achilles-hæl, der er synlig i modellen.

Desuden kunne en sådan teknik teoretisk bringe betydelige forbedringer til evnerne af finjusterede generative modeller på forbruger-niveau, med bonus i en forbedring af output-kvalitet.

* Min konvertering af forfatternes inline-citationer til hyperlinks.

Først udgivet tirsdag, 1. oktober 2024