De Schade Door Het Fijnafstellen Van Een AI-Model Kan Gemakkelijk Worden Hersteld, Onderzoek Vindt

Nieuw onderzoek uit de VS geeft aan dat fijnafstellen van een AI-basismodel op uw eigen gegevens niet noodzakelijkerwijs de functionaliteit van het oorspronkelijke model hoeft te verminderen of te schaden – en dat een relatief eenvoudige oplossing niet alleen de mogelijkheden van het oorspronkelijke model kan herstellen, maar ook de kwaliteit van de output die u probeert te krijgen van het (al getrainde) model kan verbeteren.

Prestatieverbeteringen op diverse modellen met de nieuwe post-training calibratie van de auteurs. Verdere details later in het artikel. Bron: http://export.arxiv.org/pdf/2409.16223

De implicaties hiervan zijn aanzienlijk, niet alleen voor de technologiebedrijven waarvan de aandacht zich richt op de financiële voordelen van het verhuren van generatieve systemen ‘as-a-service’, maar ook voor het groeiende aantal ‘cord-cutter’ hobbyisten die open source-modellen downloaden en aanpassen, zodat ze toegang hebben tot gepersonaliseerde AI-schrijf- en beeld/video-generatiesystemen tegen een lagere prijs – en met minder beperkingen.

De auteurs van het artikel zijn niet bang om hun enthousiasme te tonen voor het potentieel van hun methode, die blijkbaar significante vooruitgang boekt ten opzichte van de inzending Holistic Transfer: Towards Non-Disruptive Fine-Tuning with Partial Target Data (mede geschreven met veel van de bijdragers aan het nieuwe artikel).

Zij verklaren:

‘De [bevindingen] zijn bemoedigend en hebben diepgaande implicaties! Zij impliceren dat een eenvoudige post-processing calibratie potentieel het inferieure nauwkeurigheid van het fijn afgestelde model op de afwezige klassen kan aanpakken, de mogelijkheden van het voorgetrainde model terugbrengt en tegelijkertijd de verbeterde kwaliteit van de functies over alle klassen onthult.’

We zullen binnenkort een nadere blik werpen op het nieuwe werk. Eerst laten we zien welk probleem het probeert op te lossen.

Waarom Het Ertoe Doet

De eerste golf van wijdverbreid fijnafstellen vond plaats in de nasleep van de release van Stability.ai’s Stable Diffusion tekst-naar-afbeelding-model in augustus 2002. De vroege modellen, getraind op een subset van de hyperschaal LAION dataset, waren beschikbaar voor iedereen om te downloaden.

Echter, gebruikers die specifieke inhoud (zoals hun eigen identiteit, kunststijlen of de weergave van beroemdheden) in de buitengewone generatieve kwaliteiten van Stable Diffusion wilden invoegen, moesten een beroep doen op technieken zoals DreamBooth – een extrapolatie van een Google Research-aanpassingsmethode, die de gebruiker in staat stelde om nieuwe gegevens in het vrij beschikbare model te trainen via fijnafstellen.

Voorbeelden van het gebruikersproces voor Google’s officiële DreamBooth-implementatie uit 2022. De gebruiker selecteert een kleine verzameling afbeeldingen en kiest een unieke naam (die Stable Diffusion niet heeft in zijn trainingsgegevens) in tekstprompts van het fijn afgestelde model. Bron: https://dreambooth.github.io/

Op deze manier was het mogelijk om een kopie van het model te krijgen dat zeer goed was in het creëren van een bepaald persoon of een aangepaste kunststijl, maar dat nu ‘gecompromitteerd’ was voor meer algemeen gebruik.

Dit betekende dat als u Stable Diffusion wilde fijnafstellen zodat het drie verschillende personen nauwkeurig kon weergeven, u noodzakelijkerwijs drie verschillende modellen moest creëren, elk van ongeveer 2-4GB of meer.

Elke poging om deze modellen een tweede keer fijn af te stellen zou niet alleen de algehele prestaties van het model verder verslechteren, maar ook nadelig beïnvloeden de output van de vorige fijnafstelsessie.

In elk geval zouden celebrity DreamBooth-modellen al snel op het internet verschijnen, voornamelijk op het civit.ai-domein. Uiteindelijk zouden minder belastende methoden zoals Low-Rank Adaptation (LoRA) fijnafstellen in populariteit overtreffen (hoewel het nog twijfelachtig is of LoRA-output zo effectief is als een volledig fijnafstellen, en NVIDIA heeft sindsdien open-source een ogenschijnlijk effectievere benadering genaamd DoRA).

Een LoRA valt onder de categorie Parameter-Efficient Fine-Tuning (PEFT), die alleen een subset van de getrainde parameters van het model beïnvloedt.

Sommige gebruikers wilden de fundamentele aard van de open source Stable Diffusion controlepunten veranderen door deze fijn af te stellen op duizenden afbeeldingen.

Dit produceerde effectief een alternatief basismodel, gewijd aan welk domein de gebruiker ook probeerde te trainen (zoals een bepaalde kunststijl). Voor dit doel waren ‘lichtgewicht’-methoden zoals LoRA waarschijnlijk minder effectief, omdat de gewichten van het model een ernstige bias naar de nieuwe trainingsgegevens nodig hadden.

Locale Chat

Met de recente toename van interesse in Grote Taalmodellen (LLM’s), gebruikers die de groeiende outlets (en de daarmee verbonden kosten) van API-gedreven diensten zoals ChatGPT wilden vermijden, zijn steeds vaker open source-modellen gaan downloaden en fijn afstellen, zoals Llama 3, onder andere.

Hier ook kunnen LoRA’s worden gebruikt in plaats van een volledig controlepunt fijn af te stellen. We hebben eerder betoogd dat fijnafstellen een superieure methode is voor het produceren van LLM’s die zijn aangepast aan de specifieke behoeften van de gebruiker. Hoewel fijnafstellen grotere hardware-eisen kan hebben en langer kan duren, biedt het een diepere generalisatie van de nieuwe gegevens die de gebruiker wil assimileren.

Het probleem met fijnafstellen is dat het een destructief proces is dat niet incrementeel getraind kan worden op extra gegevens later, zoals we hierboven opmerkten.

De functies en biases die in het model worden geïnjecteerd, lijken de oorspronkelijke balans van gewichten in de dataset te verstoren, waardoor het model ofwel te veel de gebruiker-gecontribueerde gegevens weerspiegelt, ofwel slechter presteert dan het oorspronkelijke basismodel (op taken die niet gerelateerd zijn aan de nieuwe gegevens).

Men kan dit enigszins verhelpen door bepaalde delen van het model te bevriezen tijdens de training; maar dit kan leiden tot een verminderde algehele functionaliteit, omdat het bevroren deel van de architectuur mogelijk niet goed generaliseert naar de nieuw fijn afgestelde gegevens binnen de latent space van het model.

Het zou dus echt geweldig zijn als er een eenvoudigere manier was om de oorspronkelijke mogelijkheden van een fijn afgesteld model te behouden, terwijl het model toch in staat is om output te produceren op basis van de fijnafstelgegevens.

Een dergelijke ontwikkeling zou gunstig zijn voor het hele bereik van potentiële gebruikers, van hobbyisten en vroege aanvaarders die lokale LLM’s en andere soorten generatieve modellen gebruiken, tot FAANG-niveau (waar een zeer dure AI-model iteratief en non-destructief kan worden verbeterd, zonder de multi-miljoen dollar kosten van het opnieuw starten van de training met de extra gegevens).

Post-Processing Calibratie

Dit brengt ons terug bij het nieuwe artikel, dat Fine-Tuning is Fine, if Calibrated heet, en afkomstig is van 11 onderzoekers van Ohio State University, de University of Wisconsin Madison en de Rensselar Polytechnic Institute.

De onderzoekers probeerden te achterhalen wat er precies wordt beschadigd in een basismodel wanneer het wordt fijn afgesteld. Zij hebben geconcludeerd dat het enige grote verschil tussen het ‘voor en na’ model is dat de logit-schalen over de fijnafstelklassen en de oorspronkelijke klassen in het model een grote discrepantie vertonen.

Logit-koppelingen voorspellen de kans op succes in een logische regressie-proces, waarbij de geschatte waarden (die zeer precies kunnen zijn) worden omgezet in een nul of een één.

De auteurs ontdekten niet alleen dat dit tekort vrijwel casueel omkeerbaar is door een calibratietechniek, maar dat deze post facto oplossing de kwaliteit van de output voor de fijnafstelgegevens daadwerkelijk verbetert. Dus, met deze techniek, krijgt u niet alleen de oorspronkelijke mogelijkheden van het basismodel terug, maar krijgt u ook een betere integratie van uw eigen fijn afgestelde gegevens.

(Hoewel het artikel de mogelijkheid niet onderzoekt, impliceert deze techniek dat een model meerdere keren fijn afgesteld kan worden en nog steeds effectief kan blijven)

In hun discussie over hun bevindingen bij het onderzoeken van modelbeschadiging na fijnafstellen, verklaren de auteurs:

‘Tot onze verbazing vinden we dat het fijn afgestelde model noch de relatie tussen de andere klassen vergeet, noch de functies verslechtert om deze klassen te herkennen.

‘In plaats daarvan produceert het fijn afgestelde model vaak meer discriminatieve functies voor deze andere klassen, zelfs als ze tijdens het fijnafstellen ontbraken!

‘[Wat] echt de nauwkeurigheid schaadt, is de discrepante logit-schalen tussen de fijnafstelklassen en de andere [klassen], wat impliceert dat een eenvoudige post-processing calibratie de mogelijkheden van het voorgetrainde model terug kan brengen en tegelijkertijd de verbetering van de functies over alle klassen kan onthullen.’

De auteurs hebben de resultaten van hun tests voor deze theorie reproduceerbaar gemaakt in een GitHub-repository.

Zij ontdekten dat bij onderzoek het enige deel van de architectuur van het basismodel dat tijdens het fijnafstellen wordt beschadigd, de binaire classifier is, die klassen die afwezig zijn in het oorspronkelijke model als fijnafstelklassen misclassificeert.

Het artikel vermeldt*:

‘[Door] een calibratiebiasfactor toe te voegen aan de logits van alle afwezige klassen [4, 40 ], kan het fijn afgestelde model met succes de nauwkeurigheid van de afwezige klassen terugkrijgen en een fatsoenlijke algehele verbetering behalen in de downstream [domein].

‘De resulterende prestaties zijn zelfs beter dan de sterke baseline [Holistic Transfer – het artikel waarop dit artikel voortborduurt ] in veel van de benchmarks, waaronder ImageNet en zijn varianten [ImageNet, ImageNet-R(endition), ImageNet-S(ketch) ], Office-Home, en VTAB, zonder ingewikkelde training en hyperparameter-instelling.’

Resultaten uit het artikel: een fijn afgesteld model dat post-processing calibratie heeft ondergaan, kan, volgens de auteurs, de state-of-the-art-benadering van het probleem overtreffen.

De auteurs classificeren de verbeterde prestaties van een post-gekalibreerd fijn afgesteld model als ‘onverwachte gunstige gedragingen’, en merken op dat wanneer een basis Stochastic Gradient Descent (SGD) optimizer wordt gebruikt, een beter resultaat wordt behaald dan met meer populaire huidige optimizers, zoals Adam.

‘Toch,’ merken zij op ‘met voldoende kleine leerlingen en gewichtsverval, verschijnen de gunstige gedragingen en houden ze stand.’

Kleine Reparatie

Om de logit-discrepanties die het gevolg zijn van fijnafstellen te repareren, hebben de auteurs een techniek geleend uit zero-shot learning, door een constante factor toe te voegen aan de logits van alle afwezige klassen. Dit resulteert in een nieuwe classificatieregel.

De auteurs merken op dat dit proces ‘promoot’ de verwaarloosde afwezige klassen naar dezelfde voorspellingskwaliteit van de fijn afgestelde klassen, waardoor de oorspronkelijke prestaties worden hersteld en de prestaties van de ‘toegevoegde’ gegevens op het moment van inferentie worden verbeterd.

In tests werd de post-calibratietechniek hersteld naar een diversiteit van fijn afgestelde modellen. De ‘Oracle’ in de tabel verwijst naar een fijn afgestelde classifier die ook ontbrekende klasgegevens in overweging neemt.

Zij merken verder op dat post-processing calibratie ‘potentieel toepasbaar is op elk model’, en dat methoden die proberen de integriteit van het basismodel te behouden via het bevriezen van lagen (zoals de classifier en de backbone) slecht presteren in vergelijking met hun eigen voorgestelde aanpak.

Conclusie

De bevindingen van deze samenwerking lijken aanzienlijk. Het trainen van een AI-model op een hyperschaal-dataset is een enorm engagement, analoog aan de start van een passagiersvliegtuig. Hoewel de training kan worden onderbroken en eventuele schade kan worden geminimaliseerd door de huidige gewichten periodiek op te slaan (tegen aanzienlijke opslagkosten), om onderbrekingen van de training toe te staan, is er relatief weinig dat u kunt doen om het resultaat te veranderen na de start.

Wat indrukwekkend is aan het werk, is dat de onderzoekers lijken te hebben ontdekt een fundamenteel principe in de algehele AI-modeltraining, en dat hun oplossing verrassend elegant is.

De economische implicaties van het behoud van de nauwkeurigheid van het basismodel na fijnafstellen zijn ook aanzienlijk. Tot nu toe is de meest voorkomende methode om de tekortkomingen van multi-miljoen dollar modellen aan te pakken, het filteren van output op het moment van inferentie, of het controleren van inferentie om elke Achilleshiel in het model te vermijden.

Bovendien kan een dergelijke techniek theoretisch aanzienlijke verbeteringen brengen in de mogelijkheden van fijn afgestelde generatieve modellen op consumentenniveau, met de bonus van een boost in outputkwaliteit.

* Mijn conversie van de inline-citaten van de auteurs naar hyperlinks.

First published dinsdag, 1 oktober 2024