De schade door het fijnafstemmen van een AI-model kan gemakkelijk worden hersteld, blijkt uit onderzoek

Nieuw onderzoek uit de VS toont aan dat het fijnafstemmen van een AI-basismodel op uw eigen gegevens niet noodzakelijkerwijs de functionaliteit van het oorspronkelijke model hoeft te verminderen of te schaden – en dat een relatief eenvoudige oplossing niet alleen de mogelijkheden van het oorspronkelijke model kan herstellen, maar ook de kwaliteit van de output die u probeert te produceren met het (reeds getrainde) model kan verbeteren.

Prestatieverbeteringen op diverse modellen met de nieuwe post-training calibratie van de auteurs. Verdere details later in het artikel. Bron: http://export.arxiv.org/pdf/2409.16223

De implicaties hiervan zijn aanzienlijk, niet alleen voor de tech-reuzen wiens aandacht zich richt op de financiële voordelen van het verhuren van generatieve systemen ‘as-a-service’, maar ook voor het groeiende aantal ‘cord-cutter’-hobbyisten die open source-modellen downloaden en aanpassen, zodat ze toegang hebben tot gepersonaliseerde AI-schrijf- en beeld/video-generatiesystemen tegen een lagere prijs – en met minder beperkingen.

De auteurs van het artikel zijn niet bang om hun enthousiasme te tonen voor het potentieel van hun methode, die blijkbaar aanzienlijke vooruitgang boekt ten opzichte van de inzending Holistic Transfer: Towards Non-Disruptive Fine-Tuning with Partial Target Data (mede geschreven door veel van de bijdragers aan het nieuwe artikel).

Zij verklaren:

‘De [bevindingen] zijn bemoedigend en hebben diepgaande implicaties! Zij impliceren dat een eenvoudige post-processing calibratie potentieel het inferieure nauwkeurigheid van het fijn afgestemde model op de afwezige klassen kan aanpakken, de mogelijkheden van het voorgetrainde model terugbrengt en tegelijkertijd de verbeterde kenmerkenkwaliteit over alle klassen onthult.’

We zullen spoedig naar het nieuwe werk kijken. Eerst laten we zien welk probleem het probeert op te lossen.

Waarom het ertoe doet

De eerste golf van wijdverbreide fijnafstemming vond plaats in de nasleep van de release van Stability.ai’s Stable Diffusion tekst-naar-afbeelding-model in augustus 2002. De vroege modellen, getraind op een subset van de hyperschaal LAION-dataset, werden beschikbaar gesteld voor iedereen om te downloaden.

Echter, gebruikers die specifieke inhoud (zoals hun eigen identiteit, kunststijlen of de weergave van beroemdheden) in de buitengewone generatieve kwaliteiten van Stable Diffusion wilden invoegen, moesten zich wenden tot technieken zoals DreamBooth – een extrapolatie van een Google Research-aanpassingsmethode, die de gebruiker in staat stelde om nieuwe gegevens in het vrij beschikbare model te trainen via fijnafstemming.

Voorbeelden van het gebruikersproces voor Google’s officiële DreamBooth-implementatie uit 2022. De gebruiker selecteert een kleine verzameling afbeeldingen en kiest een unieke naam (die Stable Diffusion niet in zijn trainingsgegevens heeft) in tekstprompts van het fijn afgestemde model. Bron: https://dreambooth.github.io/

Op deze manier was het mogelijk om een kopie van het model te krijgen dat zeer goed was in het creëren van een bepaald persoon of een aangepaste kunststijl, maar dat nu ‘gecompromitteerd’ was voor algemeen gebruik.

Dit betekende dat als je Stable Diffusion wilde fijnafstemmen zodat het drie verschillende personen nauwkeurig kon weergeven, je onvermijdelijk drie verschillende modellen moest creëren, elk ongeveer 2-4GB of meer.

Elke poging om deze modellen voor de tweede keer fijn af te stemmen zou niet alleen de algemene prestaties van het model verder verslechteren, maar ook nadelig beïnvloeden de output van de vorige fijnafstemmingssessie.

In elk geval zouden celebrity DreamBooth-modellen spoedig op het internet verschijnen, voornamelijk op het civit.ai-domein. Uiteindelijk zouden minder belastende methoden zoals Low-Rank Adaptation (LoRA) fijnafstemming in populariteit overtreffen (hoewel het nog omstreden is of LoRA-output zo effectief is als een volledige fijnafstemming, en NVIDIA heeft sindsdien open-source een ogenschijnlijk effectievere benadering genaamd DoRA).

Een LoRA valt onder de categorie Parameter-Efficient Fine-Tuning (PEFT), die alleen een subset van de getrainde parameters van het model beïnvloedt.

Sommige gebruikers wilden de fundamentele aard van de open source Stable Diffusion controlepunten veranderen door ze fijn af te stemmen op duizenden afbeeldingen.

Dit produceerde effectief een alternatief basismodel, gewijd aan welk domein de gebruiker ook probeerde te trainen (zoals een bepaalde kunststijl). Voor dit doel waren ‘lichte’ methoden zoals LoRA waarschijnlijk minder effectief, aangezien de gewichten van het model een ernstige voorkeur voor de nieuwe trainingsgegevens nodig hadden.

Lokale chat

Met de recente toename van interesse in Grote Taalmodellen (LLM’s), gebruikers die de groeiende uitgangspunten (en de daarmee samenhangende kosten) van API-gedreven diensten zoals ChatGPT willen vermijden, zijn steeds vaker open source-modellen gaan downloaden en fijnafstemmen, zoals Llama 3, om onder andere toegang te krijgen tot gepersonaliseerde AI-schrijf- en beeld/video-generatiesystemen tegen een lagere prijs – en met minder beperkingen.

Hier ook kunnen LoRA’s worden gebruikt in plaats van fijnafstemming van een volledig controlepunt. We hebben eerder betoogd dat fijnafstemming een superieure methode is voor het produceren van LLM’s die zijn aangepast aan de specifieke behoeften van de gebruiker. Hoewel fijnafstemming grotere hardware-eisen kan hebben en langer kan duren, biedt het een diepere generalisatie van de nieuwe gegevens die de gebruiker wil dat het model assimileert.

Het probleem met fijnafstemming is dat het een destructief proces is dat niet incrementeel getraind kan worden op aanvullende gegevens later, zoals we hierboven vermeldden.

De kenmerken en voorkeuren die in het model worden geïnjecteerd, lijken de oorspronkelijke balans van gewichten in de dataset te verstoren, waardoor het model of te veel de door de gebruiker bijgedragen gegevens weerspiegelt, of in elk geval slechter presteert dan het oorspronkelijke basismodel (op taken die niet gerelateerd zijn aan de nieuwe gegevens).

Een manier om dit te verhelpen is door bepaalde delen van het model tijdens de training te bevriezen; maar dit kan leiden tot een verminderde algemene functionaliteit, aangezien het bevroren deel van de architectuur mogelijk niet goed generaliseert naar de nieuw fijn afgestemde gegevens in de latent ruimte van het model.

Het zou dus erg handig zijn als er een eenvoudigere manier was om de oorspronkelijke mogelijkheden van een fijn afgestemd model te behouden, terwijl het model toch in staat is om output te produceren op basis van de fijnafstemmingsgegevens.

Een dergelijke ontwikkeling zou voordelig zijn voor het hele bereik van potentiële gebruikers, van hobbyisten en vroege aanvaarders die lokale LLM’s en andere soorten generatieve modellen gebruiken, tot FAANG-niveau (waar een zeer dure AI-model iteratief en non-destructief kan worden verbeterd, zonder de multi-miljoen dollar kosten van het opnieuw starten van de training met de aanvullende gegevens).

Post-processing calibratie

Dit brengt ons terug bij het nieuwe artikel, dat Fine-Tuning is Fine, if Calibrated heet en afkomstig is van 11 onderzoekers aan Ohio State University, de University of Wisconsin Madison en de Rensselar Polytechnic Institute.

De onderzoekers probeerden te achterhalen wat er precies beschadigd raakt in een basismodel wanneer het fijn afgestemd wordt. Zij hebben geconcludeerd dat het enige grote verschil tussen het ‘voor en na’ model is dat de logit-schalen over de fijnafstemmingsklassen en de oorspronkelijke klassen in het model een grote discrepantie vertonen.

Logit-koppelingen voorspellen de kans van slagen in een logistische regressie-proces, waarbij de geschatte waarden (die zeer precies kunnen zijn) worden omgezet in een nul of een één.

De auteurs ontdekten niet alleen dat dit tekort bijna nonchalant omkeerbaar is door een kalibratietechniek, maar dat deze post facto oplossing de kwaliteit van de output voor de fijnafstemmingsgegevens daadwerkelijk verbetert. Dus, met deze techniek, krijg je niet alleen de oorspronkelijke mogelijkheden van het basismodel terug, maar ook een betere integratie van uw eigen fijn afgestemde gegevens.

(Hoewel het artikel het perspectief niet onderzoekt, impliceert deze techniek dat een model meerdere keren fijn afgestemd kan worden en nog steeds effectief kan blijven)

In hun onderzoek naar modelbeschadiging na fijnafstemming, verklaren de auteurs:

‘Tot onze verbazing vinden we dat het fijn afgestemde model de relatie tussen de andere klassen niet vergeet en de kenmerken om deze klassen te herkennen niet verslechtert.

‘In plaats daarvan produceert het fijn afgestemde model vaak meer discriminatieve kenmerken voor deze andere klassen, zelfs als ze tijdens de fijnafstemming ontbraken!

‘[Wat] echt de nauwkeurigheid schaadt, is de discrepante logit-schalen tussen de fijnafstemmingsklassen en de andere [klassen], wat impliceert dat een eenvoudige post-processing calibratie de mogelijkheden van het voorgetrainde model terug kan brengen en tegelijkertijd de kenmerkenverbetering over alle klassen kan onthullen.’

De auteurs hebben de resultaten van hun tests voor deze theorie reproduceerbaar gemaakt in een GitHub-repository.

Zij ontdekten dat bij onderzoek het enige deel van de architectuur van het basismodel dat beschadigd raakt bij fijnafstemming, de binaire classificator is, die klassen die afwezig zijn in het oorspronkelijke model als fijnafstemmingsklassen misclassificeert.

Het artikel vermeldt*:

‘[Door] een kalibratiebiasfactor toe te voegen aan de logits van alle afwezige klassen [4, 40 ], kan het fijn afgestemde model met succes de nauwkeurigheid van de afwezige klassen terugkrijgen en een fatsoenlijke algehele verbetering in de downstream [domein] behalen.

‘De resulterende prestaties zijn zelfs beter dan de sterke baseline [Holistic Transfer – het artikel waarop dit artikel voortborduurt ] in veel van de benchmarks, waaronder ImageNet en zijn varianten [ImageNet, ImageNet-R(endition), ImageNet-S(ketch) ], Office-Home, en VTAB, zonder ingewikkelde training en hyperparameterinstelling.’

Resultaten uit het artikel: een fijn afgestemd model dat post-processing calibratie heeft ondergaan, kan, volgens de auteurs, de state-of-the-art-benadering van het probleem overtreffen.

De auteurs classificeren de verbeterde prestaties van een post-gekalibreerd fijn afgestemd model als ‘onverwachte gunstige gedragingen’, en merken op dat wanneer een basis Stochastic Gradient Descent (SGD)-optimizer wordt gebruikt, een beter resultaat wordt behaald dan met meer populaire huidige optimizers, zoals Adam.

‘Nog,’ merken zij op ‘met voldoende kleine leerratio’s en gewichtsverval, verschijnen de gunstige gedragingen en houden ze stand.’

Minimale reparaties

Om de logit-discrepanties die het gevolg zijn van fijnafstemming te herstellen, hebben de auteurs een techniek geleend uit zero-shot learning, door een constante factor toe te voegen aan de logits van alle afwezige klassen. Dit resulteert in een nieuwe classificatieregel.

De auteurs merken op dat dit proces de verwaarloosde afwezige klassen ‘promoot’ naar dezelfde voorspellingskwaliteit van de fijn afgestemde klassen, waardoor de oorspronkelijke prestaties worden hersteld en de prestaties van de ‘toegevoegde’ gegevens bij inferentie worden verbeterd.

In tests werd de post-calibratietechniek gebruikt om de prestaties van een diverse reeks fijn afgestemde modellen te herstellen. De ‘Oracle’ in de tabel verwijst naar een fijn afgestemde classificator die ook rekening houdt met ontbrekende klassegegevens.

Zij merken verder op dat post-processing calibratie ‘potentieel toepasbaar is op elk model’ en dat methoden die proberen de integriteit van het basismodel te behouden via het bevriezen van lagen (zoals de classificator en de backbone) slecht presteren in vergelijking met hun eigen voorgestelde benadering.

Conclusie

De bevindingen uit deze samenwerking lijken aanzienlijk. Het trainen van een AI-model op een hyperschaal-dataset is een enorm engagement, analoog aan de start van een passagiersvliegtuig. Hoewel de training kan worden onderbroken en eventuele schade kan worden geminimaliseerd door de huidige gewichten periodiek op te slaan (tegen aanzienlijke opslagkosten), is er relatief weinig dat kan worden gedaan om het resultaat te veranderen na de start.

Wat indrukwekkend is aan het werk, is dat de onderzoekers lijken een fundamenteel principe in de algemene AI-modeltraining te hebben ontdekt, en dat hun oplossing verrassend eenvoudig is.

De economische implicaties van het behouden van de nauwkeurigheid van het basismodel na fijnafstemming zijn ook aanzienlijk. Tot nu toe is de meest voorkomende methode om de tekortkomingen van multi-miljoen dollar-modellen aan te pakken, het filteren van de output bij inferentie, of het controleren van de inferentie om elke Achilleshiel in het model te vermijden.

Daarnaast kan een dergelijke techniek theoretisch aanzienlijke verbeteringen brengen in de mogelijkheden van fijn afgestemde generatieve modellen op consumentenniveau, met als bonus een verbetering van de outputkwaliteit.

* Mijn conversie van de inline citaten van de auteurs naar hyperlinks.

Eerst gepubliceerd op dinsdag 1 oktober 2024