De strijd voor zero-shot-aanpassing in generatieve AI

Als je jezelf in een populair beeld- of videogeneratiehulpmiddel wilt plaatsen, maar nog niet beroemd genoeg bent voor het foundation model om je te herkennen, moet je een low-rank adaptation (LoRA) model trainen met een collectie van je eigen foto’s. Zodra dit persoonlijke LoRA model is gemaakt, kan het generatieve model je identiteit in toekomstige uitvoer opnemen.

Dit wordt gewoonlijk aanpassing genoemd in de beeld- en videosynthesesector. Het ontstond voor het eerst een paar maanden na de introductie van Stable Diffusion in de zomer van 2022, met Google Research’s DreamBooth project dat hoge gigabyte-aanpassingsmodellen aanbood in een gesloten broncode die later door enthousiastelingen werd aangepast en aan de gemeenschap werd vrijgegeven.

LoRA-modellen volgden snel en boden gemakkelijker training en veel lichtere bestandsgroottes, met minimaal of geen kwaliteitsverlies, en domineerden snel de aanpassingsscène voor Stable Diffusion en zijn opvolgers, latere modellen zoals Flux, en nu nieuwe generatieve videomodellen zoals Hunyuan Video en Wan 2.1.

Herhaal en herhaal

Het probleem is dat, zoals we eerder hebben opgemerkt, elke keer dat een nieuw model wordt uitgebracht, er een nieuwe generatie LoRA’s getraind moet worden, wat aanzienlijke wrijving voor LoRA-producers met zich meebrengt, die mogelijk een reeks aangepaste modellen trainen, alleen om te ontdekken dat een modelupdate of een populairder model betekent dat ze opnieuw moeten beginnen.

Daarom zijn zero-shot-aanpakken de laatste tijd een sterke stroming in de literatuur geworden. In dit scenario hoeft u geen dataset te cureren en uw eigen submodel te trainen, maar geeft u gewoon een of meer foto’s van het onderwerp dat in de generatie moet worden geïnjecteerd, en de systemen interpreteren deze invoerbronnen in een samengestelde uitvoer.

Onderaan zien we dat, naast gezichtsvervanging, een systeem van dit type (hier met PuLID) ook ID-waarden in stijltransfer kan incorporeren:

Voorbeelden van gezichts-ID-overdracht met het PuLID-systeem. Bron: https://github.com/ToTheBeginning/PuLID?tab=readme-ov-file

Terwijl het vervangen van een arbeidsintensief en fragiel systeem zoals LoRA door een generieke adapter een geweldig (en populair) idee is, is het ook een uitdaging; de extreme aandacht voor detail en dekking die wordt behaald in het LoRA-trainingsproces is heel moeilijk na te bootsen in een one-shot IP-Adapter-model, dat het niveau van detail en flexibiliteit van LoRA moet evenaren zonder de voorafgaande voordelen van het analyseren van een uitgebreide set identiteitsafbeeldingen.

HyperLoRA

Met dit in gedachten is er een interessant nieuw artikel van ByteDance dat een systeem voorstelt dat daadwerkelijk LoRA-code on-the-fly genereert, wat momenteel uniek is onder zero-shot-oplossingen:

Links, invoerbeeld. Rechts, een flexibele reeks uitvoer op basis van de bronafbeeldingen, waardoor effectief deepfakes van acteurs Anthony Hopkins en Anne Hathaway worden gegenereerd. Bron: https://arxiv.org/pdf/2503.16944

Het artikel vermeldt:

‘Adapter-gebaseerde technieken zoals IP-Adapter bevriezen de parameters van het foundation model en gebruiken een plug-in-architectuur om zero-shot-inferentie mogelijk te maken, maar ze vertonen vaak een gebrek aan naturaliteit en authenticiteit, die niet mogen worden genegeerd in portretsynthesetaak.

‘[We] introduceren een parameter-efficiënte adaptieve generatiemethode, genaamd HyperLoRA, die een adaptieve plug-in-netwerk gebruikt om LoRA-gewichten te genereren, waardoor de superieure prestaties van LoRA worden gecombineerd met de zero-shot-mogelijkheid van de adapterschema.

‘Door onze zorgvuldig ontworpen netwerkstructuur en trainingsstrategie bereiken we zero-shot-persoonlijke portretgeneratie (ondersteuning van zowel enkele als meerdere beeldinvoer) met hoge fotorealisme, trouw en bewerkbaarheid.’

Het meest nuttig is dat het systeem, eenmaal getraind, kan worden gebruikt met bestaande ControlNet, waardoor een hoog niveau van specificiteit in generatie mogelijk wordt:

Timothy Chalomet maakt een onverwacht vrolijke verschijning in ‘The Shining’ (1980), op basis van drie invoerfoto’s in HyperLoRA, met een ControlNet-masker dat de uitvoer definieert (in combinatie met een tekstprompt).

Wat betreft de vraag of het nieuwe systeem ooit beschikbaar zal worden gesteld aan eindgebruikers, heeft ByteDance een redelijke trackrecord op dit gebied, met de release van het zeer krachtige LatentSync lip-sync-framework en de recente release van het InfiniteYou framework.

Negatief is dat het artikel geen indicatie geeft van een intentie om het te vrijgeven, en de benodigde trainingsbronnen zo exorbitant zijn dat het voor de enthousiastelingengemeenschap een uitdaging zou zijn om het te reproduceren (zoals ze dat met DreamBooth deden).

Het nieuwe artikel heeft de titel HyperLoRA: Parameter-Efficiënte Adaptieve Generatie voor Portretsynthese en komt van zeven onderzoekers van ByteDance en ByteDance’s dedicated Intelligent Creation-afdeling.

Methode

De nieuwe methode maakt gebruik van het Stable Diffusion latent diffusion model (LDM) SDXL als foundation model, hoewel de principes toepasbaar lijken op diffusiemodellen in het algemeen (hoewel de trainingsvereisten – zie hieronder – het moeilijk kunnen maken om toe te passen op generatieve videomodellen).

Het trainingsproces voor HyperLoRA is verdeeld in drie fasen, elk ontworpen om specifieke informatie in de geleerde gewichten te isoleren en te behouden. Het doel van deze ringfenced procedure is om identiteitsrelevante functies te voorkomen dat ze worden verontreinigd door irrelevante elementen zoals kleding of achtergrond, terwijl tegelijkertijd snelle en stabiele convergentie wordt bereikt.

Conceptueel schema voor HyperLoRA. Het model is verdeeld in ‘Hyper ID-LoRA’ voor identiteitsfuncties en ‘Hyper Base-LoRA’ voor achtergrond en kleding. Deze scheiding vermindert functielekage. Tijdens de training worden de SDXL-basis en encoders bevroren, en alleen HyperLoRA-modules bijgewerkt. Bij inferentie is alleen ID-LoRA nodig om persoonlijke beelden te genereren.

De eerste fase richt zich volledig op het leren van een ‘Base-LoRA’ (linksonder in het schema hierboven), dat identiteitsirrelevante details vastlegt.

Om deze scheiding af te dwingen, hebben de onderzoekers de gezichten in de trainingsafbeeldingen expres vervaagd, waardoor het model kon vasthaken aan dingen zoals achtergrond, verlichting en pose – maar niet identiteit. Deze ‘warm-up’-fase fungeert als een filter, waardoor lage-niveau-afleidingen worden verwijderd voordat identiteitsspecifieke leerprocessen beginnen.

In de tweede fase wordt een ‘ID-LoRA’ (bovenlinks in het schema hierboven) geïntroduceerd. Hier wordt de gezichtsidentiteit gecodeerd met twee parallelle paden: een CLIP Vision Transformer (CLIP ViT) voor structurele functies en de InsightFace AntelopeV2-encoder voor meer abstracte identiteitsrepresentaties.

Overgangsbenadering

CLIP-functies helpen het model om snel te convergeren, maar lopen het risico overfitting te vertonen, terwijl Antelope-embeddings stabielere maar langzamere trainingsprocessen hebben. Daarom begint het systeem met een zwaardere afhankelijkheid van CLIP en faset Antelope geleidelijk in, om instabiliteit te voorkomen.

In de laatste fase worden de CLIP-geleide aandachtlagen volledig bevroren. Alleen de AntelopeV2-gekoppelde aandachtm-modules blijven getraind, waardoor het model identiteitsbehoud kan verfijnen zonder de trouw of algemeenheid van eerder geleerde componenten te verslechteren.

Deze gefaseerde structuur is in wezen een poging tot disentanglement. Identiteits- en niet-identiteitsfuncties worden eerst gescheiden en vervolgens onafhankelijk verfijnd. Het is een methodische reactie op de gebruikelijke foutmodi van personalisatie: identiteitsdrift, lage bewerkbaarheid en overfitting op incidentele functies.

Onderwijl gewicht

Nadat CLIP ViT en AntelopeV2 zowel structurele als identiteitspecifieke functies hebben geëxtraheerd uit een gegeven portret, worden de verkregen functies doorgegeven aan een perceiver resampler (afgeleid van het eerder genoemde IP-Adapter-project) – een transformer-gebaseerd module dat de functies kaart naar een compacte set van coëfficiënten.

Twee afzonderlijke resamplers worden gebruikt: een voor het genereren van Base-LoRA-gewichten (die achtergrond en niet-identiteits-elementen coderen) en een voor ID-LoRA-gewichten (die zich richten op gezichtsidentiteit).

Schema voor de HyperLoRA-netwerkstructuur.

De resulterende coëfficiënten worden vervolgens lineair gecombineerd met een set van geleerde LoRA-basismatrices, waardoor volledige LoRA-gewichten worden gegenereerd zonder dat het nodig is om het basismodel fijn te tunen.

Deze benadering stelt het systeem in staat om persoonlijke gewichten volledig on the fly te genereren, met behulp van alleen beeldencoders en lichtgewichtprojectie, terwijl het nog steeds de mogelijkheid van LoRA gebruikt om het gedrag van het basismodel rechtstreeks te modificeren.

Gegevens en tests

Om HyperLoRA te trainen, gebruikten de onderzoekers een subset van 4,4 miljoen gezichtsafbeeldingen uit de LAION-2B dataset (nu het beste bekend als de gegevensbron voor de oorspronkelijke 2022 Stable Diffusion-modellen).

InsightFace werd gebruikt om niet-portretgezichten en meerdere afbeeldingen te filteren. De afbeeldingen werden vervolgens geannoteerd met het BLIP-2 onderschriftingsysteem.

Wat betreft gegevensverrijking, werden de afbeeldingen willekeurig uitgesneden rond het gezicht, maar altijd gefocust op het gezichtsgebied.

De respectieve LoRA-rangen moesten zich aanpassen aan het beschikbare geheugen in de trainingsopstelling. Daarom werd de LoRA-rang voor ID-LoRA ingesteld op 8 en de rang voor Base-LoRA op 4, terwijl achtstaps gradientaccumulatie werd gebruikt om een grotere batchgrootte te simuleren dan feitelijk mogelijk was op de hardware.

De onderzoekers trainden de Base-LoRA-, ID-LoRA- (CLIP) en ID-LoRA- (identiteitsembedding) modules sequentieel voor 20K, 15K en 55K iteraties, respectievelijk. Tijdens ID-LoRA-training werden drie conditioneringsscenario’s bemonsterd met waarschijnlijkheden van 0,9, 0,05 en 0,05.

Het systeem werd geïmplementeerd met PyTorch en Diffusers, en het volledige trainingsproces duurde ongeveer tien dagen op 16 NVIDIA A100 GPU’s*.

ComfyUI-tests

De auteurs bouwden workflows in het ComfyUI syntheseprogramma om HyperLoRA te vergelijken met drie rivaliserende methoden: InstantID; de eerder genoemde IP-Adapter, in de vorm van het IP-Adapter-FaceID-Portrait framework; en het eerder genoemde PuLID. Consistente zaden, prompts en bemonsteringsmethoden werden gebruikt over alle frameworks.

De auteurs merken op dat adapter-gebaseerde (in plaats van LoRA-gebaseerde) methoden over het algemeen lagere Classifier-Free Guidance (CFG) schalen vereisen, terwijl LoRA (inclusief HyperLoRA) soepeler is in dit opzicht.

Dus, voor een eerlijke vergelijking, gebruikten de onderzoekers de open-source SDXL fine-tuned checkpoint-variant LEOSAM’s Hello World over alle tests. Voor kwantitatieve tests werd de Unsplash-50 beeldataset gebruikt.

Metrieken

Voor een trouwheidsbenchmark maten de auteurs de gezichtslijkenis met behulp van cosinusafstanden tussen CLIP-beeldembeddings (CLIP-I) en afzonderlijke identiteitsembeddings (ID Sim) geëxtraheerd via CurricularFace, een model dat niet tijdens de training werd gebruikt.

Elke methode genereerde vier hoge resolutie hoofdshots per identiteit in de testset, met resultaten die vervolgens werden gemiddeld.

Bewerkbaarheid werd beoordeeld door CLIP-I-scores te vergelijken tussen uitvoer met en zonder identiteitsmodules (om te zien hoeveel de identiteitsbeperkingen de afbeelding veranderden); en door CLIP-afbeelding-tekstuitlijning (CLIP-T) te meten over tien promptvariaties die hairstijlen, accessoires, kleding en achtergronden omvatten.

De auteurs hebben de Arc2Face foundation model opgenomen in de vergelijkingen – een baseline getraind op vaste onderschriften en gesneden gezichtsgebieden.

Voor HyperLoRA werden twee varianten getest: een die alleen het ID-LoRA-module gebruikte en een andere die zowel ID- als Base-LoRA gebruikte, met de laatste gewogen op 0,4. Terwijl Base-LoRA de trouw verbeterde, beperkte het enigszins de bewerkbaarheid.

Resultaten voor de initiële kwantitatieve vergelijking.

Van de kwantitatieve tests merken de auteurs op:

‘Base-LoRA helpt om de trouw te verbeteren, maar beperkt de bewerkbaarheid. Hoewel ons ontwerp de beeldfuncties in verschillende LoRA’s ontwart, is het moeilijk om wederzijdse lekken te voorkomen. Daarom kunnen we het gewicht van Base-LoRA aanpassen om verschillende toepassingsscenario’s te accommoderen.

‘Onze HyperLoRA (Full en ID) bereiken de beste en tweede beste gezichtstrouw, terwijl InstantID superioriteit toont in gezichts-ID-lijkenis, maar lagere gezichtstrouw.

‘Beide metrics moeten samen worden overwogen om de trouw te evalueren, aangezien de gezichts-ID-lijkenis meer abstract is en de gezichtstrouw meer details weerspiegelt.’

In kwalitatieve tests komen de verschillende trade-offs die inherent zijn aan de essentiële voorstelling naar voren (houd er rekening mee dat we geen ruimte hebben om alle afbeeldingen voor kwalitatieve resultaten te reproduceren en verwijzen de lezer naar het bronartikel voor meer afbeeldingen in betere resolutie):

Kwalitatieve vergelijking. Van boven naar beneden, de prompts die werden gebruikt waren: ‘witte shirt’ en ‘wolforen’ (zie artikel voor aanvullende voorbeelden).

Hier merken de auteurs op:

‘De huid van portretten gegenereerd door IP-Adapter en InstantID heeft een opvallende AI-gegenereerde textuur, die een beetje [oververzadigd] is en ver van fotorealisme.

‘Het is een veelvoorkomende tekortkoming van adapter-gebaseerde methoden. PuLID verbetert dit probleem door de intrusie in het basismodel te verzwakken, waardoor het IP-Adapter en InstantID overtreft, maar nog steeds lijdt aan vervaagde en ontbrekende details.

‘In tegenstelling tot LoRA, die de basismodelgewichten rechtstreeks modificeert in plaats van extra aandachtm-modules in te voeren, genereert LoRA over het algemeen hooggedetailleerde en fotorealistische beelden.’

De auteurs beweren dat, omdat HyperLoRA de basismodelgewichten rechtstreeks modificeert in plaats van te vertrouwen op externe aandachtm-modules, het de niet-lineaire capaciteit van traditionele LoRA-gebaseerde methoden behoudt, wat mogelijk een voordeel biedt in trouw en een verbeterde vastlegging van subtiele details zoals pupilkleur.

In kwalitatieve vergelijkingen beweert het artikel dat de lay-outs van HyperLoRA coherent waren en beter aansloten bij prompts, en vergelijkbaar waren met die gegenereerd door PuLID, terwijl ze opvallend sterker waren dan InstantID of IP-Adapter (die soms faalden om prompts te volgen of onnatuurlijke composities produceerden).

Verdere voorbeelden van ControlNet-generaties met HyperLoRA.

Conclusie

De constante stroom van verschillende one-shot-aanpassingssystemen in de afgelopen 18 maanden heeft nu een kwaliteit van wanhoop aangenomen. Slechts enkele van de aanbiedingen hebben een opvallende vooruitgang geboekt op de stand van de techniek; en die welke enige vooruitgang hebben geboekt, hebben exorbitante trainingsvereisten en/of extreem complexe of resource-intensieve inferentievereisten.

Terwijl HyperLoRA’s eigen trainingsregime even adembenemend is als veel recente soortgelijke inzendingen, eindigt men tenminste met een model dat ad hoc aanpassing uit de doos kan doen.

Uit het aanvullende materiaal van het artikel merken we op dat de inferentiesnelheid van HyperLoRA beter is dan IP-Adapter, maar slechter dan de twee andere voorgaande methoden – en dat deze cijfers zijn gebaseerd op een NVIDIA V100 GPU, die geen typische consumentenhardware is (hoewel nieuwere ‘huishoudelijke’ NVIDIA GPU’s het maximum van 32 GB VRAM van de V100 kunnen evenaren of overtreffen).

De inferentiesnelheden van concurrerende methoden, in milliseconden.

Het is redelijk om te zeggen dat zero-shot-aanpassing nog steeds een onopgelost probleem is vanuit een praktisch oogpunt, aangezien HyperLoRA’s significante hardwarevereisten mogelijk in strijd zijn met zijn vermogen om een echt langetermijn enkel foundation model te produceren.

* Vertegenwoordigend 640 GB of 1280 GB VRAM, afhankelijk van welk model werd gebruikt (dit is niet gespecificeerd)

Eerst gepubliceerd op maandag 24 maart 2025