Kampen för nollskottanpassning i generativ AI

Om du vill placera dig själv i ett populärt bild- eller videogenereringsverktyg, men du är inte redan tillräckligt känd för att grundmodellen ska känna igen dig, måste du träna en low-rank adaptation (LoRA) -modell med hjälp av en samling av dina egna foton. När denna personliga LoRA-modell väl är skapad, tillåter den generativa modellen att inkludera din identitet i framtida utdata.

Detta kallas vanligtvis anpassning inom bild- och videosyntesforskningen. Det dök upp för första gången några månader efter att Stable Diffusion lanserades sommaren 2022, med Google Researchs DreamBooth -projekt som erbjöd högkvalitativa anpassningsmodeller i ett slutet schema som snabbt anpassades av entusiaster och släpptes till samhället.

LoRA-modeller följde snabbt efter och erbjöd enklare träning och mycket mindre filstorlekar, med minimal eller ingen kvalitetsförlust, och dominerade snabbt anpassningsscenen för Stable Diffusion och dess efterföljare, senare modeller som Flux, och nu även nya generativa videomodeller som Hunyuan Video och Wan 2.1.

Upprepa och rinna

Problemet är att, som vi tidigare har noterat, att varje gång en ny modell släpps, behöver den en ny generation av LoRAs för att tränas, vilket representerar betydande friktion för LoRA-tillverkare, som kan träna en rad anpassade modeller, bara för att upptäcka att en modelluppdatering eller en populärare modell innebär att de måste börja om från början.

Därför har nollskottanpassningsmetoder blivit en stark trend i litteraturen på senare tid. I detta scenario behöver du inte curera en dataset och träna din egen submodell, utan du tillhandahåller helt enkelt en eller flera foton av den person som ska injiceras i generationen, och systemet tolkar dessa ingångskällor till en blandad utdata.

Nedan ser vi att, förutom ansiktsutbyte, ett system av denna typ (här med PuLID ) också kan införa ID-värden i stilöverföring:

Exempel på ansikts-ID-överföring med PuLID-systemet. Källa: https://github.com/ToTheBeginning/PuLID?tab=readme-ov-file

Medan det att ersätta ett arbetsintensivt och skört system som LoRA med en generisk adapter är en bra (och populär) idé, är det också utmanande; den extrema uppmärksamheten på detaljer och täckning som erhålls i LoRA-träningsprocessen är mycket svår att imitera i en engångs- IP-Adapter -liknande modell, som måste matcha LoRAs nivå av detaljer och flexibilitet utan den tidigare fördelen av att analysera en omfattande uppsättning identitetsbilder.

HyperLoRA

Med detta i åtanke finns det ett intressant nytt papper från ByteDance som föreslår ett system som genererar faktisk LoRA-kod på plats, vilket för närvarande är unikt bland nollskottlösningar:

Till vänster, ingångsbilder. Till höger, en flexibel mängd utdata baserat på källbilderna, vilket effektivt producerar deepfakes av skådespelarna Anthony Hopkins och Anne Hathaway.

Papperet anger:

‘Adapterbaserade tekniker som IP-Adapter fryser grundmodellens parametrar och använder en plug-in-arkitektur för att möjliggöra nollskottsinferens, men de visar ofta brist på naturlighet och äkthet, som inte kan försummas i porträttsyntesuppgifter.

‘[Vi] introducerar en parameter-effektiv adaptiv generationsmetod, nämligen HyperLoRA, som använder en adaptiv plug-in-nätverk för att generera LoRA-vikter, och förenar LoRAs överlägsna prestanda med nollskottsförmågan hos adapterschemat.

‘Genom vår noggrant utformade nätverksstruktur och träningsstrategi uppnår vi nollskottspersonlig porträttsyntes (som stöder både enkel och flera bildinmatningar) med hög fotorealism, trohet och redigerbarhet.’

Detta är mest användbart, eftersom systemet, som tränats, kan användas med befintlig ControlNet, vilket möjliggör en hög nivå av specificitet vid generering:

Timothy Chalomet gör ett oväntat glatt framträdande i “The Shining” (1980), baserat på tre ingångsfoton i HyperLoRA, med en ControlNet-mask som definierar utdata (i koncert med en textprompt).

Såsom om den nya systemet någonsin kommer att göras tillgängligt för slutanvändare, har ByteDance en rimlig historia på detta område, med tanke på att de släppt den mycket kraftfulla LatentSync -lipsynkroniseringsramverk, och precis släppt InfiniteYou -ramverket.

Negativt sett ger papperet ingen indikation på en avsikt att släppa, och de träningsresurser som behövs för att återskapa arbetet är så överdrivna att det skulle vara utmanande för entusiastgemenskapen att återskapa (som de gjorde med DreamBooth).

Papperet nytt papper heter HyperLoRA: Parameter-Efficient Adaptive Generation for Portrait Synthesis, och kommer från sju forskare på ByteDance och ByteDance dedikerade Intelligent Creation-avdelning.

Metod

Den nya metoden använder den stabila diffusion latent diffusion-modellen (LDM) SDXL som grundmodell, även om principerna verkar tillämpliga på diffusionsmodeller i allmänhet (även om träningskraven – se nedan – kan göra det svårt att tillämpa på generativa videomodeller).

Träningsprocessen för HyperLoRA delas in i tre faser, var och en utformad för att isolera och bevara specifik information i de lärda vikterna. Syftet med denna ringfästa procedur är att förhindra att identitetsrelaterade funktioner förorenas av irrelevanta element, såsom kläder eller bakgrund, samtidigt som man uppnår snabb och stabil konvergens.

Konceptuell schema för HyperLoRA. Modellen delas in i ‘Hyper ID-LoRA’ för identitetsfunktioner och ‘Hyper Base-LoRA’ för bakgrund och kläder. Denna separation minskar funktionläckage. Under träningsprocessen är SDXL-basen och encoder frozen, och endast HyperLoRA-moduler uppdateras. Vid inferens krävs endast ID-LoRA för att generera personliga bilder.

Den första fasen fokuserar helt på att lära en ‘Base-LoRA’ (nedre vänster i schemabilden ovan), som fångar identitetsirrelevanta detaljer.

För att påtvinga denna separation, låt forskarna medvetet suddiga ut ansiktet i träningsbilderna, vilket tillåter modellen att fokusera på saker som bakgrund, belysning och pose – men inte identitet. Denna “uppvärmningsfas” fungerar som en filter, som tar bort lågnivådistraktioner innan identitetsspecifik inlärning börjar.

I den andra fasen introduceras en ‘ID-LoRA’ (övre vänster i schemabilden ovan). Här kodas ansiktsidentitet med hjälp av två parallella vägar: en CLIP Vision Transformer (CLIP ViT ) för strukturfunktioner och InsightFace AntelopeV2-encoder för mer abstrakta identitetsrepresentationer.

Övergångsmetod

CLIP-funktioner hjälper modellen att konvergera snabbt, men riskerar överanpassning, medan Antelope-inbäddningar är mer stabila men långsammare att träna. Därför börjar systemet med att förlita sig mer på CLIP, och fasar sedan in Antelope, för att undvika instabilitet.

I den sista fasen är CLIP-styrda uppmärksamhetslager frozen helt. Endast AntelopeV2-länkade uppmärksamhetsmoduler fortsätter att träna, vilket tillåter modellen att förbättra identitetsskydd utan att försämra troheten eller allmänheten för tidigare inlärda komponenter.

Denna fasade struktur är i princip ett försök till disentanglement. Identitets- och icke-identitetsfunktioner separeras först, och sedan förfinas oberoende. Det är en metodisk respons på de vanliga felmoderna för personanpassning: identitetsdrift, låg redigerbarhet och överanpassning till tillfälliga funktioner.

Medan du väger

Efter att CLIP ViT och AntelopeV2 har extraherat både strukturfunktioner och identitetsspecifika funktioner från ett givet porträtt, skickas de erhållna funktionerna till en perceiver-omprover (hämtad från det ovannämnda IP-Adapter-projektet) – en transformerbaserad modul som kartar funktionerna till en kompakt uppsättning koefficienter.

Två separata omprovare används: en för att generera Base-LoRA-vikter (som kodar bakgrund och icke-identitetsfunktioner) och en för ID-LoRA-vikter (som fokuserar på ansiktsidentitet).

Schema för HyperLoRA-nätverket.

Utdatakoefficienterna kombineras sedan linjärt med en uppsättning inlärda LoRA-basmatriser, vilket producerar fullständiga LoRA-vikter utan att behöva finjustera grundmodellen.

Denna metod tillåter systemet att generera personliga vikter helt på plats, med hjälp av endast bildencoder och lätt projicering, samtidigt som det utnyttjar LoRAs förmåga att modifiera grundmodellens beteende direkt.

Data och tester

För att träna HyperLoRA använde forskarna en undermängd av 4,4 miljoner ansiktsbilder från LAION-2B -dataseten (nu mest känd som datakällan för de ursprungliga 2022 Stable Diffusion-modellerna).

InsightFace användes för att filtrera bort icke-porträttansikten och flera bilder. Bilderna annoterades sedan med BLIP-2 -bildtextsystemet.

I fråga om dataförstärkning, beskars bilderna slumpmässigt runt ansiktet, men fokuserade alltid på ansiktsområdet.

Respektive LoRA-rang behövde anpassa sig till den tillgängliga minnet i träningsuppsättningen. Därför ställdes LoRA-rangen för ID-LoRA till 8, och rangen för Base-LoRA till 4, medan åtta steg gradientackumulering användes för att simulera en större batchstorlek än vad som faktiskt var möjligt på hårdvaran.

Forskarna tränade Base-LoRA-, ID-LoRA- (CLIP) – och ID-LoRA- (identitetsinbäddning) -modulerna sekventiellt i 20 000, 15 000 respektive 55 000 iterationer. Under ID-LoRA-träning sampades från tre villkors scenarier med sannolikheterna 0,9, 0,05 och 0,05.

Systemet implementerades med PyTorch och Diffusers, och hela träningsprocessen tog cirka tio dagar på 16 NVIDIA A100 GPU: er *.

ComfyUI-tester

Författarna byggde arbetsflöden i ComfyUI -syntesplattformen för att jämföra HyperLoRA med tre rivaliserande metoder: InstantID; den ovannämnda IP-Adapter, i form av IP-Adapter-FaceID-Porträtt -ramverket; och det ovannämnda PuLID. Konsekventa frön, prompts och sampelmetoder användes över alla ramverk.

Författarna noterar att adapterbaserade (snarare än LoRA-baserade) metoder vanligtvis kräver lägre klassificeringsfri vägledning (CFG) skalor, medan LoRA (inklusive HyperLoRA) är mer tillåtande i detta avseende.

Så för en rättvis jämförelse använde forskarna den öppna källkoden SDXL finjusterad checkpoint-variant LEOSAMs Hello World över testerna. För kvantitativa tester användes Unsplash-50 -bildatasetet.

Mätvärden

För en trohetsmätning mätte författarna ansiktslikhet med hjälp av kosinusavstånd mellan CLIP-bildinbäddningar (CLIP-I) och separata identitetsinbäddningar (ID Sim) extraherade via CurricularFace, en modell som inte användes under träningsprocessen.

Varje metod genererade fyra högupplösta huvudbilder per identitet i testuppsättningen, med resultat som sedan genomsnittades.

Redigerbarhet bedömdes både genom att jämföra CLIP-I-poäng mellan utdata med och utan identitetsmodulerna (för att se hur mycket identitetsbegränsningarna förändrade bilden); och genom att mäta CLIP-bild-text-alignment (CLIP-T) över tio promptvarianter som täckte hårstilar, tillbehör, kläder och bakgrund.

Författarna inkluderade Arc2Face -grundmodellen i jämförelserna – en baslinje som tränades på fasta undertexter och beskurna ansiktsområden.

För HyperLoRA testades två varianter: en som använde endast ID-LoRA-modulen, och en som använde både ID- och Base-LoRA, med den senare viktade vid 0,4. Medan Base-LoRA förbättrade troheten, begränsade den något redigerbarheten.

Resultat för den initiala kvantitativa jämförelsen.

Av de kvantitativa testerna kommenterar författarna:

‘Base-LoRA hjälper till att förbättra troheten, men begränsar redigerbarheten. Även om vår design avkopplar bildfunktionerna till olika LoRAs, är det svårt att undvika läckage. Så vi kan justera Base-LoRA-vikt för att anpassa till olika tillämpningsscenarier.

‘Vår HyperLoRA (Full och ID) uppnår den bästa och den näst bästa ansiktslikheten, medan InstantID visar överlägsenhet i ansikts-ID-likhet, men lägre ansiktslikhet.

‘Båda dessa mätvärden bör beaktas tillsammans för att utvärdera troheten, eftersom ansikts-ID-likheten är mer abstrakt och ansiktslikhet reflekterar mer detaljer.’

I kvalitativa tester kommer de olika kompromisser som är involverade i den väsentliga propositionen till uttryck ( Observera att vi inte har utrymme att återge alla bilder för kvalitativa resultat, och hänvisar läsaren till källpapperet för fler bilder i bättre upplösning):

Kvalitativ jämförelse. Från topp till botten, de prompts som användes var: ‘vit skjorta’ och ‘vargöron’ (se papper för ytterligare exempel).

Här kommenterar författarna:

‘Huden på porträtten som genereras av IP-Adapter och InstantID har en uppenbar AI-genererad textur, som är lite [övermättad] och långt ifrån fotorealism.

‘Det är en vanlig svaghet hos adapterbaserade metoder. PuLID förbättrar detta problem genom att försvaga intrången i grundmodellen, och överträffar IP-Adapter och InstantID, men lider fortfarande av suddighet och brist på detaljer.

‘I kontrast till detta modifierar LoRA direkt grundmodellens vikter, istället för att införa extra uppmärksamhetsmoduler, vanligtvis genererar högdetaljerade och fotorealistiska bilder.’

Författarna hävdar att eftersom HyperLoRA modifierar grundmodellens vikter direkt, istället för att förlita sig på externa uppmärksamhetsmoduler, behåller den den icke-linjära kapaciteten hos traditionella LoRA-baserade metoder, vilket potentiellt erbjuder en fördel i trohet och tillåter en förbättrad fångst av subtila detaljer, såsom pupillfärg.

I kvalitativa jämförelser hävdar papperet att HyperLoRAs layouter var mer sammanhängande och bättre anpassade till prompts, och liknande dem som producerades av PuLID, medan de var betydligt starkare än InstantID eller IP-Adapter (som ibland misslyckades med att följa prompts eller producerade onaturliga kompositioner).

Ytterligare exempel på ControlNet-generationer med HyperLoRA.

Slutsats

Den konsekventa strömmen av olika nollskottanpassningssystem under de senaste 18 månaderna har, vid det här laget, tagit på sig en desperationens karaktär. Mycket få av erbjudandena har gjort en betydande framsteg i tillståndet för konsten; och de som har framskridit en aning tenderar att ha överdrivna träningskrav och/eller extremt komplexa eller resurskrävande inferenskrav.

Medan HyperLoRAs eget träningsregim är lika andningsbesparande som många senaste liknande insatser, är det åtminstone möjligt att sluta med en modell som kan hantera ad hoc -anpassning direkt.

Från papperets supplementära material noterar vi att HyperLoRAs inferenshastighet är bättre än IP-Adapter, men sämre än de två andra tidigare metoderna – och att dessa siffror baseras på en NVIDIA V100 GPU, som inte är typisk konsumenthårdvara (även om nyare ‘hemma’ NVIDIA GPU: er kan matcha eller överträffa V100: s maximala 32 GB VRAM).

Inferenshastigheterna för rivaliserande metoder, i millisekunder.

Det är rimligt att säga att nollskottanpassning fortfarande är ett olöst problem från ett praktiskt perspektiv, eftersom HyperLoRAs betydande maskinvarukrav är förenliga med dess förmåga att producera en verkligt långsiktig enda grundmodell.

* Representerar antingen 640 GB eller 1280 GB VRAM, beroende på vilken modell som användes (detta specificeras inte)

Publicerad första gången måndagen den 24 mars 2025