Kampen for Zero-Shot-Tilpasning i Generativ AI

Hvis du ønsker at indsætte dig selv i et populært billede eller video-genereringsværktøj, men du er ikke allerede berømt nok til, at grundmodellen kan genkende dig, skal du træne en lav-rang-adaptionsmodel (LoRA) ved hjælp af en samling af dine egne fotos. Når denne personlige LoRA-model er oprettet, kan den generative model herefter inkludere din identitet i fremtidige output.

Dette kaldes normalt tilpasning i billed- og videosynteseforskningen. Det opstod først få måneder efter introduktionen af Stable Diffusion i sommeren 2022, hvor Google Research’s DreamBooth-projekt tilbød høj-gigabyte-tilpasningsmodeller i en lukket kildekode, som hurtigt blev tilpasset af entusiaster og udgivet til fællesskabet.

LoRA-modellerne fulgte hurtigt efter og tilbød lettrænede og langt lettere filstørrelser, med minimal eller ingen kvalitets-tab, og dominerede hurtigt tilpasningsscenen for Stable Diffusion og dens efterfølgere, senere modeller som Flux og nu nye generative videomodeller som Hunyuan Video og Wan 2.1.

Gentag og Gentag

Problemet er, som vi tidligere har nævnt, at hver gang en ny model kommer ud, kræver den en ny generation af LoRAs, der skal trænes, hvilket repræsenterer en betydelig friktion for LoRA-producenter, der måske træner en række brugertilpassede modeller, kun for at opdage, at en modelopdatering eller en populær ny model betyder, at de skal starte forfra igen.

Derfor er zero-shot-tilpasningsmetoder blevet en stærk strømning i litteraturen for nylig. I dette scenarie behøver man ikke at kuraterer en dataset og træne sin egen undermodel, men kan i stedet blot tilføje ét eller flere billeder af den person, der skal indsættes i generationen, og systemet fortolker disse inputkilder til en blandet output.

Nedenfor ser vi, at ud over ansigtsskift, kan et system af denne type (her med PuLID) også inkorporere ID-værdier i stiloverføring:

Eksempler på ansigt-ID-overføring ved hjælp af PuLID-systemet. Kilde: https://github.com/ToTheBeginning/PuLID?tab=readme-ov-file

Mens erstattelse af et arbejdskrævende og skrøbeligt system som LoRA med en generisk adapter er en god (og populær) idé, er det også en udfordring; den ekstreme opmærksomhed på detaljer og dækning, der opnås i LoRA-træningsprocessen, er meget svær at imitere i en enkelt-skud-IP-Adapter-lignende model, der skal matche LoRAs niveau af detaljer og fleksibilitet uden den fordel, der kommer af at analysere en omfattende samling af identitetsbilleder.

HyperLoRA

Med dette i mente er der en interessant ny artikel fra ByteDance, der foreslår et system, der genererer faktiske LoRA-kode på-the-fly, hvilket i øjeblikket er unikt blandt zero-shot-løsninger:

Til venstre, inputbilleder. Til højre for det, en fleksibel række af output baseret på kildebillederne, hvilket effektivt producerer deepfakes af skuespillerne Anthony Hopkins og Anne Hathaway. Kilde: https://arxiv.org/pdf/2503.16944

Artiklen fastslår:

‘Adapter-baserede teknikker som IP-Adapter fryser grundmodellens parametre og anvender en plug-in-arkitektur til at aktivere zero-shot-inferens, men de viser ofte en mangel på naturlighed og autenticitet, som ikke kan oversees i portrætsynteseopgaver.

‘[Vi] introducerer en parameter-effektiv adaptiv generationsmetode kaldet HyperLoRA, der anvender en adaptiv plug-in-netværk til at generere LoRA-vægte, der kombinerer den overlegne præstation af LoRA med zero-shot-kapaciteten af adapter-skemaet.

‘Gennem vores omhyggeligt designede netværksstruktur og træningsstrategi opnår vi zero-shot-personlig portrætgengivelse (der understøtter både enkelt- og flerbillede-input) med høj fotorealisme, trofasthed og redigérbarhed.’

Det mest nyttige er, at systemet, som det er trænet, kan anvendes med eksisterende ControlNet, hvilket giver en høj grad af specifikation i generationen:

Timothy Chalomet optræder uventet glad i ‘The Shining’ (1980), baseret på tre inputbilleder i HyperLoRA, med en ControlNet-maske, der definerer outputtet (i koncert med en tekstprompt).

Som for, om det nye system nogensinde vil blive tilgængeligt for slutbrugere, har ByteDance en rimelig god track-record på dette punkt, idet de har udgivet den meget kraftfulde LatentSync-lipsync-ramme og lige netop udgivet InfiniteYou-rammen.

Negativt set giver artiklen ingen indikation af en intention om at udgive, og de træningsressourcer, der er nødvendige for at genskabe arbejdet, er så ekstreme, at det ville være en udfordring for entusiast-samfundet at genskabe (som de gjorde med DreamBooth).

Den nye artikel er tituleret HyperLoRA: Parameter-Effektiv Adaptiv Generation til Portrætsyntese og kommer fra syv forskere fra ByteDance og ByteDance’s dedikerede Intelligent Creation-afdeling.

Metode

Den nye metode anvender den stabile diffusion latent diffusion model (LDM) SDXL som grundmodellen, selvom principperne synes anvendelige på diffusion-modeller i almindelighed (dog kan træningskravene – se nedenfor – gøre det svært at anvende på generative videomodeller).

Træningsprocessen for HyperLoRA er inddelt i tre faser, hver designet til at isolere og bevare bestemte oplysninger i de lærte vægte. Formålet med denne ring-fencede procedure er at forhindre, at identitets-relevante funktioner forurenes af irrelevante elementer som tøj eller baggrund, samtidig med at man opnår hurtig og stabil konvergens.

Konceptuel skema for HyperLoRA. Modellen er inddelt i ‘Hyper ID-LoRA’ for identitetsfunktioner og ‘Hyper Base-LoRA’ for baggrund og tøj. Denne adskillelse reducerer funktion-lækage. Under træning er SDXL-basen og encoderne frosset, og kun HyperLoRA-modulerne opdateres. Ved inferens er kun ID-LoRA nødvendig for at generere personlige billeder.

Den første fase fokuserer udelukkende på at lære en ‘Base-LoRA’ (nederst til venstre i skemaet ovenfor), der fanger identitets-irrelevante detaljer.

For at gennemtvinge denne adskillelse blurrede forskerne bevidst ansigtet i træningsbillederne, hvilket tillod modellen at fokusere på ting som baggrund, lys og holdning – men ikke identitet. Denne ‘opvarmings’-fase fungerer som en filter, der fjerner lav-niveaudistraktioner, før identitets-specifik læring begynder.

I den anden fase introduceres en ‘ID-LoRA’ (øverst til venstre i skemaet ovenfor). Her kodificeres ansigtets identitet ved hjælp af to parallelle vejbaner: en CLIP Vision Transformer (CLIP ViT) til struktur-funktioner og InsightFace AntelopeV2-encoderen til mere abstrakte identitets-repræsentationer.

Overgangs-tilgang

CLIP-funktioner hjælper modellen med at konvergere hurtigt, men risikerer over-tilpasning, hvorimod Antelope-indsatser er mere stabile, men langsommere at træne. Derfor begynder systemet med at stole mere på CLIP og fase-rigtigt indfører Antelope, for at undgå ustabilitet.

I den endelige fase er CLIP-styret opmærksomheds-lagrene frosset fuldstændigt. Kun de AntelopeV2-koblede opmærksomheds-moduler fortsætter med at træne, hvilket tillader modellen at forfine identitets-bevarelse uden at forringe trofastheden eller generaliteten af tidligere lærte komponenter.

Dette faserede struktur er essentielt et forsøg på adskillelse. Identitets- og ikke-identitets-funktioner adskilles først og derefter forfinet uafhængigt. Det er en metodisk respons på de typiske fejltilfælde ved personliggørelse: identitets-drift, lav redigérbarhed og over-tilpasning til tilfældige funktioner.

Mens du Væger

Efter at CLIP ViT og AntelopeV2 har udtrukket både struktur- og identitets-specifikke funktioner fra et givet portræt, passerer de opnåede funktioner herefter gennem en perceiver-resampler (hentet fra ovennævnte IP-Adapter-projekt) – en transformer-baseret modul, der kortlægger funktionerne til en kompakt sæt af koefficienter.

To separate resamplere anvendes: en til generering af Base-LoRA-vægte (der kodificerer baggrund og ikke-identitets-elementer) og en til ID-LoRA-vægte (der fokuserer på ansigtets identitet).

Skema for HyperLoRA-netværket.

Udgangskoefficienterne kombineres herefter lineært med en sæt af lærte LoRA-basismatricer, hvilket producerer fulde LoRA-vægte uden behov for at fine-tune grundmodellen.

Denne tilgang tillader systemet at generere personlige vægte fuldstændigt på-the-fly, ved hjælp af kun billed-encoder og let projection, samtidig med at det udnytter LoRAs evne til at ændre grundmodellens adfærd direkte.

Data og Tests

For at træne HyperLoRA anvendte forskerne en undermængde af 4,4 millioner ansigtbilleder fra LAION-2B-datasettet (nu bedst kendt som datakilden for de originale 2022 Stable Diffusion-modeller).

InsightFace blev anvendt til at filtrere ud ikke-portræt-ansigter og multiple billeder. Billederne blev herefter annoteret med BLIP-2-kaptionsystemet.

I forhold til data-forstærkning blev billederne tilfældigt beskåret omkring ansigtet, men altid fokuseret på ansigtets område.

De respektive LoRA-ranger skulle tilpasse sig til den tilgængelige hukommelse i træningssætningen. Derfor blev LoRA-rangen for ID-LoRA sat til 8, og rangen for Base-LoRA til 4, mens otte-trins gradient-akkumulation blev anvendt for at simulere en større batch-størrelse end det, der faktisk var muligt på hardwaren.

Forskerne trænede Base-LoRA-, ID-LoRA- (CLIP) og ID-LoRA- (identitets-embedding) modulerne sekventielt i 20.000, 15.000 og 55.000 iterationer, henholdsvis. Under ID-LoRA-træning blev der samplet fra tre betingelsesscenarier med sandsynligheder på 0,9, 0,05 og 0,05.

Systemet blev implementeret ved hjælp af PyTorch og Diffusers, og den fulde træningsproces kørte i cirka ti dage på 16 NVIDIA A100 GPU’er*.

ComfyUI-Tests

Forfatterne byggede workflows i ComfyUI-syntese-platformen for at sammenligne HyperLoRA med tre rivaliserende metoder: InstantID; den ovennævnte IP-Adapter i form af IP-Adapter-FaceID-Portrait-rammen; og den ovennævnte PuLID. Konsistente frø, prompts og sampling-metoder blev anvendt på tværs af alle rammer.

Forfatterne bemærker, at adapter-baserede (i modsætning til LoRA-baserede) metoder generelt kræver lavere Classifier-Free Guidance (CFG) skalaer, hvorimod LoRA (herunder HyperLoRA) er mere tilladt på dette punkt.

Derfor anvendte forskerne den open-source SDXL fine-tuned checkpoint-variant LEOSAM’s Hello World på tværs af testene. For kvantitative tests blev Unsplash-50-billed-datasettet anvendt.

Metrikker

For en trofastheds-benchmark målte forfatterne ansigt-lighed ved hjælp af cosinus-afstande mellem CLIP-billed-embedding (CLIP-I) og separate identitets-embedding (ID Sim) udtrukket via CurricularFace, en model, der ikke blev anvendt under træning.

Hver metode genererede fire højopløsnings-hovedbilleder per identitet i test-sættet, med resultaterne herefter gennemsnitlige.

Redigérbarheden blev vurderet både ved at sammenligne CLIP-I-scores mellem output med og uden identitets-modulerne (for at se, hvor meget identitets-begrænsningerne ændrede billedet); og ved at måle CLIP-billed-tekst-alignment (CLIP-T) på tværs af ti prompt-varianter, der dækkede frisurer, tilbehør, tøj og baggrund.

Forfatterne inkluderede Arc2Face-grundmodellen i sammenligningerne – en baseline, der blev trænet på faste kaptions og beskårne ansigt-områder.

For HyperLoRA blev to varianter testet: en, der kun anvendte ID-LoRA-modulen, og en anden, der anvendte både ID- og Base-LoRA, med sidstnævnte vægtet til 0,4. Mens Base-LoRA forbedrede trofastheden, begrænsede det lidt redigérbarheden.

Resultater for den første kvantitative sammenligning.

Af de kvantitative tests bemærker forfatterne:

‘Base-LoRA hjælper med at forbedre trofastheden, men begrænser redigérbarheden. Selvom vores design adskiller billed-funktioner i separate LoRAs, er det svært at undgå, at de lækker indbyrdes. Derfor kan vi justere Base-LoRAs vægt for at tilpasse os til forskellige anvendelsesscenarier.

‘Vores HyperLoRA (Full og ID) opnår den bedste og andenbedste ansigt-trofasthed, mens InstantID viser overlegen ansigt-ID-lighed, men lavere ansigt-trofasthed.

‘Begge disse metrikker skal vurderes sammen for at evaluere trofastheden, da ansigt-ID-ligheden er mere abstrakt og ansigt-trofastheden reflekterer mere detaljer.’

I kvalitative tests kommer de væsentlige kompromiser, der er involveret i den essentielle proposition, til syne (venligst bemærk, at vi ikke har plads til at genskabe alle billederne for kvalitative resultater, og henviser læseren til kilde-artiklen for flere billeder i bedre opløsning):

Kvalitativ sammenligning. Fra top til bund, var prompterne, der blev anvendt: ‘hvid skjorte’ og ‘ulve-ører’ (se artiklen for yderligere eksempler).

Her bemærker forfatterne:

‘Huden på portrætter, der er genereret af IP-Adapter og InstantID, har en åbenlyst AI-genereret tekstur, der er lidt [for mættet] og langt fra fotorealisme.

‘Det er en almindelig svaghed ved adapter-baserede metoder. PuLID forbedrer dette problem ved at svække indtrængen i grundmodellen, overgår IP-Adapter og InstantID, men lider stadig af uklarhed og mangel på detaljer.

‘I modsætning hertil ændrer LoRA direkte grundmodellens vægte i stedet for at introducere ekstra opmærksomheds-moduler, hvilket normalt producerer højdetaljerede og fotorealistiske billeder.’

Forfatterne hævder, at da HyperLoRA ændrer grundmodellens vægte direkte i stedet for at stole på eksterne opmærksomheds-moduler, beholder det den ikke-lineære kapacitet af traditionelle LoRA-baserede metoder, hvilket potentielt giver en fordel i trofasthed og tillader en bedre optagelse af subtile detaljer som pupillens farve.

I kvalitative sammenligninger hævder artiklen, at HyperLoRAs layout var mere koherent og bedre tilpasset prompterne, og lignende dem, der blev produceret af PuLID, mens de var bemærkelsesværdigt bedre end InstantID eller IP-Adapter (der af og til ikke kunne følge prompterne eller producerede unaturlige kompositioner).

Yderligere eksempler på ControlNet-genereringer med HyperLoRA.

Konklusion

Den konstante strøm af forskellige one-shot-tilpasnings-systemer over de sidste 18 måneder har, på dette tidspunkt, antaget en kvalitet af desperation. Kun få af tilbudene har gjort en bemærkelsesværdig fremgang på tilstanden; og de, der har fremgang, har ofte ekstreme træningskrav og/eller meget komplekse eller ressource-krævende inferens-krav.

Mens HyperLoRAs egen træningsregime er lige så åndeløst som mange andre lignende indgange, ender man i det mindste med en model, der kan håndtere ad hoc-tilpasning ud af boksen.

Fra artiklens supplerende materiale bemærker vi, at HyperLoRAs inferens-hastighed er bedre end IP-Adapters, men dårligere end de to andre tidligere metoder – og at disse tal er baseret på en NVIDIA V100 GPU, der ikke er typisk forbruger-hardware (dog kan nyere ‘domestiske’ NVIDIA-GPU’er matche eller overgå V100’s maksimale 32 GB VRAM).

Inferens-hastigheder for konkurrerende metoder, i millisekunder.

Det er rimeligt at sige, at zero-shot-tilpasning stadig er et uløst problem fra et praktisk synspunkt, da HyperLoRAs betydelige hardware-krav kan siges at være i modsætning til dets evne til at producere en sandt lang-sigtet enkelt grund-model.

* Repræsenterer enten 640 GB eller 1280 GB VRAM, afhængigt af hvilken model der blev anvendt (dette er ikke specificeret)

Først udgivet mandag, 24. marts 2025