Kampen for nullskuddtilpasning i generativ AI

Hvis du ønsker å plassere deg selv i et populært bilde eller video generering verktøy – men du er ikke allerede berømt nok til at grunnmodellen skal kunne gjenkjenne deg – må du trene en lav-rangtilpasning (LoRA) modell ved hjelp av en samling av dine egne bilder. Når denne personlige LoRA-modellen er opprettet, tillater den generative modellen å inkludere din identitet i fremtidige utdata.

Dette kalles vanligvis tilpasning i bilde- og videosynteseforskning. Det oppsto først noen måneder etter introduksjonen av Stable Diffusion sommeren 2022, med Google Researchs DreamBooth-prosjekt som tilbød høy-gigabyte tilpasningsmodeller i en lukket kildekode som raskt ble tilpasset av entusiaster og utgitt til samfunnet.

LoRA-modeller fulgte raskt etter og tilbød enklere trening og mye lettere filstørrelser, med minimal eller ingen kvalitetsTap, og dominerte raskt tilpasningsscenen for Stable Diffusion og dens etterfølgere, senere modeller som Flux, og nå nye generative videomodeller som Hunyuan Video og Wan 2.1.

Rens og gjenta

Problemet er, som vi har notert før, at hver gang en ny modell kommer ut, må en ny generasjon av LoRAs trenes, noe som representerer betydelig friksjon på LoRA-produsentene, som kan trenere en rekke tilpassede modeller bare for å finne ut at en modelloppdatering eller en populær ny modell betyr at de må starte på nytt.

Derfor har nullskuddtilpasningsmetoder blitt en sterk stråle i litteraturen nylig. I denne scenariet, i stedet for å trenere en egen undermodell, kan du bare levere ett eller flere bilder av subjektet som skal injiseres i genereringen, og systemet tolker disse inndatakildene til en blandet utgang.

Nedenfor ser vi at, foruten ansiktsskifte, et system av denne typen (her ved hjelp av PuLID) også kan inkorporere ID-verdier i stiloverføring:

Eksempler på ansikt-ID-overføring ved hjelp av PuLID-systemet. Kilde: https://github.com/ToTheBeginning/PuLID?tab=readme-ov-file

Mens erstattning av en arbeidskrevende og skjør system som LoRA med en generisk adapter er en god (og populær) idé, er det også utfordrende; den ekstreme oppmerksomheten til detaljer og dekning som oppnås i LoRA-treningsprosessen er svært vanskelig å etterligne i en enkelt-skudd-modell, som må matche LoRAs nivå av detaljer og fleksibilitet uten den tidligere fordelen av å analysere en omfattende sett av identitetsbilder.

HyperLoRA

Med dette i mente, er det et interessant nytt papir fra ByteDance som foreslår et system som genererer faktiske LoRA-kode på fly, som for øyeblikket er unikt blant nullskuddløsninger:

Til venstre, inndata-bilder. Til høyre for det, en fleksibel rekke av utdata basert på kildebildene, effektivt produserer deepfakes av skuespillerne Anthony Hopkins og Anne Hathaway. Kilde: https://arxiv.org/pdf/2503.16944

Papiret sier:

‘Adapter-baserte teknikker som IP-Adapter fryser grunnmodellens parametre og anvender en plug-in-arkitektur for å aktivere nullskudd-inferens, men de viser ofte en mangel på naturalitet og autentisitet, som ikke kan oversees i portrett-synteseoppgaver.

‘[Vi] introduserer en parameter-efektiv adaptiv genereringsmetode kalt HyperLoRA, som anvender en adaptiv plug-in-nettverk for å generere LoRA-vektorer, som kombinerer den overlegne ytelsen til LoRA med nullskudd-egenskapene til adapter-skjemaet.

‘Gjennom vår nøye designede nettverksstruktur og treningsstrategi, oppnår vi nullskudd-personlig portrettgenerering (som støtter både enkelt- og flerbilde-inndata) med høy fotorealistisk, trofasthet og redigerbarhet.’

Det mest nyttige er at systemet, som er trenet, kan brukes med eksisterende ControlNet, og muliggjør en høy grad av spesifisitet i generering:

Timothy Chalomet gjør en uventet glad opptreden i ‘The Shining’ (1980), basert på tre inndata-bilder i HyperLoRA, med en ControlNet-maske som definerer utgangen (i koncert med en tekstprompt).

Som om den nye modellen noen gang vil bli gjort tilgjengelig for sluttbrukere, har ByteDance en rimelig rekord i denne sammenhengen, og har utgitt den svært kraftfulle LatentSync-rammeverk for lip-syncing, og har nettopp utgitt også InfiniteYou-rammeverket.

Negativt, gir papiret ingen indikasjon på en intensjon om å utgi, og treningsressursene som trengs for å gjenskape arbeidet er så ekstreme at det ville være utfordrende for entusiast-samfunnet å gjenskape (som det gjorde med DreamBooth).

Det nye papiret er tittelen HyperLoRA: Parameter-Effektiv Adaptiv Generering for Portrett-Syntese, og kommer fra syv forskere over ByteDance og ByteDances dedikerte Intelligent Creation-avdeling.

Metode

Den nye metoden anvender Stable Diffusion latent diffusjonsmodell (LDM) SDXL som grunnmodell, selv om prinsippene ser ut til å være anvendelige på diffusjonsmodeller generelt (men treningskravene – se under – kan gjøre det vanskelig å anvende på generative videomodeller).

Treningsprosessen for HyperLoRA er delt inn i tre stadier, hver designet for å isolere og bevare spesifikke informasjon i de lærte vektene. Formålet med denne ringfencede prosedyren er å forhindre identitets-relevante funksjoner fra å bli forurenset av irrelevante elementer som klesplagg eller bakgrunn, samtidig som det oppnås rask og stabil konvergens.

Konseptuell skjema for HyperLoRA. Modellen er delt inn i ‘Hyper ID-LoRA’ for identitetsfunksjoner og ‘Hyper Base-LoRA’ for bakgrunn og klesplagg. Denne separasjonen reduserer funksjonslekkasje. Under trening, er SDXL-basen og encoderne frozen, og bare HyperLoRA-modulene oppdateres. Ved inferens, er bare ID-LoRA nødvendig for å generere personlige bilder.

Det første stadiet fokuserer utelukkende på å lære en ‘Base-LoRA’ (nederst til venstre i skjema-bildet over), som fanger identitets-irrelevante detaljer.

For å tvinge denne separasjonen, lot forskerne med vilje blurre ansiktet i treningsbildene, og lot modellen feste seg til ting som bakgrunn, lys og holdning – men ikke identitet. Dette ‘oppvarmings’-stadiet fungerer som en filter, som fjerner lav-nivå-forstyrrelser før identitets-spesifik læring begynner.

I det andre stadiet, introduseres en ‘ID-LoRA’ (øverst til venstre i skjema-bildet over). Her er ansikt-identitet kodet ved hjelp av to parallelle veier: en CLIP Vision Transformer (CLIP ViT) for strukturelle funksjoner og InsightFace AntelopeV2-encoder for mer abstrakte identitets-representasjoner.

Overgangs-tilnærming

CLIP-funksjoner hjelper modellen å konvergere raskt, men risikerer overfitting, mens Antelope-innlegg er mer stabile, men tregere å trene. Derfor begynner systemet med å stole mer på CLIP, og fase inn Antelope, for å unngå ustabilitet.

I det siste stadiet, er CLIP-ledede oppmerksomhetslag fullstendig frozen. Bare AntelopeV2-koblede oppmerksomhetsmoduler fortsetter å trene, og lar modellen finjustere identitets-bevarelse uten å forringe trofastheten eller generaliteten til tidligere lærte komponenter.

Dette faserte strukturen er i realiteten et forsøk på disentanglement. Identitets- og ikke-identitetsfunksjoner separeres først, og deretter finjusteres uavhengig. Det er en metodelig respons på de vanlige feilmodusene for personlig tilpasning: identitets-drift, lav redigerbarhet og overfitting til tilfeldige funksjoner.

Mens du venter

Etter at CLIP ViT og AntelopeV2 har trukket ut både strukturelle og identitets-spesifikke funksjoner fra et gitt portrett, passerer de resulterende funksjonene gjennom en perceiver resampler (avledet fra ovennevnte IP-Adapter-prosjekt) – en transformer-basert modul som kartlegger funksjonene til en kompakt sett av koeffisienter.

To separate resamplere brukes: en for å generere Base-LoRA-vektorer (som koder bakgrunn og ikke-identitets-elementer) og en annen for ID-LoRA-vektorer (som fokuserer på ansikt-identitet).

Skjema for HyperLoRA-nettverket.

Utgangs-koeffisientene kombineres deretter lineært med et sett av lærte LoRA-basismatriser, og produserer fullstendige LoRA-vektorer uten å trenere grunnmodellen.

Denne tilnærmingen lar systemet generere personlige vektorer fullstendig på fly, ved hjelp av bare bilde-encoder og lett projeksjon, samtidig som det utnytter LoRAs evne til å modifisere grunnmodellens atferd direkte.

Data og tester

For å trene HyperLoRA, brukte forskerne en undergruppe av 4,4 millioner ansiktsbilder fra LAION-2B-datasettet (nå best kjent som datakilden for de originale 2022 Stable Diffusion-modellene).

InsightFace ble brukt til å filtrere ut ikke-portrett-ansikter og multiple bilder. Bildene ble deretter annotert med BLIP-2-kapittel-systemet.

I forhold til data-forstyrrelse, ble bildene tilfeldig beskåret rundt ansiktet, men alltid fokusert på ansiktsområdet.

Respektive LoRA-ranger måtte tilpasse seg tilgjengelig minne i treningsoppsettet. Derfor ble LoRA-rangen for ID-LoRA satt til 8, og rangen for Base-LoRA til 4, mens åtte-trinns gradient-akkumulering ble brukt til å simulere en større batch-størrelse enn det som faktisk var mulig på maskinvaren.

Forskerne trenet Base-LoRA-, ID-LoRA- (CLIP) og ID-LoRA- (identitets-innlegg) modulene sekvensielt for 20K, 15K og 55K iterasjoner, henholdsvis. Under ID-LoRA-trening, ble det samplet fra tre betingelsesscenarier med sannsynligheter på 0,9, 0,05 og 0,05.

Systemet ble implementert ved hjelp av PyTorch og Diffusers, og hele treningsprosessen tok omtrent ti dager på 16 NVIDIA A100-GPUer*.

ComfyUI-tester

Forfatterne bygde arbeidsflyter i ComfyUI-synteseplattformen for å sammenligne HyperLoRA med tre rivaliserende metoder: InstantID; ovennevnte IP-Adapter, i form av IP-Adapter-FaceID-Portrait-rammeverket; og ovennevnte PuLID. Konsistente frø, promter og sampling-metoder ble brukt over alle rammeverk.

Forfatterne noterer at adapter-baserte (i motsetning til LoRA-baserte) metoder vanligvis krever lavere Klassifikator-fri veiledning (CFG) skalaer, mens LoRA (inkludert HyperLoRA) er mer tillatt i denne sammenhengen.

Så for en rettferdig sammenligning, brukte forskerne den åpne kildekode SDXL-fine-tuned checkpoint-varianten LEOSAMs Hello World over testene. For kvantitative tester, ble Unsplash-50-bilddatasettet brukt.

Mål

For en trofasthets-benchmark, målte forfatterne ansikt-lignende bruk av kosinus-avstander mellom CLIP-bilde-innlegg (CLIP-I) og separate identitets-innlegg (ID Sim) trukket ut via CurricularFace, en modell som ikke ble brukt under trening.

Hver metode genererte fire høyoppløselige hodebilder per identitet i testsettet, med resultater som deretter ble gjennomsnittlig.

Redigerbarhet ble vurdert både ved å sammenligne CLIP-I-poeng mellom utdata med og uten identitets-modulene (for å se hvor mye identitets-begrensningene endret bildet); og ved å måle CLIP-bilde-tekst-justering (CLIP-T) over ti prompt-variasjoner som dekket hårstiler, tilbehør, klesplagg og bakgrunner.

Forfatterne inkluderte Arc2Face-grunnmodellen i sammenligningene – en baseline trent på faste kapitler og beskåret ansiktsområder.

For HyperLoRA, ble to varianter testet: en som bare brukte ID-LoRA-modulen, og en annen som brukte både ID- og Base-LoRA, med den siste vektet på 0,4. Mens Base-LoRA forbedret trofastheten, begrenset det litt redigerbarheten.

Resultater for den første kvantitative sammenligningen.

Av de kvantitative testene, kommenterer forfatterne:

‘Base-LoRA hjelper til å forbedre trofastheten, men begrenser redigerbarheten. Selv om vårt design skiller bilde-funksjoner i separate LoRAs, er det vanskelig å unngå å lekke gjensidig. Derfor kan vi justere vekten til Base-LoRA for å tilpasse ulike anvendelsesscenarier.

‘Vår HyperLoRA (Full og ID) oppnår den beste og nest beste ansikt-trofastheten, mens InstantID viser overlegenhet i ansikt-ID-lignende, men lavere ansikt-trofasthet.

‘Begge disse målene bør vurderes sammen for å evaluere trofasthet, siden ansikt-ID-lignende er mer abstrakt og ansikt-trofasthet reflekterer mer detaljer.’

I kvalitative tester, kommer de essensielle kompromissene i det vesentlige forslaget til syne (vær oppmerksom på at vi ikke har plass til å gjengi alle bildene for kvalitative resultater, og henviser leseren til kilde-papiret for flere bilder i bedre oppløsning):

Kvalitativ sammenligning. Fra topp til bunn, ble promptene brukt: ‘hvit skjorte’ og ‘ulv-ører’ (se papiret for flere eksempler).

Her kommenterer forfatterne:

‘Huden på portretter generert av IP-Adapter og InstantID har en åpenbart AI-generert tekstur, som er litt [for mettet] og langt ifra fotorealistisk.

‘Dette er en vanlig svakhet hos adapter-baserte metoder. PuLID forbedrer dette problemet ved å svekke intrusjonen til grunnmodellen, og overgår IP-Adapter og InstantID, men lider likevel av uskarpe og manglende detaljer.

‘I motsetning til dette, modifiserer LoRA direkte grunnmodellens vekt, i stedet for å introdusere ekstra oppmerksomhetsmoduler, og genererer vanligvis høydetaljerte og fotorealistiske bilder.’

Forfatterne hevder at fordi HyperLoRA modifiserer grunnmodellens vekt direkte, i stedet for å stole på eksterne oppmerksomhetsmoduler, beholder den den ikke-lineære kapasiteten til tradisjonelle LoRA-baserte metoder, og tilbyr en potensiell fordel i trofasthet og mulighet til å fange detaljer som pupillfarge.

I kvalitative sammenligninger, hevder papiret at HyperLoRAs layout var mer konsistent og bedre justert med promptene, og ligner på dem produsert av PuLID, mens de var betydelig bedre enn InstantID eller IP-Adapter (som noen ganger ikke fulgte promptene eller produserte unaturlige komposisjoner).

Flere eksempler på ControlNet-genereringer med HyperLoRA.

Konklusjon

Den konstante strømmen av ulike enkelt-skudd-tilpasnings-systemer over de siste 18 månedene har, på dette tidspunktet, tatt på seg en kvalitet av desperasjon. Veldig få av tilbudene har gjort en merkbart fremgang på nåværende kunnskapsnivå; og de som har fremmet det en litt, har ofte ekstreme treningskrav og/eller ekstremt komplekse eller ressurskrevende inferens-krav.

Mens HyperLoRAs eget treningsregime er like åndeløst som mange nylige lignende innganger, ender man opp med en modell som kan håndtere ad hoc-tilpasning ut av boksen.

Fra papirets supplementære materiale, noterer vi at HyperLoRAs inferens-hastighet er bedre enn IP-Adapter, men dårligere enn de to andre tidligere metodene – og at disse tallene er basert på en NVIDIA V100-GPU, som ikke er typisk forbruker-hardware (selv om nyere ‘hjemme’-NVIDIA-GPUer kan matche eller overgå V100s maksimale 32GB VRAM).

Inferens-hastighetene til konkurrerende metoder, i millisekunder.

Det er rettferdig å si at nullskudd-tilpasning fortsatt er et uløst problem fra et praktisk synspunkt, siden HyperLoRAs betydelige maskinvare-krav er åpenbart i konflikt med dens evne til å produsere en virkelig langvarig enkelt grunnmodell.

* Representing enten 640GB eller 1280GB av VRAM, avhengig av hvilken modell som ble brukt (dette er ikke spesifisert)

Først publisert mandag, 24. mars 2025