NVIDIA’s eDiffi Diffusionsmodel tillader ‘maling med ord’ og mere

At forsøge at lave præcise kompositioner med latente diffusion generative billedmodeller som f.eks. Stable Diffusion kan være som at drive katte; den samme kreative og fortolgende kraft, der giver systemet mulighed for at skabe ekstraordinær detalje og fremkalde ekstraordinære billeder fra relativt simple tekstprompt, er også svær at slukke, når man søger Photoshop-niveau kontrol over billedgenerering.

Nu har NVIDIA -forskning udviklet en ny tilgang, kaldet ensemble diffusion for billeder (eDiffi), der bruger en blanding af multiple indlejring og fortolgende metoder (i stedet for samme metode hele vejen igennem pipeline) for at give mulighed for en langt højere niveau af kontrol over det genererede indhold. I eksemplet nedenfor ser vi en bruger, der maler elementer, hvor hver farve repræsenterer et enkelt ord fra en tekstprompt:

‘Maling med ord’ er en af de to nye muligheder i NVIDIA’s eDiffi diffusionsmodel. Hver påmalet farve repræsenterer et ord fra prompten (se dem dukke op på venstre side under generation), og den påmalede farve vil kun bestå af dette element. Se kilde (officielt) video for flere eksempler og bedre opløsning på https://www.youtube.com/watch?v=k6cOx9YjHJc

Effektivt er dette ‘maling med masker’, og omvender den inpainting-paradigme i Stable Diffusion, der er baseret på at reparere eller udvide billeder, der kunne have været af ønsket størrelse fra starten.

Her, i stedet, repræsenterer kanten af den påmalede farve de tilladte omtrentlige grænser for kun ét unikt element fra en enkelt koncept, og giver brugeren mulighed for at sætte den endelige canvas-størrelse fra starten og derefter diskret tilføje elementer.

Eksempler fra den nye artikel. Kilde: https://arxiv.org/pdf/2211.01324.pdf

De varierede metoder, der anvendes i eDiffi, betyder også, at systemet gør et langt bedre job med at inkludere hvert element i lange og detaljerede prompt, hvorimod Stable Diffusion og OpenAI’s DALL-E 2 tenderer til at prioritere visse dele af prompten, afhængigt af, hvordan tidligt de målrettede ord optræder i prompten, eller andre faktorer, såsom den potentielle sværhed ved at skille de forskellige elementer nødvendige for en fuldstændig, men omfattende (i forhold til tekstprompten) komposition:

Fra artiklen: eDiffi er i stand til at iterere mere grundigt gennem prompten, indtil det maksimale antal elementer er blevet genereret. Selvom de forbedrede resultater for eDiffi (højre kolonne) er udvalgt, er sammenligningsbillederne fra Stable Diffusion og DALL-E 2 også udvalgt.

Dertil kommer, at brugen af en dedikeret T5 tekst-til-tekst-encoder betyder, at eDiffi er i stand til at generere forståelige engelske tekster, enten abstrakt anmodet fra en prompt (dvs. billede indeholder nogen tekst af [x]) eller eksplisit anmodet (dvs. t-shirt siger ‘Nvidia Rocks’)

Dedikeret tekst-til-tekst-behandling i eDiffi betyder, at tekst kan genereres ordret i billeder, i stedet for kun at blive kørt gennem en tekst-til-billede-fortolkningslag, der forvrænger output.

En yderligere fordel ved det nye framework er, at det er muligt at give en enkelt billede som en stil-prompt, i stedet for at skulle træne en DreamBooth-model eller en tekstuel indlejring på flere eksempler på en genre eller stil.

Stil-overførsel kan anvendes fra en reference-billede til en tekst-til-billede-prompt, eller endda et billede-til-billede-prompt.

Den nye artikel er titlen eDiffi: Tekst-til-billede-diffusionsmodeller med en ensemble af eksperter, og

T5 Tekst Encoder

Brugen af Google’s Tekst-til-tekst Transfer Transformer (T5) er det afgørende element i de forbedrede resultater, der demonstreres i eDiffi. Den gennemsnitlige latente diffusion-pipeline centrerer sig om associationen mellem trænede billeder og de undertekster, der fulgte med dem, da de blev skrabet af internettet (eller også manuelt tilpasset senere, selvom dette er en dyr og derfor sjælden indgriben).

Fra juli 2020-artiklen om T5 – tekstbaserede transformationer, der kan hjælpe den generative billed-arbejdsgang i eDiffi (og potentelt andre latente diffusionsmodeller). Kilde: https://arxiv.org/pdf/1910.10683.pdf

Ved at omformulere kilde-teksten og køre T5-modulen, kan mere præcise associationer og repræsentationer opnås, end det var trænet ind i modellen oprindeligt, næsten som post facto manuel mærkning, med større specifikation og anvendelighed til kravene i den anmodede tekstprompt.

Forfatterne forklarer:

‘I de fleste eksisterende arbejder om diffusionsmodeller er denoiseringsmodellen delt over alle støjniveauer, og den tidsmæssige dynamik repræsenteres ved hjælp af en enkel tid-indlejring, der føres til denoiseringsmodellen via en MLP-netværk. Vi argumenterer for, at den komplekse tidsmæssige dynamik af denoiserings-diffusionen måske ikke kan læres fra data effektivt ved hjælp af en delt model med begrænset kapacitet.

‘I stedet foreslår vi at øge kapaciteten af denoiseringsmodellen ved at introducere en ensemble af eksperter; hver ekspertdenoiser er en denoiseringsmodel specialiseret til et bestemt område af støj [niveauer]. Dette giver os mulighed for at øge modelkapaciteten uden at sænke sampling, da den beregningsmæssige kompleksitet af at evaluere [det behandlede element] på hvert støjniveau forbliver den samme.’

Konceptuel arbejdsgang for eDiffi.

De eksisterende CLIP indkodningsmoduler, der er inkluderet i DALL-E 2 og Stable Diffusion, er også i stand til at finde alternative billedfortolkninger for tekst relateret til brugerinput. De er dog trænet på lignende information som den oprindelige model og bruges ikke som en separat fortolkningslag på samme måde som T5 i eDiffi.

Forfatterne fastslår, at eDiffi er den første gang, at både en T5 og en CLIP-encoder er blevet inkorporeret i en enkelt pipeline:

’Da disse to encodere er trænet med forskellige mål, favoriserer deres indlejringe former af forskellige billeder med samme input-tekst. Mens CLIP-tekstindlejring hjælper med at bestemme det globale udseende af de genererede billeder, mangler outputtet ofte de finere detaljer i teksten.

‘I modsætning hertil genererer billeder med T5-tekstindlejring alene bedre de enkelte objekter, der er beskrevet i teksten, men deres globale udseende er mindre præcist. Ved at bruge dem sammen producerer vi de bedste billedgenereringsresultater i vores model.’

Afvbrydelse og udvidelse af diffusionsprocessen

Artiklen bemærker, at en typisk latent diffusionsmodel vil starte rejsen fra rent støj til et billede ved at stole udelukkende på tekst i de tidlige faser af generationen.

Når støjen opløses i en slags grov layout, der repræsenterer beskrivelsen i tekstprompten, dropper den tekstguidede facette af processen næsten væk, og resten af processen skifter mod at udvide visuelle funktioner.

Dette betyder, at ethvert element, der ikke blev løst i den tidlige fase af tekstguidet støjfortolkning, er svært at injicere i billedet senere, fordi de to processer (tekst-til-layout og layout-til-billede) har relativt lidt overlap, og den grundlæggende layout er ret sammenflettet, når den ankommer til billedudvidelsesprocessen.

Fra artiklen: opmærksomheds-kort over forskellige dele af pipeline, når støj-til-billede-processen modnes. Vi kan se den skarpe afkling af CLIP’s indflydelse på billedet i den nederste række, mens T5 fortsætter med at påvirke billedet langt ind i renderingsprocessen.

Professionel potentiale

Eksemplerne på projektets side og YouTube-video koncentrerer sig om PR-venlige generation af memeagtige søde billeder. Som sædvanligt spiller NVIDIA-forskning ned potentielle forbedringer af sin seneste innovation til at forbedre fotorealistiske eller VFX-arbejdsgange, samt dens potentiale for forbedring af deepfake-billeder og video.

I eksemplerne tegner en novice eller amatør-bruger grove konturer af placering for det specifikke element, hvorimod det i en mere systematisk VFX-arbejdsgang ville være muligt at bruge eDiffi til at fortolke multiple frames af en video-element ved hjælp af tekst-til-billede, hvor konturerne er meget præcise og baseret på, f.eks., figurer, hvor baggrunden er fjernet via grøn skærm eller algoritmer.

Runway ML tilbyder allerede AI-baseret rotoscoping. I dette eksempel repræsenterer den ‘grønne skærm’ omkring subjektet alpha-lagret, mens udtrækket er opnået via maskinlæring i stedet for algoritmerne fjernelse af en virkelig grøn skærm-baggrund. Kilde: https://twitter.com/runwayml/status/1330978385028374529

Ved hjælp af en trænet DreamBooth-karakter og en billede-til-billede-pipeline med eDiffi, er det potentelt muligt at begynde at løse en af de største udfordringer i enhver latent diffusionsmodel: tidsmæssig stabilitet. I så fald ville både kanten af det påmalede billede og indholdet af billedet være ‘forankret’ mod brugerens canvas, med tidsmæssig kontinuitet af det renderede indhold (f.eks. omdannelse af en virkelig Tai Chi-udøver til en robot) leveret ved brug af en låst DreamBooth-model, der har ‘husket’ sin træningsdata – dårligt for fortolkning, men godt for reproducerbarhed, troværdighed og kontinuitet.

Metode, data og tests

Artiklen fastslår, at eDiffi-modellen blev trænet på ‘en samling af offentlige og proprietære datasets’, kraftigt filtreret af en fortrænet CLIP-model, for at fjerne billeder, der sandsynligvis ville sænke den generelle æstetiske score for output. Den endelige filtrerede billedsamling består af ‘omkring en milliard’ tekst-billede-par. Størrelsen af de trænede billeder beskrives som med ‘den korteste side større end 64 pixel’.

Flere modeller blev trænet til processen, med både grund- og superopløsningsmodeller trænet på AdamW-optimering med en læringsrate på 0,0001, med en vægt-forfald på 0,01 og en imponerende batch-størrelse på 2048.

Grundmodellen blev trænet på 256 NVIDIA A100 GPU’er, og de to superopløsningsmodeller på 128 NVIDIA A100 GPU’er for hver model.

Systemet var baseret på NVIDIA’s egen Imaginaire PyTorch-bibliotek. COCO og Visual Genome-datasets blev brugt til evaluering, selvom de ikke var inkluderet i de endelige modeller, med MS-COCO som den specifikke variant, der blev brugt til test.

Modsat systemer, der blev testet, var GLIDE, Make-A-Scene, DALL-E 2, Stable Diffusion, og Google’s to billed-syntese-systemer, Imagen og Parti.

I overensstemmelse med lignende tidligere arbejde, zero-shot FID-30K blev brugt som en evaluering-metode. Under FID-30K blev 30.000 undertekster trukket tilfældigt fra COCO-validerings-sættet (dvs. ikke billederne eller teksten, der blev brugt til træning), som derefter blev brugt som tekstprompt til at syntetisere billeder.

Frechet Inception Distance (FID) mellem de genererede og grund-sandheds-billeder blev derefter beregnet, samt optagelse af CLIP-scoren for de genererede billeder.

Resultater fra zero-shot FID-testerne mod nuværende state-of-the-art-tilgange på COCO 2014-validerings-dataset, med lavere resultater bedre.

I resultaterne kunne eDiffi opnå den laveste (bedste) score på zero-shot FID, selv mod systemer med langt flere parametre, såsom de 20 milliarder parametre i Parti, i forhold til de 9,1 milliarder parametre i den højest udstyret eDiffi-model, der blev trænet til testen.

Konklusion

NVIDIA’s eDiffi repræsenterer en velkommen alternativ til blot at tilføje større og større mængder data og kompleksitet til eksisterende systemer, men i stedet bruger en mere intelligent og lagdelt tilgang til nogle af de tornige hindringer relateret til sammenfletning og ikke-redigerbarhed i latente diffusions-generative billed-systemer.

Der er allerede diskussion på Stable Diffusion-subreddits og Discords om enten at inkorporere direkte den kode, der kan blive tilgængelig for eDiffi, eller også at genskabe principperne bag det i en separat implementering. Den nye pipeline er dog så radikalt anderledes, at det ville udgøre en hel versionsændring for SD, der ville afskaffe nogen bagudkompatibilitet, selvom det tilbyder muligheden for langt forbedrede niveauer af kontrol over de endelige syntetiserede billeder, uden at ofre den fængende imaginative kraft af latent diffusion. Først udgivet 3. november 2022.