UniTune: Googles Alternativ til Neural Billede-Redigeringsteknik

Google Research ser ud til at angribe tekstbaseret billede-redigering fra flere sider, og venter sandsynligvis på at se, hvad der “får succes”. Kort efter udgivelsen af deres Imagic-papir sidste uge, har det store søgefirma foreslået en yderligere latent diffusionsbaseret metode til at udføre ellers umulige AI-baserede redigeringer af billeder via tekstkommandoer, denne gang kaldet UniTune.

Baseret på eksemplerne i projektets nye papir, har UniTune opnået en ekstraordinær grad af disentanglement af semantisk pose og idé fra faktisk hård billedeindhold:

UniTunes kommando over semantisk komposition er fremragende. Bemærk, hvordan i den øverste række af billeder, ansigterne på de to personer ikke er forvrænget af den ekstraordinære transformation på resten af kildebilledet (højre). Kilde: https://arxiv.org/pdf/2210.09477.pdf

Som Stable Diffusion-fans vil have lært, kan det være svært at anvende redigeringer på dele af et billede uden at ændre resten af billedet. Selv om populære distributioner som AUTOMATIC1111 kan oprette masker for lokale og begrænsede redigeringer, er processen tortur og ofte uforudsigelig.

Det åbenlyse svar, i hvert fald for en computer vision-praktiker, er at indsætte et lag af semantisk segmentering, der kan genkende og isolere objekter i et billede uden brugerindgreb, og der har faktisk været flere nye initiativer på dette område.

En anden mulighed for at låse ned besværlige og sammenflettede neurale billede-redigeringer er at udnytte OpenAIs inflydelsesrige Contrastive Language-Image Pre-training (CLIP)-modul, der er hjertet i latente diffusionsmodeller som DALL-E 2 og Stable Diffusion, for at fungere som en filter ved det punkt, hvor en tekst-til-billede-model er klar til at sende en fortolket gengivelse tilbage til brugeren.

Komprimeret Sprog

Det foreslåede UniTune “finjusterer” en eksisterende diffusionsmodel – i dette tilfælde Googles egen Imagen, selv om forskerne fastslår, at metoden er kompatibel med andre latente diffusionsarkitekturer – sådan at en unik token indsættes i den, som kan tilkaldes ved at inkludere den i en tekstprompt.

Det lyder på overfladen som Google DreamBooth, som i øjeblikket er en besættelse blandt Stable Diffusion-fans og -udviklere, som kan indsætte nye karakterer eller objekter i en eksisterende checkpoint, ofte på under en time, baseret på blot et par kildebilleder; eller som Textual Inversion, som opretter “sidecar”-filer til en checkpoint, som derefter behandles, som om de oprindeligt var trænet ind i modellen, og kan udnytte modellens egne enorme ressourcer ved at ændre dens tekstklassifikator, hvilket resulterer i en lille fil (i forhold til de minimum 2 GB pruned checkpoints i DreamBooth).

I virkeligheden fastslår forskerne, at UniTune afviste begge disse tilgange. De fandt, at Textual Inversion udelod for mange vigtige detaljer, mens DreamBooth ‘fungerede dårligere og tog længere tid’ end den løsning, de endelig valgte.

Processen

Selv om det er forbløffende, hvorfor to næsten identiske papirer, i terms of deres end-funktion, skulle ankomme fra Google i samme uge, er der, på trods af en enorm mængde ligheder mellem de to initiativer, i hvert fald én klar forskel mellem UniTune og Imagic – sidstnævnte bruger “ukomprimeret” naturligt sprog til at guide billede-redigering, hvorimod UniTune træner i unikke DreamBooth-stil tokens.

Derfor, hvis du redigerede med Imagic og ønskede at udføre en transformation af denne art…

Fra UniTune-papiret – UniTune sætter sig op imod Googles favorit-rival neurale redigeringssystem, SDEdit. UniTunes resultater er på yderste højre side, mens den estimerede maske ses i anden billed fra venstre.

.. i Imagic ville du indtaste ‘den tredje person, siddende i baggrunden, som en sød, fløjlet monster’.

Den tilsvarende UniTune-kommando ville være ‘Manden bagi som [x]’, hvor x er det underlige og unikke ord, der var bundet til den finjusterede koncept, der var forbundet med det fløjlet monster-karakter.

Finjusteringsprocessen

UniTune-metoden sender essentielt det originale billede gennem en diffusionsmodel med en sæt af instruktioner om, hvordan det skal ændres, ved hjælp af de enorme mængder af tilgængelige data, der er trænet ind i modellen. I virkeligheden kan du gøre dette lige nu med Stable Diffusions img2img-funktion – men ikke uden at forvrænge eller på en eller anden måde ændre dele af billedet, som du ville foretrække at bevare.

Under UniTune-processen “finjusteres” systemet, hvilket vil sige, at UniTune tvinger modellen til at genoptage træningen, med de fleste af dens lag ufrosne (se nedenfor). I de fleste tilfælde vil finjustering sandsynligvis sænke det overordnede generelle tabsværdier for en hårdt vundet højpræsterende model til fordel for at indsætte eller forbedre et andet aspekt, der ønskes at blive skabt eller forbedret.

Sampling

Der er mange mulige sampling-metoder, som kan anvendes til at fremkalde ændringerne, der er gjort, herunder Classifier Free Guidance (CFG), en hovedsagelig del af Stable Diffusion. CFG definerer grundlæggende, i hvilken udstrækning modellen er fri til at “følge sin imagination” og udforske rendering-mulighederne – eller også, ved lavere indstillinger, i hvilken udstrækning den skal holde sig til input-data og gøre færre omfattende eller dramatiske ændringer.

Ligesom Textual Inversion (lidt mindre med DreamBooth), er UniTune egnet til at anvende distinkte grafiske stilarter til originale billeder, samt mere fotorealistiske redigeringer.

Forskere har også eksperimenteret med SDEdits “sen start”-teknik, hvor systemet opmuntres til at bevare original detaljer ved at være kun delvist “støj” fra starten, men i stedet fastholde sine essentielle karakteristika.

Latens

Selv om den første iteration af et nyt system altid vil være langsomt, og selv om det er muligt, at enten fællesskabsengagement eller virksomhedsengagement (det er sjældent begge) vil til sidst accelerere og optimere en ressource-krævende rutine, både UniTune og Imagic udfører nogle ret betydelige maskinlæringsmanøvrer for at skabe disse fantastiske redigeringer, og det er tvivlsomt, i hvilken udstrækning en sådan ressource-krævende proces nogensinde kan skaleres ned til hjemmebrug, snarere end API-drevet adgang (selv om sidstnævnte måske er mere ønskværdigt for Google).

For øjeblikket er rundturen fra input til resultat omkring 3 minutter på en T4 GPU, med omkring 30 sekunder ekstra til inferens (som per enhver inferens-rutine). Forfatterne indrømmer, at dette er høj latens, og knap nok kvalificerer sig som “interaktivt”, men de tilføjer også, at modellen forbliver tilgængelig for yderligere redigeringer, efter at den først er finjusteret, indtil brugeren er færdig med processen, hvilket reducerer redigeringstiden per redigering.

Offentliggjort første gang den 21. oktober 2022.