Andersons vinkel
AI-assisteret objektredigering med Googles Imagic og Runways Erase and Replace

NøglepunkterImagic finjusterer diffusionsmodeller til detaljerede objektredigeringer, i modsætning…
Vis mere
- Imagic finjusterer diffusionsmodeller til detaljerede objektredigeringer, i modsætning til Runways Erase and Replace, der kun udskifter.
- Runways Erase and Replace udskifter objekter hurtigt, men kan ikke redigere eksisterende indhold, kun erstatte det.
- Imagics optimering pr. billede tager otte minutter på to TPUV4-chips, hvilket begrænser den til API-brug.
Denne uge introducerer to nye, men kontrasterende AI-drevne grafikalgoritmer, som giver brugerne nye måder at foretage ekstremt detaljerede og effektive ændringer af objekter i fotos.
Den første er Imagic, fra Google Research i samarbejde med Israels Institut for Teknologi og Weizmann Institute of Science. Imagic tilbyder tekstbetinget, fin‑granulær redigering af objekter via finjustering af diffusionsmodeller.

Ændr det, du vil, og lad resten være uændret. Imagic lover præcis redigering af netop de dele, du ønsker at ændre. Kilde: https://arxiv.org/pdf/2210.09276.pdf
Alle, der nogensinde har forsøgt at ændre kun ét element i en genrendering med Stable Diffusion, ved alt for godt, at for hver vellykket redigering ændrer systemet fem andre elementer, som man var tilfreds med. Det er en svaghed, som får mange af de mest talentfulde SD‑entusiaster til konstant at skifte mellem Stable Diffusion og Photoshop for at rette denne form for “bivirkninger”. På dette grundlag alene virker Imagic’s resultater bemærkelsesværdige.
På tidspunktet for skrivningen har Imagic endnu ikke en promotionsvideo, og i lyset af Googles forsigtige holdning til frigivelse af ubegrænsede billedsynteseredskaber er det usikkert, i hvilken grad vi overhovedet får mulighed for at teste systemet.
Den anden løsning er Runway ML’s mere tilgængelige Erase and Replace-funktion, en ny funktion i “AI Magic Tools”-sektionen af deres udelukkende online suite af maskinlæringsbaserede visuelle effekter.

Runway MLs Erase and Replace-funktion, som allerede er vist i en forhåndsvisning af et system til videoredigering via tekst.
Lad os først se på Runway’s udgave.
Slet og Erstat
Ligesom Imagic beskæftiger Slet og Erstat sig udelukkende med stillbilleder, selvom Runway har vist den samme funktion i en tekst‑til‑video‑redigeringsløsning, som endnu ikke er udgivet:

Alle kan afprøve den nye Erase and Replace på billeder, men videoversionen er endnu ikke offentligt tilgængelig. Kilde: https://twitter.com/runwayml/status/1568220303808991232
Selvom Runway ML ikke har frigivet detaljer om teknologierne bag Slet og Erstat, tyder hastigheden, hvormed du kan erstatte en stueplante med en rimeligt overbevisende buste af Ronald Reagan, på at en diffusionsmodel som Stable Diffusion (eller langt mindre sandsynligt, en licenseret DALL‑E 2) er motoren, der genopfinder det valgte objekt i Slet og Erstat.

Det er ikke helt så hurtigt som her at erstatte en stueplante med en buste af The Gipper, men det går ret hurtigt. Kilde: https://app.runwayml.com/
Systemet har visse DALL‑E 2‑lignende begrænsninger – billeder eller tekst, der udløser Slet og Erstat‑filtrene, vil udløse en advarsel om mulig kontosuspension ved yderligere overtrædelser – i praksis en boilerplate‑klon af OpenAI’s løbende politikker for DALL‑E 2.
Mange af resultaterne mangler de typiske ru kanter fra Stable Diffusion. Runway ML er investorer og forskningspartnere i SD, og det er muligt, at de har trænet en proprietær model, der er overlegen i forhold til de åbne 1.4‑checkpoint‑vægte, som resten af os kæmper med (ligesom mange andre udviklingsgrupper, hobbyister og professionelle, i øjeblikket træner eller finjusterer Stable Diffusion‑modeller).

Udskiftning af et almindeligt bord med et bord lavet af is i Runway MLs Erase and Replace.
Som med Imagic (se nedenfor) er Slet og Erstat “objekt‑orienteret” – du kan ikke blot slette en “tom” del af billedet og udfylde den med resultatet af din tekstprompt; i så fald vil systemet blot følge den nærmeste synlige genstand langs maskens synslinje (såsom en væg eller et fjernsyn) og anvende transformationen dér.

Som navnet antyder, kan Erase and Replace ikke sætte objekter ind i tomme områder. Her skaber et forsøg på at fremkalde den mest berømte Sith-herre et mærkeligt Vader-relateret vægmaleri på fjernsynet, omtrent hvor erstatningsområdet blev tegnet.
Det er svært at afgøre, om Slet og Erstat er tilbageholdende med hensyn til brug af ophavsretligt beskyttede billeder (som stadig i vid udstrækning er blokeret, omend med varierende succes, i DALL‑E 2), eller om den bagvedliggende render‑engine blot ikke er optimeret til den slags indhold.

Det lidt upassende vægmaleri af Nicole Kidman viser, at modellen, som formodentlig bygger på diffusion, mangler DALL-E 2s tidligere systematiske afvisning af realistiske ansigter eller vovet indhold. Forsøg på at gengive ophavsretligt beskyttede værker spænder fra tvetydige (xenomorph) til absurde (jerntronen). Originalbilledet er indsat nederst til højre.
Det ville være interessant at vide, hvilke metoder Slet og Erstat bruger til at isolere de objekter, den kan erstatte. Formodentlig bliver billedet kørt gennem en afledning af CLIP, hvor de enkelte elementer individuelt identificeres via objektgenkendelse og efterfølgende semantisk segmentering. Ingen af disse operationer fungerer lige så godt i en standardinstallation af Stable Diffusion.
Men intet er perfekt – nogle gange ser det ud til, at systemet sletter uden at erstatte, selv når (som vi har set i billedet ovenfor) den underliggende render‑mekanisme tydeligt forstår, hvad en tekstprompt betyder. I dette tilfælde er det umuligt at forvandle et sofabord til en xenomorph – i stedet forsvinder bordet simpelthen.

En mere skræmmende udgave af Where’s Waldo, da Erase and Replace ikke får skabt et rumvæsen.
Slet og Erstat fremstår som et effektivt objekt‑substitutionssystem med fremragende inpainting. Det kan dog ikke redigere allerede eksisterende opfattede objekter, men kun erstatte dem. At ændre eksisterende billedindhold uden at gå på kompromis med det omgivende materiale er formentlig en langt sværere opgave, som er tæt forbundet med computer‑visionsforskningens lange kamp for disentanglement i de forskellige latente rum i de populære rammeværk.
Imagic
Det er en opgave, som Imagic adresserer. Den nye forskningsartikel viser adskillige eksempler på redigeringer, der med succes ændrer enkelte dele af et foto, mens resten af billedet forbliver uberørt.

I Imagic lider de ændrede billeder ikke af den strækning, forvrængning og gætning af skjulte områder, der kendetegner styret deepfake-animation med begrænset forhåndsviden fra et enkelt billede.
Systemet anvender en tre‑trins proces – optimering af tekst‑embedding; finjustering af modellen; og til sidst generering af det redigerede billede.

Imagic koder måltekstprompten for at hente den oprindelige tekstembedding og optimerer derefter resultatet for at få inputbilledet. Derefter finjusteres den generative model til originalbilledet med yderligere parametre, før den ønskede interpolation udføres.
Det er ikke overraskende, at rammeværket er baseret på Googles Imagen tekst‑til‑video‑arkitektur, selvom forskerne påpeger, at principperne i systemet bredt kan anvendes på latente diffusionsmodeller.
Imagen bruger en tre‑lags arkitektur, i modsætning til den syv‑lags struktur, der anvendes i virksomhedens nyere tekst‑til‑video‑iteration af softwaren. De tre separate moduler udgør en generativ diffusionsmodel med 64 × 64 px opløsning; en super‑resolution‑model, der opskalerer dette output til 256 × 256 px; samt en yderligere super‑resolution‑model, der bringer output op til 1024 × 1024 px.
Imagic griber ind på det tidligste trin i denne proces, hvor den optimerer den ønskede tekst‑embedding på 64 px‑stadiet med en Adam‑optimizer ved en statisk læringsrate på 0,0001.

En mesterlig demonstration af adskilte repræsentationer: Slutbrugere, der har forsøgt at ændre blot farven på et renderet objekt i en diffusions-, GAN- eller NeRF-model, ved, hvor vigtigt det er, at Imagic kan gøre dette uden at ødelægge sammenhængen i resten af billedet.
Finjusteringen foregår derefter på Imagen’s grundmodel, i 1500 trin pr. input‑billede, betinget af den reviderede embedding. Samtidig optimeres det sekundære 64 px>256 px‑lag parallelt på det betingede billede. Forskerne bemærker, at en tilsvarende optimering af det endelige 256 px>1024 px‑lag har “meget lille eller ingen effekt” på de endelige resultater, og har derfor ikke implementeret dette.
Forskningsartiklen angiver, at optimeringsprocessen tager cirka otte minutter pr. billede på to TPU‑V4-chips. Den endelige rendering foregår i Imagen‑kernen under DDIM‑sample‑skemaet.
I lighed med lignende finjusteringsprocesser for Googles DreamBooth, kan de resulterende embeddings også bruges til stilisering samt fotorealistiske redigeringer, der trækker på information fra den bredere underliggende database, som driver Imagen (da, som den første kolonne nedenfor viser, indeholder kildebillederne ikke noget af det nødvendige indhold til at udføre disse transformationer).

Imagic kan skabe fleksible, fotorealistiske bevægelser og redigeringer, mens de afledte og adskilte koder fra processen lige så nemt kan bruges til stiliserede resultater.
Forskerne sammenlignede Imagic med tidligere værker SDEdit, en GAN‑baseret tilgang fra 2021, et samarbejde mellem Stanford University og Carnegie Mellon University; samt Text2Live, et samarbejde fra april 2022 mellem Weizmann Institute of Science og NVIDIA.

En visuel sammenligning af Imagic, SDEdit og Text2Live.
Det er tydeligt, at de tidligere tilgange kæmper, men i den nederste række, som involverer en stor ændring af kropsstillingen, fejler de etablerede metoder fuldstændigt i at rekonstruere kildematerialet, mens Imagic opnår en markant succes.
Imagic’s ressourcekrav og træningstid pr. billede er, selvom de er korte efter standarderne for sådanne forsøg, en usandsynlig tilføjelse til en lokal billedredigeringsapplikation på personlige computere – og det er uvist, i hvilken grad finjusteringsprocessen kan skaleres ned til forbruger‑niveau.
Som det står nu, er Imagic et imponerende tilbud, der er bedre egnet til API’er – et miljø, som Google Research, som er tilbageholdende med kritik vedrørende muliggørelse af deepfakes, i hvert fald kan føle sig mest komfortabel med.
Først offentliggjort 18. oktober 2022.












