AI-assisterad objekteredigering med Google’s Imagic och Runway’s ‘Erase and Replace’

Denna vecka erbjuder två nya, men kontrasterande, AI-drivna grafikalgoritmer nya sätt för slutanvändare att göra högt granulära och effektiva ändringar av objekt i foton.

Det första är Imagic, från Google Research, i samarbete med Israels tekniska institut och Weizmann Institute of Science. Imagic erbjuder textbaserad, granulär redigering av objekt via finjustering av diffusionsmodeller.

Ändra vad du vill, och låt resten vara – Imagic lovar granulär redigering av endast de delar som du vill ändra. Källa: https://arxiv.org/pdf/2210.09276.pdf

Den som har försökt att ändra bara ett element i en Stable Diffusion-omrendering vet alltför väl att för varje lyckad redigering kommer systemet att ändra fem saker som du tyckte om precis som de var. Det är en brist som för närvarande har många av de mest begåvade SD-entusiasterna konstant shufflande mellan Stable Diffusion och Photoshop för att fixa den här typen av “collateral damage”. Från detta perspektiv verkar Imagics prestationer noterbara.

Vid tidpunkten för skrivandet saknar Imagic fortfarande en promotionsvideo, och med tanke på Googles försiktiga attityd till att släppa obegränsade bildsyntesverktyg, är det osäkert i vilken utsträckning, om någon, vi kommer att få chansen att testa systemet.

Det andra erbjudandet är Runway ML:s mer tillgängliga Erase and Replace-funktion, en ny funktion i “AI Magic Tools”-avdelningen i deras exklusivt onlinebaserade svit av maskinlärningsbaserade visuella effektverktyg.

Runway ML:s Erase and Replace-funktion, redan sedd i en förhandsvisning för ett text-till-video-redigeringsystem. Källa: https://www.youtube.com/watch?v=41Qb58ZPO60

Låt oss ta en titt på Runways version först.

Erase and Replace

Liksom Imagic hanterar Erase and Replace uteslutande stillbilder, även om Runway har förhandsvisat samma funktionalitet i ett text-till-video-redigeringsverktyg som ännu inte har släppts:

Även om vem som helst kan testa den nya Erase and Replace på bilder, är videoversionen inte ännu tillgänglig för allmänheten. Källa: https://twitter.com/runwayml/status/1568220303808991232

Även om Runway ML inte har släppt detaljer om teknologierna bakom Erase and Replace, antyder den snabbhet med vilken man kan ersätta en krukväxt med en rimligt övertygande byst av Ronald Reagan att en diffusionsmodell som Stable Diffusion (eller, långt mindre sannolikt, en licensierad DALL-E 2) är motorn som återskapar objekten i Erase and Replace.

Att ersätta en krukväxt med en byst av The Gipper är inte riktigt lika snabbt som detta, men det är ganska snabbt. Källa: https://app.runwayml.com/

Systemet har vissa DALL-E 2-liknande begränsningar – bilder eller text som utlöser Erase and Replace-filtrerna kommer att utlösa en varning om möjlig kontoavstängning i händelse av ytterligare överträdelser – i princip en kopia av OpenAI:s pågående policys för DALL-E 2.

Många av resultaten saknar de typiska ojämna kanterna hos Stable Diffusion. Runway ML är investerare och forskningspartners i SD, och det är möjligt att de har tränat en proprietär modell som är överlägsen den öppna källkoden 1.4 checkpoint-vikt som resten av oss för närvarande kämpar med (liksom många andra utvecklingsgrupper, både hobby- och professionella, som för närvarande tränar eller finjusterar Stable Diffusion-modeller).

Att ersätta en vanlig bord med en ‘bord av is’ i Runway ML:s Erase and Replace.

Som med Imagic (se nedan) är Erase and Replace “objektorienterad” – du kan inte bara sudda ut en “tom” del av bilden och måla över den med resultatet av din textprompt; i det scenariot kommer systemet att spåra den närmaste synliga objekten utmed maskens synlinje (såsom en vägg eller en TV) och applicera transformationen där.

Som namnet antyder kan du inte injicera objekt i tomma utrymmen i Erase and Replace. Här försöker man frammana den mest kända av Sith-lorder, men det resulterar i en konstig Vader-relaterad mural på TV:n, ungefär där ‘ersättningsområdet’ var ritat.

Det är svårt att avgöra om Erase and Replace är undvikande när det gäller användning av upphovsrättsskyddade bilder (som fortfarande till stor del är blockerade, om än med varierande framgång, i DALL-E 2), eller om modellen som används i backend-renderingsmotorn inte är optimerad för den typen av sak.

Den något NSFW ‘Mural of Nicole Kidman’ indikerar att den (förmodligen) diffusionsbaserade modellen som används saknar DALL-E 2:s tidigare systematiska avvisning av att rendera realistiska ansikten eller erotiskt innehåll, medan resultaten för försök att framkalla upphovsrättsskyddade verk varierar från det tvetydiga (‘xenomorph’) till det absurda (‘the iron throne’). Insett nere till höger, källbilden.

Det vore intressant att veta vilka metoder Erase and Replace använder för att isolera de objekt som den kan ersätta. Förmodligen körs bilden genom någon form av CLIP, med de diskreta objekten individuerade genom objektigenkänning och efterföljande semantisk segmentering. Inga av dessa operationer fungerar nästan lika bra i en vanlig installation av Stable Diffusion.

Men ingenting är perfekt – ibland verkar systemet sudda ut och inte ersätta, även när (som vi har sett i bilden ovan), den underliggande renderingsmekanismen definitivt vet vad en textprompt betyder. I det fallet visar det sig vara omöjligt att förvandla en kaffebord till en xenomorph – istället försvinner bara bordet.

En skrämmande iteration av ‘Where’s Waldo’, eftersom Erase and Replace misslyckas med att producera en alien.

Erase and Replace verkar vara ett effektivt objektersättningsystem med utmärkt inpainting. Men det kan inte redigera befintliga uppfattade objekt, utan bara ersätta dem. Att faktiskt ändra befintligt bildinnehåll utan att kompromettera omgivande material är förmodligen en mycket svårare uppgift, som är bunden till datavetenskapsforskningssektorns långa kamp mot disentanglement i de populära ramverkens olika latenta utrymmen.

Imagic

Det är en uppgift som Imagic hanterar. Den nya artikeln erbjuder många exempel på redigeringar som framgångsrikt ändrar enskilda aspekter av en bild medan resten av bilden lämnas orörd.

I Imagic lider de ändrade bilderna inte av den karakteristiska sträckningen, förvrängningen och ‘occlusion guessing’ som är karakteristiskt för deepfake-puppetry, som använder begränsade priors som hämtats från en enda bild.

Systemet använder en tre-stegsprocess – textinbäddningsoptimering; modellfinjustering; och, slutligen, generering av den ändrade bilden.

Imagic kodar den måltextprompten för att hämta den initiala textinbäddningen, och sedan optimerar resultatet för att hämta indata-bilden. Därefter finjusteras den generativa modellen till källbilden, med tillägg av en rad parametrar, innan den utsätts för den begärda interpolationen.

Otroligt nog är ramverket baserat på Googles Imagen-text-till-video-arkitektur, även om forskarna påstår att systemets principer är allmänt tillämpliga på latent diffusionsmodeller.

Imagen använder en tre-nivå-arkitektur, snarare än den sju-nivå-array som används för företagets senaste text-till-video-iteration av programvaran. De tre distinkta modulerna består av en generativ diffusionsmodell som opererar vid 64x64px-upplösning; en super-upplösningsmodell som skalar upp denna utdata till 256x256px; och en ytterligare super-upplösningsmodell som tar utdata hela vägen upp till 1024×1024-upplösning.

Imagic ingriper vid den tidigaste etappen i denna process, optimerar den begärda textinbäddningen vid 64px-etappen med en Adam-optimizer vid en statisk inlärningshastighet på 0,0001.

En mästerskap i disentanglement: de användare som har försökt att ändra något så enkelt som färgen på ett renderat objekt i en diffusions-, GAN- eller NeRF-modell vet hur betydelsefullt det är att Imagic kan utföra sådana transformationer utan att ‘riva isär’ konsekvensen av resten av bilden.

Finjustering sker sedan på Imagens basmodell, för 1500 steg per indata-bild, villkorad på den reviderade inbäddningen. Samtidigt optimeras den sekundära 64px>256px-lagret i parallell på den villkorade bilden. Forskarna noterar att en liknande optimering för den slutliga 256px>1024px-lagret har “lite eller ingen” effekt på de slutliga resultaten, och har därför inte implementerat detta.

Artikeln påstår att optimeringsprocessen tar ungefär åtta minuter per bild på dubbla TPUV4-chip. Den slutliga renderingen sker i kärnan Imagen under DDIM-samplingsschemat.

I likhet med liknande finjusteringsprocesser för Googles DreamBooth, kan de resulterande inbäddningarna dessutom användas för att driva stylisering, samt fotorealistiska redigeringar som innehåller information som hämtats från den underliggande databasen som driver Imagen (eftersom, som den första kolumnen nedan visar, källbilderna inte har något av det nödvändiga innehållet för att utföra dessa transformationer).

Flexibel fotorealistisk rörelse och redigeringar kan framkallas via Imagic, medan de härledda och disentangled koderna som erhålls under processen kan lika gärna användas för stiliserad utdata.

Forskarna jämförde Imagic med tidigare arbeten SDEdit, en GAN-baserad metod från 2021, ett samarbete mellan Stanford University och Carnegie Mellon University; och Text2Live, ett samarbete från april 2022, mellan Weizmann Institute of Science och NVIDIA.

En visuell jämförelse mellan Imagic, SDEdit och Text2Live.

Det är tydligt att de tidigare metoderna kämpar, men i den nedre raden, som innefattar att injicera en massiv förändring av pose, misslyckas de befintliga metoderna helt med att omforma källmaterialet, jämfört med en noterbar framgång från Imagic.

Imagics resurskrav och tränings tid per bild, medan kort enligt sådana prestationer, gör det till en osannolik inklusion i en lokal bildredigeringsapplikation på persondatorer – och det är inte tydligt i vilken utsträckning processen för finjustering kan skalas ned till konsumentnivå.

Som det står, är Imagic ett imponerande erbjudande som är mer lämpat för API:er – en miljö som Google Research, som är försiktiga med kritik i fråga om att underlätta deepfaking, kan i vilket fall som helst vara mest bekväm med.

Publicerad första gången den 18 oktober 2022.