AI-ondersteund objectbewerking met Google’s Imagic en Runway’s ‘Erase and Replace’

Deze week worden twee nieuwe, maar tegenstrijdige AI-gestuurde grafische algoritmen geïntroduceerd, die innovatieve manieren bieden voor eindgebruikers om zeer gedetailleerde en effectieve wijzigingen aan te brengen in objecten in foto’s.

Het eerste is Imagic, van Google Research, in samenwerking met het Israel Institute of Technology en het Weizmann Institute of Science. Imagic biedt tekst-geconditioneerde, fijne bewerking van objecten via het fijne tunen van diffusiemodellen.

Verander wat je wilt, en laat de rest – Imagic belooft gedetailleerde bewerking van alleen de delen die je wilt veranderen. Bron: https://arxiv.org/pdf/2210.09276.pdf

Iedereen die ooit heeft geprobeerd om alleen één element in een Stable Diffusion-re-render te veranderen, weet maar al te goed dat voor elke succesvolle bewerking, het systeem vijf dingen zal veranderen die je precies zo leuk vond als ze waren. Het is een tekortkoming die op dit moment veel van de meest getalenteerde SD-enthusiasten constant laat schakelen tussen Stable Diffusion en Photoshop, om dit soort ‘collateral damage’ te herstellen. Vanuit dit oogpunt alleen al lijken Imagic’s prestaties opvallend.

Op het moment van schrijven, ontbreekt Imagic nog steeds aan een promotionele video, en gezien Google’s omzichtige houding ten aanzien van het vrijgeven van onbeperkte beeldsynthesetools, is het onzeker in hoeverre we de kans zullen krijgen om het systeem te testen.

Het tweede aanbod is Runway ML’s meer toegankelijke Erase and Replace-functie, een nieuw kenmerk in de ‘AI Magic Tools’-sectie van hun exclusief online suite van machine learning-gebaseerde visuele effectenprogramma’s.

Runway ML’s Erase and Replace-functie, al gezien in een voorbeeld voor een tekst-naar-video-bewerkingsysteem. Bron: https://www.youtube.com/watch?v=41Qb58ZPO60

Laten we eerst naar Runway’s uitstapje kijken.

Erase and Replace

Net als Imagic, houdt Erase and Replace zich uitsluitend bezig met stilstaande beelden, hoewel Runway een voorbeeld heeft getoond van dezelfde functionaliteit in een tekst-naar-video-bewerkingsoplossing die nog niet is vrijgegeven:

Hoewel iedereen de nieuwe Erase and Replace op afbeeldingen kan uitproberen, is de videoversie nog niet openbaar beschikbaar. Bron: https://twitter.com/runwayml/status/1568220303808991232

Hoewel Runway ML geen details heeft vrijgegeven over de technologie achter Erase and Replace, suggereert de snelheid waarmee je een huisplant kunt vervangen door een redelijk overtuigende buste van Ronald Reagan dat een diffusiemodel zoals Stable Diffusion (of, veel minder waarschijnlijk, een uitgegeven DALL-E 2) de motor is die het object van je keuze in Erase and Replace herschept.

Een huisplant vervangen door een buste van The Gipper is niet zo snel als dit, maar het is best snel. Bron: https://app.runwayml.com/

Het systeem heeft enkele beperkingen van het type DALL-E 2 – afbeeldingen of tekst die de Erase and Replace-filters activeren, zullen een waarschuwing activeren over een mogelijke account-schorsing in geval van verdere overtredingen – praktisch een kopie van OpenAI’s beleid voor DALL-E 2.

Veel van de resultaten ontbreken de typische ruwe randen van Stable Diffusion. Runway ML zijn investeerders en onderzoekspartners in SD, en het is mogelijk dat ze een propriëtair model hebben getraind dat superieur is aan de open-source 1.4-checkpoint-gewichten die de rest van ons op dit moment worstelt (zoals veel andere ontwikkelingsgroepen, zowel hobbyistisch als professioneel, op dit moment Stable Diffusion-modellen trainen of fijntunen).

Een huistafel vervangen door een ‘tafel van ijs’ in Runway ML’s Erase and Replace.

Zoals bij Imagic (zie hieronder) is Erase and Replace ‘object-georiënteerd’ – je kunt niet zomaar een ‘leeg’ deel van de afbeelding wissen en inpainten met het resultaat van je tekstprompt; in dat scenario zal het systeem eenvoudigweg de dichtstbijzijnde zichtbare object langs de lijn van de masker traceren (zoals een muur of een televisie) en de transformatie daar toepassen.

Aangezien de naam aangeeft, kun je geen objecten inleiden in lege ruimte in Erase and Replace. Hier, een poging om de meest beroemde van de Sith-lords op te roepen, resulteert in een vreemde Vader-gerelateerde muurschildering op de tv, ongeveer waar de ‘vervang’-zone was getekend.

Het is moeilijk te zeggen of Erase and Replace ontwijkt wat betreft het gebruik van gecopyrighte beelden (die nog steeds grotendeels worden geblokkeerd, hoewel met wisselend succes, in DALL-E 2), of dat het model dat in de backend-renderengine wordt gebruikt, gewoon niet is geoptimaliseerd voor dat soort dingen.

De licht NSFW ‘Mural van Nicole Kidman’ geeft aan dat het (vermoedelijk) diffusie-gebaseerde model in kwestie ontbreekt aan DALL-E 2’s voormalige systematische weigering om realistische gezichten of racy content te renderen, terwijl de resultaten voor pogingen om gecopyrighte werken op te roepen variëren van het dubieuze (‘xenomorph’) tot het absurde (‘the iron throne’). Inset onderaan rechts, de bronafbeelding.

Het zou interessant zijn om te weten welke methoden Erase and Replace gebruikt om de objecten te isoleren die het in staat is te vervangen. Vermoedelijk wordt de afbeelding door een afgeleide van CLIP gerend, met de discrete items geïndividualiseerd door objectherkenning en vervolgens semantische segmentatie. Geen van deze bewerkingen werkt zo goed in een standaardinstallatie van Stable Diffusion.

Maar niets is perfect – soms lijkt het systeem te wissen en niet te vervangen, zelfs wanneer (zoals we in de afbeelding hierboven hebben gezien), de onderliggende renderengine absoluut weet wat een tekstprompt betekent. In dit geval blijkt het onmogelijk om een salontafel te veranderen in een xenomorf – in plaats daarvan verdwijnt de tafel gewoon.

Een engere iteratie van ‘Where’s Waldo’, aangezien Erase and Replace er niet in slaagt om een alien te produceren.

Erase and Replace lijkt een effectief object-substitutiesysteem te zijn, met uitstekende inpainting. Echter, het kan geen bestaande waargenomen objecten bewerken, maar alleen vervangen. Om daadwerkelijk bestaande afbeeldingsinhoud te wijzigen zonder omringend materiaal te compromitteren, is een veel moeilijkere taak, die samenhangt met de langdurige strijd van de computer-visiesector naar disentanglement in de verschillende latent spaces van de populaire frameworks.

Imagic

Het is een taak die Imagic aanpakt. Het nieuwe artikel biedt talloze voorbeelden van bewerkingen die met succes individuele facetten van een foto wijzigen, terwijl de rest van de afbeelding onaangetast blijft.

In Imagic lijden de bewerkte afbeeldingen niet aan de karakteristieke rek, vervorming en ‘occlusion guessing’ die kenmerkend zijn voor deepfake-poppenspel, dat gebruik maakt van beperkte priors die zijn afgeleid van een enkele afbeelding.

Het systeem gebruikt een driestapsproces – tekst-embeddings-optimalisatie; model-fijne-tuning; en, ten slotte, de generatie van de bewerkte afbeelding.

Imagic codeert de doeltekstprompt om de initiële tekst-embeddings op te halen, en optimaliseert vervolgens het resultaat om de invoer-afbeelding te verkrijgen. Vervolgens wordt het generatieve model fijne-getuned op de bronafbeelding, met een reeks parameters toegevoegd, voordat het wordt onderworpen aan de gevraagde interpolatie.

Onverwachts is het kader gebaseerd op Google’s Imagen-tekst-naar-video-architectuur, hoewel de onderzoekers verklaren dat de principes van het systeem breed toepasbaar zijn op latent diffusiemodellen.

Imagen gebruikt een driedelige architectuur, in plaats van de zevenlaag-array die wordt gebruikt voor het bedrijf’s recentere tekst-naar-video-iteratie van de software. De drie afzonderlijke modules bestaan uit een generatief diffusiemodel dat op 64x64px-resolutie werkt; een super-resolutiemodel dat de uitvoer hiervan opschalt naar 256x256px; en een extra super-resolutiemodel om de uitvoer helemaal op te schalen naar 1024×1024-resolutie.

Imagic grijpt in bij het vroegste stadium van dit proces, door de gevraagde tekst-embeddings te optimaliseren op het 64px-stadium met een Adam-optimizer met een statische leersnelheid van 0,0001.

Een meesterklasse in disentanglement: die eindgebruikers die hebben geprobeerd om iets zo eenvoudigs als de kleur van een gerenderd object in een diffusie-, GAN- of NeRF-model te veranderen, weten hoe significant het is dat Imagic dergelijke transformaties kan uitvoeren zonder de consistentie van de rest van de afbeelding ‘uit elkaar te halen’.

Fijne-tuning vindt vervolgens plaats op Imagen’s basismodel, voor 1500 stappen per invoer-afbeelding, voorwaardelijk op de herziene embeddings. Tegelijkertijd wordt het secundaire 64px>256px-laag geoptimaliseerd in parallel op de voorwaardelijke afbeelding. De onderzoekers merken op dat een soortgelijke optimalisatie voor het laatste 256px>1024px-laag ‘weinig tot geen effect’ heeft op de eindresultaten, en hebben dit daarom niet geïmplementeerd.

Het artikel verklaart dat het optimalisatieproces ongeveer acht minuten duurt voor elke afbeelding op dubbele TPUV4-chips. De definitieve rendering vindt plaats in core Imagen onder de DDIM-sampling-scheme.

In overeenstemming met soortgelijke fijne-tuningsprocessen voor Google’s DreamBooth, kunnen de resulterende embeddings bovendien worden gebruikt om stijl te geven, evenals fotorealistische bewerkingen die informatie bevatten die is afgeleid van de bredere onderliggende database die Imagen aandrijft (aangezien, zoals de eerste kolom hieronder laat zien, de bronafbeeldingen geen van de benodigde inhoud hebben om deze transformaties te effectueren).

Flexibele fotorealistische beweging en bewerkingen kunnen worden opgeroepen via Imagic, terwijl de afgeleide en ontkoppelde codes die tijdens het proces worden verkregen, even gemakkelijk kunnen worden gebruikt voor gestileerde uitvoer.

De onderzoekers vergeleken Imagic met eerdere werken SDEdit, een GAN-gebaseerde benadering uit 2021, een samenwerking tussen Stanford University en Carnegie Mellon University; en Text2Live, een samenwerking, uit april 2022, tussen het Weizmann Institute of Science en NVIDIA.

Een visuele vergelijking tussen Imagic, SDEdit en Text2Live.

Het is duidelijk dat de eerdergenoemde benaderingen worstelen, maar in de onderste rij, die een enorme verandering van pose betreft, falen de bestaande benaderingen volledig om het bronmateriaal te herschikken, in tegenstelling tot een opvallend succes van Imagic.

Imagic’s bronvereisten en traintijd per afbeelding, hoewel kort volgens de normen van dergelijke ondernemingen, maken het een onwaarschijnlijke inclusie in een lokale afbeeldingsbewerkingsprogramma op personal computers – en het is niet duidelijk in hoeverre het proces van fijne-tuning kan worden geschaald naar consumentenniveau.

Zoals het er nu uitziet, is Imagic een indrukwekkend aanbod dat meer geschikt is voor API’s – een omgeving waarin Google Research, die terughoudend is met kritiek over het faciliteren van deepfaking, zich in ieder geval het meest op haar gemak voelt.

Publicatie voor het eerst op 18 oktober 2022.