De nauwkeurigheid van AI-afbeeldingsbewerking verbeteren

Hoewel Adobe’s Firefly latent diffusion model (LDM) een van de beste momenteel beschikbare modellen is, zullen gebruikers van Photoshop die de generatieve functies hebben uitgeprobeerd, hebben opgemerkt dat het niet gemakkelijk bestaande afbeeldingen kan bewerken – in plaats daarvan vervangt het het geselecteerde gebied van de gebruiker volledig met beelden op basis van de tekstprompt van de gebruiker (hoewel Firefly goed is in het integreren van het gegenereerde gedeelte in de context van de afbeelding).

In de huidige bètaversie kan Photoshop tenminste een referentieafbeelding opnemen als een gedeeltelijke afbeeldingsprompt, waarmee Adobe’s vlaggenschipproduct gelijkwaardig wordt aan de functionaliteit die Stable Diffusion -gebruikers al meer dan twee jaar hebben, dankzij derdepartijframeworks zoals Controlnet:

De huidige bètaversie van Adobe Photoshop ondersteunt het gebruik van referentieafbeeldingen bij het genereren van nieuwe inhoud binnen een selectie – hoewel het op dit moment een kwestie van trial en error is.

Dit illustreert een open probleem in beeldsyntheserichting – de moeilijkheid die diffusiemodellen hebben om bestaande afbeeldingen te bewerken zonder een volledige ‘heruitvinding’ van de door de gebruiker aangegeven selectie uit te voeren.

Hoewel deze diffusiegebaseerde inpaint de prompt van de gebruiker opvolgt, vindt het een complete heruitvinding van de brononderwerp plaats zonder de oorspronkelijke afbeelding in overweging te nemen (behalve door de nieuwe generatie met de omgeving te mengen). Bron: https://arxiv.org/pdf/2502.20376

Dit probleem doet zich voor omdat LDM’s afbeeldingen genereren via iteratieve ruisreductie, waarbij elke fase van het proces wordt geconditioneerd op de tekstprompt die door de gebruiker is opgegeven. Met de tekstpromptinhoud omgezet in embeddingtokens en met een hyperschaalmodel zoals Stable Diffusion of Flux dat honderdduizenden (of miljoenen) near-matching embeddings bevat die verband houden met de prompt, heeft het proces een berekende conditionele verdeling om naar te streven; en elke stap die wordt genomen, is een stap in de richting van deze ‘conditionele verdelingsdoelstelling’.

Dus dat is tekst naar afbeelding – een scenario waarin de gebruiker ‘het beste hoopt’, aangezien er geen manier is om exact te weten wat de generatie zal zijn.

In plaats daarvan hebben velen geprobeerd om de krachtige generatieve capaciteit van een LDM te gebruiken om bestaande afbeeldingen te bewerken – maar dit houdt een balans in tussen trouw en flexibiliteit.

Wanneer een afbeelding in de latentruimte van het model wordt geprojecteerd met methoden zoals DDIM-inversie, is het doel om de oorspronkelijke afbeelding zo nauwkeurig mogelijk te reconstrueren, terwijl er nog steeds ruimte is voor betekenisvolle bewerkingen. Het probleem is dat hoe nauwkeuriger een afbeelding wordt gereconstrueerd, hoe meer het model zich houdt aan zijn oorspronkelijke structuur, waardoor grote wijzigingen moeilijk worden.

In overeenstemming met veel andere diffusiegebaseerde beeldbewerkingsframeworks die in de afgelopen jaren zijn voorgesteld, heeft de Renoise-architectuur moeite om enige echte verandering aan te brengen in de verschijning van de afbeelding, met alleen een perfunctoire indicatie van een strik die verschijnt aan de basis van de keel van de kat.

Aan de andere kant, als het proces prioriteit geeft aan bewerkbaarheid, vermindert het model zijn greep op de oorspronkelijke afbeelding, waardoor het gemakkelijker wordt om veranderingen aan te brengen – maar ten koste van de algehele consistentie met de bronafbeelding:

Missie geslaagd – maar het is een transformatie in plaats van een aanpassing, voor de meeste AI-gebaseerde beeldbewerkingsframeworks.

Aangezien het een probleem is dat zelfs Adobe’s aanzienlijke middelen moeite hebben om aan te pakken, kunnen we redelijkerwijs concluderen dat de uitdaging opmerkelijk is en mogelijk geen gemakkelijke oplossingen toelaat, als die al bestaan.

Strikke inversie

Daarom trokken de voorbeelden in een nieuw artikel dat deze week werd gepubliceerd, mijn aandacht, omdat het werk een waardevolle en opmerkelijke verbetering biedt van de huidige stand van zaken in dit gebied, door te bewijzen dat het in staat is om subtiele en verfijnde bewerkingen aan te brengen op afbeeldingen die in de latentruimte van een model zijn geprojecteerd – zonder dat de bewerkingen onbeduidend zijn of de oorspronkelijke inhoud in de bronafbeelding overschrijven:

Met Strikke inversie toegepast op bestaande inversiemethoden, wordt de bronselectie op een veel meer gedetailleerde manier beschouwd en voldoen de transformaties aan de oorspronkelijke materialen in plaats van deze te overschrijven.

LDM-hobbyisten en -praktijkmensen kunnen dit soort resultaten herkennen, aangezien veel ervan kan worden gecreëerd in een complexe workflow met behulp van externe systemen zoals Controlnet en IP-Adapter.

Feitelijk leunt de nieuwe methode – die Strikke inversie wordt genoemd – inderdaad op IP-Adapter, evenals op een speciaal model voor menselijke afbeeldingen.

Uit het originele IP-Adapter-artikel van 2023, voorbeelden van het maken van passende bewerkingen aan de broninhoud. Bron: https://arxiv.org/pdf/2308.06721

De belangrijkste prestatie van Strikke inversie is dat het complexe technieken heeft geïntegreerd in een enkele drop-in-modus die kan worden toegepast op bestaande systemen, waaronder veel van de meest populaire LDM-distributies.

Natuurlijk betekent dit dat Strikke inversie (TI), net als de adjunctsystemen die het gebruikt, de bronafbeelding gebruikt als een conditionele factor voor de bewerkte versie, in plaats van alleen te vertrouwen op nauwkeurige tekstprompts:

Verdere voorbeelden van de mogelijkheid van Strikke inversie om echt gemengde bewerkingen aan te brengen op broninhoud.

Hoewel de auteurs toegeven dat hun benadering niet vrij is van de traditionele en voortdurende spanning tussen trouw en bewerkbaarheid in diffusiegebaseerde beeldbewerkingstechnieken, melden ze state-of-the-artresultaten wanneer ze TI in bestaande systemen injecteren, in vergelijking met de baseline-prestaties.

Het nieuwe artikel heet Strikke inversie: beeldgeconditioneerde inversie voor echte beeldbewerking en komt van vijf onderzoekers van de Tel Aviv University en Snap Research.

Methode

Aanvankelijk wordt een Large Language Model (LLM) gebruikt om een reeks gevarieerde tekstprompts te genereren waaruit een afbeelding wordt gegenereerd. Vervolgens wordt de eerdergenoemde DDIM-inversie toegepast op elke afbeelding met drie tekstcondities: de tekstprompt die wordt gebruikt om de afbeelding te genereren; een verkorte versie van dezelfde; en een null (lege) prompt.

Met de omgekeerde ruis die uit deze processen wordt geretourneerd, worden de afbeeldingen opnieuw gegenereerd met dezelfde conditie, en zonder classifier-free guidance (CFG).

DDIM-inversiescores over verschillende metrieken met variabele promptinstellingen.

Zoals we kunnen zien uit de grafiek hierboven, worden de scores over verschillende metrieken verbeterd met toenemende tekstlengte. De gebruikte metrieken waren Peak Signal-to-Noise Ratio (PSNR); L2-afstand; Structural Similarity Index (SSIM); en Learned Perceptual Image Patch Similarity (LPIPS).

Beeldbewust

Effectief verandert Strikke inversie de manier waarop een hostdiffusiemodel echte afbeeldingen bewerkt door de inversieproces te conditioneren op de afbeelding zelf, in plaats van alleen te vertrouwen op tekst.

Normaal gesproken is het omkeren van een afbeelding in de ruimte van een diffusiemodel een schatting van de startruis die, wanneer deze wordt gedenoiseerd, de invoer reconstrueert. Standaardmethoden gebruiken een tekstprompt om dit proces te leiden; maar een onvolkomen prompt kan leiden tot fouten, details verliezen of structuren veranderen.

Strikke inversie gebruikt in plaats daarvan IP-Adapter om visuele informatie in het model te voeden, zodat het de afbeelding met grotere nauwkeurigheid reconstrueert, de bronafbeeldingen omzet in conditionele tokens en deze projecteert in de inversiepijplijn.

Deze parameters zijn bewerkbaar: het vergroten van de invloed van de bronafbeelding maakt de reconstructie bijna perfect, terwijl het verkleinen ervan creatieve veranderingen toelaat. Dit maakt Strikke inversie nuttig voor zowel subtiele modificaties, zoals het veranderen van een shirtkleur, als voor meer significante bewerkingen, zoals het verwisselen van objecten – zonder de gebruikelijke neveneffecten van andere inversiemethoden, zoals het verlies van fijne details of onverwachte aberraties in de achtergrondinhoud.

De auteurs verklaren:

‘We merken op dat Strikke inversie gemakkelijk kan worden geïntegreerd met eerdere inversiemethoden (bijv. Edit Friendly DDPM, ReNoise) door [de native diffusiekernel te vervangen door het IP-Adapter-gewijzigde model], [en] Strikke inversie verbetert deze methoden consequent in zowel reconstructie als bewerkbaarheid.’

Gegevens en tests

De onderzoekers hebben TI geëvalueerd op zijn vermogen om echte bronafbeeldingen te reconstrueren en te bewerken. Alle experimenten gebruikten Stable Diffusion XL met een DDIM-planner zoals beschreven in het oorspronkelijke Stable Diffusion-artikel; en alle tests gebruikten 50 denoisingstappen met een standaardrichtingsfactor van 7,5.

Voor beeldconditionering werd IP-Adapter-plus sdxl vit-h gebruikt. Voor weinig-stapstests werd SDXL-Turbo gebruikt met een Euler-planner, en er werden ook experimenten uitgevoerd met FLUX.1-dev, waarbij het model werd geconditioneerd op PuLID-Flux, met behulp van RF-Inversie bij 28 stappen.

PulID werd alleen gebruikt in gevallen met menselijke gezichten, aangezien dit het domein is waarvoor PulID is getraind – en hoewel het opmerkelijk is dat een gespecialiseerd subsysteem wordt gebruikt voor deze ene mogelijke prompttype, suggereert onze overmatige interesse in het genereren van menselijke gezichten dat het alleen vertrouwen op de bredere gewichten van een basismodel zoals Stable Diffusion mogelijk niet voldoende is voor de standaarden die we eisen voor deze specifieke taak.

Reconstructietests werden uitgevoerd voor kwalitatieve en kwantitatieve evaluatie. In de onderstaande afbeelding zien we kwalitatieve voorbeelden voor DDIM-inversie:

Kwalitatieve resultaten voor DDIM-inversie. Elke rij toont een zeer gedetailleerde afbeelding naast de gereconstrueerde versies, met elke stap die gebruik maakt van steeds nauwkeurigere condities tijdens inversie en denoising.

Het artikel vermeldt:

‘Deze voorbeelden benadrukken dat het conditioneren van het inversieproces op een afbeelding de reconstructie in zeer gedetailleerde gebieden aanzienlijk verbetert.

‘Opvallend is dat onze methode in het derde voorbeeld van [de onderstaande afbeelding] de tattoo op de rug van de rechterbokser met succes reconstrueert. Bovendien wordt de houding van de bokser ‘s been nauwkeuriger bewaard en wordt de tattoo op het been zichtbaar.’

Verdere kwalitatieve resultaten voor DDIM-inversie. Beschrijvende condities verbeteren DDIM-inversie, met beeldconditionering die tekst overtreft, vooral bij complexe afbeeldingen.

De auteurs testten Strikke inversie ook als een drop-in-module voor bestaande systemen, waarbij ze de gemodificeerde versies tegen hun baseline-prestaties zetten.

De drie geteste systemen waren de eerdergenoemde DDIM-inversie en RF-inversie; en ook ReNoise, die enkele auteursovereenkomsten deelt met het artikel dat hier wordt besproken. Aangezien DDIM-resultaten geen moeite hebben om 100% reconstructie te behalen, richtten de onderzoekers zich alleen op bewerkbaarheid.

(De kwalitatieve resultaatafbeeldingen zijn op een manier geformatteerd die moeilijk te reproduceren is, dus we verwijzen de lezer naar het bron-PDF voor volledige dekking en betere resolutie, ondanks dat enkele selecties hieronder worden weergegeven)

Links, kwalitatieve reconstructieresultaten voor Strikke inversie met SDXL. Rechts, reconstructie met Flux.

Hierop merken de auteurs op:

‘Zoals geïllustreerd, integreert Strikke inversie met bestaande methoden consequent de reconstructie. Voor [voorbeeld,] onze methode reconstrueert de leuning in het linkse voorbeeld en de man met het blauwe shirt in het rechtere voorbeeld [in figuur 5 van het artikel] nauwkeurig.’

De auteurs testten het systeem ook kwantitatief. In overeenstemming met eerdere werken, gebruikten ze de validatieset van MS-COCO, en merken op dat de resultaten (hieronder weergegeven) de reconstructie over alle metrieken voor alle methoden verbeterden.

Vergelijking van de metrieken voor de prestaties van de systemen met en zonder Strikke inversie.

Vervolgens testten de auteurs de mogelijkheid van het systeem om foto’s te bewerken, waarbij ze het tegen baseline-versies van eerdere benaderingen prompt2prompt; Edit Friendly DDPM; LED-ITS++; en RF-inversie zetten.

Hieronder worden enkele van de kwalitatieve resultaten van het artikel voor SDXL en Flux weergegeven (en we verwijzen de lezer naar de vrijwel samengeperste lay-out van het originele artikel voor verdere voorbeelden).

Selecties uit de uitgebreide kwalitatieve resultaten (die nogal verwarrend) verspreid over het artikel.

De auteurs beweren dat Strikke inversie consequent beter presteert dan bestaande inversietechnieken door een betere balans te vinden tussen reconstructie en bewerkbaarheid. Standaardmethoden zoals DDIM-inversie en ReNoise kunnen een afbeelding goed reconstrueren, maar zoals het artikel stelt, hebben ze vaak moeite om fijne details te behouden wanneer bewerkingen worden toegepast.

Daarentegen gebruikt Strikke inversie beeldconditionering om de uitvoer van het model nauwer aan de oorspronkelijke afbeelding te binden, waardoor ongewenste vertekeningen worden voorkomen. De auteurs beweren dat zelfs wanneer concurrerende benaderingen reconstructies opleveren die lijken nauwkeurig, de introductie van bewerkingen vaak leidt tot artefacten of structurele inconsistenties, en dat Strikke inversie deze problemen vermindert.

Tenslotte werden kwantitatieve resultaten verkregen door Strikke inversie te evalueren tegen de MagicBrush-benchmark, met behulp van DDIM-inversie en LEDITS++, gemeten met CLIP Sim.

Kwantitatieve vergelijkingen van Strikke inversie tegen de MagicBrush-benchmark.

De auteurs concluderen:

‘In beide grafieken is de afweging tussen beeldbehoud en naleving van de doelbewerking duidelijk zichtbaar. Strikke inversie biedt betere controle over deze afweging en behoudt de invoerbeeld beter, terwijl het nog steeds overeenkomt met de bewerkingsprompt.’

‘Opmerking: een CLIP-overeenkomst van boven de 0,3 tussen een afbeelding en een tekstprompt geeft een plausibele overeenkomst aan tussen de afbeelding en de prompt.’

Conclusie

Hoewel Strikke inversie geen ‘doorbraak’ vertegenwoordigt in een van de meest hardnekkige uitdagingen in LDM-gebaseerde beeldsynthese, consolideert het een aantal lastige aanvullende benaderingen in een geïntegreerde methode voor AI-gebaseerde beeldbewerking.

Hoewel de spanning tussen bewerkbaarheid en trouw onder deze methode niet verdwenen is, is deze volgens de resultaten aanzienlijk vermindert. Aangezien de centrale uitdaging die dit werk aanpakt, mogelijk uiteindelijk onoverkomelijk blijkt te zijn als het op eigen kracht wordt aangepakt (in plaats van te kijken naar LDM-gebaseerde architectuur in toekomstige systemen), vertegenwoordigt Strikke inversie een welkome incrementele verbetering in de stand van zaken.

Voor het eerst gepubliceerd op vrijdag 28 februari 2025