Zlepšení přesnosti editace obrazů pomocí umělé inteligence

Navzdory tomu, že Adobe Firefly latentní difuzní model (LDM) je jeden z nejlepších aktuálně dostupných, uživatelé Photoshopu, kteří vyzkoušeli jeho generativní funkce, si všimli, že není schopen snadno editovat existující obrázky – místo toho zcela nahrazuje vybranou oblast uživatele obrazem založeným na textovém promptu uživatele (ačkoli Firefly je schopen integrovat výslednou generovanou sekci do kontextu obrázku).

V aktuální betaverzi může Photoshop alespoň zahrnout referenční obrázek jako částečný obrazový prompt, což dohání Adobeho vlajkový produkt k funkčnosti, kterou uživatelé Stable Diffusion užívali již více než dva roky, díky třetím stranám, jako je Controlnet:

Aktuální beta verze Adobe Photoshopu umožňuje použití referenčních obrázků při generování nového obsahu uvnitř výběru – i když je to nyní dost náhodné.

To ilustruje otevřený problém ve výzkumu syntézy obrazů – obtíž, kterou difuzní modely mají při editování existujících obrazů bez provedení plnohodnotného „přeobrazení“ výběru označeného uživatelem.

Ačkoli tato difuzní inpaint splňuje prompt uživatele, úplně přetvoří původní předmět bez ohledu na původní obraz (kromě smíšení nového generovaného obsahu s prostředím). Zdroj: https://arxiv.org/pdf/2502.20376

Tento problém nastává, protože LDM generuje obrázky prostřednictvím iterativního odhlučňování, kde je každý stupeň procesu podmíněn textovým promptem poskytnutým uživatelem. S obsahem textového promptu převedeným do embedding tokenů a s hyperscale modelem, jako je Stable Diffusion nebo Flux, který obsahuje stovky tisíc (nebo miliony) téměř shodných embeddingů souvisejících s promptem, proces má vypočítanou podmíněnou distribuci, ke které se proces blíží; a každý krok je krokem směrem k této „podmíněné distribuční cíli“.

Takže to je text na obraz – scénář, ve kterém uživatel „doufá v nejlepší“ výsledek, protože není možné přesně určit, jaký bude výsledek.

Místo toho mnozí se snažili využít generativní kapacitu LDM k editování existujících obrazů – ale to vyžaduje rovnováhu mezi věrností a flexibilitou.

Když je obraz projektován do latentního prostoru modelu metodami, jako je DDIM inversion, cílem je obnovit původní obraz co nejpřesněji, zatímco zároveň umožnit smysluplné úpravy. Problém je, že čím přesněji je obraz rekonstruován, tím více se model drží své původní struktury, což činí obtížné provedení větších úprav.

Stejně jako mnoho jiných difuzních rámců pro editování obrazů navržených v posledních letech, architektura Renoise má obtížnost s provedením skutečných změn vzhledu obrázku, s pouze povrchním náznakem kravaty na spodní části krku kočky.

Na druhé straně, pokud proces prioritizuje editovatelnost, model uvolňuje svou kontrolu nad původním obrazem, což usnadňuje zavedení změn – ale za cenu celkové konzistence se zdrojovým obrazem:

Misión splněna – ale je to transformace spíše než úprava, pro většinu AI-založených rámců pro editování obrazů.

Jelikož je to problém, se kterým se i Adobeho značné zdroje potýkají, můžeme rozumně předpokládat, že výzva je významná a nemusí mít snadná řešení, pokud vůbec nějaká existují.

Tight Inversion

Proto mě příklady v nové práci zveřejněné tento týden upoutaly, protože tato práce nabízí užitečné a pozoruhodné zlepšení současného stavu v této oblasti, tím, že je schopná aplikovat jemné a rafinované úpravy na obrázky projektované do latentního prostoru modelu – bez toho, aby úpravy byly zanedbatelné nebo přebíhaly původní obsah ve zdrojovém obrázku:

S Tight Inversion aplikovaným na stávající metody inverze, je zdrojový výběr považován za mnohem více granulární, a transformace se přizpůsobují původnímu materiálu místo toho, aby ho přepisovaly.

LDM nadšenci a praktici mohou poznat tento typ výsledku, protože většina z něj může být vytvořena v komplexním workflow pomocí externích systémů, jako je Controlnet a IP-Adapter.

Ve skutečnosti nová metoda – nazvaná Tight Inversion – využívá IP-Adapter, spolu s vyhrazeným modelem pro lidské obrazy, pro lidské zobrazení.

Z původní práce IP-Adapter z roku 2023, příklady vytváření vhodných úprav zdrojového materiálu. Zdroj: https://arxiv.org/pdf/2308.06721

Signální úspěch Tight Inversion spočívá v tom, že proceduralizoval komplexní techniky do jediného modulu, který lze aplikovat na stávající systémy, včetně mnoha z nejpopulárnějších LDM distribucí.

Přirozeně, to znamená, že Tight Inversion (TI), stejně jako příbuzné systémy, které využívá, používá zdrojový obraz jako podmínku pro svou editovanou verzi, místo aby se spoléhal pouze na přesné textové prompty:

Další příklady schopnosti Tight Inversion aplikovat skutečně kombinované úpravy na zdrojový materiál.

Ačkoli autoři připouštějí, že jejich přístup není prostý tradiční a pokračující napětí mezi věrností a editovatelností v difuzních technikách editování obrazů, hlásí výsledky na úrovni současného stavu, když vkládají TI do stávajících systémů, ve srovnání s bazálními výsledky.

Nová práce je nazvaná Tight Inversion: Image-Conditioned Inversion for Real Image Editing a pochází od pěti výzkumníků z Telavivské univerzity a Snap Research.

Metoda

Zpočátku je velký jazykový model (LLM) použit k vygenerování sady různých textových promptů, z nichž je vygenerován obraz. Poté je aplikována výše zmíněná DDIM inverze na každý obraz s třemi textovými podmínkami: textový prompt použitý k vygenerování obrazu; zkrácená verze stejného; a prázdný (null) prompt.

S invertovaným šumem vráceným z těchto procesů jsou obrázky znovu vygenerovány se stejnou podmínkou, a bez classifier-free guidance (CFG).

Skóre DDIM inverze napříč různými metrikami s různými nastaveními promptů.

Jak můžeme vidět z grafu výše, skóre napříč různými metrikami se zlepšuje se zvýšenou délkou textu. Metriky, které byly použity, byly Peak Signal-to-Noise Ratio (PSNR); L2 vzdálenost; Structural Similarity Index (SSIM); a Learned Perceptual Image Patch Similarity (LPIPS).

Image-Conscious

Efektivně Tight Inversion mění, jak hostitelský difuzní model edituje reálné obrázky, tím, že podmíní proces inverze na samotném obraze, místo aby se spoléhal pouze na text.

Normálně, inverze obrazu do prostoru šumu difuzního modelu vyžaduje odhadnutí počátečního šumu, který, když je denoizován, rekonstruuje vstup. Standardní metody používají textový prompt k vedení tohoto procesu; ale nepřesný prompt může vést k chybám, ztrátě detailů nebo změně struktur.

Tight Inversion místo toho používá IP Adapter k vložení vizuálních informací do modelu, aby rekonstruoval obraz s větší přesností, převádí zdrojové obrázky na podmíněné tokeny a projektuje je do procesu inverze.

Tyto parametry jsou editovatelné: zvýšení vlivu zdrojového obrazu činí rekonstrukci téměř dokonalou, zatímco snížení umožňuje více kreativních změn. To činí Tight Inversion užitečným pro jemné úpravy, jako je změna barvy trička, nebo větší úpravy, jako je výměna objektů – bez obvyklých vedlejších účinků jiných metod inverze, jako je ztráta jemných detailů nebo neočekávané aberace v pozadí.

Autoři uvádějí:

‘Poznamenáváme, že Tight Inversion lze snadno integrovat s předchozími metodami inverze (například Edit Friendly DDPM, ReNoise) přepnutím nativního difuzního jádra za model IP Adapter, a tight Inversion konzistentně zlepšuje tyto metody z hlediska rekonstrukce i editovatelnosti.’

Data a testy

Výzkumníci vyhodnotili TI na jeho kapacitě rekonstruovat a editovat reálné zdrojové obrázky. Všechny experimenty používaly Stable Diffusion XL s plánovačem DDIM, jak je popsáno v originální práci Stable Diffusion; a všechny testy používaly 50 kroků denoizování při výchozím měřítku vedení 7,5.

Pro podmíněné obrázky byl použit IP-Adapter-plus sdxl vit-h. Pro testy s několika kroky byl použit SDXL-Turbo s plánovačem Euler, a také byly provedeny experimenty s FLUX.1-dev, podmíněné na PuLID-Flux, pomocí RF-Inversion na 28 krocích.

PulID byl použit pouze v případech zahrnujících lidské obličeje, protože tato je doména, pro kterou byl PulID vyškolován – a zatímco je pozoruhodné, že se používá specializovaný subsystém pro tento jeden možný typ promptu, naše mimořádný zájem o generování lidských obličejů naznačuje, že spoléhání se pouze na širší váhy základního modelu, jako je Stable Diffusion, nemusí být dostatečné pro naše standardy pro tuto konkrétní úlohu.

Testy rekonstrukce byly provedeny pro kvalitativní a kvantitativní hodnocení. Na následujícím obrázku vidíme kvalitativní příklady pro DDIM inverzi:

Kvalitativní výsledky pro DDIM inverzi. Každý řádek ukazuje vysoce detailní obraz spolu se svými rekonstruovanými verzemi, s každým krokem používajícím postupně přesnější podmínky během inverze a denoizování. Jak se podmínky stávají přesnějšími, kvalita rekonstrukce se zlepšuje. Pravý sloupec ukazuje nejlepší výsledky, kde je původní obraz sám použit jako podmínka, dosahující nejvyšší věrnosti.

Práce uvádí:

‘Tyto příklady ukazují, že podmíněné inverze na obraze významně zlepšují rekonstrukci ve vysoce detailních oblastech.

‘Zejména v třetím příkladu [na obrázku níže] naše metoda úspěšně rekonstruuje tetování na zádech pravého boxera. Kromě toho je pózování nohy boxera přesněji zachováno a tetování na noze se stává viditelným.’

Další kvalitativní výsledky pro DDIM inverzi. Popisné podmínky zlepšují DDIM inverzi, s podmíněním obrazu, které překonává text, zejména u složitých obrazů.

Autoři také otestovali Tight Inversion jako modul, který lze vložit do stávajících systémů, a porovnali jej s jejich bazálními výsledky.

Byly testovány tři systémy: výše zmíněná DDIM inverze a RF-Inversion; a také ReNoise, který sdílí některé autory s touto prací. Protože výsledky DDIM mají žádné potíže s dosažením 100% rekonstrukce, výzkumníci se zaměřili pouze na editovatelnost.

(Kvalitativní výsledky jsou formátovány způsobem, který je obtížné reprodukovat zde, proto odkazujeme čtenáře na zdroj PDF pro lepší rozlišení a srozumitelnost, přestože některé výběry jsou uvedeny níže)

Vlevo, kvalitativní výsledky rekonstrukce pro Tight Inversion se SDXL. Vpravo, rekonstrukce s Flux.

Zde autoři komentují:

‘Jak je znázorněno, integrace Tight Inversion s existujícími metodami konzistentně zlepšuje rekonstrukci. Například naše metoda přesně rekonstruuje madlo v levém příkladu a muže s modrou košilí v pravém příkladu [v obrázku 5 práce].’

Autoři také otestovali systém kvantitativně. V souladu s předchozími pracemi použili validační soubor MS-COCO, a uvádějí, že výsledky (zobrazené níže) zlepšily rekonstrukci napříč všemi metrikami pro všechny metody.

Porovnání metrik pro výkon systémů s a bez Tight Inversion.

Dále autoři otestovali schopnost systému editovat fotografie, porovnávají jej s bazálními verzemi předchozích přístupů prompt2prompt; Edit Friendly DDPM; LED-ITS++; a RF-Inversion.

Zobrazeny níže jsou výběry kvalitativních výsledků pro SDXL a Flux (a odkazujeme čtenáře na zdroj PDF pro lepší rozlišení a srozumitelnost).

Výběry z kvalitativních výsledků (rozsáhlých a somewhat zmatených) rozesetých po celé práci.

Autoři tvrdí, že Tight Inversion konzistentně překonává stávající techniky inverze, dosahuje lepší rovnováhy mezi rekonstrukcí a editovatelností. Standardní metody, jako je DDIM inverze a ReNoise, mohou obnovit obraz dobře, ale často mají potíže s zachováním jemných detailů, když jsou aplikovány úpravy.

Naproti tomu Tight Inversion využívá podmíněné obrázky k ukotvení výstupu modelu blíže k originálu, čímž se předcházejí nežádoucí deformace. Autoři tvrdí, že i když jsou rekonstrukce generované konkurenčními přístupy zdánlivě přesné, zavedení úprav často vede k artefaktům nebo strukturálním nesrovnalostem, a že Tight Inversion tyto problémy zmírňuje.

Nakonec byly získány kvantitativní výsledky vyhodnocením Tight Inversion proti MagicBrush benchmarku, pomocí DDIM inverze a LEDITS++, měřeno pomocí CLIP Sim.

Kvantitativní srovnání Tight Inversion proti MagicBrush benchmarku.

Autoři uzavírají:

‘V obou grafech je jasně vidět kompromis mezi zachováním obrazu a dodržením cílové úpravy. Tight Inversion poskytuje lepší kontrolu nad tímto kompromisem a lépe zachovává vstupní obraz, zatímco se přizpůsobuje úpravě [promptu]. ‘

‘Poznamenáváme, že CLIP podobnost nad 0,3 mezi obrazem a textovým promptem naznačuje přijatelnou shodu mezi obrazem a promptem.’

Závěr

Ačkoli Tight Inversion nepředstavuje „průlom“ v jedné z nejtrnřejších výzev syntézy obrazů založené na LDM, konsoliduje řadu obtížných pomocných přístupů do jednotné metody editování obrazů pomocí umělé inteligence.

Ačkoli napětí mezi editovatelností a věrností není touto metodou odstraněno, je podle prezentovaných výsledků významně sníženo. Vzhledem k tomu, že základní výzva, kterou tato práce řeší, může být nakonec nevyřešitelná, pokud se bude řešit sama o sobě (místo toho, aby se hledaly budoucí systémy, které jdou za rámec architektur založených na LDM), Tight Inversion představuje vítaný.incrementální zlepšení současného stavu.

Poprvé publikováno v pátek 28. února 2025