HD-Painter: Vysoké rozlišení textem řízené inpainting obrazu s difuzními modely

Difuzní modely bezpochyby revolucionalizovaly průmysl AI a ML, s jejich aplikacemi v reálném čase se staly nedílnou součástí našeho každodenního života. Po předvedení svých pozoruhodných schopností modely text-to-image, difuzní techniky manipulace s obrazem, jako je kontrolovaná generace, specializovaná a personalizovaná syntéza obrazu, úprava obrazu na úrovni objektů, podmíněné variace a úpravy, se staly horkými tématy výzkumu kvůli svým aplikacím v počítačovém vidění.

Jedním z hlavních směrů výzkumu je vývoj modelů, které mohou rozumět globálním scénám, zejména při odšumění obrazu ve vysokých difuzních krocích. Řešením tohoto problému je HD-Painter, kompletně beztréninkový rámec, který přesně dodržuje pokyny zadané v promptu a škáluje na vysoké rozlišení inpaintingu koherentně. Rámec HD-Painter využívá vrstvu Prompt Aware Introverted Attention (PAIntA), která využívá informace z promptu k vylepšení skóre sebe-pozornosti, což vede k lepší generaci textové aligmentace.

Pro další vylepšení koherence promptu model HD-Painter zavádí přístup Reweighting Attention Score Guidance (RASG). Tento přístup integruje strategii post-hoc vzorkování do obecné formy komponenty DDIM, čímž se zabrání posunům latentních proměnných mimo distribuci. Kromě toho rámec HD-Painter nabízí specializovanou techniku super-rozlišení přizpůsobenou pro inpainting, která umožňuje rozšířit na větší škály a dokončit chybějící oblasti v obraze s rozlišením až 2K.

HD-Painter: Textem řízené inpainting obrazu

Modely difuze text-to-image byly v posledních měsících významným tématem v průmyslu AI a ML, s modely prokazujícími působivé schopnosti v reálném čase napříč různými praktickými aplikacemi. Předtrénované modely generace obrazu z textu, jako je DALL-E, Imagen a Stable Diffusion, prokázaly svou vhodnost pro dokončování obrazu spojením denoizovaného (vygenerovaného) neznámého regionu s difuzním známým regionem během zpětného procesu difuze. Přestože tyto modely produkovaly vizuálně atraktivní a harmonizované výstupy, stávající modely zápasí s porozuměním globální scéně, zejména při procesu odšumění ve vysokých difuzních krocích.

Dalším významným směrem výzkumu je textem řízené inpainting a textem řízené dokončování obrazu. Tento zájem je poháněn skutečností, že modely textem řízeného inpaintingu mohou generovat obsah v konkrétních oblastech vstupního obrazu na základě textových promptů, což vede k potenciálním aplikacím, jako je retušování konkrétních oblastí obrazu, úprava atributů subjektů, jako jsou barvy nebo oblečení, a přidávání nebo nahrazování objektů.

Většina stávajících rámců prokazuje zanedbání promptu ve dvou scénářích. První scénář je dominace pozadí, kdy model dokončuje neznámou oblast ignorováním promptu na pozadí, zatímco druhý scénář je dominace blízkých objektů, kdy model propaguje objekty známé oblasti do neznámé oblasti pomocí vizuálního kontextu místo vstupního promptu.

Rámec HD-Painter zavádí vrstvu Prompt Aware Introverted Attention (PAIntA), která využívá informace z promptu k vylepšení skóre sebe-pozornosti, což vede k lepší generaci textové aligmentace. PAIntA využívá zadávané textové podmínky k vylepšení sebe-pozornosti se záměrem snížit dopad neprompt-relevantních informací z oblasti obrazu a současně zvýšit příspěvek známých pixelů sladěných s promptem.

HD-Painter: Metoda a architektura

Předtím, než se podíváme na architekturu, je důležité pochopit tři základní koncepty, které tvoří základ rámce HD-Painter: inpainting obrazu, post-hoc vedení v difuzních rámcích a architektonické bloky specifické pro inpainting.

Inpainting obrazu je přístup, který cílí na vyplnění chybějících oblastí v obraze, zatímco zajišťuje vizuální atraktivitu vygenerovaného obrazu. Tradiční hluboké učení implementovalo metody, které využívaly známé oblasti k propagaci hlubokých rysů. Nicméně, s příchodem difuzních modelů, došlo k vývoji modelů inpaintingu, zejména textem řízeného inpaintingu obrazu.

Stable Diffusion a Stable Inpainting

Stable Diffusion je difuzní model, který operuje v latentním prostoru autoenkodéru. Pro syntézu obrazu z textu implementuje Stable Diffusion framework textový prompt, který řídí proces. Řídící funkce má strukturu podobnou architektuře UNet, a cross-attention vrstvy podmíněné textovými prompty.

Prompt Aware Introverted Attention nebo PAIntA

Stávající modely inpaintingu, jako je Stable Inpainting, se spoléhají více na vizuální kontext kolem oblasti inpaintingu a ignorují vstupní uživatelské prompty. Na základě uživatelské zkušenosti lze tento problém rozdělit do dvou kategorií: blízké objekty dominance a pozadí dominance. Problém dominance vizuálního kontextu над vstupními prompty může být výsledkem pouze prostorové a prompt-free povahy sebe-pozornosti vrstev.

Reweighting Attention Score Guidance nebo RASG

Rámec HD-Painter采用uje post-hoc vzorkovací strategii k dalšímu vylepšení generace aligmentace s textovými prompty. Společně s cílovou funkcí, post-hoc vzorkovací strategie cílí na využití otevřené slovníkové segmentace cross-attention vrstev. Nicméně, tato strategie může vést k posunům latentních proměnných, což může snížit kvalitu vygenerovaného obrazu.

HD-Painter: Experimenty a výsledky

Pro analýzu jeho výkonu je rámec HD-Painter porovnán s aktuálními modely, včetně Stable Inpainting, GLIDE a BLD, na 10 000 náhodných vzorcích, kde je prompt vybrán jako štítek vybrané instance masky.

Jako lze vidět, rámec HD-Painter překonává stávající rámce ve třech různých metrikách o významnou mezеру, zejména zlepšení o 1,5 bodu v metrice CLIP a rozdíl ve vygenerované přesnosti o asi 10 % od ostatních stávajících metod.

Závěrečné myšlenky

V tomto článku jsme diskutovali o HD-Painter, beztréninkovém textem řízeném přístupu k inpaintingu obrazu s vysokým rozlišením, který řeší výzvy stávajících rámců, včetně zanedbání promptu a dominance blízkých objektů a pozadí. Rámec HD-Painter implementuje vrstvu Prompt Aware Introverted Attention (PAIntA), která využívá informace z promptu k vylepšení skóre sebe-pozornosti, což vede k lepší generaci textové aligmentace.