Obrázkové doplnění je jedním z klasických problémů v počítačovém vidění a jeho cílem je obnovit maskované oblasti v obraze s uvěřitelným a přirozeným obsahem. Existující práce, které využívají tradiční techniky obrázkového doplnění, jako jsou Generative Adversarial Networks nebo GANS, a Variational Auto-Encoders nebo VAEs, často vyžadují pomocné ručně navržené funkce, ale zároveň nedosahují uspokojivých výsledků. V posledních letech získaly difúzní metody popularitu v komunitě počítačového vidění díky svým pozoruhodným schopnostem generovat vysoce kvalitní obrázky, rozmanitosti výstupu a jemné kontrole. První pokusy o využití difúzních modelů pro textem řízené obrázkové doplnění modifikovaly standardní strategii odstranění šumu tak, že vzorkovaly maskované oblasti z předem trénovaného difúzního modelu a nemaskované oblasti z daného obrázku. Ačkoli tyto metody dosáhly uspokojivých výsledků v jednoduchých úkolech obrázkového doplnění, měly potíže s komplexními maskovacími tvary, textovými podněty a obsahem obrázků, což vedlo k celkovému nedostatku soudržnosti. Nedostatek soudržnosti pozorovaný u těchto metod lze připsat především jejich omezeným percepčním znalostem hranic masky a kontextu nemaskované oblasti obrázku.

Navzdory pokrokům, výzkumu a vývoji těchto modelů v posledních letech je obrázkové doplnění stále velkou překážkou pro vývojáře počítačového vidění. Současné adaptace difúzních modelů pro úkoly obrázkového doplnění zahrnují modifikaci strategie vzorkování nebo vývoj speciálních difúzních modelů pro doplnění, které často trpí sníženou kvalitou obrázků a nesoudržnou sémantikou. Aby se tyto výzvy překonaly a otevřely cestu pro modely obrázkového doplnění, budeme v tomto článku hovořit o BrushNet, novém frameworku s duální větví, který vkládá funkce pixelové úrovně maskovaného obrázku do libovolného předem trénovaného difúzního modelu, čímž zajišťuje soudržnost a vylepšený výsledek u úkolů obrázkového doplnění. Framework BrushNet představuje novou paradigmatu, ve které framework dělí funkce obrázku a šumové latenty na samostatné větve. Rozdělení funkcí obrázku a šumových latentů snižuje zatížení modelu výrazně a ermögňuje nuancované začlenění základních informací o maskovaném obrázku hierarchickým způsobem. Kromě frameworku BrushNet budeme hovořit také o BrushBench a BrushData, které umožňují hodnocení výkonu založeného na segmentaci a trénink obrázkového doplnění.

Tento článek si klade za cíl pokrýt framework BrushNet do hloubky a prozkoumáme mechanismus, metodologii, architekturu frameworku spolu s jeho srovnáním se stávajícími frameworky. Takže pojďme začít.

BrushNet: Obrázkové doplnění s duální větví difúze

Obrázkové doplnění, metoda, která se snaží obnovit chybějící oblasti v obraze při zachování celkové soudržnosti, je dlouholetým problémem v oblasti počítačového vidění a trápí vývojáře a výzkumníky již několik let. Obrázkové doplnění nachází své aplikace v široké škále úkolů počítačového vidění, včetně editace obrázků a virtuálních vyzkoušení. Nedávno prokázaly difúzní modely, jako je Stable Diffusion a Stable Diffusion 1.5, pozoruhodnou schopnost generovat vysoce kvalitní obrázky a poskytují uživatelům flexibilitu při kontrole sémantiky a struktury. Pozoruhodný potenciál difúzních modelů vedl výzkumníky k využití difúzních modelů pro úkoly obrázkového doplnění s vysokou kvalitou, které odpovídají vstupním textovým podnětům.

Metody využívané tradičními difúzními frameworky pro textem řízené obrázkové doplnění lze rozdělit do dvou kategorií, modifikace strategie vzorkování a specializované modely pro doplnění. Metoda modifikace strategie vzorkování modifikuje standardní proces odstranění šumu tak, že vzorkuje maskované oblasti z předem trénovaného difúzního modelu a kopíruje nemaskované oblasti z daného obrázku v každém kroku odstranění šumu. Ačkoli metody modifikace strategie vzorkování lze implementovat v libovolných difúzních modelech, často vedou k nesoudržným výsledkům doplnění, protože mají omezené percepční znalosti hranic masky a kontextu nemaskované oblasti obrázku. Na druhé straně specializované modely pro doplnění upravují model pro doplnění, který je navržen speciálně pro rozšíření rozměrů vstupního kanálu základního difúzního modelu, aby zahrnoval poškozený obrázek a masku. Zatímco specializované modely pro doplnění umožňují difúznímu modelu generovat více uspokojivých výsledků se specializovanými tvary a obsahem, nemusí být vždy nejlepší architektonický design pro modely obrázkového doplnění.

… (zbytek překladu)