Využití lidské pozornosti může zlepšit obrázky generované umělou inteligencí

Nový výzkum z Číny navrhl metodu pro zlepšení kvality obrázků generovaných modely Latent Diffusion Models (LDM), jako je Stable Diffusion.

Metoda se zaměřuje na optimalizaci výrazných oblastí obrázku – oblastí, které jsou nejvíce pravděpodobně přitahují lidskou pozornost.

<img class=" wp-image-207539" src="https://www.unite.ai/wp-content/uploads/2024/10/saliency.jpg" alt="Nový výzkum zjistil, že saliency mapy (čtvrtý sloupec zleva) lze použít jako filtr nebo „masku“ pro směrování locus pozornosti v procesech odšumění směrem k oblastem obrázku, které lidé nejvíce pravděpodobně pozornost. Source: https://arxiv.org/pdf/2410.10257″ width=”860″ height=”493″ /> Nový výzkum zjistil, že saliency mapy (čtvrtý sloupec zleva) lze použít jako filtr nebo „masku“ pro směrování locus pozornosti v procesech odšumění směrem k oblastem obrázku, které lidé nejvíce pravděpodobně pozornost. Source: https://arxiv.org/pdf/2410.10257

Tradiční metody optimalizují celý obrázek rovnoměrně, zatímco nová metoda využívá detektor saliency k identifikaci a priorizaci důležitějších oblastí, stejně jako lidé.

V kvantitativních a kvalitativních testech byla metoda výzkumníků schopna outperformovat předchozí modely založené na difuzi, a to jak z hlediska kvality obrázku, tak z hlediska věrnosti textovým podnětům.

Nová metoda také dosáhla nejlepšího výsledku v testu lidského vnímání se 100 účastníky.

Přirozený výběr

Saliency, schopnost prioritizovat informace ve skutečném světě a v obrazech, je základní součástí lidského vidění.

Jednoduchým příkladem toho je zvýšená pozornost k detailům, kterou klasické umění přiřazuje důležitým oblastem obrazu, jako je tvář v portrétu nebo stěžně lodi v námořním předmětu; v takových případech se pozornost umělce soustředí na centrální předmět, což znamená, že široké detaily, jako je pozadí portrétu nebo vzdálené vlny bouře, jsou hrubší a více reprezentativní než detailní.

Informovaní lidskými studiemi, metody strojového učení vyvinuly během posledních deseti let, které mohou replikovat nebo alespoň aproximovat lidský locus zájmu v jakémkoli obraze.

Objektová segmentace (semantická segmentace) může být pomocníkem při identifikaci částí obrazu a vývoji odpovídajících saliency map. Source: https://arxiv.org/pdf/1312.6034

V průběhu výzkumné literatury byl nejoblíbenějším detektorem saliency map v posledních pěti letech iniciativa Gradient-weighted Class Activation Mapping (Grad-CAM) z roku 2016, která se později vyvinula vImproved Grad-CAM++ systém, mezi jinými variantami a vylepšeními.

Grad-CAM používá gradient aktivace semantického tokenu (jako „pes“ nebo „kočka“) pro vytvoření vizuální mapy, kde se概念 nebo anotace zdá být reprezentována v obraze.

Příklady z originálního Grad-CAM papíru. Ve druhém sloupci, guided backpropagation individuje všechny přispívající funkce. Ve třetím sloupci, semantické mapy jsou kresleny pro dva koncepty „pes“ a „kočka“. Čtvrtý sloupec reprezentuje konkatenci předchozích dvou inferencí. Pátý, okluzivní (maskovací) mapa, která odpovídá inferenci; a konečně, v šestém sloupci, Grad-CAM vizualizuje ResNet-18 vrstvu. Source: https://arxiv.org/pdf/1610.02391

Lidské průzkumy na výsledcích získaných těmito metodami odhalily korelaci mezi těmito matematickými individuacemi klíčových zájmu bodů v obraze a lidskou pozorností (při prohlížení obrazu).

SGOOL

Nový papír zvažuje, co saliency může přinést text-to-image (a potenciálně text-to-video) systémům, jako je Stable Diffusion a Flux.

Při interpretaci uživatelského textového podnětu, Latent Diffusion Models prozkoumávají své trénované latentní prostor pro naučené vizuální koncepty, které korespondují se slovy nebo frázemi použitémi. Poté tyto nalezené datové body procházejí procesem odšumění, kde náhodný šum je postupně vyvinut do kreativní interpretace uživatelského textového podnětu.

V tomto bodě, však, model dává stejnou pozornost každému jednotlivému části obrazu. Od popularizace difuzních modelů v roce 2022, s vydáním OpenAI’s dostupného Dall-E obrazového generátoru, a následným otevřením Stability.ai’s Stable Diffusion frameworku, uživatelé zjistili, že „základní“ sekce obrazu jsou často podhodnoceny.

Při zvažování, že v typickém zobrazení člověka, tvář osoby (která je maximum důležitosti pro diváka) je pravděpodobně obsazená méně než 10-35% celého obrazu, tato demokratická metoda rozdělení pozornosti funguje proti lidskému vnímání a historii umění a fotografie.

Když knoflíky na osobě kalhot obdrží stejnou výpočetní zátěž jako jejich oči, alokace zdrojů může být považována za neoptimální.

Proto nová metoda navrhovaná autory, nazvaná Saliency Guided Optimization of Diffusion Latents (SGOOL), používá saliency mapper k zvýšení pozornosti na zanedbané oblasti obrazu, přičemž méně zdrojů je věnováno sekcím, které jsou pravděpodobně na periferii pozornosti diváka.

Metoda

SGOOL pipeline zahrnuje generování obrazu, saliency mapování a optimalizaci, s celkovým obrazem a saliency-upraveným obrazem společně zpracovaným.

Konceptuální schéma pro SGOOL.

Latentní vložky difuzního modelu jsou optimalizovány přímo s fine-tuningem, což odstraňuje potřebu trénovat speciální model. Metoda vzorkování Denoising Diffusion Implicit Model (DDIM) ze Stanford University, známá uživatelům Stable Diffusion, je adaptována pro začlenění sekundárních informací poskytnutých saliency mapami.

Papír uvádí:

‘Nejprve používáme detektor saliency k napodobení lidského vizuálního systému pozornosti a označíme saliency oblasti. Abychom se vyhnuli opětovnému trénování dalšího modelu, naše metoda přímo optimalizuje difuzní latenty.

‘Kromě toho SGOOL využívá invertibilní difuzní proces a vybavuje ho výhodami konstantní implementace paměti. Proto se naše metoda stává parametricky efektivní a plug-and-play metodou jemného ladění. Rozsáhlé experimenty byly provedeny s několika metrikami a lidskou evaluací.’

Jelikož tato metoda vyžaduje několik iterací procesu odšumění, autoři přijali Direct Optimization Of Diffusion Latents (DOODL) framework, který poskytuje invertibilní difuzní proces – ačkoli stále aplikuje pozornost na celou obraz.

Pro definici oblastí lidského zájmu, výzkumníci použili framework TransalNet z University of Dundee z roku 2022.

Příklady saliency detekce z projektu TransalNet z roku 2022. Source: https://discovery.dundee.ac.uk/ws/portalfiles/portal/89737376/1_s2.0_S0925231222004714_main.pdf

Saliency oblasti zpracované TransalNet byly poté ořezány pro generování závěrečných saliency sekcí, které jsou pravděpodobně nejvíce zajímavé pro skutečné lidi.

Rozdíl mezi uživatelským textem a obrazem musí být zvažován, při definování funkce ztráty, která může určit, zda proces funguje. Pro tento účel byla použita verze OpenAI’s Contrastive Language–Image Pre-training (CLIP) – nyní hlavní součástí obrazového syntetického výzkumu – spolu s úvahou odhadované semantické vzdálenosti mezi textovým podnětem a globálním (nesaliency) obrazovým výstupem.

Autoři tvrdí:

‘[Konečná] funkce ztráty se týká vztahů mezi saliency částmi a globálním obrazem současně, což pomáhá vyvážit lokální detaily a globální konzistenci v generativním procesu.

‘Tato saliency-aware funkce ztráty je využita k optimalizaci obrazové latence. Gradienty jsou počítány na noisované (latentní) a využity ke zvýšení kondicionálního efektu vstupního podnětu na obou saliency a globálních aspektech původního generovaného obrazu.’

Data a testy

Pro testování SGOOL, autoři použili „vanilku“ distribuci Stable Diffusion V1.4 (označenou jako „SD“ v testovacích výsledcích) a Stable Diffusion s CLIP vedením (označenou jako „základní“ v výsledcích).

Systém byl vyhodnocen proti třem veřejným datovým sadám: CommonSyntacticProcesses (CSP), DrawBench, a DailyDallE*.

Poslední datová sada obsahuje 99 komplexních podnětů od umělce uvedeného v jednom z blogových příspěvků OpenAI, zatímco DrawBench nabízí 200 podnětů napříč 11 kategoriemi. CSP se skládá z 52 podnětů založených na osmi rozmanitých gramatických případech.

Pro SD, základní a SGOOL, v testech, CLIP model byl použit nad ViT/B-32 pro generování obrazu a textových vložek. Stejný podnět a náhodné semeno bylo použito. Výstupní velikost byla 256×256, a výchozí váhy a nastavení TransalNet byly použity.

Kromě CLIP skóre metriky, byl použit odhadovaný Human Preference Score (HPS), spolu s reálným světem studie se 100 účastníky.

Kvantitativní výsledky porovnávající SGOOL s předchozími konfiguracemi.

V souvislosti s kvantitativními výsledky zobrazenými v tabulce výše, papír uvádí:

‘[Náš] model významně outperforms SD a Baseline na všech datových sadách pod oběma CLIP skóre a HPS metrikami. Průměrné výsledky našeho modelu na CLIP skóre a HPS jsou 3,05 a 0,0029 vyšší než druhý místo, resp.’

Autoři dále odhadli box ploty HPS a CLIP skóre ve vztahu k předchozím přístupům:

Box ploty pro HPS a CLIP skóre získané v testech.

Oni komentují:

‘Je vidět, že náš model outperforms ostatní modely, což naznačuje, že náš model je více schopen generovat obrázky, které jsou konzistentní s podněty.

‘Nicméně, v box plotu, není snadné vizualizovat srovnání z box plotu kvůli velikosti této evaluační metriky na [0, 1]. Proto pokračujeme v plotování odpovídajících bar plotů.

‘Je vidět, že SGOOL outperforms SD a Baseline na všech datových sadách pod oběma CLIP skóre a HPS metrikami. Kvantitativní výsledky demonstrují, že náš model může generovat více semanticky konzistentní a lidsky preferované obrázky.’

Výzkumníci poznamenávají, že zatímco základní model je schopen zlepšit kvalitu obrazového výstupu, nezohledňuje saliency oblasti obrazu. Oni tvrdí, že SGOOL, při dosažení kompromisu mezi globální a saliency obrazovou evaluací, získává lepší obrázky.

V kvalitativních (automatizovaných) srovnáních, počet optimalizací byl nastaven na 50 pro SGOOL a DOODL.

Kvalitativní výsledky testů. Prosím, odkážete se na zdroj papíru pro lepší definici.

Zde autoři pozorují:

‘V [prvním řádku], předměty podnětu jsou „kočka zpívající“ a „barbershop kvartet“. Existují čtyři kočky v obraze generovaném SD, a obsah obrazu je špatně zarovnán s podnětem.

‘Kočka je ignorována v obraze generovaném Baseline, a chybí detail v portrétu a detaily v obraze. DOODL se snaží generovat obraz, který je konzistentní s podnětem.

‘Nicméně, protože DOODL optimalizuje globální obraz přímo, osoby v obraze jsou optimalizovány směrem ke kočce.’

Oni dále poznamenávají, že SGOOL, na rozdíl od toho, generuje obrázky, které jsou více konzistentní s původním podnětem.

V testu lidského vnímání, 100 dobrovolníků vyhodnotilo testovací obrázky pro kvalitu a semantickou konzistenci (tj., jak úzce se shodují se svými zdrojovými textovými podněty). Účastníci měli neomezený čas pro provedení svých voleb.

Výsledky testu lidského vnímání.

Jak papír uvádí, metoda autorů je pozoruhodně preferována oproti předchozím přístupům.

Závěr

Brzy po tom, co se nedostatky řešené v tomto papíru staly evidentní v místních instalacích Stable Diffusion, různé speciální metody (jako After Detailer) se objevily, aby donutily systém věnovat extra pozornost oblastem, které byly více lidského zájmu.

Nicméně, tento typ přístupu vyžaduje, aby difuzní systém nejprve prošel svým normálním procesem aplikování stejné pozornosti na každou část obrazu, s tím, že zvýšená práce je provedena jako extra fáze.

Důkazy ze SGOOL naznačují, že aplikování základních lidských psychologických principů na priorizaci obrazových sekcí by mohlo významně zlepšit počáteční inferenci, bez post-procesních kroků.

* Papír poskytuje stejný odkaz pro to, jako pro CommonSyntacticProcesses.

První publikace středa, 16. října 2024