Utnyttja mänsklig uppmärksamhet kan förbättra AI-genererade bilder

Ny forskning från Kina har föreslagit en metod för att förbättra kvaliteten på bilder som genereras av Latent Diffusion Models (LDM) som Stable Diffusion.

Metoden fokuserar på att optimera salienta regioner i en bild – områden som sannolikt kommer att dra till sig mänsklig uppmärksamhet.

Den nya forskningen har funnit att saliency-kartor (fyra kolonnerna från vänster) kan användas som ett filter eller “mask” för att styra fokus för avbulleringsprocessen mot områden i bilden som människor sannolikt kommer att uppmärksamma. Källa: https://arxiv.org/pdf/2410.10257

Traditionella metoder optimerar hela bilden enhetligt, medan den nya metoden använder en saliency-detektor för att identifiera och prioritera mer “viktiga” områden, som människor gör.

I kvantitativa och kvalitativa tester kunde forskarnas metod prestera bättre än tidigare diffusion-baserade modeller, både i termer av bildkvalitet och trohet till textprompten.

Den nya metoden fick också högst poäng i en mänsklig perceptionsstudie med 100 deltagare.

Naturligt urval

Saliency, förmågan att prioritera information i den verkliga världen och i bilder, är en väsentlig del av mänskligt seende.

Ett enkelt exempel på detta är den ökade uppmärksamheten på detaljer som klassisk konst tilldelar viktiga områden i en målning, som ansiktet i en porträtt, eller masterna på ett fartyg i en havsbaserad scen; i sådana exempel konvergerar konstnärens uppmärksamhet mot det centrala motivet, vilket innebär att breda detaljer som en porträttbakgrund eller avlägsna vågor i en storm är mer skissartade och mer allmänt representativa än detaljerade.

Informeras av mänskliga studier, har maskinlärningsmetoder uppstått under det senaste decenniet som kan replikera eller åtminstone approximera detta mänskliga fokus på intressepunkter i en bild.

Objektsegmentering (semantisk segmentering) kan vara till hjälp för att individuera aspekter av en bild och utveckla motsvarande saliency-kartor. Källa: https://arxiv.org/pdf/1312.6034

I forskningslitteraturen har den mest populära saliency-kartdetektorn under de senaste fem åren varit 2016 års Gradient-weighted Class Activation Mapping (Grad-CAM) initiativ, som senare utvecklades till den förbättrade Grad-CAM++ systemet, bland andra varianter och förbättringar.

Grad-CAM använder gradientaktivering av en semantisk token (såsom “hund” eller “katt”) för att producera en visuell karta över var konceptet eller annoteringen verkar vara representerad i bilden.

Exempel från den ursprungliga Grad-CAM-artikeln. I den andra kolonnen individuerar guided backpropagation alla bidragande funktioner. I den tredje kolonnen ritas semantiska kartor för koncepten “hund” och “katt”. Den fjärde kolonnen representerar konkateneringen av de två föregående inferenserna. Den femte, occlusionskartan (maskeringen) som motsvarar inferensen; och slutligen, i den sjätte kolonnen, visualiserar Grad-CAM en ResNet-18-lager. Källa: https://arxiv.org/pdf/1610.02391

Mänskliga undersökningar av resultaten från dessa metoder har avslöjat en korrespondens mellan dessa matematiska individueringar av nyckelintressepunkter i en bild och mänsklig uppmärksamhet (när man skannar bilden).

SGOOL

Den nya artikeln överväger vad saliency kan bidra med till text-till-bild (och, potentiellt, text-till-video) system som Stable Diffusion och Flux.

När man tolkar en användares textprompt, utforskar Latent Diffusion Models sin tränade latenta utrymme för lärd visuell koncept som motsvarar orden eller fraserna som används. De parsar sedan dessa funna datapunkter genom en avbulleringsprocess, där slumpmässig brus gradvis utvecklas till en kreativ tolkning av användarens textprompt.

Vid denna punkt ger modellen lika uppmärksamhet till varje enskild del av bilden. Sedan populariseringen av diffusion-modeller 2022, med lanseringen av OpenAI:s tillgängliga Dall-E bildgenererare, och den efterföljande öppen källkoden för Stability.ai:s Stable Diffusion-ramverk, har användare funnit att “essentiella” sektioner av en bild ofta är underbetjänade.

Med tanke på att i en typisk avbildning av en människa, personens ansikte (som är av maximal vikt för åskådaren) sannolikt kommer att uppta inte mer än 10-35% av den totala bilden, fungerar denna demokratiska metod för uppmärksamhetsfördelning mot både naturen av mänsklig perception och konst- och fotografihistoria.

När knapparna på en persons jeans får samma beräkningskraft som deras ögon, kan resurstilldelningen sägas vara icke-optimal.

Därför föreslår den nya metoden, som kallas Saliency Guided Optimization of Diffusion Latents (SGOOL), att använda en saliency-kartdetektor för att öka uppmärksamheten på försummade områden i en bild, och ägna färre resurser till sektioner som sannolikt kommer att förbli i periferin av åskådarens uppmärksamhet.

Metod

SGOOL-pipelinen inkluderar bildgenerering, saliency-kartning och optimering, med den totala bilden och saliency-utvecklade bilden som gemensamt bearbetas.

Konceptuell schema för SGOOL.

Diffusion-modellens latenta inbäddningar optimeras direkt med finjustering, vilket tar bort behovet av att träna en specifik modell. Stanford Universitys Denoising Diffusion Implicit Model (DDIM) sampling-metod, som är bekant för användare av Stable Diffusion, anpassas för att inkorporera den sekundära informationen som tillhandahålls av saliency-kartor.

Artikeln förklarar:

‘Vi använder först en saliency-detektor för att imitera det mänskliga visuella uppmärksamhetssystemet och markera de salienta regionerna. För att undvika att träna en ytterligare modell, optimerar vår metod direkt diffusion-latent.

‘Utöver detta använder SGOOL en omvändbar diffusion-process och utrustar den med fördelarna med konstant minnesimplementering. Därför blir vår metod en parameter-effektiv och plug-and-play finjusteringsmetod. Omfattande experiment har genomförts med flera mått och mänsklig utvärdering.’

Eftersom denna metod kräver flera iterationer av avbulleringsprocessen, antog författarna Direct Optimization Of Diffusion Latents (DOODL) ramverket, som tillhandahåller en omvändbar diffusion process – även om den fortfarande applicerar uppmärksamhet på hela bilden.

För att definiera områden av mänskligt intresse, använde forskarna University of Dundees 2022 TransalNet-ramverk.

Exempel på saliency-detektering från 2022 TransalNet-projekt. Källa: https://discovery.dundee.ac.uk/ws/portalfiles/portal/89737376/1_s2.0_S0925231222004714_main.pdf

De salienta regionerna som bearbetades av TransalNet skars sedan för att generera slutsativa saliency-sektioner som sannolikt var av störst intresse för verkliga människor.

Skillnaden mellan användarens text och bilden måste beaktas, i termer av att definiera en förlustfunktion som kan bestämma om processen fungerar. För detta användes en version av OpenAI:s Contrastive Language–Image Pre-training (CLIP) – som nu är en huvudbeståndsdel i bildsyntesforskningen – tillsammans med övervägande av den uppskattade semantiska avståndet mellan textprompten och den globala (icke-saliency) bildutmatningen.

Författarna hävdar:

‘[Den] slutliga förlustfunktionen [beror på] relationerna mellan saliency-delar och den globala bilden samtidigt, vilket hjälper till att balansera lokala detaljer och global konsistens i generationsprocessen.

‘Denna saliency-medvetna förlustfunktion används för att optimera bild-latent. Gradienterna beräknas på den brusiga [latent] och används för att förbättra konditioneringsverkan av inmatningsprompten på både salienta och globala aspekter av den ursprungliga genererade bilden.’

Data och tester

För att testa SGOOL, använde författarna en “vanilj”-distribution av Stable Diffusion V1.4 (betecknad som “SD” i testresultat) och Stable Diffusion med CLIP-vägledning (betecknad som “baslinje” i resultaten).

Systemet utvärderades mot tre offentliga datamängder: CommonSyntacticProcesses (CSP), DrawBench och DailyDallE*.

Den senare innehåller 99 detaljerade prompter från en konstnär som presenterades i en av OpenAI:s blogginlägg, medan DrawBench erbjuder 200 prompter över 11 kategorier. CSP består av 52 prompter baserade på åtta olika grammatiska fall.

För SD, baslinje och SGOOL, användes CLIP-modellen över ViT/B-32 för att generera bild- och textinbäddningar. Samma prompt och slumpmässig seed användes. Utmatningsstorleken var 256×256, och standardvikt och inställningar för TransalNet användes.

Utöver CLIP-poängmåttet, användes ett uppskattat Mänsklig preferenspoäng (HPS), tillsammans med en verklig studie med 100 deltagare.

Kvantitativa resultat som jämför SGOOL med tidigare konfigurationer.

I fråga om de kvantitativa resultaten som visas i tabellen ovan, förklarar artikeln:

‘[Vår] modell presterar betydligt bättre än SD och Baseline på alla datamängder under både CLIP-poäng och HPS-mått. Det genomsnittliga resultatet av vår modell på CLIP-poäng och HPS är 3,05 respektive 0,0029 högre än andraplatsen.’

Författarna uppskattade också boxplotarna för HPS och CLIP-poäng i förhållande till tidigare tillvägagångssätt:

Boxplot för HPS och CLIP-poäng som erhållits i testerna.

De kommenterar:

‘Det kan ses att vår modell presterar bättre än de andra modellerna, vilket indikerar att vår modell är mer kapabel att generera bilder som är konsekventa med prompterna.

‘Men i boxploten är det inte lätt att visualisera jämförelsen från boxploten på grund av storleken på denna utvärderingsmått [0, 1]. Därför fortsätter vi att plotta motsvarande stapeldiagram.

‘Det kan ses att SGOOL presterar bättre än SD och Baseline på alla datamängder under både CLIP-poäng och HPS-mått. De kvantitativa resultaten visar att vår modell kan generera mer semantiskt konsekventa och mänskligt föredragna bilder.’

Forskarna noterar att medan baseline-modellen kan förbättra kvaliteten på bildutmatningen, tar den inte hänsyn till de salienta områdena i bilden. De hävdar att SGOOL, genom att nå en kompromiss mellan global och salient bildutvärdering, erhåller bättre bilder.

I kvalitativa (automatiserade) jämförelser, sattes antalet optimeringar till 50 för SGOOL och DOODL.

Kvalitativa resultat för testerna. Se källartikeln för bättre definition.

Här observerar författarna:

‘I den första raden är ämnena för prompten “en katt som sjunger” och “en barbershop-kvartett”. Det finns fyra katter i bilden genererad av SD, och innehållet i bilden är dåligt anpassat till prompten.

‘Katten ignoreras i bilden genererad av Baseline, och det finns en brist på detaljer i avbildningen av ansiktet och detaljerna i bilden. DOODL försöker generera en bild som är konsekvent med prompten.

‘Men eftersom DOODL optimerar den globala bilden direkt, optimeras personerna i bilden mot katten.’

De noterar vidare att SGOOL, i kontrast, genererar bilder som är mer konsekventa med den ursprungliga prompten.

I den mänskliga perceptionsstudien, utvärderade 100 volontärer testbilder för kvalitet och semantisk konsistens (d.v.s. hur nära de följde sin ursprungliga textprompt). Deltagarna hade obegränsad tid att göra sina val.

Resultat för den mänskliga perceptionsstudien.

Som artikeln påpekar, är författarnas metod betydligt föredragen jämfört med tidigare tillvägagångssätt.

Slutsats

Inte långt efter att bristerna som behandlas i denna artikel blev uppenbara i lokala installationer av Stable Diffusion, uppstod olika specialanpassade metoder (såsom After Detailer) för att tvinga systemet att applicera extra uppmärksamhet på områden som var av större mänskligt intresse.

Men denna typ av tillvägagångssätt kräver att diffusion-systemet först går igenom sin normala process för att applicera lika uppmärksamhet på varje del av bilden, med den ökade arbetsinsatsen som görs som en extra etapp.

Bevisen från SGOOL tyder på att tillämpning av grundläggande mänsklig psykologi på prioritering av bildsektioner kunde avsevärt förbättra den initiala inferensen, utan efterbearbetningssteg.

* Artikeln tillhandahåller samma länk för detta som för CommonSyntacticProcesses.

Publicerad första gången onsdag, 16 oktober 2024