Utnytting av menneskelig oppmerksomhet kan forbedre AI-genererte bilder

Ny forskning fra Kina har foreslått en metode for å forbedre kvaliteten på bilder generert av Latent Diffusion Models (LDMs) modeller som Stable Diffusion.

Metoden fokuserer på å optimere saliente regioner i et bilde – områder som er mest sannsynlig å tiltrekke menneskelig oppmerksomhet.

Den nye forskningen har funnet ut at saliency-kart (fjerde kolonne fra venstre) kan brukes som en filter, eller ‘maske’, for å styre fokus på støyprosessen mot områder av bildet som mennesker er mest sannsynlig å se på. Kilde: https://arxiv.org/pdf/2410.10257

Tradisjonelle metoder optimaliserer hele bildet jevnt, mens den nye metoden utnytter en saliency-detektor for å identifisere og prioritere mer ‘viktige’ regioner, som mennesker gjør.

I kvantitative og kvalitative tester var forskernes metode i stand til å overgå tidligere diffusjonsbaserte modeller, både når det gjelder bildekvalitet og trofasthet til tekstpromptene.

Den nye metoden scoret også best i en menneskelig persepsjonstest med 100 deltakere.

Naturlig utvalg

Saliens, evnen til å prioritere informasjon i den virkelige verden og i bilder, er en essensiell del av menneskelig syn.

Et enkelt eksempel på dette er den økte oppmerksomheten på detaljer som klassisk kunst tildeles viktige områder av et maleri, som ansiktet i et portrett, eller master av et skip i et sjøbasert motiv; i slike eksempler konvergerer kunstnerens oppmerksomhet mot det sentrale motivet, noe som betyr at brede detaljer som et portrettbakgrunn eller fjerne bølger i en storm er skisserte og mer generelt representerte enn detaljerte.

Informert av menneskelige studier, har maskinlæringsmetoder oppstått over de siste ti år som kan replikere eller i det minste approksimere denne menneskelige fokus på interessante punkter i et bilde.

Objekt-segmentering (semantisk segmentering) kan være en hjelp til å individuere aspekter av et bilde, og utvikle tilhørende saliency-kart. Kilde: https://arxiv.org/pdf/1312.6034

I rekken av forskningslitteratur, har den mest populære saliency-kart-detektoren over de siste fem årene vært 2016 Gradient-weighted Class Activation Mapping (Grad-CAM) initiativet, som senere utviklet seg til den forbedrede Grad-CAM++ systemet, blant andre varianter og forbedringer.

Grad-CAM bruker gradient-aktivitet av en semantisk token (slik som ‘hund’ eller ‘katt’) for å produsere et visuelt kart over hvor konseptet eller annotasjonen ser ut til å være representert i bildet.

Eksempler fra den originale Grad-CAM-papiren. I den andre kolonnen, guided backpropagation individuerer alle bidragende funksjoner. I den tredje kolonnen, er semantiske kart tegnet for de to konseptene ‘hund’ og ‘katt’. Den fjerde kolonnen representerer konkateneringen av de to foregående inferensene. Den femte, okklusjons-kartet som tilsvarer inferensen; og til slutt, i den sjette kolonnen, visualiserer Grad-CAM en ResNet-18 lag. Kilde: https://arxiv.org/pdf/1610.02391

Menneskelige undersøkelser av resultater fra disse metodene har avdekket en korrespondanse mellom disse matematiske individueringer av nøkkelinteressepunkter i et bilde, og menneskelig oppmerksomhet (når man scroller gjennom bildet).

SGOOL

Den nye papiren betrakter hva saliency kan bringe til tekst-til-bilde (og, potensielt, tekst-til-video) systemer som Stable Diffusion og Flux.

Når man tolker en brukers tekst-prompt, utforsker Latent Diffusion Models deres trenede latent rom for lært visuelle konsepter som korresponderer med ord eller fraser brukt. De parser disse funnene datapunktene gjennom en støyprosess, hvor tilfeldig støy gradvis utvikles til en kreativ tolkning av brukerens tekst-prompt.

På dette punktet, imidlertid, gir modellen lik oppmerksomhet til hver enkelt del av bildet. Siden populariseringen av diffusjonsmodeller i 2022, med lanseringen av OpenAI’s tilgjengelige Dall-E bilde-generatore, og den påfølgende åpne kilden av Stability.ai’s Stable Diffusion-ramme, har brukere funnet at ‘essensielle’ seksjoner av et bilde ofte er underbetjent.

Da det i et typisk bilde av et menneske, personens ansikt (som er av maksimal viktighet for seeren) sannsynligvis vil okkupere mindre enn 10-35% av det totale bildet, fungerer denne demokratiske metoden for oppmerksomhetsfordeling mot både naturen til menneskelig persepsjon og historien til kunst og fotografi.

Når knappene på en persons jeans mottar samme beregningskraft som deres øyne, kan allokeringen av ressurser sies å være non-optimale.

Derfor foreslår forfatterne en ny metode, kalt Saliency Guided Optimization of Diffusion Latents (SGOOL), som bruker en saliency-kart til å øke oppmerksomheten på forneglete områder av et bilde, og tildele færre ressurser til seksjoner som sannsynligvis vil forbli i periferien av seerens oppmerksomhet.

Metode

SGOOL-pipeline inkluderer bilde-generering, saliency-kart og optimisering, med hele bildet og saliency-forbedret bilde behandlet sammen.

Konseptuell skjema for SGOOL.

Diffusjonsmodellens latente innlegg er optimalisert direkte med finjustering, og fjerner behovet for å trene en spesifikk modell. Stanford Universitys Denoising Diffusion Implicit Model (DDIM) sampling-metode, kjent for brukere av Stable Diffusion, er tilpasset for å inkorporere den sekundære informasjonen gitt av saliency-kart.

Papiren sier:

‘Vi først anvender en saliency-detektor for å etterligne det menneskelige visuelle oppmerksomhetssystemet og markere ut saliente regioner. For å unngå å trene en ekstra modell, optimaliserer vår metode direkte diffusjons-latentene.

‘Foruten, SGOOL utnytter en invers diffusjonsprosess og gir den med fordelen av konstant minneimplementering. Derfor blir vår metode en parameter-effektiv og plug-and-play finjusteringsmetode. Omfattende eksperimenter er gjort med flere metrikker og menneskelig evaluering.’

Da denne metoden krever flere iterasjoner av støyprosessen, tok forfatterne i bruk Direct Optimization Of Diffusion Latents (DOODL) ramme, som gir en invers diffusjonsprosess – selv om den fortsatt anvender oppmerksomhet til hele bildet.

For å definere områder av menneskelig interesse, anvendte forskerne University of Dundees 2022 TransalNet-ramme.

Eksempler på saliency-deteksjon fra 2022 TransalNet-prosjektet. Kilde: https://discovery.dundee.ac.uk/ws/portalfiles/portal/89737376/1_s2.0_S0925231222004714_main.pdf

De saliente regionene behandlet av TransalNet ble deretter klipt for å generere konklusive saliency-seksjoner som sannsynligvis ville være av mest interesse for faktiske mennesker.

Forskjellen mellom brukerens tekst og bildet må være betraktet, i forhold til å definere en tap-funksjon som kan bestemme om prosessen fungerer. For dette, ble en versjon av OpenAI’s Contrastive Language–Image Pre-training (CLIP) – nå en hovedsak i bilde-syntese-forskning – brukt, sammen med betraktning av den estimerte semantiske avstanden mellom tekst-prompten og det globale (ikke-saliency) bilde-utgangen.

Forfatterne hevder:

‘[Den] endelige tap-funksjon [funksjon] betrakter forholdet mellom saliency-deler og det globale bildet samtidig, noe som hjelper til å balansere lokale detaljer og globale konsistens i genereringsprosessen.

‘Dette saliency-bevisste tap er utnyttet for å optimere bilde-latent. Gradientene er beregnet på den støyete [latent] og utnyttet for å forbedre kondisjonseffekten av inndata-prompten på både saliente og globale aspekter av det opprinnelige genererte bildet.’

Data og tester

For å teste SGOOL, brukte forfatterne en ‘vanilje’-distribusjon av Stable Diffusion V1.4 (betegnet som ‘SD’ i testresultater) og Stable Diffusion med CLIP-retningslinjer (betegnet som ‘baseline’ i resultater).

Systemet ble evaluert mot tre offentlige datasett: CommonSyntacticProcesses (CSP), DrawBench, og DailyDallE*.

Den siste inneholder 99 omfattende prompter fra en kunstner presentert i en av OpenAI’s blogginnlegg, mens DrawBench tilbyr 200 prompter over 11 kategorier. CSP består av 52 prompter basert på åtte forskjellige grammatikalske tilfeller.

For SD, baseline og SGOOL, i testene, ble CLIP-modellen brukt over ViT/B-32 for å generere bilde- og tekst-embeddings. Samme prompt og tilfeldig seed ble brukt. Utgangsstørrelsen var 256×256, og standardvektene og innstillingene til TransalNet ble brukt.

Foruten CLIP-score-metrikken, ble en estimert Menneskelig preferanse-score (HPS) brukt, i tillegg til en virkelighetsstudie med 100 deltakere.

Kvantitative resultater som sammenligner SGOOL med tidligere konfigurasjoner.

I forhold til de kvantitative resultater som er vist i tabellen ovenfor, sier papiren:

‘[Vår] modell overgår betydelig SD og Baseline på alle datasett under både CLIP-score og HPS-metrikker. Gjennomsnittsresultatene av vår modell på CLIP-score og HPS er 3,05 og 0,0029 høyere enn andreplassen, henholdsvis.’

Forfatterne har også estimert boks-plottene for HPS og CLIP-scorer i forhold til tidligere tilnærminger:

Boks-plott for HPS og CLIP-scorer som er oppnådd i testene.

De kommenterer:

‘Det kan ses at vår modell overgår andre modeller, noe som indikerer at vår modell er mer i stand til å generere bilder som er konsistente med promptene.

‘Men i boks-plottet er det ikke lett å visualisere sammenligningen fra boks-plottet på grunn av størrelsen på denne evaluering-metrikken på [0, 1]. Derfor går vi videre til å plotte tilhørende stolpe-plott.

‘Det kan ses at SGOOL overgår SD og Baseline på alle datasett under både CLIP-score og HPS-metrikker. De kvantitative resultater demonstrerer at vår modell kan generere mer semantisk konsistente og menneskelig-prefererte bilder.’

Forskerne merker at mens baseline-modellen er i stand til å forbedre kvaliteten på bilde-utgangen, tar den ikke hensyn til saliente områder av bildet. De hevder at SGOOL, i å nå en kompromiss mellom globale og saliente bilde-evaluering, oppnår bedre bilder.

I kvalitative (automatiske) sammenligninger, var antallet optimiseringer satt til 50 for SGOOL og DOODL.

Kvalitative resultater for testene. Vennligst se kildepapiren for bedre definisjon.

Her observerer forfatterne:

‘I [den første raden], er emnene i prompten “en katt som synger” og “en barberkvartett”. Det er fire katter i bildet generert av SD, og innholdet i bildet er dårlig justert med prompten.

‘Katten blir ignorert i bildet generert av Baseline, og det er en mangel på detaljer i portretteringen av ansiktet og detaljene i bildet. DOODL prøver å generere et bilde som er konsistent med prompten.

‘Men siden DOODL optimaliserer det globale bildet direkte, er personene i bildet optimalisert mot katten.’

De merker videre at SGOOL, i motsetning til dette, genererer bilder som er mer konsistente med den opprinnelige prompten.

I den menneskelige persepsjonstesten, evaluerte 100 frivillige testbilder for kvalitet og semantisk konsistens (dvs. hvor nært de var til deres kilde-tekst-prompt). Deltakerne hadde ubegrenset tid til å gjøre sine valg.

Resultater for den menneskelige persepsjonstesten.

Som papiren påpeker, er forfatternes metode betydelig foretrukket over tidligere tilnærminger.

Konklusjon

Ikke lenge etter at manglene som er adressert i denne papiren ble åpenbare i lokale installasjoner av Stable Diffusion, oppstod forskjellige tilpassede metoder (slik som After Detailer) for å tvinge systemet til å anvende ekstra oppmerksomhet til områder som var av større menneskelig interesse.

Imidlertid krever denne type tilnærming at diffusjonssystemet først går gjennom sin normale prosess med å anvende lik oppmerksomhet til hver del av bildet, med den økte arbeidet som utføres som en ekstra fase.

Bevis fra SGOOL tyder på at anvendelse av grunnleggende menneskelig psykologi til prioritering av bilde-seksjoner kan betydelig forbedre den opprinnelige inferensen, uten post-prosesseringstrinn.

* Papiren gir samme lenke for dette som for CommonSyntacticProcesses.

Først publisert onsdag, 16. oktober 2024