Ihmisen huomion kiinnittäminen voi parantaa tekoälyllä generoituja kuvia

Uusi tutkimus Kiinasta on ehdottanut menetelmää Latent Diffusion Models (LDM) -mallien, kuten Stable Diffusion, kuvien laadun parantamiseksi.

Menetelmä keskittyy kuvan merkittävien alueiden optimointiin – alueisiin, jotka ovat todennäköisesti herättävät ihmisen huomion.

Uusi tutkimus on osoittanut, että merkittävyyttä koskevat kartat (neljäs sarakkeesta vasemmalle) voidaan käyttää suodattimena tai “maskina” ohjaamaan huomion kohdistamista meloitusprosesseissa alueille, joilla ihmiset ovat todennäköisesti kiinnittävät huomiota. Lähde: https://arxiv.org/pdf/2410.10257

Perinteiset menetelmät optimoivat koko kuvaa yhdenmukaisesti, kun taas uusi lähestymistapa hyödyntää merkittävyyttä havaitsevaa järjestelmää tunnistamaan ja priorisoimaan tärkeämmät alueet, kuten ihmiset tekevät.

Kvantitatiivisissa ja kvalitatiivisissa testeissä tutkijoiden menetelmä pystyi ylittämään aiemmat diffuusiopohjaiset mallit sekä kuvan laadun että tekstiprompttien uskollisuuden suhteen.

Uusi lähestymistapa saavutti myös parhaan tuloksen 100 osallistujan ihmisen havaintokokeessa.

Luonnonvalinta

Merkittävyys, kyky priorisoida tietoa todellisessa maailmassa ja kuvissa, on olennainen osa ihmisen näköaistia.

Yksinkertainen esimerkki tästä on klassisen taiteen lisäämä yksityiskohtaisuus tärkeillä alueilla maalauksessa, kuten kasvoilla muotokuvaessa tai mastoilla merenpohjaisessa aiheessa; tällaisissa esimerkeissä taiteilijan huomio kohdistuu keskeiseen aiheeseen, mikä tarkoittaa, että laajat yksityiskohdat, kuten muotokuvan tausta tai kaukaiset aallot myrskyn aikana, ovat karkeampia ja yleisemmin edustavia kuin yksityiskohtaisia.

Ihmistutkimusten perusteella kehittyneet koneoppimismenetelmät ovat nousseet viimeisen vuosikymmenen aikana, jotka voivat jäljitellä tai ainakin approksimoida ihmisen kiinnostuksen kohteen kuvassa.

Objektien segmentointi (semanttinen segmentointi) voidaan käyttää apuna kuvan eri osien erottamisessa ja vastaavien merkittävyyttä koskevien karttojen kehittämisessä. Lähde: https://arxiv.org/pdf/1312.6034

Tutkimuskirjallisuuden suorituskyvyn aikana viimeisen viiden vuoden ajan suosituin merkittävyyttä koskeva kartan havainnontyökalu on ollut vuoden 2016 Gradient-weighted Class Activation Mapping (Grad-CAM) -aloite, josta myöhemmin kehittyi paranneltu Grad-CAM++ -järjestelmä, muiden muunnelmien ja parannellun ohella.

Grad-CAM käyttää gradientin aktivaatiota semanttisesta tokenista (kuten “koira” tai “kissa”) luomaan visuaalisen kartan siitä, mihin konsepti tai annotaatio näyttää olevan edustettuna kuvassa.

Esimerkkejä alkuperäisestä Grad-CAM -paperista. Toisessa sarakkeessa ohjattu takaisinpyyhkäisy erottaa kaikki osallistuvat piirteet. Kolmannessa sarakkeessa semanttiset kartat piirretään kahdelle konseptille “koira” ja “kissa”. Neljännessä sarakkeessa edellisten kahden johtopäätöksen yhdistelmä. Viidennessä sarakkeessa peittäminen (maskin) kartta, joka vastaa johtopäätöstä; ja lopulta kuudennessa sarakkeessa Grad-CAM -visualisointi ResNet-18 -kerroksella. Lähde: https://arxiv.org/pdf/1610.02391

Ihmisten kyselyt saadusta tuloksesta ovat paljastaneet vastaavuuden näiden matemaattisten merkittävien pisteiden ja ihmisen huomion välillä kuvan tarkastellessa.

SGOOL

Uusi paperi tutkii, mitä merkittävyys voi tuoda teksti-kuvaksi (ja mahdollisesti teksti-videoksi) -järjestelmiin, kuten Stable Diffusioniin ja Fluxiin.

Kun tulkitaan käyttäjän tekstiprompttia, Latent Diffusion -mallit tutkivat koulutetun latentin avaruuden oppimista visuaalisista konsepteista, jotka vastaavat käytettyjä sanoja tai lauseita. Ne sitten parsivat nämä löydetyt datapisteet meloitushenkilön kautta, jossa satunnainen meloitus kehittyy luovaksi tulkinnaksi käyttäjän tekstipromptista.

Tässä vaiheessa kuitenkin malli antaa yhdenmukaisen huomion jokaiselle kuvan osalle. Siitä lähtien, kun diffuusiomallit saivat suosiota vuonna 2022 OpenAI:n julkaisemien Dall-E -kuvageneraattorien julkaisun myötä ja Stable Diffusion -kehyksen avoimen lähdekoodin julkaisun myötä, käyttäjät ovat havainneet, että “olennaiset” kuvan osat usein jäävät vaille palvelua.

Oletetaan, että tyypillisessä ihmisen esittämisessä henkilön kasvoilla (joka on enimmäkseen tärkein katsojalle) on todennäköisesti alle 10-35% koko kuvasta, tämä demokraattinen huomion jakautuminen toimii sekä ihmisen havainnon luonnonvastaisesti että taiteen ja valokuvauksen historian vastaisesti.

Kun housujen napit saavat saman laskennan kuin silmät, resurssien jakautuminen voidaan sanoa olevan epäoptimaalinen.

Siispä uusi menetelmä, jonka kirjoittajat ehdottavat, nimeltään Merkittävyyttä ohjaava diffuusion latenttien optimointi (SGOOL), käyttää merkittävyyttä kartan luomiseen ja resurssien kohdentamiseen kuvan laiminlyödyille alueille, vähentäen resursseja alueille, jotka ovat todennäköisesti jäävät katsojan huomion ulkopuolelle.

Menetelmä

SGOOL -prosessi sisältää kuvan generoinnin, merkittävyyden kartoittamisen ja optimoinnin, ja koko kuvan ja merkittävyyden kartan yhdessä käsittelyn.

SGOOL:n konseptuaalinen schema.

Diffuusiomallin latenttiset upotukset optimoidaan suoraan hienosäätöllä, poistamalla tarpeen kouluttaa erillinen malli. Stanfordin yliopiston Denoising Diffusion Implicit Model (DDIM) -näytteenottomenetelmä, joka on tuttu Stable Diffusionin käyttäjille, on sovellettu sisältämään toissijaisia tietoja, jotka merkittävyyttä koskevat kartat tarjoavat.

Paperi toteaa:

‘Käytämme ensin merkittävyyttä havaitsevaa järjestelmää jäljitelläksemme ihmisen visuaalisen huomion järjestelmää ja merkitsemme merkittävät alueet. Välttääksemme erillisen mallin kouluttamisen, menetelmämme optimoi suoraan diffuusion latentit.

‘Lisäksi SGOOL hyödyntää kääntyvää diffuusioprosessia ja antaa sille jatkuvan muistin toteutuksen edut. Tämän vuoksi menetelmämme muodostuu parametrin tehokkaaksi ja lisäksi fine-tuning -menetelmäksi. Laajat kokeet on tehty useilla mittareilla ja ihmisen arvioinnilla.’

Koska tämä menetelmä vaatii useita toistuvia meloitusprosesseja, kirjoittajat ottivat käyttöön Direct Optimization Of Diffusion Latents (DOODL) -kehyksen, joka tarjoaa kääntyvän diffuusioprosessin – vaikka se edelleen kohdistaa huomion koko kuvan alueelle.

Määritelläksemme ihmisen kiinnostuksen alueita, tutkijat käyttivät Dundeen yliopiston vuoden 2022 TransalNet-kehystä.

Esimerkkejä merkittävyyden havainnosta vuoden 2022 TransalNet -projektista. Lähde: https://discovery.dundee.ac.uk/ws/portalfiles/portal/89737376/1_s2.0_S0925231222004714_main.pdf

TransalNetillä prosessoidut merkittävät alueet leikattiin lopullisten merkittävyyden alueiden luomiseksi, joilla on todennäköisesti eniten merkitystä ihmisille.

Erityisesti teksti ja kuva -eros on otettava huomioon määritettäessä häviöfunktiota, joka voi määrittää, onko prosessi toimiva. Tähän tarkoitukseen käytettiin OpenAI:n Contrastive Language–Image Pre-training (CLIP) -järjestelmän versiota, yhdessä arvioidun semanttisen etäisyyden välillä tekstipromptin ja globaalin (ei-merkittävyyttä koskevan) kuvan välillä.

Kirjoittajat toteavat:

‘[Lopullinen] häviöfunktiota koskeva suhde merkittävyyden osiin ja koko kuvaan yhtä aikaa, mikä auttaa tasapainottamaan paikallisia yksityiskohtia ja globaalia johdonmukaisuutta generoinnissa.

‘Tämä merkittävyyttä koskeva häviöfunktiota hyödyntää kuvan latenttien optimointiin. Gradientit lasketaan meloitettujen (latenttien) osalla ja hyödynnetään parantamaan syötteen vaikutusta sekä merkittävien että globaaleiden alkuperäisen generoidun kuvan osille.’

Data ja testit

SGOOL:n testaamiseksi kirjoittajat käyttivät “vaniljaa” Stable Diffusion V1.4:ää (merkitty “SD”:ksi testituloksissa) ja Stable Diffusionia CLIP-ohjauksella (merkitty “peruslinjaksi” tuloksissa).

Järjestelmää arvioitiin kolmella julkisella aineistolla: CommonSyntacticProcesses (CSP), DrawBench ja DailyDallE*.

Viimeksi mainittu sisältää 99 tarkkaa prompttia taiteilijalta, joka on mukana yhdessä OpenAI:n blogipostauksista, kun taas DrawBench tarjoaa 200 prompttia 11 luokassa. CSP koostuu 52 promptista, jotka perustuvat kahdeksaan monipuoliseen kieliopilliseen tapaukseen.

SD:lle, peruslinjalle ja SGOOL:lle testeissä käytettiin CLIP-mallia ViT/B-32:n sijaan kuvan ja tekstin upotusten generointiin. Sama promptti ja satunnainen siemen käytettiin. Tulosteen koko oli 256×256, ja TransalNetin oletusarvot ja asetukset käytettiin.

Lisäksi CLIP-pisteytysmittarin, arvioitu Ihmisen preferenssipisteytys (HPS) käytettiin, yhdessä 100 osallistujan todellisella tutkimuksella.

Määrälliset tulokset, jotka vertailevat SGOOL:ia aiempiin konfiguraatioihin.

Määrällisten tulosten osalta paperi toteaa:

‘Malli ylittää merkittävästi SD:n ja peruslinjan kaikilla aineistoilla sekä CLIP-pisteytys- että HPS-mittareilla. Mallin keskimääräiset tulokset CLIP-pisteytyksessä ja HPS:ssä ovat 3,05 ja 0,0029 korkeammat kuin toiseksi paras, vastaavasti.’

Kirjoittajat arvioivat myös HPS- ja CLIP-pisteytysten ruutupisteytysjakaumat edellisiin lähestymistapoihin nähden:

Ruutupisteytysjakaumat HPS- ja CLIP-pisteytyksistä, jotka saatiin testeissä.

He kommentoivat:

‘Voidaan nähdä, että mallimme ylittää muut mallit, mikä osoittaa, että mallimme on kykenevämpi generoimaan kuvia, jotka ovat yhdenmukaisia prompttien kanssa.

‘Kuitenkin ruutupisteytysjakaumassa ei ole helppoa visualisoida vertailua ruutupisteytysjakauman kokoisen arviointimittarin perusteella [0, 1]. Siksi jatkamme palkkigraafien piirtämistä.

‘Voidaan nähdä, että SGOOL ylittää SD:n ja peruslinjan kaikilla aineistoilla sekä CLIP-pisteytys- että HPS-mittareilla. Määrälliset tulokset osoittavat, että mallimme voi generoida semanttisesti yhdenmukaisempia ja ihmisten preferoimia kuvia.’

Tutkijat huomauttavat, että vaikka peruslinjamalli pystyy parantamaan kuvanlaatua, se ei ottaa huomioon kuvan merkittäviä alueita. He väittävät, että SGOOL saavuttaa paremman kompromissin globaalin ja merkittävyyttä koskevan kuvan arvioinnin välillä ja saa paremman kuvan.

Laadullisissa (automaattisissa) vertailuissa optimointien määrä asetettiin 50:ksi SGOOL:lle ja DOODL:lle.

Laadulliset tulokset testeistä. Viittaus alkuperäiseen paperiin paremman määrityksen vuoksi.

Tässä yhteydessä kirjoittajat toteavat:

‘Ensimmäisessä rivissä aiheita ovat “koira laulamassa” ja “parturikvartetti”. Neljä koiraa on kuvassa, joka on generoitu SD:llä, ja kuvan sisältö on huonosti linjassa promptin kanssa.

‘Koira on jätetty kuvasta, joka on generoitu peruslinjalla, ja kasvojen ja yksityiskohtien esittäminen kuvassa on puutteellista. DOODL yrittää generoida kuvan, joka on yhdenmukainen promptin kanssa.

‘Kuitenkin, koska DOODL optimoi globaalia kuvaa suoraan, henkilöt kuvassa ovat optimoituja koiran suhteen.’

He huomauttavat myös, että SGOOL sen sijaan generoi kuvia, jotka ovat yhdenmukaisia alkuperäisen promptin kanssa.

Ihmisen havaintokokeessa 100 vapaaehtoista arvioi testikuvia laadun ja semanttisen yhdenmukaisuuden (eli kuinka läheisesti ne noudattivat alkuperäistä tekstiprompttia) perusteella. Osallistujilla oli rajaton aika tehdä valintansa.

Tulokset ihmisen havaintokokeesta.

Kuten paperi korostaa, kirjoittajien menetelmä on merkittävästi suositumpi kuin aiemmat lähestymistavat.

Johtopäätös

Ei kauan sen jälkeen, kun tämän paperin korostamat puutteet tulivat ilmi paikallisissa Stable Diffusion -asennuksissa, erilaiset mukautetut menetelmät (kuten After Detailer) ilmestyivät pakottamaan järjestelmän antamaan enemmän huomiota alueille, jotka olivat enemmän ihmisen kiinnostuksen alueita.

Kuitenkin tämäntapainen lähestymistapa vaatii, että diffuusiojärjestelmä käy ensin läpi normaalin prosessin, jossa annetaan yhdenmukainen huomio koko kuvan alueelle, ja lisätty työ tehdään ylimääräisenä vaiheena.

SGOOL:n näyttö osoittaa, että soveltamalla perustavaa ihmisen psykologiaa kuvan osien priorisointiin voidaan parantaa alkuperäistä johtopäätöstä ilman jälkikäsittelyvaiheita.

* Paperi tarjoaa saman linkin tämän kuin CommonSyntacticProcessesin osalta.

Julkaistu ensimmäisen kerran keskiviikkona, 16. lokakuuta 2024