Kuinka tiedät, kun kuvasynteesijärjestelmät tuottavat aidosti “alkuperäistä” materiaalia

Uusi tutkimus Etelä-Koreasta on ehdottanut menetelmää, jolla voidaan määrittää, tuottavatko kuvasynteesijärjestelmät aidosti uusia kuvia vai “vähäisiä” variantteja koulutusaineistosta, mikä voisi kukistaa tällaisen arkkitehtuurin tavoitteen (kuten uusien ja alkuperäisten kuvien tuottamisen).

Usein tutkimusraportin mukaan jälkimmäinen on totta, koska olemassa olevat mittarit, joita tällaiset järjestelmät käyttävät parantaakseen generatiivisia kykyjään koulutuksen aikana, ovat pakotettu suosimaan kuvia, jotka ovat suhteellisen lähellä (ei-väärennettyjä) lähdekuvia aineistossa.

Kaiken kaikkiaan, jos generoitu kuva on “visuaalisesti lähellä” lähdeaineistoa, se on väistämättä todennäköisemmin saavuttamaan paremman “aidon” kuin “alkuperäisen” kuvan, koska se on “uskoollinen” – vaikka ei inspiroiva.

Tässä sektorissa, joka on liian nuori ja kokeellinen, jotta sen oikeudelliset seuraukset olisivat vielä tiedossa, tämä saattaa osoittautua tärkeäksi oikeudelliseksi asiaksi, jos käy ilmi, ettei kaupallistettu synteettinen kuvamateriaali eroa tarpeeksi (usein) tekijänoikeuden alaisesta lähdeaineistosta, jota sallitaan tällä hetkellä virtaamaan tutkimussektoriin muun muassa verkkokokoelmiin perustuvien tietokantojen muodossa (tällaisia tulevia vaatimusten mahdollisuutta on viime aikoina korostettu Microsoftin GitHub Co-Pilot -tekoälyssä).

Koulutusaineiston osalta, joka ei välttämättä ole kokonaisuudessaan julkinen, se haittaa edelleen generoitujen kuvien alkuperäisyyden oikeudellista tutkintaa.

Mielenkiintoista kuitenkin on, että Etelä-Korean KAIST AI -tutkimuslaitoksen ja NAVER Corp -yhtiön tutkijat ovat kehittäneet yhteistyössä “Harvinaisuuspisteen”, joka voi auttaa tunnistamaan kuvasynteesijärjestelmien aidosti alkuperäiset luomukset.

Uusi “Harvinaisuuspisteen” mittari soveltaa aiemmassa tutkimuksessa esitetyn idean – lähimmän naapurin (KNN) käyttämistä todellisten (koulutus) ja synteettisten (tuloste) tietojen esittämiseen kuvasynteesijärjestelmässä.

Tutkijat toteavat tästä uudesta analyysimenetelmästä:

“Oletamme, että tavalliset näytteet ovat lähempänä toisiaan, kun taas yksittäiset ja harvinaiset näytteet ovat harvemmassa tiheydessä ominaisuustilassa.”

Yllä oleva tulokset kuva esittää pienimmistä lähimmän naapurin etäisyyksistä suurimpiin, StyleGAN-arkkitehtuurissa, joka on koulutettu FFHQ: n kanssa.

“Theoryssa, tämän uuden mittarin avulla generatiivinen järjestelmä voidaan ohjata puhtaasta jäljittelystä kohti kekseliäämpää algoritmia, säilyttäen kuitenkin olennaisen yhtenäisyyden käsitteistä, jotka voivat olla kriittisiä aidon kuvan tuottamiselle (ts. “mies”, “nainen”, “auto”, “kirkko” jne.).”

Käytännössä ja ilman selkeää ymmärrystä siitä, kuinka paljon järjestelmä on todella omaksunut visuaalisia ja semanttisia käsitteitä (usein rajoitettu tieto koulutusaineistosta), tämä voisi olla toimiva menetelmä tunnistaa aito “ilhamon” hetki generatiivisessa järjestelmässä – se kohta, jossa riittävä määrä syötekonsepteja ja -tietoja on johtanut aidoasti kekseliääseen tuotokseen, sen sijaan, että se olisi liian johdannainen tai lähellä lähdeaineistoa.

Beyond the ‘Cheap Trick’

Yksi aiemmista mittareista, jota uusi tutkimus pyrkii parantamaan, on “Truncation Trick”, joka ehdotettiin vuonna 2019 yhteistyössä Yhdistyneen kuningaskunnan Heriot-Watt-yliopiston ja Google DeepMindin kanssa.

Truncation Trick käyttää eri latentoja jakautumaa näytteiden ottamiseen kuin generatiivisen mallin koulutukseen.

Tutkijat, jotka kehittivät tämän menetelmän, olivat yllättyneitä siitä, että se toimi, mutta myöntävät alkuperäisessä tutkimuksessa, että se vähentää generoitujen tulosteiden monimuotoisuutta.

Truncation Trick on kuitenkin osoittautunut tehokkaaksi ja suositummaksi generatiivisen mallin koulutuksen yhteydessä, ja se voidaan kuvailla “halpaksi temppuksi” saadakseen aidon näköisiä tuloksia, jotka eivät välttämättä omaksu kaikkia mahdollisuuksia, jotka sisältyvät aineistoon, ja jotka saattavat muistuttaa lähdeaineistoa enemmän kuin toivottaisiin.

Uuden tutkimuksen tekijät toteavat Truncation Trickistä:

“[Se] ei ole tarkoitettu harvinaisten näytteiden generoimiseen koulutusaineistoissa, vaan ennemminkin tyypillisten kuvien stabiloimiseen.”

Yleisesti ottaen olisi parempi, jos kuvasynteesijärjestelmien uudisuus tai alkuperäisyys voitaisiin jollain tavoin mitata ilman, että jokaisen mahdollisen verkkoon liittyvän kuvan ominaisuuksia olisi extrahdittava internetistä mallin koulutuksen aikana tai ei-julkisissa tietokannoissa, joissa voi olla tekijänoikeuden alaista materiaalia.

Tähän liittyen KAIST AI -tutkimuslaitoksen ja NAVER Corp -yhtiön tutkijat ovat kehittäneet yhteistyössä “Harvinaisuuspisteen”, joka voi auttaa tunnistamaan kuvasynteesijärjestelmien aidosti alkuperäiset luomukset.

Technique

Tutkijoiden uusi Harvinaisuuspiste soveltaa aiemmassa tutkimuksessa esitetyn idean – lähimmän naapurin (KNN) käyttämistä todellisten (koulutus) ja synteettisten (tuloste) tietojen esittämiseen kuvasynteesijärjestelmässä.

Tutkijat toteavat tästä uudesta analyysimenetelmästä:

“Oletamme, että tavalliset näytteet ovat lähempänä toisiaan, kun taas yksittäiset ja harvinaiset näytteet ovat harvemmassa tiheydessä ominaisuustilassa.”

Yllä oleva tulokset kuva esittää pienimmistä lähimmän naapurin etäisyyksistä suurimpiin, StyleGAN-arkkitehtuurissa, joka on koulutettu FFHQ: n kanssa.

Comparisons and Experiments

Kokeissa tutkijat suorittivat vertailun Harvinaisuuspisteen suorituskyvystä Truncation Trickin ja NVIDIA:n vuoden 2019 “Realism Scoren” kanssa, ja totesivat, että lähestymistapa pystyy erottamaan “yksittäisiä” tuloksia useissa eri kehyksissä ja tietokannoissa.

Vaikka tutkimuksessa esitetyt tulokset ovat liian laajat sisällyttääkse tähän, tutkijat näyttävät osoittaneen uuden menetelmän kyvyn tunnistaa harvinaisuus sekä lähde- (todelliset) että generoituissa (väärennetty) kuvissa generatiivisessa prosessissa:

Tutkimuksen mukaan Harvinaisuuspiste on kyky erottaa aidosti uudet generoitetut kuvat, eikä se rajoitu pelkästään yksittäisiin arkkitehtuureihin.

Beyond Limited Tasks

Vaikka uuden tutkimuksen tekijät ovat suorittaneet kokeita rajoitettujen tehtävien kehyksissä (kuten generoijien ja tietokantojen yhdistelmissä, jotka on suunniteltu tuottamaan tiettyjä aiheita, kuten ihmisten tai kissojen kuvia), Harvinaisuuspiste voidaan soveltaa mihin tahansa kuvasynteesimenetelmään, jossa halutaan tunnistaa generoitetut esimerkit, jotka käyttävät koulutetun aineiston jakaumia, sen sijaan, että ne lisäävät aidonutta (ja vähentävät monimuotoisuutta) asettamalla välimuotoisia latenteja jakaumia tai turvautumalla muihin “lyhytkatkaisiin”, jotka kompromittoisivat uudisuuden puolesta.

Käytännössä ja ilman selkeää ymmärrystä siitä, kuinka paljon järjestelmä on todella omaksunut visuaalisia ja semanttisia käsitteitä (usein rajoitettu tieto koulutusaineistosta), tämä voisi olla toimiva menetelmä tunnistaa aito “ilhamon” hetki generatiivisessa järjestelmässä – se kohta, jossa riittävä määrä syötekonsepteja ja -tietoja on johtanut aidoasti kekseliääseen tuotokseen, sen sijaan, että se olisi liian johdannainen tai lähellä lähdeaineistoa.