UniTune: Google:n Vaihtoehtoinen Neuraalinen Kuvan Muokkaustekniikka

Google Research, näyttää siltä, että hyökkää tekstipohjaisen kuvanmuokkauksen useista suunnista, ja odottaa, mitä “ottaa”. Heti tämän viikon julkaisun jälkeen heidän Imagic-tutkimuksesta, hakukonejätti on ehdottanut lisää latenssi-pohjaista menetelmää suorittamaan muissa tapauksissa mahdottomia AI-pohjaisia muokkauksia kuvissa tekstikomennoilla, tällä kertaa kutsutaan UniTune.

Pohjautuen esimerkkeihin, jotka on annettu projektin uudessa tutkimuksessa, UniTune on saavuttanut poikkeuksellisen korkean asteen semanttisen asennon ja idean erottamista todellisesta kuvan sisällöstä:

UniTune:n hallinta semanttisesta koostumisesta on erinomainen. Huomaa, miten ylemmässä rivissä kuvissa, kahden henkilön kasvot eivät ole vääristyneet tavallisen muodonmuutoksen aikana (oikea). Lähde: https://arxiv.org/pdf/2210.09477.pdf

Kun Stable Diffusion -faneja on opetettu, voidaan soveltaa muokkauksia osittaisiin kuvaosiin ilman, että loput kuvasta vaurioituvat, voi olla hankala, joskus mahdoton operaatio. Vaikka suositut jakelut, kuten AUTOMATIC1111, voivat luoda maskeja paikallisille ja rajoitettujen muokkausten tekemiseksi, prosessi on monimutkainen ja usein epävarmainen.

Ilmeinen vastaus, ainakin tietokoneen näkökulmasta, on asettaa välikerros semanttista segmentointia, joka pystyy tunnistamaan ja erottamaan objekteja kuvasta ilman käyttäjän väliintuloa, ja tosiaan on ollut useita uusia aloitteita viime aikoina tämän ajattelutavan mukaisesti.

Toinen mahdollisuus lukitsemaan epäjohdonmukaiset ja sekavat neuronimuokkaustoiminnot on hyödyntää OpenAI:n vaikutusvaltaista Contrastive Language-Image Pre-training (CLIP) -moduulia, joka on latentti-diffuusiomallien, kuten DALL-E 2 ja Stable Diffusion, sydämessä, toimimaan suodattimena ja laadunvalvontamoduulina, joka hylkää vialliset tai muuten sopimattomat renderöinnit. Tässä yhteydessä CLIP toimii vartijana ja laadunvalvontamoduulina, joka torjuu vialliset tai muuten sopimattomat renderöinnit.

Kuitenkin, koska CLIP on kiistatta sekä syyllinen että ratkaisu tässä skenaariossa (koska se myös kertoi, miten kuva evoluoitui), ja koska laitteiston vaatimukset voivat ylittää, mitä on todennäköisesti saatavilla loppukäyttäjälle, tämä lähestymistapa ei välttämättä ole ihanteellinen.

Pakattu Kieli

Ehdotettu UniTune “hienosäädetty” olemassaolevaa diffuusiomallia – tässä tapauksessa Google:n omaa Imagenia, vaikka tutkijat toteavat, että menetelmä on yhteensopiva muiden latentti-diffuusioiden kanssa – niin, että yksilöivä token injektoitiin siihen, jota voidaan kutsua sisällyttämällä se tekstiprompttiin.

Ensimmäisellä silmäyksellä tämä kuulostaa Google DreamBooth:lta, joka on tällä hetkellä Stable Diffusion -fanejen ja kehittäjien keskuudessa; tai kuin Tekstuaalinen Inversio, joka luo “sivuvaunutiedostot” mallille, jotka käsitellään niin, kuin ne olisivat alun perin koulutettu malliin, ja voivat hyödyntää mallin omia laajoja resursseja muokkaamalla sen tekstiluokittelijaa, mikä johtaa pieniin tiedostoihin (vertailussa DreamBoothin vähintään 2 GB pruned checkpointeihin).

Todella, tutkijat väittävät, että UniTune hylkäsi molemmat lähestymistavat. He löysivät, että Tekstuaalinen Inversio jätti liian monta tärkeää yksityiskohtaa, kun taas DreamBooth “suoritti huonommin ja kesti kauemmin” kuin ratkaisu, johon he lopulta päätyivät.

Kuitenkin UniTune käyttää samaa kapseloitua semanttista “metaprompt”-lähestymistapaa kuin DreamBooth, jossa koulutetut muutokset kutsutaan yksilöivillä sanoilla, jotka valitaan kouluttajalla, eivätkä ne voi ristiriidassa olemassaolevien termejen kanssa, jotka ovat jo koulutettu julkaistuun malliin.

‘Muokkaustoiminnon suorittamiseksi otamme näyte hienosäädetystä mallista komennolla “[rare_tokens] edit_prompt” (esim. “beikkpic kaksi koiraa ravintolassa” tai “beikkpic hirviö”).’

Prosessi

Vaikka on hämärää, miksi kaksi lähes identtistä tutkimusta, joilla on sama lopputoiminto, tulisi Googlelta samalla viikolla, on, vaikka on suuri määrä yhtäläisyyksiä kahden aloitteen välillä, ainakin yksi selkeä ero UniTune ja Imagic välillä – jälkimmäinen käyttää “pakkaamattomia” luonnollisia kieliä ohjaamaan kuvanmuokkaustoimintoja, kun taas UniTune kouluttaa yksilöiviä tokenia DreamBooth-tyylissä.

Jos haluat muokata Imagic:lla ja haluat tehdä muodonmuutoksen tällä tavalla…

UniTune-tutkimuksesta – UniTune asettaa itsensä Google:n suosikkivastustajan neuronimuokkauskehyksen, SDEdit, vastaan. UniTune:n tulokset ovat oikealla, kun taas arvioitu maski on toinen kuva vasemmasta.

… Imagic:ssä syötät ‘kolmas henkilö, istuva taustalla, söpö karvainen hirviö’.

Vastava UniTune-komento olisi ‘Mies takana kuin [x]’, jossa x on outo ja yksilöivä sana, joka on sitoutunut hienokuulutettuun käsitteeseen, joka liittyy karvaiseen hirviöön.

Molemmat UniTune ja Imagic syöttävät yksittäisen kuvan järjestelmään – alkuperäisen, puhtaan kuvan.

Tämä on samanlainen kuin monien viime vuosien GAN-pohjaisilla muokkaustyökaluilla, jotka toimivat muuttamalla syötekuvan latenttikoodiksi GAN:n latenttiluvussa ja lähettämällä ne muualle latenttiluvulle muokkauksia varten (esim. syöttämällä nuoren tummatukkaisen henkilön kuvan ja projisoimalla sen “vanha” tai “vaalea” latenttikoodien kautta).

Kuitenkin tulokset, diffuusiomallissa ja tällä menetelmällä, ovat melko hämmästyttävän tarkat vertailussa:

Hienosäätöprosessi

UniTune-menetelmä lähettää alkuperäisen kuvan diffuusiomallin kautta joukon ohjeita, miten se tulisi muuttaa, käyttäen laajoja saatavilla olevia koulutettuja tietoja malliin. Vaikka voit tehdä tämän jo nyt Stable Diffusionin img2img-toiminnallisuuden avulla, mutta ilman vääristymistä tai muuttamista kuvan osia, joita haluat pitää.

UniTune-prosessin aikana järjestelmä on hienosäädetty, eli UniTune pakottaa mallin jatkamaan koulutusta, jossa useimmat sen kerrokset ovat jäädytetty (ks. alla). Useimmissa tapauksissa hienosäätö laskee kokonaisten yleisten tappioiden arvoja korkean suorituskyvyn mallissa, jotta voidaan injektoida tai parantaa jotain toivottua asiaa.

Kuitenkin UniTune:ssa näyttää siltä, että mallin kopio, jota käytetään, vaikka se voi painaa useita gigatavua tai enemmän, kohdellaan kuin hävitettävää “kuorta”, joka hävitetään prosessin lopussa, sen jälkeen, kun se on palvellut yhtä tarkoitusta. Tämänkaltaista data-tonnia on muodostumassa jokapäiväiseksi varastokriisiksi DreamBooth-faneille, joiden omat mallit, jopa leikattuina, eivät ole vähintään 2 GB kohdekohtaisesti.

Kuten Imagic:ssä, pääasiallinen säätö UniTune:ssa tapahtuu kahdella alimmalla kolmesta kerroksesta Imagenissa (perus 64px, 64px>256px ja 256px>1024px). Toisin kuin Imagic, tutkijat näkevät jonkin potentiaalisen arvon säätämiseen myös tämän viimeisen ja suurimman yläresoluutio-kerroksen (vaikka he eivät ole vielä yrittäneet sitä).

Alimmassa 64px-kerroksessa malli on harjoitettu alkuperäisen kuvan kanssa koulutuksen aikana, useita kopioita kuvasta ja tekstistä syötetään järjestelmään 128 toistoa kohden, eräkoko on 4, ja Adafactor on menetelmä, joka toimii oppimisnopeudella 0,0001. Vaikka T5-koodari on jäädytetty koulutuksen aikana, se on myös jäädytetty Imagenin ensisijaisessa koulutuksessa.

Yllä oleva toiminto toistetaan 64>256px-kerrokselle, käyttäen samaa melun vahvistusmenetelmää, jota käytettiin Imagenin alkuperäisessä koulutuksessa.

Näytteenotto

On olemassa useita mahdollisia näytteenottomenetelmiä, joilla voidaan hakea tehtyjä muutoksia hienosäädetystä mallista, mukaan lukien Classifier Free Guidance (CFG), joka on myös Stable Diffusionin keskeinen osa. CFG määrittää, kuinka paljon malli on vapaa “seuraamaan mielikuvitustaan” ja tutkimaan renderöintimahdollisuuksia – tai toisaalta, kuinka paljon se tulisi noudattaa syötekuvaa ja tehdä vähemmän laajoja tai dramaattisia muutoksia.

Kuten Tekstuaalinen Inversio (vähemmän DreamBooth), UniTune on sovellettavissa eri graafisiin tyyleihin alkuperäisille kuville, sekä fotorealistisiin muokkauksiin.

Tutkijat kokeilivat myös SDEdit:n “myöhäisen aloituksen” tekniikkaa, jossa järjestelmä rohkaistaan säilyttämään alkuperäisiä yksityiskohtia olemalla vain osittain “meluisa” alusta alkaen, mutta säilyttämällä sen olennaiset ominaisuudet. Vaikka tutkijat käyttivät tätä vain alimmassa kerroksessa (64px), he uskovat, että se voisi olla hyödyllinen lisätekniikka tulevaisuudessa.

Tutkijat hyödynsivät myös prompt-to-prompt-tekniikkaa tekstipohjaisena tekniikkana, jolla voidaan ehdottaa mallille:

‘Prompt-to-prompt-asetuksessa havaittiin, että tekniikka, jota kutsun Prompt Guidance, on erityisen hyödyllinen säätämään uskaliaisuutta ja ilmaisukykyä.

‘Prompt Guidance on samanlainen kuin Classifier Free Guidance, mutta perusarvo on eri promptti kuin ehdoton malli. Tämä ohjaa mallia deltaan kahden promptin välillä.’

Prompt-to-prompt UniTune:ssa, joka eristää alueita muokattaviksi.

Kuitenkin prompt-ohjaus, jonka tutkijat toteavat, tarvittiin vain silloin tällöin, kun CFG epäonnistui saavuttamaan toivottu tulos.

Toinen uusi näytteenottotekniikka, jota kehitettiin UniTune:n kehityksen aikana, oli interpolointi, jossa kuvan alueet ovat tarpeeksi erillisiä, jotta sekä alkuperäinen että muokattu kuva ovat hyvin samanlaisia koostumukseltaan, mikä mahdollistaa “viattoman” interpoloinnin käytön.

Interpolointi voi tehdä UniTune:n korkeampien ponnistelujen tarpeettomiksi tapauksissa, joissa muokattavat alueet ovat erillisiä ja hyvin rajattuja.

Tutkijat ehdottavat, että interpolointi voi toimia niin hyvin, että se voisi olla oletusasetuksena, ja huomauttavat myös, että se voi aiheuttaa poikkeuksellisia muodonmuutoksia tapauksissa, joissa monimutkaiset peittämiset eivät vaadi intensiivisempiä menetelmiä.

UniTune voi suorittaa paikallisia muokkauksia ilman tai muokkausmaskien kanssa, ja se voi myös päättää yksipuolisesti, minne muokkaukset sijoitetaan, epätavallisen yhdistelmän tulkinnan voimaa ja perusdatan vahvaa esittämistä:

Ylimmässä kuvassa toisessa sarakkeessa UniTune on tehtäväksi “punainen juna taustalla” ja asettanut sen soveliaaseen ja aitoon asemaan. Huomaa, miten muissa esimerkeissä semanttinen eheys säilyy alkuperäisessä kuvassa, vaikka kuvan sisältö ja ydin tyylit muuttuvat tavalla, joka on poikkeuksellinen.

Viaantuvuus

Vaikka ensimmäinen iterointi uudesta järjestelmästä on aina hidas, ja vaikka on mahdollista, että joko yhteisön osallistuminen tai yrityksen sitoutuminen (se ei yleensä ole molempia) voi lopulta nopeuttaa ja optimoida resursseja vaativan prosessin, sekä UniTune että Imagic suorittavat joitakin melko suuria koneoppimisen manööverejä luodakseen nämä upean muokkaukset, ja on epävarmaa, kuinka paljon tällainen resursseja vaativa prosessi voisi koskaan olla skaalattavissa kotikäyttöön, sen sijaan kuin API-ohjattuun käyttöön (vaikka jälkimmäinen voi olla Googlelle mieluisampi).

Tällä hetkellä kierros aikaisesta tuloksesta on noin 3 minuuttia T4-grafiikkaprosessorilla, ja noin 30 sekuntia lisää inferencea varten (kuten minkä tahansa inference-rutiinin kohdalla). Tutkijat myöntävät, että tämä on korkea viive, ja tuskin kelpaa “interaktiiviseksi”, mutta he myös huomauttavat, että malli säilyy käytettävissä muokkausten tekemiseen kerran, kun se on alun perin säädetty, kunnes käyttäjä on valmis prosessin kanssa, mikä vähentää kunkin muokkauksen aikaa.

Julkaistu ensimmäisen kerran 21. lokakuuta 2022.