Andersonin kulma

Adoben tutkimus laajentaa GAN-kasvojenmuokkausta eriyttämällä ominaisuuksia

Martin Anderson
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Keskeiset kohdatAdoben latentista latentiksi -kartoittaja jäädyttää identiteetin samalla kun se muokkaa…
Näytä lisää
  • Adoben latentista latentiksi -kartoittaja jäädyttää identiteetin samalla kun se muokkaa 35:tä kasvojen ominaisuutta ilman uudelleenkoulutusta.
  • Järjestelmä käyttää FaceNetiä erottelijana estääkseen identiteetin heikkenemisen ominaisuuksien muunnosten aikana.
  • Kilpailevat viitekehykset, kuten InterFaceGAN, kietovat iän yhteen sukupuolen tai silmälasien kanssa, mutta Adoben lähestymistapa välttää nämä sivuvaikutukset.

On helppo ymmärtää, miksi sidos on ongelma kuvansynteesissä, koska se on usein ongelma myös muilla elämänaloilla; esimerkiksi on paljon vaikeampaa poistaa kurkumaa currysta kuin heittää pois suolakurkku hampurilaisesta, ja käytännössä mahdotonta poistaa makeutta kupista kahvia. Jotkut asiat tulevat aina paketteina.

Vastaavasti sidos on este kuvansynteesirakenteille, jotka haluavat erottaa eri ominaisuuksia ja käsitteitä käyttäessään koneoppimista kasvojen luomiseen tai muokkaamiseen (tai koiria, veneitä tai muita aiheita).

Jos voit erottaa säikeitä, kuten ikä, sukupuoli, hiusten väri, ihon sävy, tunne ja niin edelleen, sinulla on todellisen hallittavuuden ja joustavuuden alku kehyksessä, joka voi luoda ja muokata kasvoja todella hienojakoisella tasolla ilman epätoivottuja “matkustajia” näissä muunnoksissa.

Kun ominaisuudet ovat täysin kietoutuneet toisiinsa (yllä vasemmalla), opitun GAN-verkon kuva voidaan vain vaihtaa toisen henkilön kuvaksi.

Tämä on käytännössä viimeisimmän tekoälypohjaisen konenäkötekniikan käyttäminen saavuttamaan jotain, mitä ratkaistiin muilla tavoilla yli 30 vuotta sitten.

Jonkin verran erottelulla (keskivertaisessa erottelussa ylempänä kuvassa), on mahdollista tehdä tyyliin perustuvia muutoksia, kuten hiusten väri, ilme, meikki ja rajoitettu pään kiertoliike, muun muassa.

Lähde: FEAT: Face Editing with Attention, helmikuu 2022, https://arxiv.org/pdf/2202.02713.pdf

Lähde: FEAT: Face Editing with Attention, helmikuu 2022, https://arxiv.org/pdf/2202.02713.pdf

On ollut useita yrityksiä viimeisen kahden vuoden aikana luoda interaktiivisia kasvojen muokkausympäristöjä, jotka sallivat käyttäjän muuttaa kasvonpiirteitä liukusäätimillä ja muiden perinteisten käyttöliittymätoimintojen avulla, säilyttäen kuitenkin kasvojen perusominaisuudet, kun tehdään lisäyksiä tai muutoksia. Tämä on kuitenkin osoittautunut haasteeksi johtuen GAN-verkon latentissa avaruudessa esiintyvästä ominaisuuksien ja tyylien kietoutumisesta.

Esimerkiksi silmälasien ominaisuus on usein sekoittunut vanhenemisen ominaisuuteen, mikä tarkoittaa, että silmälasien lisääminen voi myös “vanhentaa” kasvoja, kun taas vanheneminen voi lisätä silmälasit, riippuen sovelletun erottelun määrästä (ks. “Testaus” alla esimerkkejä).

Eniten on ollut lähes mahdotonta muuttaa hiusten väriä ja muita hiuksia koskevia piirteitä ilman, että hiuksia ja niiden asentoa on uudelleenlaskettu, mikä antaa “siristävän” siirtymävaikutuksen.

Lähde: InterFaceGAN Demo (CVPR 2020), https://www.youtube.com/watch?v=uoftpl3Bj6w

Lähde: InterFaceGAN Demo (CVPR 2020), https://www.youtube.com/watch?v=uoftpl3Bj6w

GAN-muunnos latentista avaruudesta latenttiin avaruuteen

Uusi Adoben (ADBE ) johdolla tehty tutkimus esitettiin WACV 2022:lle, ja se tarjoaa uuden lähestymistavan näihin perusongelmiin tutkimuksessa nimeltä Latent to Latent: A Learned Mapper for Identity Preserving Editing of Multiple Face Attributes in StyleGAN-generated Images.

Lisämateriaalia tutkimuksesta Latent to Latent: A Learned Mapper for Identity Preserving Editing of Multiple Face Attributes in StyleGAN-generated Images. Tässä nähdään, että perusominaisuudet oppimissa kasvoissa eivät ole vedetty mukaan muutoksiin, jotka eivät liity niihin. Katso tämän artikkelin lopussa oleva video, jossa on parempi tarkkuus ja yksityiskohdat. Lähde: https://www.youtube.com/watch?v=rf_61llRH0Q

Lisämateriaalia tutkimuksesta Latent to Latent: A Learned Mapper for Identity Preserving Editing of Multiple Face Attributes in StyleGAN-generated Images. Tässä nähdään, että perusominaisuudet oppimissa kasvoissa eivät ole vedetty mukaan muutoksiin, jotka eivät liity niihin. Katso tämän artikkelin lopussa oleva video, jossa on parempi tarkkuus ja yksityiskohdat. Lähde: https://www.youtube.com/watch?v=rf_61llRH0Q

Tutkimusta johti Adoben soveltava tutkija Siavash Khodadadeh yhdessä neljän muun Adoben tutkijan sekä Keski-Floridan yliopiston tietojenkäsittelytieteen laitoksen tutkijan kanssa.

Tutkimus on mielenkiintoinen osittain, koska Adobe on toiminut tässä alueessa jo jonkin aikaa, ja on houkuttelevaa ajatella, että tämä toiminnallisuus tulee sisällytettäväksi Creative Suite -projektiin seuraavien vuosien aikana; mutta ennen kaikkea, koska arkkitehtuuri, joka on luotu tämän projektiin, lähestyy visuaalisen eheytymisen ylläpitämistä GAN-kasvojen muokkaimessa muutosten aikana toisella tavalla.

Tekijät ilmoittavat:

‘[Me] koulutamme neuroverkon suorittamaan muunnoksen latentista avaruudesta latenttiin avaruuteen, joka löytää latentin koodauksen, joka vastaa kuvaa, jossa on muutettu ominaisuus. Koska tekniikka toimii yhdellä suorituskerralla, se ei riipu lineaarisesta tai epälineaarisesta ominaisuuksien muutoksen asteittaisesta polusta.

‘Kouluttamalla verkkoa päästä päähän koko generointiputken läpi, järjestelmä voi sopeutua valmiiden generointirakenteiden latentteihin avaruuksiin. Säilytysominaisuudet, kuten henkilön identiteetin ylläpitäminen, voidaan koodata koulutuksen häviöfunktioiden muodossa.

‘Kun latentista latenttiin muuntava verkko on koulutettu, se voidaan uudelleenkäyttää mihin tahansa kuvaan ilman uudelleenkoulutusta.’

Tämä viimeinen osa tarkoittaa, että ehdotettu arkkitehtuuri saapuu loppukäyttäjälle valmiina. Se edellyttää edelleen neuroverkon suorittamista paikallisilla resursseilla, mutta uudet kuvat voidaan “laittaa” muokattaviksi lähes välittömästi, koska kehys on riittävän irrotettu, jotta se ei tarvitse lisää kuva-kohtaista koulutusta.

Sukupuoli ja parta muutettiin, kun liukusäätimet piirtävät satunnaisia ja mielivaltaisia polkuja latentin avaruuden läpi, eivät vain 'liiku päätepisteiden välillä'.

Sukupuoli ja parta muutettiin, kun liukusäätimet piirtävät satunnaisia ja mielivaltaisia polkuja latentin avaruuden läpi, eivät vain ‘liiku päätepisteiden välillä’. Katso video tämän artikkelin lopussa, jossa on enemmän muodonmuutoksia paremmalla resoluutiolla.

Yksi pääsaavutus tässä työssä on verkon kyky “jäädyttää” identiteetit latentissa avaruudessa muuttamalla vain ominaisuutta kohdevektorissa ja tarjoamalla “korjaustermejä”, jotka säilyttävät identiteetin muunnoksessa.

Itse asiassa ehdotettu verkko on upotettu laajempaan arkkitehtuuriin, joka orkesteroi kaikki prosessoidut elementit, jotka kulkevat esikoulutettujen komponenttien läpi, joiden painot on jäädytetty, eikä niistä aiheudu ei-toivottuja sivuvaikutuksia muutoksissa.

Koska koulutusprosessi perustuu tripletteihin, jotka voidaan luoda joko siemenkuvasta (GAN-inversion avulla) tai olemassa olevasta alkuperäisestä latenttikoodauksesta, koko koulutusprosessi on valvomaton, ja tavanomaiset merkitsemis- ja kuraattorijärjestelmien toimet ovat käytännössä sisällytetty arkkitehtuuriin. Itse asiassa uusi järjestelmä käyttää valmiita attribuuttien regressiomalleja:

‘[Verkkomme] määrä ominaisuuksia, joita voidaan hallita itsenäisesti, on rajoitettu vain tunnistimien (tunnistimien) kykyyn – jos sinulla on tunnistin ominaisuudelle, voit lisätä sen mihin tahansa kasvoihin. Kokeissamme koulutimme latentista latenttiin muuntavan verkon sallimaan 35 eri kasvon ominaisuuden säätämisen, enemmän kuin mikään aiempi lähestymistapa.’

Järjestelmä sisältää myös lisäsuojauden ei-toivottuja “sivuvaikutuksia” vastaan: jos ei ole pyydetty ominaisuuden muutosta, latentista latenttiin muuntava verkko kartoittaa latenttivektorin itselleen, mikä lisää edelleen kohteen identiteetin vakaata säilymistä.

Kasvojen tunnistus

Yksi toistuva ongelma GAN- ja koodarin/puraajan perustuvissa kasvojen muokkaajissa viime vuosina on ollut, että sovelletut muutokset ovat heikentäneet yhdennäköisyyttä. Tätä vastaan Adobe-projekti käyttää upotettua kasvojen tunnistusverkkoa nimeltä FaceNet erottimena.

Projektin arkkitehtuuri, katso alhaalla vasemmalla FaceNetin sisällyttäminen. Lähde: Latent to Latent: A Learned Mapper for Identity Preserving Editing of Multiple Face Attributes in StyleGAN-generated Images, OpenAccess.

Projektin arkkitehtuuri, katso alhaalla vasemmalla FaceNetin sisällyttäminen. Lähde: Latent to Latent: A Learned Mapper for Identity Preserving Editing of Multiple Face Attributes in StyleGAN-generated Images, OpenAccess.

(Henkilökohtaisena huomautuksena tämä näyttää rohkaisevalta askelelta kohti standardien kasvojen tunnistus- ja ilmeiden tunnistusjärjestelmien integroimista generatiivisiin verkostoihin, mikä on todennäköisesti paras tapa edetä ylittämään sokean pikseli-pikseli-kartan, joka hallitsee nykyisiä deepfake-arkkitehtuureja ilmeen uskottavuuden ja muiden tärkeiden alueiden kustannuksella kasvojen luomisessa.)

Kaikki alueet latentissa avaruudessa

Toinen vaikuttava ominaisuus tästä kehyksestä on sen kyky liikkua mielivaltaisesti potentiaalisissa muodonmuutoksissa latentissa avaruudessa käyttäjän mielin mukaan. Useat aiemmat järjestelmät, jotka tarjosivat tutkimisliittymät, jättivät käyttäjän käytännössä liikkumaan kiinteiden ominaisuusmuunnosten aikajanojen välillä – vaikuttava, mutta usein melko lineaarinen tai määrätty kokemus.

GAN-tasapainon parantamisesta tilatietoisuutta lisäämällä: tässä käyttäjä hioo joukkoa potentiaalisia siirtymäkohtia kahden latentin avaruuden sijainnin välillä, mutta latentin avaruuden ennalta määritettyjen sijaintien puitteissa. Soveltamaan muiden tyyppien muodonmuutoksia samasta aineistosta vaaditaan uudelleenkonfigurointia ja/tai uudelleenkoulutusta. Lähde: https://genforce.github.io/eqgan/

Tutkimuksesta GAN-tasapainon parantaminen tilatietoisuutta lisäämällä: tässä käyttäjä hioo joukkoa potentiaalisia siirtymäkohtia kahden latentin avaruuden sijainnin välillä, mutta latentin avaruuden ennalta määritettyjen sijaintien puitteissa. Soveltamaan muiden tyyppien muodonmuutoksia samasta aineistosta vaaditaan uudelleenkonfigurointia ja/tai uudelleenkoulutusta. Lähde: https://genforce.github.io/eqgan/

Lisäksi käyttäjä voi myös manuaalisesti “jäädyttää” elementtejä, jotka halutaan säilyttää muodonmuutosprosessin aikana. Tällä tavoin käyttäjä voi varmistaa, että (esimerkiksi) taustat eivät siirry tai että silmät pidetään auki tai kiinni.

Tiedot

Attribuuttien regressioverkko koulutettiin kolmella aineistolla: FFHQ, CelebAMask-HQ ja paikallinen, GAN-generoitu aineisto, joka saatiin otostamalla 400 000 vektoria StyleGAN-V2:n Z-avaruudesta.

Jakauman ulkopuoliset (OOD) kuvat poistettiin, ja attribuutit purettiin Microsoftin Face API:n avulla, ja tuloksena oleva kuvakokoelma jaettiin 90/10, jättäen 721 218 koulutuskuvaa ja 72 172 testikuvaa vertailtavaksi.

Testaus

Vaikka kokeellinen verkko oli alun perin konfiguroitu ottamaan 35 potentiaalista muodonmuutosta, ne supistuivat kahdeksaan, jotta voidaan tehdä vertaileva testaus vertailukelpoisia kehyksiä InterFaceGAN, GANSpace ja StyleFlow vastaan.

Kahdeksan valittua attribuuttia olivat Ikä, Kaljuus, Parta, Ilme, Sukupuoli, Silmälasit, Pään kallistus ylös tai alas (pitch) ja Pään kääntö sivusuunnassa (yaw). Se oli välttämätöntä uudelleenkonfiguroida kilpailevia kehyksiä joillekin kahdeksasta attribuutista, jotka eivät olleet mukana alkuperäisessä jakelussa, kuten lisääminen kaljuus ja parta InterFaceGAN:lle.

Kuten odottaa, suurempi määrä sidosongelmaa tapahtui vastakkaisissa arkkitehtuureissa. Esimerkiksi yhdessä testissä InterFaceGAN ja StyleFlow molemmat muuttivat kohteen sukupuolta, kun pyydettiin soveltamaan ikä:

Kaksi kilpailevaa kehyksistä kietoi sukupuolen muutoksen 'ikä'-muodonmuutokseen, muuttaen myös hiusten värin ilman suoran pyynnön käyttäjältä.

Kaksi kilpailevaa kehyksistä kietoi sukupuolen muutoksen ‘ikä’-muodonmuutokseen, muuttaen myös hiusten värin ilman suoran pyynnön käyttäjältä.

Lisäksi kaksi vastustajaa totesi, että silmälasit ja ikä ovat erottamattomia piirteitä:

Silmälasit ja hiusten väri muutettiin ilman lisämaksua!

Silmälasit ja hiusten väri muutettiin ilman lisämaksua!

Se ei ole yhdenmukainen voitto tutkimukselle: kuten voidaan nähdä tämän artikkelin lopussa olevasta upotetusta videosta, kehys on vähiten tehokas, kun yritetään ekstrapoloida monia kulmia (yaw), kun taas GANSpace saa yleisesti paremman tuloksen ikä ja silmälasien asettamisessa. Latentista latenttiin muuntava kehys ylsi tasatulokseen GANSpacen ja StyleFlow’n kanssa pitchin (pään kulman) lisäämisessä.

Tulokset laskettiin MTCNN-kasvontunnistimen kalibroinnin perusteella. Pienemmät arvot ovat parempia.

Tulokset laskettiin MTCNN-kasvontunnistimen kalibroinnin perusteella. Pienemmät arvot ovat parempia.

Lisätietoja ja parempaa resoluutiota esimerkeistä varten katso tutkimuksen liitteenä oleva video alla.

 

Julkaistu ensimmäisen kerran 16. helmikuuta 2022.

Kirjoittaja koneoppimisen parissa, ihmisiä esittävien kuvien synteesin asiantuntija. Entinen tutkimussisällön johtaja Metaphysic.ai:ssa, kunnes se sulautui DNEG:n Brahma.ai:hin.
Verkkosivu: martinanderson.ai
Yhteystiedot: martin@martinanderson.ai