Kasvojen synteesin orkestraatio semanttisella segmentoinnilla

Kasvojen keksimisessä Generatiivisen Adversarial Networkin (GAN) avulla on ongelma, jonka mukaan todellisen maailman data, joka polttoaineena huikeille kuville, tulee epätoivotuilla ja erottamattomilla varusteilla, kuten hiuksilla (päässä ja/tai kasvoissa), taustoilla ja erilaisilla kasvon osilla, kuten silmälaseilla, hattuilla ja korvakoruilla; ja että nämä kasvon ympärillä olevat henkilökohtaiset piirteet ovat väistämättä sitoutuneet “yhdennetyssä” identiteetissä.

Yleisimmissä GAN-arkkitehtuureissa nämä elementit eivät ole osoitettavissa omassa omistetussa tilassa, vaan ovat hyvin tiiviisti liitettynä kasvoon (tai sen ympärillä), johon ne on upotettu.

Yleensä ei myöskään ole mahdollista määrätä tai vaikuttaa alueiden ulkonäköön, kuten silmien kapeuttamiseen, nenän pidentämiseen tai hiusten värin muuttamiseen, niin kuin poliisin piirroskuvataiteilija voisi.

Kuitenkin kuvansynteesitutkimuksen ala työskentelee asioiden parantamiseksi:

Uusi tutkimus GAN-pohjaisesta kasvonsynteesistä on erottanut kasvojen eri osat eri alueiksi, joilla on omat “generaattorinsa”, jotka toimivat yhteistyössä muiden generaattorien kanssa kuvan luomiseksi. Keskimmäisessä rivissä näemme orkesteroivan “piirroskartan” rakentamassa lisää kasvon alueita. Lähde: https://arxiv.org/pdf/2112.02236.pdf

Uudessa tutkimuksessa Yhdysvaltain osasto kiinalaisesta monikansallisen teknologiayhtiö ByteDancen on käyttänyt semanttista segmentointia kasvojen eri osien erottamiseksi eri alueiksi, joille on annettu omat generaattorinsa, jotta voidaan saavuttaa suurempi erottautumisen aste. Tai ainakin havainnollinen erottautuminen.

Tutkimus on nimeltään SemanticStyleGAN: Learning Compositional Generative Priors for Controllable Image Synthesis and Editing, ja siihen liittyy monimediallinen projektisivu, jossa on useita esimerkkejä hienojakoisista muunnoksista, joita voidaan saavuttaa, kun kasvon ja pään osia eristetään tällä tavoin.

Kasvon tekstuurin, hiusten tyylisi ja väri, silmien muoto ja väri sekä monet muut kasvojen osat, jotka aiemmin olivat yhdistyneitä GAN-kuvissa, voidaan nyt erottaa, vaikka erottelun laatu ja hallittavuus vaihtelevat tapauskohtaisesti. Lähde: https://semanticstylegan.github.io/

Hallitsematon latenttiavaruus

Generatiivinen Adversarial Network, joka on koulutettu luomaan kasvoja – kuten StyleGan2 -generaattori, joka pyörittää suositun verkkosivun thispersondoesnotexist.com – muodostaa monimutkaisia suhteita “piirteiden” (ei kasvojen merkityksessä) välillä, jotka se johtaa analysoimalla tuhansia todellisia kasvoja, jotta se voisi oppia luomaan realistisia ihmiskasvoja itse.

Nämä salaiset prosessit ovat “latenttikoodit”, jotka yhdessä muodostavat latentin avaruuden. Ne ovat vaikeita analyysin kohteeksi, ja siten vaikeita hallittaviksi.

Viime viikolla ilmestyi uusi kuvasynteesiprojekti, joka yrittää “kartoittaa” tämän lähes okkulttisen avaruuden koulutusprosessin aikana, ja sitten käyttää näitä kartoja interaktiivisesti navigoidakseen siinä, ja useita muita ratkaisuja on ehdotettu GAN-syntetisoituun sisältöön syvemmän hallinnan saavuttamiseksi.

Jonkin verran edistystä on saavutettu, ja on olemassa monipuolinen valikoima GAN-arkkitehtuureja, jotka yrittävät “saavuttaa” latentin avaruuden jollain tavoin ja hallita kasvon synteesiä siitä. Tällaisia pyrkimyksiä ovat InterFaceGAN, StyleFlow, GANSpace ja StyleRig, muun muassa.

Heillä kaikilla on yhteistä rajoitettu erottautumisen aste; älykkäät GUI-liukusäätimet eri puolille (kuten “hiukset” tai “ilme”) usein vetävät taustan ja/tai muita osia muodonmuutokseen, eikä kukaan heistä (mukaan lukien tässä käsitelty tutkimus) ole ratkaissut ongelmaa ajan hermostollisesta hiuksesta.

Latentin avaruuden jakaminen ja valloittaminen

Millä tahansa tapauksella ByteDancen tutkimus lähestyy asiaa toisella tavoin: sen sijaan, että yritettäisiin selvittää yksittäisen GANin mysteeriä, joka toimii koko luodussa kuvassa, SemanticStyleGAN muotoilee layout-pohjaisen lähestymistavan, jossa kasvoja “koostetaan” eri generaattoriprosesseista.

Jotta voidaan saavuttaa tämä ero (kasvojen) piirteiden välillä, SemanticStyleGAN käyttää Fourier-piirteitä luomaan semanttisen segmentointikartan (karkeat, värikkäät eroavaisuudet kasvojen topografiassa, näkyvissä kuvan alaoikeassa reunassa) erottamaan kasvon alueet, jotka saavat yksityisen, omistetun huomion.

Uuden lähestymistavan arkkitehtuuri, joka asettaa välikokoelman semanttista segmentointia kasvojen päälle, muuttaen tehokkaasti kehyksen useiden generaattorien orkestraattoriksi eri kuvan osille.

Segmentointikartat luodaan kuvista, jotka esitetään systemaattisesti GANin diskriminaattorille arvioitaviksi, kun malli paranee, ja (epäaidoille) lähdekuville, joita käytetään koulutukseen.

Prosessin alussa Monikerroksinen Perusverkko (MLP) kartoittaa aluksi satunnaisesti valittuja latenttikoodauksia, jotka sitten käytetään ohjaamaan painoja useille generaattoreille, jotka kunkin ottaa hallintaansa kasvon kuvan osan, joka on tuotettava.

Kunkin generaattorin luoma piirroskarta ja simuloitu syvyydenkarta Fourier-piirteistä, jotka syötetään siihen ylävirrassa. Tämä tuotos on perusta segmentointimaskien luomiselle.

Alavirtaus renderöintiverkko on ehdollistettu aikaisemmin luoduilla piirroskartoilla, ja nyt tietää, miten luoda korkeampiresoluutioinen segmentointimaski, jotta voidaan tuottaa lopullinen kuva.

Lopulta bifurkoitu diskriminaattori valvoo sekä RGB-kuvien (joista meille on lopputulos) että segmentointimaskien yhdistettyä jakautumista, jotka ovat mahdollistaneet niiden erottamisen.

SemanticStyleGAN:lla ei ole epätoivottavia visuaalisia häiriöitä, kun “säätät” kasvon piirteitä, koska kunkin kasvon piirre on koulutettu erikseen orkestraatiokehyksessä.

Taustojen korvaaminen

Koska projektin tarkoituksena on saavuttaa suurempi hallinta luodusta ympäristöstä, renderöinti/komposointiprosessi sisältää taustageneraattorin, joka on koulutettu todellisilla kuvilla.

Yksi vakuuttava syy, miksi taustat eivät jää kiinni kasvon manipulaatioihin SemanticStyleGAN:ssa, on se, että ne sijaitsevat kauempana kerroksessa ja ovat täydellisiä, vaikka osittain peitettyjä päällekkäisillä kasvoilla.

Koska segmentointikartat johtavat kasvoihin ilman taustoja, nämä “lisättävät” taustat tarjoavat kontekstin ja ovat mukautettavissa valaistukseltaan superimponoiduille kasvoille sopiviksi.

Koulutus ja data

“Realistiset” mallit koulutettiin alkuperäisillä 28 000 kuvalla CelebAMask-HQ:ssa, joka on koottu 256×256 pikselin kokoiseksi koulutustilaa (ts. saatavissa olevaa VRAM:ia, joka määrää enimmäisen batch-koon kunkin iteraation aikana).

Useita malleja koulutettiin, ja useita työkaluja, tietoja ja arkkitehtuureja kokeiltiin kehitysprosessin aikana ja useissa ablaatiokokeissa. Projektin suurin tuottava malli oli 512×512 resoluutiolla, joka koulutettiin 2,5 päivässä kahdeksalla NVIDIA Tesla V100 -GPU:lla. Koulutuksen jälkeen yhden kuvan generointi kestää 0,137 sekuntia lobe-GPU:lla ilman rinnakkaisuutta.

Muita kokeita, jotka olivat enemmän piirros/anime-tyyppisiä, jotka on esitetty useissa videoissa projektisivulla (ks. yllä oleva linkki), perustuvat eri suosiikkaiden kasvojen tietokantoihin, kuten Toonify, MetFaces ja Bitmoji.

Väliaikainen ratkaisu?

Kirjoittajat väittävät, että ei ole mitään syytä, miksi SemanticStyleGAN:ia ei voisi soveltaa muihin aloihin, kuten maisemiin, autoihin, kirkkoihin ja muihin “oletus”-testialueisiin, joille uudet arkkitehtuuri yleensä kohdistetaan uransa alussa.

Kuitenkin tutkimus myöntää, että kun luokkien määrä kasvaa tietyssä alueessa (kuten ‘auto’, ‘‘katuvalaistus’, ‘jalkakäijä’, ‘rakennus’, ‘auto’ jne.), tämä paloittainen lähestymistapa saattaa tulla toimimattomaksi useilla tavoilla ilman lisätyötä optimoinnissa. CityScapesin kaupunkitietokanta esimerkiksi sisältää 30 luokkaa kahdeksassa kategoriassa.

On vaikea sanoa, onko nykyinen kiinnostus latentin avaruuden valloittamiseen suoremmin yhtä tuomittu kuin alkemia; tai ovatko latenttikoodit lopulta selkoja ja hallittavissa – kehitys, joka voisi tehdä tämän enemmän “ulkopuolisesti monimutkaisen” lähestymistavan tarpeettomaksi.