GAN kasvojen renderöinti perinteiselle CGI:lle

Mielipide Kun Generative Adversarial Networks (GAN) ensimmäisen kerran osoittivat kykynsä tuottaa hämmästyttävän realistisia 3D-kasvoja, tämä aiheutti kultaryntäyksen GAN:n potentiaalisen käytön luomaan ajallisesti yhdenmukaisia videoita, joissa on ihmisten kasvoja.

Jossakin GAN:n latenttiavaruudessa näytti olevan piilotettu järjestys ja rationaalisuus – semanttinen logiikka, joka oli kätketty latenttikoodien sisään, ja joka mahdollistaisi GAN:in generoimisen yhdenmukaisia useita näkymiä ja useita tulkintoja (kuten ilmeen muutoksia) samasta kasvosta – ja siten tarjoaisi ajallisesti vakuuttavan deepfake-videomenetelmän, joka olisi parempi kuin autoenkooderit.

Korkearesoluutioinen ulostulo olisi helppoa verrattuna matalaresoluutioisiin ympäristöihin, joissa GPU-rajoitukset pakottavat DeepFaceLab- ja FaceSwap-työkalut toimimaan, ja “vaihtoalue” kasvojen alueella (autoenkooderityökaluissa) muuttuisi “luomisalueeksi” GAN:issa, joka perustuisi muutamaan syötekuvaa tai jopa yhteen kuvaa.

Siinä ei olisi enää ristiriitaa “vaihdon” ja “isäntä”-kasvojen välillä, koska koko kuva olisi generoitu alusta alkaen, mukaan lukien hiukset, leuat ja kasvojen uloimmat ääripisteet, jotka usein osoittautuvat haasteellisiksi “perinteisille” autoenkooderideepfakeille.

GAN-kasvovideon talvi

Kuten myöhemmin selvisi, se ei ollutkaan niin helppoa. Lopulta eriytymisongelma osoittautui keskeiseksi ongelmaksi, ja se on edelleen pääongelma. Miten voit pitää erillisen kasvon identiteetin ja muuttaa sen asentoa tai ilmettä ilman kokoamista tuhansiin viitekuvia, jotka opettavat neuroniverkkoa, mitä tapahtuu, kun nämä muutokset tehdään, niin kuin autoenkooderijärjestelmät tekevät?

Myöhempi ajattelu GAN-kasvojen toteutus- ja synteesitutkimuksessa oli, että syöteidentiteetti voisi tehdä teleologisista, geneerisistä, mallinmuokatuista muodonmuutoksista, jotka eivät ole identiteettispesifejä. Esimerkki tästä olisi soveltaa ilme kasvoihin, jota ei ollut esitetty missään GAN:n tuntemista kuvista.

Vuoden 2022 tutkimuksesta Tensor-based Emotion Editing in the StyleGAN Latent Space, mallinmuokatut ilmeet sovelletaan syötekuvaa FFHQ-tietokannasta. Lähde: https://arxiv.org/pdf/2205.06102.pdf

On selvää, että “yksi kokoinen sopii kaikille” -lähestymistapa ei voi kattaa kasvojen ilmeiden monimuotoisuutta yksilöllisesti. Meidän on ihmeteltävä, voitaisiinko Jack Nicholsonin tai Willem Dafoen kaltaisen ainutlaatuinen hymy saada uskollinen tulkinta tällaisen “keskiarvon ilmeen” latenttikoodien vaikutuksesta.

Kuka on tämä viehättävä latinomies? Vaikka GAN-menetelmä tuottaa realistisemman ja korkearesoluutioisemman kasvon, muodonmuutos ei perustu useisiin todellisiin kuviiin näyttelijästä, kuten DeepFaceLab, joka kouluttaa laajasti tuhansiin tällaisiin kuviiin, ja seurauksena muistuttaa vähemmän. Esimerkit ovat https://www.youtube.com/watch?v=9tr35y-yQRY (2022) ja https://arxiv.org/pdf/2205.06102.pdf.

Useita GAN-kasvojen ilmeenmuokkausohjelmia on esitetty viime vuosina, joista suurin osa koskee tuntemattomia identiteettejä, joissa uskollisuuden muutokset ovat mahdottomia arvioida, koska nämä eivät ole tuttuja kasvoja.

Tuntemattomat identiteetit muokattuina 2020 Cascade-EF-GAN:ssa. Lähde: https://arxiv.org/pdf/2003.05905.pdf

Luultavasti GAN-kasvojen muokkausohjelma, joka on saanut eniten huomiota (ja viittauksia) viime kolmen vuoden aikana, on InterFaceGAN, joka voi suorittaa latenttiavaruuden kulkua latenttikoodien suhteen asentoon (kameran/kasvojen kulma), ilmeeseen, ikään, rotuun, sukupuoleen ja muihin olennaisiin ominaisuuksiin.

1980-luvun tyyppinen “muodonmuutos” -ominaisuus InterFaceGAN:ssa ja vastaavissa kehyksissä on pääasiassa keino havainnollistaa muodonmuutoksen polku, kun kuva projisoidaan takaisin sovellettavaan latenttikoodiin (kuten “ikä”). Ajallisesti jatkuvan videon tuottamiseksi nämä järjestelmät ovat kuitenkin “vaikuttavia epäonnistumisia”.

Jos lisäät siihen hiusten luomisen vaikeuden, ja se, että latenttikoodien tutkimisen ja muokkaamisen tekniikalla ei ole sisäänrakennettuja ajallisia ohjeita, ja on vaikea tietää, miten nämä ohjeet voidaan injektoida kehykseen, joka on suunniteltu käsittelyyn ja generoimiseen still-kuvia, ja jolla ei ole alkuperäistä video-ulosvirtaa.

Myöhemmät pyrkimykset ovat tuottaneet askelittaisia parannuksia eriytymisessä, kun taas toiset ovat kiinnittäneet muihin tietokoneen näköön liittyviin konventioihin “ohjauskerroksen”, kuten semanttisen segmentoinnin käytön ohjausmekanismina vuoden 2021 tutkimuksessa SemanticStyleGAN: Learning Compositional Generative Priors for Controllable Image Synthesis and Editing.

Semanttinen segmentointi latenttiavaruuden instrumentaationa SemanticStyleGAN:ssa. Lähde: https://semanticstylegan.github.io/

Parametrinen ohjaus

GAN-kasvojen synteesitutkimusyhteisö on suuntautumassa yhä enemmän “perinteisten” parametrinen CGI-kasvojen käyttöön GAN:n latenttiavaruuden järjestyksen ja kunnossapidon menetelmänä.

Parametrinen kasvojen primitiivit ovat olleet tietokoneen näön tutkimuksen perusta jo yli 20 vuotta, mutta kiinnostus tähän lähestymistapaan on kasvanut viime aikoina, erityisesti Skinned Multi-Person Linear Model (SMPL) CGI-primitiivien käytön myötä, jota on kehittänyt Max Planck -instituutti ja ILM, ja jota on parannettu Sparse Trained Articulated Human Body Regressor (STAR) -kehyksellä.

SMPL (tässä tapauksessa SMPL-X) voi asettaa CGI-parametrinen verkon, joka sopii koko ihmiskehon asentoon (mukaan lukien ilmeet, jos tarpeen) kuvassa, ja sallii uusien toimintojen suorittamisen kuvassa parametrisen verkon avulla. Lähde: https://arxiv.org/pdf/1904.05866.pdf

Disney:n vuoden 2019 Rendering with Style -aloite yhdisti perinteisten tekstuurikarttojen käytön GAN-kuvien kanssa, pyrkien luomaan parannettuja, “deepfake-tyylisiä” animoituja tuloksia.

Vanha ja uusi yhdistyvät Disneyn hybridilähestymistavassa GAN-deepfake-kuvissa. Lähde: https://www.youtube.com/watch?v=TwpLqTmvqVk

Disney:n lähestymistapa asettaa perinteiset CGI-kasvojen osat StyleGAN2-verkkoon “täyttämään” ihmiskasvojen aihealueita, joissa ajallinen jatkuvuus on ongelma videoiden tuottamisessa – alueita kuten ihon tekstuuria.

Rendering with Style -työkalun prosessi.

Koska parametrinen CGI-pää, joka ohjaa tätä prosessia, voidaan säätää ja muuttaa käyttäjän tarpeiden mukaan, GAN-kasvo pystyy heijastamaan nämä muutokset, mukaan lukien pään asennon ja ilmeen muutokset.

Vaikka se on suunniteltu yhdistämään CGI:n instrumentaalisuus ja GAN-kasvojen luonnollinen realistisuus, lopputulokset osoittavat pahimman molemmat maailmat, ja eivät edelleen pysty pitämään hiusten tekstuuria ja perusominaisuuksien sijaintia yhdenmukaisena:

Uusi uncanny valley -ilmiö syntyy Rendering with Style -menetelmästä, vaikka periaate edelleen pitää jonkinlaista potentiaalia.

Vuoden 2020 tutkimus StyleRig: Rigging StyleGAN for 3D Control over Portrait Images edustaa yhä suositumpaa lähestymistapaa, jossa käytetään kolmiulotteisia muokattavia kasvomalleja (3DMM) varamuotoina muokkaamisen latenttiavaruudessa, tässä tapauksessa uuden RigNet-rigging-verkon kautta:

3DMM:t toimivat varamuotoina latenttiavaruuden tulkinnassa StyleRigissä. Lähde: https://arxiv.org/pdf/2004.00121.pdf

Kuitenkin, kuten aiemmissa aloitteissa, tulokset näyttävät rajoittuvan vähäisiin asentojen manipulaatioihin, ja “tiedostamattomiin” ilmeen/aistinmuutoksiin.

StyleRig parantaa hallintaa, mutta ajallisesti yhdenmukainen hiusten tekstuuri on edelleen ratkaisematon ongelma. Lähde: https://www.youtube.com/watch?v=eaW_P85wQ9k

Samankaltaisia tuloksia voidaan löytää Mitsubishi Researchin MOST-GAN:sta, vuoden 2021 tutkimuksesta, joka käyttää epälineaarisia 3DMM:itä eriytymisarkkitehtuurina, mutta joka myös kamppailee dynaamisen ja yhdenmukaisen liikkeen saavuttamisessa.

Viimeisin tutkimus, joka pyrkii ohjaamaan ja eriyttämään, on One-Shot Face Reenactment on Megapixels, joka käyttää 3DMM-parametrinen päätyyppejä ystävällisenä käyttöliittymänä StyleGAN:lle.

MegaFR-työkalun prosessi, jossa verkko suorittaa kasvojen synteesiä yhdistämällä käännetyt todelliset maailman kuvat ja renderöidyt 3DMM-mallit. Lähde: https://arxiv.org/pdf/2205.13368.pdf

OSFR kuuluu kasvavaan luokkaan GAN-kasvojen muokkausohjelmista, jotka pyrkivät kehittää Photoshop/After Effects -tyylisiä lineaarisia editointityökaluja, joissa käyttäjä voi syöttää haluamansa kuvan, jolle voidaan soveltaa muodonmuutoksia, sen sijaan että etsittäisiin latenttiavaruudesta latenttikoodien suhteen identiteettiin.

Taas, parametrinen ilme edustaa yleistä ja henkilökohtaista tapaa ilmeen injektointiin, johtaa manipulaatioihin, jotka tuntuvat “outo” omalla tavallaan.

Injektoitujen ilmeiden esimerkit OSFR:ssa.

Kuten aiemmin, OSFR pystyy päättelemään lähes alkuperäisiä asentoja yhdestä kuvasta, ja suorittaa myös “etuoikeutuksen”, jossa epäkeskoasentoinen kuva muunnetaan etuasentoon:

Alkuperäinen (yllä) ja päätelty etuasento kuva yhdestä OSFR:n toteutuksesta, josta on julkaistu uusi tutkimus.

Käytännössä tämäntyyppinen päätelmä on samankaltainen kuin joitakin fotogrammetrian periaatteita, jotka ovat perustana Neural Radiance Fields (NeRF):lle, paitsi että tässä geometria on määritettävä yhdestä kuvasta, eikä kolmesta tai neljästä näkökulmasta, joiden avulla NeRF pystyy tulkimaan puuttuvat väliaskelmat ja luomaan tutkittavia neuroniverkkopohjaisia 3D-kokemuksia, joissa on ihmisiä.

(Kuitenkin, NeRF ei ole kaikki mitä tarvitset™, koska se kohtaa lähes erilaisen joukon esteitä GAN:ien kanssa, kun on kyse kasvojen videon synteesistä)

Onko GAN:illa paikka kasvojen videon synteesissä?

Dynamiikkaisten ilmeiden ja poikkeamien saavuttaminen yhdestä lähdekuvasta näyttää olevan kuin alkuaineiden muuttamista GAN-kasvojen synteesitutkimuksessa tällä hetkellä, lähinnä koska GAN:t ovat ainoa menetelmä, joka pystyy tuottamaan suhteellisen korkearesoluutioisia ja -laatuisia neuroniverkkokasvoja: vaikka autoenkooderideepfake-kehykset voivat kouluttaa useiden todellisten asentojen ja ilmeiden kanssa, ne joutuvat toimimaan VRAM-rajoitettujen syöte- ja tulostusresoluutioilla, ja vaativat “isäntäkuvan”; NeRF on samoin rajoitettu, ja se ei ole vielä kehittänyt vakiintunutta menetelmää kasvojen ilmeiden muuttamiseen, ja se kärsii myös editointirajoituksista yleensä.

Näyttää siltä, että ainoa keino edetä tarkalle CGI/GAN-kasvojen synteesijärjestelmään on kehittää uusi aloite, joka löytää keinon kokoamaan monikuvaisen identiteetin yksikkö latenttiavaruuteen, jossa latenttikoodi henkilön identiteetille ei tarvitse matkustaa koko latenttiavaruuden läpi hyödyntääkseen erilaisia asentoja, vaan voi viitata omiin (todellisiin) kuviihin viittauksina muodonmuutoksille.

Even in such a case, or even if an entire StyleGAN network were trained on a single-identity face-set (similar to the training sets that autoencoders use), the lacking semantic logic would still likely need to be provided by adjunct technologies such as semantic segmentation or parametric 3DMM faces, which, in such a scenario, would at least have more material to work with.