Miksi Deepfakes Eivät Nykyisin Voi Viedä Tunteiden Hienovaraisuutta

Eilen esiteltiin Star Wars -spin-off The Book of Boba Fettin 6. jakso, ja se on näyttänyt jakautuneen fanien mielipiteissä. Yleisesti hyväksytynä, sosiaalisissa verkostoissa on laaja oletus, että Mark Hamillin (luonne de-ikäistetty) paljon parannettu luomisessa (verrattuna hahmon aiempaan ilmestymiseen The Mandalorianin 2. tuotantokauden finaalissa vuonna 2020) on suora seuraus Industrial Light and Magicin palkkaamisesta amatööri-Deepfake-harjoittelijasta Shamookista (joka oli radikaalisti parantanut työtään avoimen lähdekoodin ohjelmistojen avulla); ja että hahmon renderöinti on deepfake-tekniikan ja mahdollisesti CGI:n yhdistelmä.

Tästä on vain vähän varmistusta, vaikka Shamook on sanonut hyvin vähän maailmalle ILM:n NDA:n jälkeen. Kuitenkin työ on erinomainen parannus vuoden 2020 CGI:hen; näyttää joitakin “kiillokuoria” yhdistettynä deepfake-malleihin, jotka on johdettu arkistotöistä; ja yleisesti ottaen se vastaa parhaimpia nykyisiä visuaalisia standardeja deepfakeille.

Toinen fanien mielipiteen suunta on, että uusi “Nuori Luke” -yritys on erilainen virheiden joukko kuin edellinen. Ehkä merkittävin asia on, että uuden Skywalker-rekreaation pitkissä jaksoissa on puute ilmeikkyydestä ja hienovaraisista, sopivista tunteista, jotka ovat tyypillisempiä deepfakeille kuin CGI:lle; The Verge on kuvaillut Boba Fettin -simulaatiota ‘outo, tyhjä ilme Mark Hamillin jäätyneen 1983 kasvot’.

Riippumatta uuden ILM-rekreaation taustatekniikoista, deepfake-muunnokset ovat perustavanlaatuisessa ongelman kanssa tunteiden hienovaraisuuden kanssa, jota on vaikea korjata joko arkkitehtuurin muutoksilla tai parantamalla lähdemateriaalia, ja jota yleensä vältetään huolellisilla valinnoilla, joita viralliset deepfakers tekevät valitessaan kohdevideon.

Kasvojen Suunnan Rajoitukset

Kaksi yleisintä deepfake-avoin lähdekoodin repositiota ovat DeepFaceLab (DFL) ja FaceSwap, jotka molemmat ovat peräisin vuoden 2017 tuntemattomasta ja kiistanalaisesta lähdekoodista, DFL:llä on valtava etu VFX-teollisuudessa, vaikka sen instrumentaalisuus on rajoitettu.

Nämä paketit on aluksi tehtävä kasvojen määrittämiseksi lähdemateriaalista (eli videon kehyksistä ja/tai kuvista).

Kasvojen Suunnan Verkko (FAN) toiminnassa, virallisesta repositiosta. Lähde: https://github.com/1adrianb/face-alignment

Molemmat DFL ja FaceSwap käyttävät Kasvojen Suunnan Verkkoa (FAN) -kirjastoa. FAN voi luoda 2D- ja 3D-määritteitä (ks. yllä oleva kuva) kasvojen osille. 3D-määritteet voivat ottaa laajasti huomioon kasvojen havaitun suunnan, jopa ääriprofiileja ja suhteellisen teräviä kulmia.

Kuitenkin on selvää, että nämä ovat hyvin perustavanlaatuisia ohjeita pikselien ohjaamiseksi ja arvioimiseksi:

FaceSwap-foorumista, likimääräinen osoittaja kasvojen piirteiden saataville olevista määritteistä. Lähde: https://forum.faceswap.dev/viewtopic.php?f=25&t=27