Miksi Deepfakes Eivät Nykyisin Voi Välittää Tunteiden Nuansseja

Eilisen Star Wars -spin-offin, The Book of Boba Fettin, 6. jakson ensiesitys näyttää jakavan fanien mielipiteitä. Yleisesti hyväksytynä on oletus sosiaalisissa verkostoissa, että Mark Hamillin de-ikääntymisen huomattavasti parannettu luominen (verrattuna hahmon aiempaan ilmestymiseen The Mandalorianin toisen tuotantokauden finaalissa vuonna 2020) on suora seuraus Industrial Light and Magicin palkkaamisesta amatööri-deepfakes-harjoittelijasta Shamookista (joka oli radikaalisti parantanut työtään avoimen lähdekoodin ohjelmistojen avulla); ja että hahmon renderöinti on yhdistelmä deepfake-tekniikkaa, jota on mahdollisesti siivottu CGI:llä.

Tätä hetkeä ei ole vielä vahvistettu, vaikka Shamook on sanonut maailmalle vain vähän siitä, kun ILM:n NDA on astunut voimaan. Kuitenkin työ on erinomainen parannus 2020-luvun CGI:hen; se näyttää joistakin osin samanlaiselta kuin deepfake-malleista, jotka on johdettu arkistotöistä; ja yleisesti ottaen se on yhdenmukainen parhaan nykyisen visuaalisen standardin kanssa deepfakeille.

Toinen fanien mielipiteiden suunta on, että uusi “Nuori Luke” -yritys on erilainen virheiden joukko kuin edellinen. Ehkä merkittävimpänä se, että uusissa, erittäin pitkissä jaksoissa, joissa on uusi Skywalker-rekreaatio, on puute ilmaisuvoimaa ja hienoja, sopivia tunteita, jotka ovat tyypillisempiä deepfakeille kuin CGI:lle; The Verge on kuvaillut Boba Fett -simulaatiota Mark Hamillin jäätyneen, epämääräisen 1983 kasvon ilmeen avainsanoin.

Riippumatta siitä, mitkä teknologiat ovat taustalla uudessa ILM:n luomassa, deepfake-muunnokset ovat perusrakenteellisessa ongelmassa tunteiden nuanssien kanssa, jota on vaikea korjata joko arkkitehtuurin muutoksilla tai parantamalla alkuperäistä koulutusmateriaalia, ja jota yleensä vältetään huolellisilla valinnoilla, joita viralliset deepfakes -valokuvaajat tekevät valitessaan kohdevideota.

Kasvojen Suunnan Rajoitukset

Kaksi yleisimmin käytettyä avoimen lähdekoodin deepfake-arkistoa ovat DeepFaceLab (DFL) ja FaceSwap, jotka molemmat ovat peräisin vuoden 2017 tuntemattomasta ja kiistanalaisesta lähdekoodista, jossa DFL:llä on valtava etu VFX-teollisuudessa, vaikka sen välineistö on rajoitettu.

Nämä paketit on aluksi tehtäväksi poistamaan kasvojen merkkipaikat kasvoista, joita se on pystynyt tunnistamaan lähdemateriaalista (ts. videon kehyksistä ja/tai kuvista).

Kasvojen Suunnan Verkko (FAN) toiminnassa, virallisesta arkistosta. Lähde: https://github.com/1adrianb/face-alignment

Molemmat DFL ja FaceSwap käyttävät Kasvojen Suunnan Verkkoa (FAN) -kirjastoa. FAN voi luoda 2D- ja 3D (ks. yllä oleva kuva) merkkipaikat poistetuille kasvoille. 3D-merkkipaikat voivat ottaa laajasti huomioon kasvon havaitun suunnan, jopa äärimmäisiin profiileihin ja suhteellisen teräviin kulmiin.

Kuitenkin on selvää, että nämä ovat hyvin perustavanlaatuisia ohjeita pikselien ajamiseen ja arviointiin:

FaceSwap-foorumilta, karkea osoitin saataville kasvojen piirteille. Lähde: https://forum.faceswap.dev/viewtopic.php?f=25&t=27

Kasvojen perustavimmat piirteet on sallittu: silmät voivat laajentua ja sulkeutua, samoin leuka, kun taas suun perusasettelut (kuten hymyileminen, surkutella jne.) voidaan jäljittää ja sovittaa. Kasvo voi kääntyä mihin tahansa suuntaan, jopa noin 200 astetta kameran näkökulmasta.

Siitä eteenpäin nämä ovat melko karkeat aidat sille, miten pikselit käyttäytyvät näiden rajojen sisällä, ja edustavat ainoita todella matemaattisia ja tarkkoja kasvojen ohjeita koko deepfake-prosessissa. Itse koulutusprosessi vertaa vain, miten pikselit ovat järjestetty sisällä tai lähellä näitä rajoja.

Koulutus DeepFaceLabissa. Lähde: https://medium.com/geekculture/realistic-deepfakes-with-deepfacelab-530e90bd29f2

Koska ei ole mahdollista yrittää vastata sellaisia “hienoja” alipiirteitä kuin poskien kupu, vanhenemisen yksityiskohdat, kuoppia jne. kasvojen lähdemateriaalin ja kohdemateriaalin välillä.

Toimiminen Rajoitetulla Datalla

Saatavaa dataa kahden identiteetin välillä deepfake-koulutusta varten on vaikea. Mitä epätavallisempi kulma, jonka haluat vastata, sitä enemmän joudut tinkimään siinä, onko se (harvinainen) kulma vastaavuus identiteetin A ja B välillä sama ilme.

Lähellä, mutta ei täsmälleen vastaava.

Yllä olevassa esimerkissä kaksi identiteettiä on melko samanlaisia asennoitumiseltaan, mutta tämä on lähimpänä, mihin tämä tietojoukko pystyy pääsemään täsmälleen vastaavaan.

Selviä eroja on: kulma ja linssin asento eivät täsmää, eikä valaistuskaan; aihe A ei ole sulkenut silmiään täysin, toisin kuin aihe B; kuvan laatu ja pakkaus on huonompi aiheessa A; ja jotenkin aihe B näyttää paljon onnellisemmalta kuin aihe A.

Mutta tiedäthän, se on kaikki, mitä meillä on, joten meidän on pakko kouluttaa siitä huolimatta.

Koska tämä A > < B -vastaavuus sisältää niin monia epätavallisia elementtejä, voit olla varma, että vastaavia pariutumisia on vain vähän, jos yhtään, koko joukossa. Sen vuoksi koulutus joko aliohjaa sen tai ylioohjaa sen.

Alioni: Jos tämä vastaavuus on todellinen vähemmistö (ts. vanhempi tietojoukko on melko suuri eikä sisällä usein näiden kahden valokuvan ominaisuuksia), se ei saa paljon koulutusaikaa verrattuna helpompiin/neutraliin pariutumisiin. Sen vuoksi tämä kulma/ilme ei ole hyvin edustettu deepfake-mallissa, joka on koulutettu mallilla.

Yliohjaus: Epätavallisten A > < B -pariutumisten harvinaisuuden vuoksi deepfakes-kouluttajat voivat joskus moninkertaistaa pariutumisen useita kertoja tietojoukossa, jotta se saa paremman mahdollisuuden päästä osaksi lopullista mallia. Tämä johtaa ylioohjaukseen, jossa deepfake-videot, jotka on tehty mallilla, ovat todennäköisesti toistavat pedantteja epävastaavuuksia, jotka ovat nähtävissä kahden valokuvan välillä, kuten silmien erilainen aste, jossa ne ovat kiinni.

Kuvassa alla nähdään Vladimir Putin koulutettuna DeepFaceLabissa vaihtamaan Kevin Spaceyyn. Tässä koulutus on suhteellisen edistynyt 160 000 iteroinnissa.

Lähde: https://i.imgur.com/OdXHLhU.jpg

Ulkoisen tarkkailijan mukaan Putin näyttää vähän, no, avomerellisemmältä kuin Spacey näissä testivaihdoissa. Tarkastellaan, mitä online-emootio-ohjelmaa vastaavuuden epäilyä ilmeissä:

Lähde: https://www.noldus.com/facereader/measure-your-emotions

Erityisen oraakkelin mukaan, joka analysoi paljon yksityiskohtaisempaa kasvon topografiaa kuin DFL ja Faceswap, Spacey on vähemmän vihamielinen, inhottunut ja halveksiva kuin tuloksena oleva Putin-deepfake tässä pariutumisessa.

Epävastaavuudet tulevat osana sidottua pakettia, koska suositut deepfakes-sovellukset eivät voi tunnistaa ilmeitä tai tunteita tai vastata niihin muulla tavoin kuin raakapikselien > pikselien vastaavuutena.

Meille ero on valtava. Opimme lukemaan kasvojen ilmeitä perustavana selviytymistekniikkana varhaisimmista vuosistamme ja jatkamme riippuvaisuutta tästä taidosta aikuisuudessa sosiaalisen integraation ja edistymisen, parinmuodostuksen ja jatkuvan uhka-arvioinnin viitekehyksenä. Koska olemme niin herkkästi herätetympiä mikroilmeisiin, deepfake-tekniikkojen on lopulta otettava huomioon tämä.

Vastaiskuun

Vaikka deepfake-vallankumous on luvannut “perinteisten” elokuvatähtien sisääntuloa nykyaikaisiin elokuviin ja TV-sarjoihin, AI ei voi mennä taaksepäin ajassa ja kuvata heidän klassisia töitään yhdenmukaisella määrityksellä ja laadulla, mikä on ratkaiseva tähän käyttötarkoitukseen.

Olettaen (ja tarkoituksiimme, se ei ole väliä, onko se väärin), että Boba Fett -Hamillin rekonstruktio oli pääasiassa koulutetun deepfake-mallin työtä, mallin tietojoukon olisi pitänyt hyödyntää elokuvan aikakauden lähellä olevaa materiaalia (ts. Hamill 30-vuotiaana Jedin tuotannon aikana, 1981-83).

Elokuva kuvaus tapahtui Eastman Color Negative 250T 5293/7293 -kalvon avulla, joka oli 250ASA-emulsio, jota pidettiin keskitasoiseksi hienojakoisena tuolloin, mutta joka ylitti jo 1980-luvun lopulla selkeyden, värialueen ja uskollisuuden. Se on aikansa kalvo, ja Jedin oopperamainen laajuus antoi vain vähän lähikuvia jopa sen päärooleille, mikä teki grain-ongelmat vielä kriittisemmiksi, koska lähdemateriaalin kasvot vain osittain täyttivät kehyksen.

Joukko kohtauksia Hamillistä Jedin paluussa (1983).

Lisäksi suuri osa VFX:llä täytettyä kuvamateriaalia, jossa Hamill on mukana, olisi kulkenut optisen tulostimen läpi, mikä lisäisi elokuvan grainia. Kuitenkin pääsy Lucasfilmin arkistoihin – jotka ovat ilmeisesti huolehtineet mesternegatiiveista ja voivat tarjota tunteja ylimääräistä käyttämätöntä raakamateriaalia – voisi ratkaista tämän ongelman.

Joskus on mahdollista kattaa laaja valikoima vuosia näyttelijän tuotannosta, jotta voidaan lisätä ja monipuolistaista deepfakes-tietojoukkoa. Hamillin tapauksessa deepfakes-kouluttajat ovat vaikeuksissa hänen ulkonäön muutoksen vuoksi auto-onnettomuuden jälkeen vuonna 1977, ja se, että hän aloitti toisen uransa arvostetun ääninäyttelijänä Jedin jälkeen, mikä tekee lähdemateriaalista melko niukkaa.

Rajoitettu Tunteiden Alue?

Jos tarvitset deepfaked-näyttelijää, joka syö näytelmän, sinun on löydettävä lähdemateriaalia, joka sisältää epätavallisen laajan valikoiman kasvojen ilmeitä. Se voi olla, että ainoastaan saatavilla oleva ikäsovelias materiaali ei sisällä monia näistä ilmeistä.

Esimerkiksi, kun Jedin paluun tarinan kaari tuli, Hamillin hahmo oli jo suurelta osin hallinnut tunteitaan, kehitys, joka on absoluuttinen osa alkuperäistä franchise-mytologiaa. Sen vuoksi, jos teet Hamillin deepfake-mallin Jedin -datalla, sinun on työstettävä rajoitetumman tunteiden ja epätavallisen kasvon ilmeen kanssa, jonka Hamillin rooli vaati häneltä tuolloin, verrattuna hänen aiempiin osuuksiinsa franchise-sarjassa.

Vaikka otetaan huomioon, että Jedin paluussa on hetkiä, joissa Skywalker-hahmo on stressaantunut ja voi tarjota materiaalia laajemmalle valikoimalle ilmeille, kasvojen materiaali näissä kohtauksissa on kuitenkin ohimenevää ja altis liikkeen hämäryyteen ja nopeaan leikkaamiseen, tyypillisiin toimintakohtauksiin; joten data on melko epätasapainoinen.

Yleistäminen: Tunteiden Yhdistyminen

Jos Boba Fett -Skywalker-rekreaatio on todella deepfake, ilmeiden rajoitettu ilmaisuvoima, jota on syytetty joistakin osin, ei johtuisi ainoastaan rajoitetusta lähdemateriaalista. Deepfake-koulutusprosessi pyrkii yleistettyyn malliin, joka onnistuu kiteyttämään keskeisiä piirteitä tuhansista kuvista ja voi ainakin yrittää deepfakeda kulmaa, joka puuttuu tai on harvinainen tietojoukossa.

Jos ei olisi tätä joustavuutta, deepfake-arkkitehtuuri olisi vain kopioimassa ja liimaamassa perusmuotoja kehyksittäin, ilman huomioon ottamista aikamuutosta tai kontekstia.

Kuitenkin tunteiden uskollisuuden tuskallinen vastine on, että se on todennäköisesti uhrausprosessin uhri. Kaikki leikimme kasvojemme 100-osaisella orkesterilla, ja olemme hyvin varusteltuja siihen, kun taas deepfake-ohjelmisto puuttuu ainakin jousisektiosta.

Tunteiden Epävastaavuus Ilmeissä

Kasvojen liikkeet ja niiden vaikutukset meihin eivät ole yhtenäistä kieltä kaikkien kasvojen kesken; Roger Mooren nostettu kulmakarva, joka näyttää vastuuttomalta, saattaa näyttää vähemmän sofistikoituneelta Seth Roganilla, kun taas Marilyn Monroen viehättävä lumous saattaa kääntyä negatiiviseksi tunteeksi, jos se deepfakedataan henkilölle, jonka eniten saatavilla oleva rooli on “vihamielinen” tai “vaikuttunut” (kuten Aubrey Plazan hahmo seitsemän kauden ajan Parks and Recreation -sarjassa).

Sen vuoksi pikseli > pikseli -vastaavuus A/B-kasvojen joukoissa ei välttämättä ole hyödyllistä tässä suhteessa; mutta se on kaikki, mitä on tarjolla deepfake-avoin lähdekoodi -ohjelmistossa.

Mitä todella tarvitaan, on deepfake-kehyksistö, joka ei ainoastaan tunnista ilmeitä ja arvioi tunteita, vaan myös kykenee kehollistamaan korkean tason käsitteitä, kuten vihamielinen, viehättävä, Ikävä, Uupunut jne., ja luokitella näitä tunteita ja niiden liittyviä ilmeitä kummassakin kasvojen joukossa, eikä ainoastaan tarkastele ja kopioi suun tai silmän asettelua.