Disney yhdistää CGI:n neurorenderöintiin torjuakseen ‘epäluonnollinen laakso’

Disneyn tekoälytutkimusosasto on kehittänyt hybridimenetelmän elokuvalaatuisen kasvojen simulointiin, joka yhdistää kasvojen neurorenderöinnin vahvuudet CGI-pohjaisen lähestymistavan johdonmukaisuuteen.

Käsittelemä artikkeli on nimeltään Renderöinti tyylillä: Perinteisten ja neuropohjaisten lähestymistapojen yhdistäminen korkealaatuiseen kasvojen renderöintiin, ja se on esikatseltavissa uudessa 10‑minuutin videossa Disneyn Research YouTube -kanavalla (upotettu tämän artikkelin loppuun*).

Verkkoja yhdistettynä neurokasvojen renderöinteihin. Katso videon upotus artikkelin lopussa tarkempien yksityiskohtien ja laadun vuoksi. Lähde: https://www.youtube.com/watch?v=TwpLqTmvqVk

Kuten video toteaa, kasvojen neurorenderöinti (myös deepfakeja) voi tuottaa paljon realistisempia silmiä ja suun sisäosia kuin CGI, kun taas CGI‑pohjaiset kasvojen tekstuurit ovat johdonmukaisempia ja sopivampia elokuvatasoiseen VFX‑tuotantoon.

Siksi Disney kokeilee, että NVIDIA:n StyleGan2 -neurogeneraattori hoitaa kasvon ympäröivät piirteet ja ’elintärkeitä’ elementit, kuten silmät, samalla kun johdonmukainen CGI‑kasvojen iho ja siihen liittyvät osat yhdistetään lopputulokseen.

Videosta (katso artikkelin loppu) Disneyn hybridilähestymistavan arkkitehtoninen konsepti, jossa vanhanaikainen CGI‑verkko, kuten sitä käytettiin ’nuoren’ Carrie Fisherin ja kuolleen Peter Cushingin (Rogue One, 2016) uudelleenluomiseen, integroidaan neurorenderöityihin kasvoympäristöihin.

Video tekee hiljaisen viittauksen yleiseen kritiikkiin CGI‑rekonstruktioiden epäaitouden ja ’epäluonnollisen laakson’ vaikutuksesta, erityisesti kuolleen brittiläisen Star Wars -näyttelijän Peter Cushingin (Rogue One, 2016) tapauksessa, myöntäen:

‘[On] edelleen valtava kuilu sen välillä, mitä ihmiset voivat helposti kaapata ja renderöidä, ja lopulliset fotorealistiset digitaaliset kaksoset, joissa on hiukset, silmät ja suun sisäosa. Tämän kuilun kaventamiseen vaaditaan yleensä paljon manuaalista työtä taitavilta taiteilijoilta.’

Totuus on, että edes nykyaikaisimmat kasvojen kaappausjärjestelmät eivät yritä luoda silmiä, suun sisäosia tai hiuksia, joilla on joko aitousongelmia (silmissä) tai ajallisen johdonmukaisuuden ongelmia (hiuksissa).

Video havainnollistaa, mitä VFX‑taiteilijat saavat tyypillisen nykyaikaisen kasvojen kaappausistunnon jälkeen. Silmät, hiukset, parta ja suun sisäosat on kaikki käsiteltävä erillisten tiimien toimesta tuotantoputkessa, lisäksi teksturoinnin ja valaistuksen osalta.

Valaistuksen hallinta

Hybridimenetelmä on myös hyödyllinen valaistuksen uudelleenvalaisussa – merkittävä haaste kasvojen neurorenderöinnissä, koska CGI‑ihon päällekkäisyydet voidaan valaista uudelleen helpommin.

Animoitu versio CGI/Neuro-lähestymistavasta.

Haastavammissa ympäristöissä, kuten ulkokuvauspaikoissa, tutkijat ovat kehittäneet menetelmän täytekuvaukseen eräänlaisen demilitarisoidun vyöhykkeen ympärille, joka ympäröi ‘luotavaa’ henkilöä.

Musta marginaali luodaan tarjoamaan ‘kangas’ identiteetin ulkopuolisten osien täytekuvaukseen ja CGI-ihon integrointiin yhdistettyyn CGI/neuro‑tulokseen.

‘[Neuro] renderöinti ei täsmää taustan rajoitukseen täydellisesti. – se on tarkoitettu vain ohjenuoraksi, koska tavoitteena on optimoida realistisia ihmisen komponentteja, kuten hiuksia, silmiä ja hampaita. Haastavampaa on pyrkiä säilyttämään johdonmukainen identiteetti samalla kun ympäristön valaistusta muutetaan.’

CGI-verkkojen luominen neurorenderöinneistä

Tutkimusryhmä on myös kehittänyt variatiivisen automaattienkooderin, joka on koulutettu (määrittelemättömään) laajaan 3D‑kasvokuvien tietokantaan, ja väittää sen pystyvän tuottamaan ‘satunnaisia mutta uskottavia’ 3D‑kasvojen verkkoja todellisesta datasta.

Tässä tutkimuksessa on rajoitteita, kuten hiusten ajallisen johdonmukaisuuden säilyttämisen vaikeus neurorenderöinneissä, ja video (katso alla) näyttää useita esimerkkejä nopeasti muuttuvista hiuksista muuten johdonmukaisessa panoramassa CGI/neuro‑kasvossa.

Aikajohdonmukaisuus neurovideorenderöinnissä on paljon laajempi ongelma kuin pelkästään Disneyn, ja vaikuttaa todennäköiseltä, että järjestelmän myöhemmät versiot saattavat turvautua hiusten lisäämiseen ‘jälkituotannossa’, tai erilaisiin mahdollisiin hiustenluontimenetelmiin sen sijaan, että toivoisivat uuden neurolähestymistavan ratkaisevan sen.

Käyttötarkoitukset datasetin luomisessa

Menetelmää ehdotetaan myös mahdolliseksi synteettisen datan luomiseksi ja kasvojen kuvakokoelman rikastuttamiseksi, joka on viime vuosina muuttunut vaarallisen yksitoikkoiseksi.

Disney näkee uuden tekniikan täyttävän kasvojen kuvadatasetit.

‘[Jokainen] fotorealistinen tulos, jonka tuotamme, sisältää taustalla vastaavan geometrian ja ulkonäkökartat, jotka on renderöity tuntemattomista kameranäkymistä tunnetulla valaistuksella. Tämä ’ground truth’ -tieto voi olla elintärkeää alisovellusten kouluttamisessa, kuten yksikameraisen 3D‑kasvojen rekonstruoinnin, kasvojentunnistuksen tai kohtauksen ymmärtämisen osalta. Näin jokainen renderöinti voidaan pitää datanäytteenä, ja voimme luoda monia variaatioita monista eri henkilöistä.’

‘Lisäksi, vaikka yksi henkilö renderöidään yhdessä ilmeessä yhdestä näkökulmasta ja valaistuksesta, voimme luoda satunnaisia variaatioita fotorealistisesta renderöinnistä vaihtamalla satunnaissiementä optimoinnin aikana.’

Tutkijat huomauttavat, että tämä konfiguroitavan tuotoksen monimuotoisuus voisi olla hyödyllistä kasvojentunnistussovellusten koulutuksessa, päätellen:

‘[Meidän] menetelmämme pystyy hyödyntämään nykyistä teknologiaa kasvojen ihon kaappaukseen, mallintamiseen ja renderöintiin, ja luomaan automaattisesti täydellisiä fotorealistisia kasvojen renderöintejä, jotka vastaavat haluttua identiteettiä, ilmettä ja kohtauskonfiguraatiota. Tämä lähestymistapa soveltuu kasvojen renderöintiin elokuvissa ja viihteessä, säästäen manuaalisen taiteilijatyön, sekä datan luomiseen eri syväoppimisen aloilla.’

Syvemmän katsauksen uuteen lähestymistapaan saat katsomalla tänään julkaistun 10‑minuutin videon:

https://www.unite.ai/why-adversarial-image-attacks-are-no-joke/

* Alkuperäinen videolinkki korvattiin toisen näennäisesti identtisen linkillä 8 tuntia artikkelin julkaisemisen jälkeen. Muutin kaikki asiaankuuluvat linkit, koska alkuperäisestä videosta ei ole jälkiä.

8 :24 GMT+2 – Video korvattiin, koska Disney Researchin YouTube‑kanava vaihtoi sen jostain syystä.