Disney Kombinerer CGI Med Neuralt Rendering For Å Tackle ‘Uncanny Valley’

Disney’s AI-forskningsavdeling har utviklet en hybridmetode for filmkvalitets ansiktssimulering, som kombinerer styrkene til ansiktsneuralt rendering med konsistensen til en CGI-basert tilnærming.

Den ventede artikkelen har tittelen Rendering med Stil: Kombinering av Tradisjonelle og Neurale Tilnærminger for Høykvalitets Ansiktsrendering, og er forhåndsvisning i en ny 10-minutters video på Disney Research YouTube-kanalen (innbettet i slutten av denne artikkelen*).

Meshes kombineres med neurale ansiktsrenderinger. Se video innbettet i slutten av artikkelen for bedre detalj og kvalitet. Kilde: https://www.youtube.com/watch?v=k-RKSGbWLng (erstattet med https://www.youtube.com/watch?v=TwpLqTmvqVk)

Som videoen bemerker, kan neuralt rendering av ansikter (inkludert deepfakes) produsere langt mer realistiske øyne og munninteriør enn CGI er i stand til, mens CGI-drevne ansiktsteksturer er mer konsistente og egnet for cinema-nivå VFX-utgang.

Derfor eksperimenterer Disney med å la NVIDIA’s StyleGan2 neuralt generator håndtere omgivende trekk på et ansikt og ‘livskritiske’ elementer som øyne, mens de legger på konsistente CGI-ansiktshud og relaterte elementer i utgangen.

Fra videoen (se slutten av artikkelen), den arkitektoniske konseptet bak Disney’s hybridtilnærming, hvor en gammeldags CGI-mesh, av samme type som brukes til å gjenskape ‘ung’ Carrie Fisher og den avdøde Peter Cushing for Rogue One (2016), integreres i neuralt renderede ansiktsmiljøer.

Videoen gjør en taktisk henvisning til hyppig kritikk av uautentisiteten og ‘uncanny valley’-effekten av CGI-gjenskapelsen av den avdøde britiske Star Wars-skuespilleren Peter Cushing i Rogue One (2016), og innrømmer:

‘[Det] er fortsatt et stort gap mellom hva folk kan enkelt fange og rendre versus finale fotorealistiske digitale dobbeltgjengere, komplette med hår, øyne og innermunn. For å lukke dette gapet, tar det vanligvis mye manuelt arbeid fra dyktige kunstnere.’

I virkeligheten gjør ikke engang de mest moderne ansiktsgjengivelsessystemer noen forsøk på å gjenskape øyne, munninteriør eller hår, som enten har problemer med autentisitet i slike teknikker (øyne) eller også av temporær konsistens (hår).

Videoen illustrerer hva VFX-kunstnere vil få etter en typisk moderne ansiktsgjengivelsessession. Øyne, hår, ansiktsbehåring og munninteriør vil alle måtte håndteres av separate lag i produksjonspipeline, i tillegg til tekstur og lys.

Lyskontroll

Hybridtilnærmingen er også en fordel med relighting – en merkbart utfordring for neuralt rendering av ansikter, siden CGI-hudoverlager kan lett reliters.

En animert versjon av CGI/Neural-tilnærmingen.

I mer utfordrende miljøer, som eksteriørinnspillinger, har forskerne utviklet en metode for å male inn rundt en slags demilitarisert sone omkring personen som blir ‘skapt’.

En svart margin genereres for å tillate en ‘kanvas’ for å male inn ytre deler av identiteten og integrere CGI-huden i den kombinerte CGI/neurale utgangen.