Disney combineert CGI met neurale rendering om de ‘Uncanny Valley’ aan te pakken

De AI-onderzoeksafdeling van Disney heeft een hybride methode ontwikkeld voor filmkwaliteit gezichtssimulatie, waarbij de kracht van neurale gezichtsrendering wordt gecombineerd met de consistentie van een CGI-gebaseerde benadering.

Het nog te publiceren artikel heeft als titel Rendering with Style: Combining Traditional and Neural Approaches for High Quality Face Rendering, en wordt voorbeeld gegeven in een nieuwe 10-minuten video op het Disney Research YouTube-kanaal (ingebed aan het einde van dit artikel*).

Meshes gecombineerd met neurale gezichtsrenders. Zie video-inbedding aan het einde van het artikel voor betere details en kwaliteit. Bron: https://www.youtube.com/watch?v=k-RKSGbWLng (inmiddels vervangen door https://www.youtube.com/watch?v=TwpLqTmvqVk)

Zoals de video aangeeft, kan neurale rendering van gezichten (inclusief deepfakes) veel realistischere ogen en mondinterieurs produceren dan CGI in staat is, terwijl CGI-gezichtsteksten meer consistent en geschikt zijn voor cinema-niveau VFX-uitvoer.

Daarom experimenteert Disney met het gebruik van NVIDIA’s StyleGan2 neurale generator om de omliggende kenmerken van een gezicht en de ‘levenskritieke’ elementen zoals ogen te behandelen, terwijl consistent CGI-gezichtshuid en verwante elementen in de uitvoer worden gesuperponeerd.

Uit de video (zie einde van artikel), het architectonische concept achter de hybride benadering van Disney, waarbij een ouderwetse CGI-mesh, van het type gebruikt om ‘jonge’ Carrie Fisher en de late Peter Cushing voor Rogue One (2016) te recreëren, wordt geïntegreerd in neurale gezichtsomgevingen.

De video maakt een impliciete verwijzing naar frequente kritiek op de onauthenticiteit en het ‘uncanny valley’-effect van de CGI-recreatie van de late Britse Star Wars-acteur Peter Cushing in Rogue One (2016), waarin wordt toegegeven:

‘[Er is] nog een enorme kloof tussen wat mensen gemakkelijk kunnen vastleggen en renderen versus eindige fotorealistische digitale dubbelgangers, complete met haar, ogen en innerlijke mond. Om deze kloof te dichten, is het meestal veel handmatig werk van ervaren artiesten nodig.’

In werkelijkheid proberen zelfs de meest moderne gezichtscapture-systemen geen ogen, mondinterieurs of haar te recreëren, die ofwel problemen van authenticiteit in dergelijke technieken (ogen) hebben ofwel van temporele consistentie (haar).

De video illustreert wat VFX-artiesten krijgen na een typische moderne gezichtscapturesessie. Ogen, haar, gezichtsbeharing en mondinterieurs moeten allemaal door separate teams in de productiepipeline worden behandeld, naast texturering en belichting.

Verlichtingscontrole

De hybride benadering is ook een voordeel bij het opnieuw belichten – een opvallende uitdaging voor neurale rendering van gezichten, aangezien CGI-huidsuperposities gemakkelijker opnieuw kunnen worden belicht.

Een geanimeerde versie van de CGI/Neurale benadering.

In meer uitdagende omgevingen, zoals buitenshooting, hebben de onderzoekers een methode ontwikkeld om rond een soort gedemilitariseerde zone rond de persoon die wordt ‘gecreëerd’ in te kleuren.

Een zwarte marge wordt gegenereerd om een ‘canvas’ te bieden voor het inkleurwen van de buitenste delen van de identiteit en het integreren van de CGI-huid in de gecombineerde CGI/neurale uitvoer.