Disney combineert CGI met neurale rendering om de ‘uncanny valley’ aan te pakken

De AI-onderzoeksafdeling van Disney heeft een hybride methode ontwikkeld voor movie-kwaliteit gezichtssimulatie, waarbij de sterke punten van gezichtsneurale rendering worden gecombineerd met de consistentie van een CGI-gebaseerde aanpak.

Het nog te publiceren artikel heeft als titel Rendering with Style: Combining Traditional and Neural Approaches for High Quality Face Rendering en wordt vooruitgeblikt in een nieuwe 10-minuten video op het Disney Research YouTube-kanaal (ingebed aan het einde van dit artikel*).

Meshes gecombineerd met neurale gezichtsrenders. Zie video-inbedding aan het einde van het artikel voor betere details en kwaliteit. Bron: https://www.youtube.com/watch?v=k-RKSGbWLng (vervangen door https://www.youtube.com/watch?v=TwpLqTmvqVk)

De video merkt op dat neurale rendering van gezichten (inclusief deepfakes) veel realistischere ogen en mondinterieurs kan produceren dan CGI in staat is, terwijl CGI-gezichtsteksten meer consistent en geschikt zijn voor cinema-niveau VFX-uitvoer.

Daarom experimenteert Disney met het gebruik van NVIDIA’s StyleGan2 neurale generator om de omringende kenmerken van een gezicht en de ‘levenskritieke’ elementen zoals ogen te behandelen, terwijl consistent CGI-gezichtshuid en gerelateerde elementen in de uitvoer worden gesuperponeerd.

Uit de video (zie einde van het artikel), het architectonische concept achter de hybride aanpak van Disney, waarbij een ouderwetse CGI-mesh, van het type dat wordt gebruikt om ‘jonge’ Carrie Fisher en de late Peter Cushing voor Rogue One (2016) te recreëren, wordt geïntegreerd in neurale gezichtsomgevingen.

De video maakt een stilzwijgende verwijzing naar frequente kritiek op de onauthenticiteit en ‘uncanny valley’-effect van de CGI-recreatie van de late Britse Star Wars-acteur Peter Cushing in Rogue One (2016), waarin wordt toegegeven:

‘[Er] is nog steeds een enorme kloof tussen wat mensen gemakkelijk kunnen vastleggen en renderen versus definitieve fotorealistische digitale dubbelgangers, complete met haar, ogen en innerlijke mond. Om deze kloof te dichten, is het meestal veel handmatig werk van ervaren artiesten nodig.’

In werkelijkheid proberen zelfs de meest moderne gezichtscapture-systemen geen ogen, mondinterieurs of haar te recreëren, die ofwel problemen van authenticiteit hebben in dergelijke technieken (ogen) ofwel van temporele consistentie (haar).

De video illustreert wat VFX-artiesten krijgen na een typische moderne gezichtscapture-sessie. Ogen, haar, gezichtsbeharing en mondinterieurs moeten allemaal door separate teams in de productiepipeline worden behandeld, naast texturing en belichting.

Verlichtingscontrole

De hybride aanpak is ook een voordeel bij herbelichting – een opvallende uitdaging voor neurale rendering van gezichten, aangezien CGI-huidsuperpositie gemakkelijker kan worden herbelicht.

Een geanimeerde versie van de CGI/neurale aanpak.

In meer uitdagende omgevingen, zoals buitenshooting, hebben de onderzoekers een methode ontwikkeld om rond een soort gedemilitariseerde zone rond de persoon die wordt ‘gemaakt’ in te kleuren.

Een zwarte marge wordt gegenereerd om een ‘canvas’ te bieden voor het inkleden van de buitenste delen van de identiteit en het integreren van de CGI-huid in de gecombineerde CGI/neurale uitvoer.

De video merkt op:

‘[De] neurale render komt niet perfect overeen met de achtergrondbeperking. – het is alleen bedoeld als een gids, aangezien het optimaliseren voor realistische menselijke componenten zoals het haar, de ogen en de tanden het hoofddoel is. Moeilijker is om een consistente identiteit te behouden, terwijl de omgevingsverlichting wordt gewijzigd.’

Het maken van CGI-meshes uit neurale renders

Het onderzoeksteam heeft ook een variatiële auto-encoder getraind op een (niet gespecificeerde) grote database van 3D-gezichtsafbeeldingen en beweert dat het ‘willekeurige maar plausibele’ 3D-gezichtsmeshes uit grondwaarheidsgegevens kan produceren.

Er zijn beperkingen voor dit onderzoek om te overwinnen, waaronder de moeilijkheid om het haar te laten blijven in de neurale rendering, en de video (zie hieronder) toont verschillende voorbeelden van snel muterend haar in een anders consistente pan rond een CGI/neuraal gezicht.

Temporele consistentie in neurale videorendering is een veel bredere probleem dan alleen dat van Disney, en het lijkt waarschijnlijk dat latere iteraties van dit systeem mogelijk gebruik zullen maken van het toevoegen van haar ‘in post’, of andere mogelijke benaderingen voor haargeneratie dan het hopen dat een novale neurale aanpak het uiteindelijk zal oplossen.

Gebruik voor datasetgeneratie

De methode wordt ook voorgesteld als een potentieel middel voor het genereren van synthetische gegevens en het verrijken van het landschap van gezichtsafbeeldingen, dat in recente jaren gevaarlijk eenvormig is geworden.

Disney voorziet de nieuwe techniek die gezichtsafbeeldingsdatasets bevolkt.

‘[Elk] fotorealistisch resultaat dat we genereren heeft een onderliggende corresponderende geometrie en verschijningskaarten, gerenderd vanuit onbekende cameraweergaven met bekende verlichting. Deze ‘grondwaarheid’-informatie kan essentieel zijn voor het trainen van downstream-toepassingen, zoals monocular, 3D-gezichtsreconstructie, gezichtsherkenning of scènebegrip. En dus kan elke resultaattrekking worden beschouwd als een gegevensmonster, en we kunnen veel variaties van veel verschillende individuen genereren.

‘Bovendien, zelfs voor één persoon die in één expressie met één weergave en verlichting wordt weergegeven, kunnen we willekeurige variaties van de fotorealistische weergave genereren door de randomisatiesleutel tijdens optimalisatie te variëren.’

De onderzoekers merken op dat deze diversiteit van configureerbare uitvoer nuttig kan zijn bij het trainen van gezichtsherkenningstoepassingen, en concluderen:

‘[Onze] methode kan de huidige technologie voor gezichtshuidcapture, -modellering en -rendering benutten en automatisch complete fotorealistische gezichtsweergaven creëren die overeenkomen met de gewenste identiteit, expressie en scèneconfiguratie. Deze aanpak heeft toepassingen voor gezichtsrendering voor film en entertainment, waarbij handmatig werk van artiesten wordt bespaard en ook voor gegevensgeneratie in verschillende gebieden van diepe leertheorie.’

Voor een dieper kijk op de nieuwe aanpak, bekijk de 10-minuten video die vandaag is uitgebracht:

 * De oorspronkelijke videolink was vervangen door een andere, ogenschijnlijk identieke link, 8 uur nadat dit artikel was gepubliceerd. Ik heb alle relevante links gewijzigd, aangezien er geen spoor is van de oorspronkelijke video.

8:24 GMT+2 – Vervangen video, aangezien deze werd uitgewisseld door het Disney Research YouTube-kanaal om een of andere reden.