Disney kombiniert CGI mit Neural Rendering, um das “Uncanny Valley”-Problem zu lösen

Die AI-Forschungsabteilung von Disney hat eine Hybridmethode für moviequalitätsnahe Gesichtssimulationen entwickelt, indem sie die Stärken der Gesichts-Neural-Rendering mit der Konsistenz eines CGI-basierten Ansatzes kombiniert.

Der noch unveröffentlichte Artikel trägt den Titel Rendering with Style: Combining Traditional and Neural Approaches for High Quality Face Rendering und wird in einem neuen 10-minütigen Video auf dem Disney Research YouTube-Kanal (eingebettet am Ende dieses Artikels*) vorgestellt.

Meshes kombiniert mit neuralen Gesichtsrendern. Siehe Video-Einbettung am Ende des Artikels für bessere Details und Qualität. Quelle: https://www.youtube.com/watch?v=k-RKSGbWLng (wurde durch https://www.youtube.com/watch?v=TwpLqTmvqVk ersetzt)

Wie das Video feststellt, können neurale Gesichtsrendering (einschließlich Deepfakes) weit realistischere Augen und Mundinnenräume produzieren als CGI, während CGI-getriebene Gesichtstexturen konsistenter und geeigneter für kinotaugliche VFX-Ausgaben sind.

Daher experimentiert Disney damit, NVIDIA’s StyleGan2-Neuralgenerator die umliegenden Gesichtszüge und die “lebenswichtigen” Elemente wie Augen zu handhaben, während CGI-Gesichtshaut und verwandte Elemente in die Ausgabe überlagert werden.

Aus dem Video (siehe Ende des Artikels), das architektonische Konzept hinter Disneys Hybridansatz, bei dem ein altmodischer CGI-Mesh, wie er verwendet wird, um ‘junge’ Carrie Fisher und den verstorbenen Peter Cushing für Rogue One (2016) nachzubilden, in neurale Gesichtsumgebungen integriert wird.

Das Video macht eine stillschweigende Anspielung auf häufige Kritik an der Unauthentizität und dem “Uncanny Valley”-Effekt der CGI-Nachbildung des verstorbenen britischen Star-Wars-Schauspielers Peter Cushing in Rogue One (2016), und räumt ein:

‘[Es gibt] immer noch eine riesige Lücke zwischen dem, was Menschen leicht aufnehmen und rendern können, und finalen photorealistischen digitalen Doubles, komplett mit Haar, Augen und innerem Mund. Um diese Lücke zu schließen, ist normalerweise viel manuelle Arbeit von qualifizierten Künstlern erforderlich.’

In Wirklichkeit versuchen sogar die modernsten Gesichtserfassungssysteme nicht einmal, Augen, Mundinnenräume oder Haare nachzubilden, die entweder Probleme der Authentizität in solchen Techniken (Augen) oder der zeitlichen Konsistenz (Haare) aufweisen.

Das Video zeigt, was VFX-Künstler nach einer typischen modernen Gesichtserfassungssitzung erhalten. Augen, Haare, Gesichtsbehaarung und Mundinnenräume müssen alle von separaten Teams im Produktionsprozess bearbeitet werden, zusätzlich zu Textur und Beleuchtung.

Beleuchtungskontrolle

Der Hybridansatz ist auch bei der Relighting – einer bemerkenswerten Herausforderung für neurales Gesichtsrendering – von Vorteil, da CGI-Hautüberlagerungen leichter neu beleuchtet werden können.

Eine animierte Version des CGI/Neural-Ansatzes.

In anspruchsvolleren Umgebungen, wie Außenaufnahmen, haben die Forscher eine Methode entwickelt, um um eine Art Demilitarisierte Zone herum zu malen, die die Person umgibt, die “erschaffen” wird.

Eine schwarze Randzone wird generiert, um eine “Leinwand” für das Malen der äußeren Teile der Identität und die Integration der CGI-Haut in die kombinierte CGI/Neural-Ausgabe zu ermöglichen.

Das Video bemerkt:

‘[Das] neurale Rendern stimmt nicht perfekt mit der Hintergrundbeschränkung überein. – Es dient nur als Leitfaden, da die Optimierung für realistische menschliche Komponenten wie Haar, Augen und Zähne das Hauptziel ist. Schwieriger ist es, eine konsistente Identität beizubehalten, während die Umgebungsbeleuchtung geändert wird.’

Erstellung von CGI-Meshes aus Neural-Rendern

Das Forschungsteam hat auch einen variationalen Autoencoder trainiert, der auf einer (nicht spezifizierten) großen Datenbank von 3D-Gesichtsbildern basiert, und behauptet, dass er “zufällige, aber plausible” 3D-Gesichtsmeshes aus Ground-Truth-Daten erzeugen kann.

Es gibt Einschränkungen, die diese Forschung überwinden muss, einschließlich der Schwierigkeit, Haare in den neuralen Rendern zeitlich konsistent zu halten, und das Video (siehe unten) zeigt mehrere Beispiele für schnell mutierendes Haar in einer ansonsten konsistenten Panoramaaufnahme eines CGI/Neural-Gesichts.

Die zeitliche Konsistenz in der neuralen Videorenderung ist ein viel größeres Problem als nur Disneys, und es ist wahrscheinlich, dass spätere Iterationen dieses Systems auf das Hinzufügen von Haaren “in post” oder andere mögliche Ansätze zur Haargenerierung zurückgreifen werden, anstatt zu hoffen, dass ein neuer neuraler Ansatz das Problem eventually löst.

Anwendungen für Datengenerierung

Die Methode wird auch als potenzielle Methode zur Generierung synthetischer Daten und zur Anreicherung des Gesichtsbildsatzes vorgeschlagen, der in den letzten Jahren zu gefährlich monoton geworden ist.

Disney stellt sich vor, dass die neue Technik Gesichtsbildsätze bevölkert.

‘[Jedes] photorealistische Ergebnis, das wir erzeugen, hat eine zugrunde liegende entsprechende Geometrie und Erscheinungsbilder, die aus unbekannten Kameraperspektiven mit bekannter Beleuchtung gerendert werden. Diese “Ground-Truth”-Informationen können für die Schulung von Downstream-Anwendungen wie monokularer 3D-Gesichtsrekonstruktion, Gesichtserkennung oder Szenenverständnis von entscheidender Bedeutung sein. Und so kann jedes Render-Ergebnis als Datenstichprobe betrachtet werden, und wir können viele Variationen von vielen verschiedenen Individuen erzeugen.

‘Darüber hinaus können wir, selbst für eine einzelne Person, die in einem einzigen Ausdruck mit einem einzigen Blickwinkel und Beleuchtung gerendert wird, zufällige Variationen des photorealistischen Renders erzeugen, indem wir den Zufallsseed während der Optimierung variieren.’

Die Forscher bemerken, dass diese Vielfalt an konfigurierbarem Ausgang nützlich für die Schulung von Gesichtserkennungsanwendungen sein könnte, und kommen zu dem Schluss:

‘[Unsere] Methode kann die aktuelle Technologie für Gesichtshauterfassung, -modellierung und -rendering nutzen und automatisch vollständige photorealistische Gesichtsrenderings erzeugen, die der gewünschten Identität, dem Ausdruck und der Szenenkonfiguration entsprechen. Dieser Ansatz hat Anwendungen für Gesichtsrendering in Film und Unterhaltung, um manuelle Künstlerarbeit zu sparen, und auch für Datengenerierung in verschiedenen Bereichen des Deep Learning.’

Für einen tieferen Einblick in den neuen Ansatz können Sie das 10-minütige Video ansehen, das heute veröffentlicht wurde:

* Der ursprüngliche Videolink wurde 8 Stunden nach der Veröffentlichung dieses Artikels durch einen anderen, offensichtlich identischen Link ersetzt. Ich habe alle relevanten Links geändert, da keine Spur des ursprünglichen Videos vorhanden ist.

8:24 GMT+2 – Video ersetzt, da es vom Disney Research YouTube-Kanal ausgetauscht wurde, aus einem bestimmten Grund.