Emotionen in Videoaufnahmen mit KI ändern

Forscher aus Griechenland und dem Vereinigten Königreich haben einen neuen Deep-Learning-Ansatz entwickelt, um die Ausdrucksformen und die scheinbare Stimmung von Menschen in Videoaufnahmen zu ändern, während sie die Treue ihrer Lippenbewegungen zum Originalton auf eine Weise bewahren, die vorherige Versuche nicht erreicht haben.

Aus dem Video, das diesem Artikel beigefügt ist, ein kurzer Clip von Schauspieler Al Pacino, dessen Ausdruck durch NED subtil geändert wird, basierend auf hochrangigen semantischen Konzepten, die individuelle Gesichtsausdrücke und ihre zugehörigen Emotionen definieren. Die “Reference-Driven”-Methode auf der rechten Seite nimmt die interpretierte Emotion/en eines Quellvideos und wendet sie auf die gesamte Videosequenz an. Quelle: https://www.youtube.com/watch?v=Li6W8pRDMJQ

Dieses spezielle Feld fällt in die wachsende Kategorie von deepfaked Emotionen, in der die Identität des ursprünglichen Sprechers erhalten bleibt, aber ihre Ausdrucksformen und Mikro-Ausdrucksformen geändert werden. Da diese spezielle KI-Technologie fortschreitet, bietet sie die Möglichkeit für Film- und Fernsehproduktionen, subtile Änderungen an den Ausdrucksformen von Schauspielern vorzunehmen – aber auch eine neue Kategorie von “emotion-altered” Video-Deepfakes eröffnet.

Verändernde Gesichter

Gesichtsausdrucksformen für öffentliche Figuren, wie Politiker, werden sorgfältig kuratiert; 2016 geriet Hillary Clintons Gesichtsausdrucksformen unter intensive Medienaufmerksamkeit aufgrund ihrer potenziellen negativen Auswirkungen auf ihre Wahlchancen; Gesichtsausdrucksformen sind auch ein Thema von Interesse für das FBI; und sie sind ein kritischer Indikator in Vorstellungsgesprächen, was die (ferne) Aussicht auf einen Live-“Ausdrucksformen-Filter” zu einer wünschenswerten Entwicklung für Bewerber macht, die versuchen, eine Vorauswahl auf Zoom zu bestehen.

Eine Studie von 2005 aus dem Vereinigten Königreich behauptete, dass das Gesichtsausdrucksbild die Wahlentscheidungen beeinflusst, während ein Feature von 2019 in der Washington Post die Verwendung von “außerhalb des Kontexts” geschnittenen Videoclips untersuchte, was derzeit die nächste Sache ist, die Befürworter von Fake News haben, um tatsächlich zu ändern, wie eine öffentliche Figur zu handeln, zu reagieren oder zu fühlen scheint.

Richtung Neuraler Ausdrucksformen-Manipulation

Im Moment ist der Stand der Technik bei der Manipulation von Gesichtsausdrucksformen ziemlich rudimentär, da es darum geht, die Entflechtung von hochrangigen Konzepten (wie traurig, wütend, glücklich, lächelnd) von tatsächlichem Videoinhalt zu bewältigen. Obwohl traditionelle Deepfake-Architekturen diese Entflechtung ziemlich gut erreichen, erfordert das Spiegeln von Emotionen über verschiedene Identitäten immer noch, dass zwei Trainingsgesichtssätze übereinstimmende Ausdrucksformen für jede Identität enthalten.

Typische Beispiele für Gesichtsbilder in Datensätzen, die zum Trainieren von Deepfakes verwendet werden. Derzeit können Sie nur die Gesichtsausdrucksformen einer Person ändern, indem Sie ID-spezifische Ausdrucksformen-Ausdrucksformen-Wege in einem Deepfake-Neuralnetzwerk erstellen. Die Deepfake-Software von 2017 hat keine inhärente, semantische Verständnis eines “Lächelns” – sie kartiert und verknüpft lediglich wahrgenommene Änderungen in der Gesichtsgeometrie über die beiden Subjekte.

Was wünschenswert ist und noch nicht perfekt erreicht wurde, ist die Erkennung, wie Subjekt B (zum Beispiel) lächelt, und einfach ein ‘Lächeln’- Schalter in der Architektur zu erstellen, ohne es auf ein äquivalentes Bild von Subjekt A Lächeln abbilden zu müssen.

Das neue Papier trägt den Titel Neural Emotion Director: Speech-preserving semantic control of facial expressions in “in-the-wild” videos und stammt von Forschern der School of Electrical & Computer Engineering an der National Technical University of Athens, dem Institute of Computer Science an der Foundation for Research and Technology Hellas (FORTH) und dem College of Engineering, Mathematics and Physical Sciences an der University of Exeter im Vereinigten Königreich.

Das Team hat ein Framework namens Neural Emotion Director (NED) entwickelt, das ein 3D-basiertes Emotions-Übersetzungsnetzwerk, 3D-basiertes Emotions-Manipulator, umfasst.

NED nimmt eine empfangene Sequenz von Ausdrucksparametern und übersetzt sie in ein Zielbereich. Es wird auf unparallelen Daten trainiert, was bedeutet, dass es nicht notwendig ist, auf Datensätzen zu trainieren, in denen jede Identität entsprechende Gesichtsausdrucksformen hat.

Das Video, das am Ende dieses Artikels gezeigt wird, führt eine Reihe von Tests durch, bei denen NED einen scheinbaren emotionalen Zustand auf Footage aus dem YouTube-Datensatz aufprägt.

Die Autoren behaupten, dass NED die erste video-basierte Methode für die “Regie” von Schauspielern in zufälligen und unvorhersehbaren Situationen ist und haben den Code auf der Projektseite verfügbar gemacht.

Methode und Architektur

Das System wird auf zwei großen Video-Datensätzen trainiert, die mit “Emotions”-Labels annotiert sind.

Die Ausgabe wird durch einen Video-Gesichts-Renderer ermöglicht, der die gewünschte Emotion mithilfe traditioneller Gesichtsbild-Synthese-Techniken auf Video rendert, einschließlich Gesichts-Segmentierung, Gesichts-Landmark-Ausrichtung und Blending, wobei nur der Gesichtsbereich synthetisiert wird und dann auf die ursprüngliche Aufnahme aufgeprägt wird.

Die Architektur für die Pipeline des Neural Emotion Detector (NED). Quelle: https://arxiv.org/pdf/2112.00585.pdf

Zunächst erhält das System eine 3D-Gesichtswiederherstellung und legt Gesichts-Landmark-Ausrichtungen auf die Eingabeframes, um den Ausdruck zu identifizieren. Danach werden diese wiederhergestellten Ausdrucksparameter an den 3D-basierten Emotions-Manipulator übergeben und ein Stilvektor berechnet, entweder durch ein semantisches Label (wie “glücklich”) oder durch eine Referenzdatei.

Eine Referenzdatei ist ein Video, das einen bestimmten erkannten Ausdruck/Emotion darstellt, der dann auf die gesamte Ziel-Video aufgeprägt wird, indem der ursprüngliche Ausdruck ausgetauscht wird.

Stadien in der Emotions-Übertragungspipeline, mit verschiedenen Schauspielern, die aus YouTube-Videos ausgewählt wurden.

Die endgültig generierte 3D-Gesichtsform wird dann mit der Normalisierten Mittleren Gesichtskoordinate (NMFC) und den Augenbildern (die roten Punkte im Bild oben) verbunden und an den neuronalen Renderer übergeben, der die endgültige Manipulation durchführt.

Ergebnisse

Die Forscher führten umfangreiche Studien durch, einschließlich Benutzer- und Ablationsstudien, um die Wirksamkeit der Methode im Vergleich zu vorherigen Arbeiten zu bewerten und fanden heraus, dass NED in den meisten Kategorien die aktuelle Spitze in diesem Teilbereich der neuronalen Gesichtsmanipulation übertrifft.

Die Autoren des Papiers stellen sich vor, dass spätere Implementierungen dieser Arbeit und ähnlicher Werkzeuge hauptsächlich in der Fernseh- und Filmindustrie nützlich sein werden, und erklären:

‘Unsere Methode eröffnet eine Vielzahl neuer Möglichkeiten für nützliche Anwendungen von neuronalen Rendering-Technologien, von Film-Nachbearbeitung und Videospielen bis hin zu photorealistischen emotionalen Avataren.’

Dies ist eine frühe Arbeit auf diesem Gebiet, aber eine der ersten, die eine Gesichts-Neuaufnahme mit Video und nicht mit Stillbildern versucht. Obwohl Videos im Wesentlichen viele Stillbilder sind, die sehr schnell nacheinander laufen, gibt es zeitliche Überlegungen, die frühere Anwendungen von Emotions-Übertragung weniger effektiv machen. Im begleitenden Video und in den Beispielen im Papier sind visuelle Vergleiche von NEDs Ausgabe mit anderen vergleichbaren aktuellen Methoden enthalten.

Mehr detaillierte Vergleiche und viele weitere Beispiele von NED können im vollständigen Video unten gefunden werden:

3. Dezember 2021, 18:30 GMT+2 – Auf Anfrage eines der Autoren des Papiers wurden Korrekturen vorgenommen bezüglich der “Referenzdatei”, die ich fälschlicherweise als Stillfoto bezeichnete (obwohl es tatsächlich ein Video-Clip ist). Außerdem wurde eine Änderung am Namen des Instituts für Informatik an der Foundation for Research and Technology vorgenommen.
3. Dezember 2021, 20:50 GMT+2 – Eine zweite Anfrage von einem der Autoren des Papiers für eine weitere Änderung des Namens der oben genannten Institution.