Neue Deepfake-Methode löst das ‘Face-Host’-Problem

Trotz mehrerer Jahre medialer Übertreibung über das Potenzial von Deepfake-Bildern, unsere langjährige Überzeugung von der Echtheit von Videoaufnahmen zu untergraben, basieren alle derzeit populären Methoden auf der Suche nach ‘Face-Hosts’, die in ihrer Form dem Zielgesicht ähneln.

Wenn die ursprüngliche Aufnahme ein breites Gesicht zeigt, aber das Zielsubjekt ein schmales Gesicht hat, sind die Ergebnisse immer problematisch, da ein solcher Transfer das Abschneiden eines Teils des ursprünglichen Gesichts und die Rekonstruktion des nun sichtbaren Hintergrunds beinhaltet. Aktuelle Pakete wie DeepFaceLab und FaceSwap können begrenzte Ergebnisse erzielen, wenn die Konfiguration umgekehrt wird (schmal > breit), haben aber keine Möglichkeit, diesen Szenario überzeugend zu meistern.

Jetzt hat eine Zusammenarbeit zwischen Tencent und der chinesischen Xiamen-Universität einen neuen Ansatz entwickelt, der als HifiFace bezeichnet wird und darauf abzielt, diese Lücke zu schließen.

Zwei HifiFace-Deepfakes, der erste von Anne Hathaway, bei dem ein gutes Ähnlichkeitsverhältnis trotz unvereinbarer Host-Gesichtsform erreicht wird. HifiFace funktioniert auch gut bei Zielen mit Brillen, die traditionell ein Hindernis bei Deepfakes darstellen. Quelle: https://arxiv.org/pdf/2106.09965.pdf

Umgestaltung eines Deepfake-Gesichts

Frühere Ansätze, wie z.B. der 2019er Subject Agnostic Face Swapping and Reenactment (FSGAN), haben auf 3DMM-Fitting (3D-Morphable-Modelle) oder andere Methoden basierend auf Gesichtsmerkmal-Erkennung oder -Transformation gesetzt, bei denen die Gesichtsmerkmale des zu “überschreibenden” Gesichts mehr oder weniger die Grenzen des Austauschs diktierten:

3DMM-Gesichtsmerkmal-Erkennung. Quelle: https://github.com/Yinghao-Li/3DMM-fitting

Obwohl konkurrierende Methoden auf Merkmalen basieren, die aus Gesichtserkennungsnetzwerken abgeleitet werden, sind diese in erster Linie darauf ausgerichtet, Texturen anstelle von Strukturen zu rekonstruieren und produzieren ähnlich ein “maskenartiges” Effekt in Fällen, in denen das Host-Gesicht nicht vollständig kompatibel ist (d.h. die Grenzen und Form von Haaransatz, Kinnlinie und Wangenknochen).

Um diese Probleme anzugehen, entwickelten die chinesischen Forscher, die im Media Analytics and Computing Lab der Universität tätig sind, ein End-to-End-Netzwerk, das die Koeffizienten des Ziel- und des Quellgesichts unter Verwendung eines 3D-Rekonstruktionsmodells regressiert, das dann als Forminformation rekombiniert und mit Identitätsvektorinformationen aus einem Gesichtserkennungsnetzwerk verkettet wird.

Diese geometrischen Daten werden dann in ein Encoder-Decoder-Modell als Strukturinformation eingegeben, das mit dem Ausdruck und der Disposition des Zielgesichts verbunden wird, die als Hilfsquellen für eine genaue Übertragung genutzt werden.

Semantische Gesichtsverschmelzung

Darüber hinaus enthält HifiFace eine semantische Gesichtsverschmelzungs-Komponente (SFF), die ein niedriges Merkmal im Encoder nutzt, um räumliche und Texturinformationen zu erhalten, ohne die Identität des Zielbildes zu opfern. Merkmale aus dem Encoder und Decoder werden in eine erlernte adaptive Maske integriert und die Hintergrundinformationen durch die erlernte Gesichtsmaske in die Ausgabe eingefügt.

HifiFace in Aktion. Quelle: https://johann.wang/HifiFace/

Auf diese Weise weicht HifiFace von der Verwendung der ursprünglichen Material-Gesichtsgrenzen als harte Grenze ab, indem es eine dilatierte Gesichtssemantik-Segmentierung verwendet, bei der das Modell eine bessere adaptive Verschmelzung an den Kanten des Gesichts durchführen kann.

Zwei vorherige Ansätze (oben und unten links) und die neue HifiFace-Architektur, die aus einem Encoder, Decoder, 3D-Form-Identitäts-Extraktor und SFF-Modul besteht.

Im Vergleich zu früheren Methoden wie FSGAN, SimSwap und FaceShifter zeigt HifiFace eine überlegene Rekonstruktion der Gesichtsform, da es nicht “Geister”-Elemente approximiert, wo die Gesichtsgrenzen die Identitäts-Identitäts-Zuordnung verwirren, sondern diese definitiv rekonstruiert.

Testen

Die Forscher implementierten das System unter Verwendung der VGGFace2– und der DeepGlint-Asian-Celeb-Datensätze. Gesichter wurden durch 5 nach außen weisende Landmarken ausgerichtet und auf 256×256 Pixel zugeschnitten. Ein Portrait-Verbesserungsnetzwerk wurde auch verwendet, um eine 512×512-Pixel-Version zu generieren, für ein zusätzliches höheres Modell. Das Modell wurde unter Adam trainiert.

Obwohl FaceShifter die Identität gut bewahrt, kann es Probleme wie Ausdruck, Farbe und Verdeckung nicht so effektiv wie HifiFace angehen und hat eine komplexere Netzwerkstruktur. FSGAN hat Probleme bei der Übertragung der Beleuchtung von der Quelle zum Ziel.

Die Forscher verwenden FaceForensics++ für quantitative Vergleiche, indem sie zehn Frames jeder in einer Charge konvertierter Videos über die konkurrierenden Methoden auswerten und feststellen, dass HifiFace einen überlegenen ID-Rückgewinn-Score erzielt. Bei der Überprüfung einer Reihe anderer Faktoren, wie Bildqualität, fanden die Forscher auch, dass ihre Methode die konkurrierenden Methoden übertraf.

Benedict Cumberbatchs Gesichtsmerkmale werden treu wiedergegeben.

Die Arbeit stellt einen weiteren Schritt in Richtung Abstraktion des Quellmaterials dar, damit es nur ein grobes Template ist, in das genaue Identitäten übertragen werden können. Einige der aktuellen FOSS-Pakete, einschließlich DeepFaceLab, verfügen über nascente Funktionalität für die vollständige Ersetzung des Kopfes, aber wie HifiFace berücksichtigen diese nicht das Haar und sind effektiver darin, ein Gesicht “aufzubauen”, als es zu bearbeiten, um es einem gewünschten Zielquell zu entsprechen.