Eine neue und einfachere Deepfake-Methode, die vorherige Ansätze übertrifft

Eine Zusammenarbeit zwischen einer chinesischen AI-Forschungsgruppe und US-amerikanischen Forschern hat möglicherweise die erste echte Innovation in der Deepfake-Technologie seit dem Auftauchen des Phänomens vor vier Jahren entwickelt.

Die neue Methode kann Gesichtsaustausche durchführen, die alle anderen bestehenden Frameworks auf Standard-Perzeptions-tests übertrumpfen, ohne dass eine umfangreiche und aufwändige Sammlung und Pflege großer dedizierter Datensätze erforderlich ist und diese für bis zu einer Woche für nur eine Identität trainiert werden müssen. Für die in der neuen Veröffentlichung präsentierten Beispiele wurden die Modelle auf der Gesamtheit von zwei beliebten Celebrity-Datensätzen trainiert, auf einem NVIDIA Tesla P40 GPU für etwa drei Tage.

Vollständiges Video am Ende dieses Artikels. In diesem Beispiel aus einem Video in den ergänzenden Materialien, die von einem der Autoren der neuen Veröffentlichung bereitgestellt wurden, wird Scarlett Johanssons Gesicht auf das Quellvideo übertragen. CihaNet entfernt das Problem der Kantenmaskierung beim Austausch, indem es tiefergehende Beziehungen zwischen den Quell- und Zielidentitäten herstellt, was bedeutet, dass es ein Ende der “offensichtlichen Grenzen” und anderer Überlagerungsfehler gibt, die in herkömmlichen Deepfake-Ansätzen auftreten. Quelle: Quelle: https://mitchellx.github.io/#video

Der neue Ansatz entfernt die Notwendigkeit, die transplantierte Identität roh in das Zielvideo einzufügen, was häufig zu verräterischen Artefakten führt, die dort erscheinen, wo das falsche Gesicht endet und das echte, zugrunde liegende Gesicht beginnt. Stattdessen werden “Halluzinationskarten” verwendet, um eine tiefere Vermischung visueller Aspekte durchzuführen, da das System die Identität von Kontext viel effektiver trennt als aktuelle Methoden und daher die Zielidentität auf einer tieferen Ebene mischen kann.

Aus der Veröffentlichung. CihaNet-Transformationen werden durch Halluzinationskarten (untere Reihe) ermöglicht. Das System verwendet Kontextinformationen (d. h. Gesichtsrichtung, Haare, Brillen und andere Verdeckungen usw.) vollständig aus dem Bild, in das die neue Identität überlagert wird, und Gesichtsidentitätsinformationen vollständig aus der Person, die in das Bild eingefügt werden soll. Diese Fähigkeit, Gesicht von Kontext zu trennen, ist für den Erfolg des Systems von entscheidender Bedeutung. Quelle: https://dl.acm.org/doi/pdf/10.1145/3474085.3475257

Effektiv bietet die neue Halluzinationskarte einen umfassenderen Kontext für den Austausch, im Gegensatz zu den harten Masken, die oft eine umfangreiche Pflege (und im Falle von DeepFaceLab, separate Schulung) erfordern, während sie eine begrenzte Flexibilität in Bezug auf die tatsächliche Einbeziehung der beiden Identitäten bieten.

Aus den Beispielen in den ergänzenden Materialien, die sowohl die FFHQ- als auch die Celeb-A-HQ-Datensätze verwenden, über VGGFace und Forensics++. Die ersten beiden Spalten zeigen die zufällig ausgewählten (echten) Bilder, die ausgetauscht werden sollen. Die folgenden vier Spalten zeigen die Ergebnisse des Austauschs mit den vier effektivsten Methoden, die derzeit verfügbar sind, während die letzte Spalte das Ergebnis von CihaNet zeigt. Das FaceSwap-Repository wurde verwendet, anstatt des beliebteren DeepFaceLab, da beide Projekte Forks des ursprünglichen Deepfakes-Codes auf GitHub sind. Obwohl jedes Projekt seitdem Modelle, Techniken, diverse Benutzeroberflächen und Zusatztools hinzugefügt hat, ist der zugrunde liegende Code, der Deepfakes möglich macht, nie geändert worden und bleibt gemeinsam für beide. Quelle: https://dl.acm.org/action/downloadSupplement?doi=10.1145%2F3474085.3475257&file=mfp0519aux.zip

Die Veröffentlichung, betitelt One-stage Context and Identity Hallucination Network, wurde von Forschern erstellt, die mit JD AI Research und der University of Massachusetts Amherst verbunden sind, und wurde durch das National Key R&D-Programm Chinas unter Grant No. 2020AAA0103800 unterstützt. Sie wurde auf der 29. ACM International Conference on Multimedia, vom 20. bis 24. Oktober, in Chengdu, China, vorgestellt.

Keine Notwendigkeit für “Face-On”-Parität

Sowohl die beliebteste aktuelle Deepfake-Software, DeepFaceLab, als auch die konkurrierende Fork FaceSwap, führen mühsame und häufig handgeführte Workflows durch, um zu bestimmen, in welche Richtung ein Gesicht geneigt ist, welche Hindernisse im Weg sind, die berücksichtigt werden müssen (erneut manuell), und müssen viele andere ärgerliche Hindernisse (einschließlich Beleuchtung) bewältigen, die ihre Verwendung weit von der “Point-and-Click”-Erfahrung entfernen, die in den Medien seit dem Auftauchen von Deepfakes ungenau dargestellt wird.

Im Gegensatz dazu benötigt CihaNet nicht, dass zwei Bilder direkt in die Kamera schauen, um nützliche Identitätsinformationen aus einem einzelnen Bild zu extrahieren und auszunutzen.

In diesen Beispielen werden eine Reihe von Deepfake-Software-Konkurrenten mit der Aufgabe konfrontiert, Gesichter auszutauschen, die nicht nur in ihrer Identität unterschiedlich sind, sondern auch nicht in die gleiche Richtung schauen. Software, die aus dem ursprünglichen Deepfakes-Repository (wie die sehr beliebte DeepFaceLab und FaceSwap, oben abgebildet) abgeleitet ist, kann die Differenz in den Winkeln zwischen den beiden Bildern, die ausgetauscht werden sollen (siehe dritte Spalte), nicht bewältigen. CihaNet kann die Identität hingegen richtig abstrahieren, da die “Pose” des Gesichts nicht intrinsisch Teil der Identitätsinformation ist.

Architektur

Das CihaNet-Projekt, so die Autoren, wurde durch die Zusammenarbeit zwischen Microsoft Research und Peking University im Jahr 2019 inspiriert, die als FaceShifter bezeichnet wird, obwohl es einige bemerkenswerte und kritische Änderungen an der Kernarchitektur der älteren Methode vornimmt.

FaceShifter verwendet zwei Adaptive Instance Normalization (AdaIN)-Netzwerke, um Identitätsinformationen zu verarbeiten, die dann über eine Maske in das Zielbild übertragen werden, ähnlich wie bei der aktuellen beliebten Deepfake-Software (und mit allen damit verbundenen Einschränkungen), unter Verwendung eines zusätzlichen HEAR-Net (das ein separates Sub-Netz enthält, das auf Verdeckungshindernissen trainiert wird – eine zusätzliche Schicht der Komplexität).

Stattdessen verwendet die neue Architektur diese “kontextuellen” Informationen direkt für den Transformationsprozess selbst, über eine zweistufige einzelne Cascading Adaptive Instance Normalization (C-AdaIN)-Operation, die die Konsistenz des Kontexts (d. h. Gesichtshaut und Verdeckungen) von ID-relevanten Bereichen bietet.

Das zweite Sub-Netz, das für das System von entscheidender Bedeutung ist, wird als Swapping Block (SwapBlk) bezeichnet und generiert ein integriertes Feature aus dem Kontext des Referenzbildes und der eingebetteten “Identitäts”-Informationen aus dem Quellbild, wodurch die mehrstufigen Prozesse, die zur Erreichung dieses Ziels erforderlich sind, umgangen werden.

Um zwischen Kontext und Identität zu unterscheiden, wird für jedes Level eine Halluzinationskarte generiert, die als weiche Segmentierungsmaske dient und auf eine breitere Palette von Funktionen für diesen kritischen Teil des Deepfake-Prozesses einwirkt.

Wenn der Wert der Halluzinationskarte (rechts unten abgebildet) zunimmt, entsteht ein klarerer Pfad zwischen den Identitäten.

Auf diese Weise wird der gesamte Austauschprozess in einer einzigen Stufe und ohne Nachbearbeitung durchgeführt.

Daten und Tests

Um das System zu testen, trainierten die Forscher vier Modelle auf zwei sehr beliebten und vielfältigen offenen Bild-Datensätzen – CelebA-HQ und NVIDIAs Flickr-Faces-HQ-Datensatz (FFHQ), die jeweils 30.000 und 70.000 Bilder enthalten.

Es wurden keine Beschneidungen oder Filterungen auf diesen Basis-Datensätzen durchgeführt. In jedem Fall trainierten die Forscher die Gesamtheit jedes Datensatzes auf dem einzelnen Tesla-GPU über drei Tage, mit einer Lernrate von 0,0002 auf Adam-Optimierung.

Sie erstellten dann eine Reihe von zufälligen Austauschen zwischen den Tausenden von Persönlichkeiten, die in den Datensätzen vorkommen, ohne Rücksicht darauf, ob die Gesichter ähnlich oder sogar geschlechtsspezifisch waren, und verglichen die Ergebnisse von CihaNet mit den Ausgaben von vier führenden Deepfake-Frameworks: FaceSwap (das für das beliebtere DeepFaceLab steht, da es eine gemeinsame Root-Codebasis im ursprünglichen 2017-Repository hat, das Deepfakes in die Welt brachte); der oben erwähnte FaceShifter; FSGAN; und SimSwap.

Bei der Vergleich der Ergebnisse über VGG-Face, FFHQ, CelebA-HQ und FaceForensics++ fanden die Autoren heraus, dass ihr neues Modell alle vorherigen Modelle übertraf, wie in der folgenden Tabelle angegeben.

Die drei Metriken, die zur Bewertung der Ergebnisse verwendet wurden, waren Strukturelle Ähnlichkeit (SSIM), Pose-Schätzer-Fehler und ID-Rückgewinnungs-Genauigkeit, die auf der Grundlage des Prozentsatzes der erfolgreich abgerufenen Paare berechnet wird.

Die Forscher behaupten, dass CihaNet einen überlegenen Ansatz in Bezug auf qualitative Ergebnisse darstellt und einen bemerkenswerten Fortschritt im aktuellen Stand der Deepfake-Technologie darstellt, indem es die Last umfangreicher und arbeitsintensiver Masken-Architekturen und -Methoden entfernt und eine nützlichere und handhabbare Trennung von Identität und Kontext erreicht.

Schauen Sie sich das Video unten an, um weitere Beispiele für die neue Technik zu sehen. Sie können das vollständige Video hier finden.

Aus den ergänzenden Materialien für die neue Veröffentlichung. CihaNet führt Gesichtsaustausche auf verschiedenen Identitäten durch. Quelle: https://mitchellx.github.io/#video