Echtzeit-DeepFake-Streaming mit DeepFaceLive

Die am häufigsten verwendete Deepfake-Software und diejenige, die am stärksten mit Deepfake-Pornos in Verbindung gebracht wird, erhält eine neue Implementierung – die Fähigkeit, Deepfakes von Prominenten in Echtzeit in Live-Webcam-Footage einzufügen.

Die Open-Source-Repository DeepFaceLive ist eine Windows-10-Anwendung, die auf den Grundlagen von DeepFaceLab aufbaut, die schnell zur führenden Ressource für pornobasiertes Face-Swapping wurde, nachdem der Ersteller der ursprünglichen Deepfake-Software das Projekt kurz nach dem Beginn der Deepfake-Kontroverse im Jahr 2018 aufgegeben hatte. Beide Projekte listen den Forenbereich der Deepfake-Pornoseite mrdeepfakes als offizielle Support-Ressource auf.

In einem Video der DeepFaceLive-Oberfläche, das im April von Entwickler Ivan Petrov veröffentlicht wurde, sehen wir heruntergeladene Footage von Impersonator Miles Fisher, der in Echtzeit in Tom Cruise verwandelt wird. Quelle: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Gestern kündigte der Leiter beider Projekte, der russische Entwickler Ivan Petrov, eine neue Version von DeepFaceLive in der Discord-Gruppe des Projekts an und erwähnte, dass DeepFaceLive nun ein trainiertes Modell der Schauspielerin Margot Robbie integriert, eine häufige Zielobjekt von pornografischen Videos auf mrdeepfakes.

Vier Beispiel-Video-Clips wurden hochgeladen, um die Fähigkeit von DeepFaceLive zu demonstrieren, die Robbie-Identität auf jeden Sprecher in einem Webcam-Feed zu übertragen.

Eine der Margot-Robbie-Demonstrationen von Live-Deepfaking. Quelle: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Die Robbie-Transformation-Videos wurden ursprünglich auf Twitch geteilt, aber anschließend gelöscht.

Die drei anderen Beispiele für Face-Swapping, die von DeepFaceLive bereitgestellt werden. Die Anforderung für eine ungefähre Gesichtsübereinstimmung mit dem Ziel-Objekt ist immer noch erkennbar. Im unteren linken Bild sehen wir, dass die Software nicht effektiv Hindernisse maskieren kann, wie es in DeepFaceLab möglich ist, da dies das Trainieren von Masken in der XSeg-Anwendung von DeepFaceLab erfordert, eine Methode, die nicht auf Echtzeit-Faking angewendet werden kann.

Ein zusätzliches Standardmodell, des britischen Komikers und Schauspielers Rowan Atkinson, wird bald für DeepFaceLive verfügbar sein. Ursprünglich enthielt das DeepFaceLive-Repository eine Kategorie CELEB_MODEL, in der es möglich war, andere Prominente, einschließlich Tom Cruise, als Open Neural Network Exchange (.onnx)-Dateien herunterzuladen, obwohl diese Verzeichnisse seitdem gelöscht wurden.

Tom Cruise war eine integrierte Identität für eine DeepFaceLive-Beta im April 2021, aber wurde anscheinend als Standard in dem Paket entfernt. Allerdings kann das Modell heruntergeladen und installiert werden, zusammen mit trainierten Modellen von vielen anderen Prominenten und benutzerdefinierten Modellen, die von Endbenutzern trainiert wurden.

DeepFaceLive läuft ausschließlich als Windows-10-Anwendung und wird von einem Benutzer als gut mit NVIDIA’s Live-Streaming-Broadcast-Anwendung funktionierend beschrieben.

Erwerb von Identitäten

Benutzer müssen nicht durch den zeitaufwändigen Prozess der Sammlung von Gesichtsmaterial für ein Dataset gehen, gefolgt von den 3-10 Tagen, die notwendig sind, um eine sehr gute Übereinstimmung zu erzielen, da die FAQ für DeepFaceLive angibt, dass es vorgefertigte ‘öffentliche Gesichtsmodelle’ verwenden kann, die bereits von anderen Erstellern kompiliert wurden. In der Praxis ist die größte Quelle solcher Modelle der Forum-Trained-Models (Archiv-Link)-Thread auf der mrdeepfakes-Pornoseite, der von einem russischen Endbenutzer in einem jüngsten YouTube-Video verwendet wird.

Vladislav Pedro verwendet DeepFaceLive, um sich in Echtzeit in Tom Cruise zu verwandeln. Das Modell, das er im Video lädt, wird auf mrdeepfakes gehostet und wurde bisher für Offline-Deepfake-Verarbeitung verwendet. Quelle: https://www.youtube.com/watch?v=0TcCKtObSnI

Obwohl die besten Ergebnisse durch das Trainieren des Benutzergesichts gegen das Ziel-Promi erzielt werden, scheint die Qualität der Simulation direkt proportional zur Ähnlichkeit zwischen dem Benutzer und dem Ziel-Promi zu sein. Wenn der Benutzer relativ gut zum Promi passt, kann ein überzeugendes Ergebnis erzielt werden.

Wie in den letzten drei Margot-Robbie-Swaps in den oben genannten Bildern erkennbar ist, kann die Software keine Wunder wirken, wenn das Gesicht des Benutzers radikal andere allgemeine Merkmale aufweist. Allerdings kann DeepFaceLab auch komplette Kopf-Swaps durchführen, ein Prozess, der den Quellkopf vollständig überschreibt, wenn auch mit Einschränkungen in Bezug auf Haarstile. Kommentare auf dem Discord-Server bestätigen, dass diese auch in DeepFaceLive implementiert werden können.

DeepFaceLive unterstützt derzeit nur NVIDIA-Grafikkarten, wobei die GTX 750 die niedrigste Hardware ist, die ein vernünftiges Ergebnis mit der Anwendung erzielen kann. Auf einer Grafikkarte mit 4 GB VRAM erfordert es auch 32 GB Swap-Disk-Speicherplatz.

Trainieren des Margot-Robbie-Modells – ein Bild, das veröffentlicht wurde, auf dem DeepFaceLab/DeepFaceLive-Discord von Ivan Petrov. Hier sehen wir, dass das Quelldataset extrem vielfältig ist, offensichtlich mit dem Ziel, ein robustes und gut generalisiertes Modell zu erstellen, das eine Vielzahl von Gesichtstypen in das Bild der australischen Schauspielerin verwandeln kann. Die meisten ‘A’-Sets sind normalerweise von einer einzelnen Person.

Benutzer berichten, dass DeepFaceLive extrem anspruchsvoll in Bezug auf Hardware-Ressourcen ist, aber Petrov hat darauf reagiert, indem er betonte, dass DeepFaceLive für gut ausgestattete PCs in einer Innenumgebung konzipiert ist.

Das DeepFaceLab-GitHub-Repository wurde über 6.000 Mal geforkt, während das neue DeepFaceLive derzeit 85 Forks hat.

Mögliche Anwendungen

Kommentatoren in einem Thread (russische Sprache) auf der russischen Social-Media-Plattform VK.com spekulieren über die möglichen Anwendungen von DeepFaceLive und scheinen alle wahrscheinlichen Anwendungen für die Software erkannt zu haben: als ‘Anonymisierung’ oder Freizeit-Filter in Zoom und ähnlichen Anwendungen; als Mittel zur Begehung von Betrug oder Täuschung der Person, die den Live-Stream beobachtet; und – vielleicht am wahrscheinlichsten, im Lichte der Herkunft und Benutzerbasis der Software – als Mittel zur Implementierung von Prominenten-fokussierten Webcam-basierten Sexarbeit (siehe Bild am Ende des Artikels).

Die Möglichkeit von ‘Deepfake-Cam-Girls’ tauchte vor ein paar Jahren in den Medien auf. Im Jahr 2020 kündigte die Avatarify-App Deepfake-Prominenten-Webcam-Funktion an, aber bei einer Qualität, die deutlich niedriger war als der Standard, den DeepFaceLab gesetzt hat, das jetzt das Repository der Wahl für jüngste Schlagzeilen ist, wie z.B. der Tom-Cruise-Deepfaker Chris Ume, sowie hochrangige Film- und Fernsehproduktionsunternehmen auf der ganzen Welt.

DeepFaceLab, die Ursprungsanwendung für DeepFaceLive und das berichtete (russische Sprache) Framework für 95 % aller Deepfakes auf YouTube, ist auch die Software, die von Shamook verwendet wird, dessen außergewöhnliche Arbeit an der Verbesserung von Luke Skywalkers Gastauftritt in The Mandalorian kürzlich Lucasfilm veranlasste, ihn als VFX-Berater einzustellen.

An die Deepfake-Einschränkungen angepasst

Die Methodik von Deepfake-Software wie DeepFaceLab und FaceSwap wird gut von einer typischen Webcam-Umgebung bedient und entfernt viele der Hindernisse für Authentizität, die Offline-Deepfakes immer noch plagen.

Zum Beispiel funktionieren Deepfakes weniger überzeugend, wenn der Benutzer sich zu Profil (oder nach oben) dreht, sich schnell bewegt oder von Szenenwechseln oder plötzlichen Lichtwechseln betroffen ist.

Daher spielt die ‘statische’ Natur eines typischen Zoom-Anrufs oder einer Webcam den Stärken der Software zu. Viele der angesehensten Beispiele für Deepfake-Trickery in den letzten drei Jahren haben Sprecher gezeigt, die direkt in die Kamera blicken und sich sehr wenig in einer eingeschränkten Umgebung bewegen, wie z.B. die Überlagerung von Steve Buscemi auf Jennifer Lawrence bei einer Oscar-Rede und die Transformation von verschiedenen ‘zur Kamera’ gerichteten politischen Übertragungen.

Die wahrscheinlichste Verwendung des standardmäßig in DeepFaceLive enthaltenen Margot-Robbie-Modells – ein Cam-Implementierungstest-Video, das auf dem DeepFaceLab-Discord von dem russischen Benutzer ‘NoFace’ veröffentlicht wurde.

Geändert am 8. August, 20:52 Uhr – Nachname korrigiert.
Geändert am 8. August, 20:30 Uhr – Bilder von Discord hinzugefügt.