Echtzeit-Deepfake-Streaming mit DeepFaceLive

Die am häufigsten verwendete Deepfake-Software und diejenige, die am stärksten mit Deepfake-Pornos in Verbindung gebracht wird, erhält eine neue Implementierung – die Fähigkeit, Deepfakes von Prominenten in Echtzeit in Live-Webcam-Footage einzufügen.

Das Open-Source-Repository DeepFaceLive ist eine Windows-10-Anwendung, die auf den Grundlagen von DeepFaceLab aufbaut, das schnell zum führenden Ressourcen für face-swapping in der Pornobranche wurde, nachdem der Ersteller der ursprünglichen Deepfake-Software das Projekt kurz nach dem Beginn der Deepfake-Kontroverse im Jahr 2018 aufgegeben hatte. Beide Projekte listen den Forenbereich der Deepfake-Pornoseite mrdeepfakes als offizielle Support-Ressource.

In einem Video der DeepFaceLive-Oberfläche, das im April von Entwickler Ivan Petrov veröffentlicht wurde, sehen wir heruntergeladene Footage von Miles Fisher, der in Echtzeit in Tom Cruise verwandelt wird. Quelle: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Gestern kündigte der Leiter beider Projekte, der russische Entwickler Ivan Petrov, eine neue Version von DeepFaceLive in der Discord-Gruppe des Projekts an und erwähnte, dass DeepFaceLive jetzt ein trainiertes Modell der Schauspielerin Margot Robbie enthält, die häufig in pornografischen Videos auf mrdeepfakes zu sehen ist.

Vier Beispiel-Video-Clips wurden hochgeladen, um die Fähigkeit von DeepFaceLive zu demonstrieren, die Robbie-Identität auf jeden Sprecher in einem Webcam-Feed zu übertragen.

Eine der Margot-Robbie-Demonstrationen von Live-Deepfaking. Quelle: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Die Robbie-Transformation-Videos wurden ursprünglich auf Twitch geteilt, aber anschließend gelöscht.

Die drei anderen Beispiele für Faceswapping, die von DeepFaceLive bereitgestellt werden. Die Anforderung für eine ungefähre Gesichtsübereinstimmung mit dem Zielsubjekt ist immer noch erkennbar. Im unteren linken Bild sehen wir, dass die Software nicht effektiv Hindernisse maskieren kann, wie es in DeepFaceLab möglich ist, da dies das Training von Masken in der XSeg-Anwendung von DeepFaceLab erfordert, eine Methode, die nicht auf Echtzeit-Faking angewendet werden kann.

Ein zusätzliches Standardmodell, das auf dem britischen Komiker und Schauspieler Rowan Atkinson basiert, soll bald für DeepFaceLive verfügbar sein. Ursprünglich enthielt das DeepFaceLive-Repository eine Kategorie namens CELEB_MODEL, in der es möglich war, andere Prominente, einschließlich Tom Cruise, als Open Neural Network Exchange (.onnx)-Dateien herunterzuladen, obwohl diese Verzeichnisse inzwischen gelöscht wurden.

Tom Cruise war eine integrierte Identität für eine DeepFaceLive-Beta im April 2021, wurde aber anscheinend aus dem Paket entfernt. Das Modell kann jedoch heruntergeladen und installiert werden, zusammen mit trainierten Modellen von vielen anderen Prominenten und benutzerdefinierten Modellen, die von Endbenutzern trainiert wurden.

DeepFaceLive läuft ausschließlich als Windows-10-Anwendung und wird von einem Benutzer als gut mit der Live-Streaming-Anwendung Broadcast von NVIDIA berichtet.

Erwerb von Identitäten

Benutzer müssen nicht durch den mühsamen Prozess der Sammlung von Gesichtsmaterial für ein Dataset gehen, gefolgt von den 3-10 Tagen, die notwendig sind, um eine sehr gute Übereinstimmung zu erzielen, da die FAQ für DeepFaceLive angibt, dass es vorgefertigte “öffentliche Face-Modelle” verwenden kann, die bereits von anderen Erstellern kompiliert wurden. In der Praxis ist die größte Quelle für solche Modelle der Forum-Trained-Models (Archiv-Link) -Thread auf der mrdeepfakes-Pornoseite, der von einem russischen Endbenutzer in einem jüngsten YouTube-Video verwendet wird.

Vladislav Pedro verwendet DeepFaceLive, um sich in Echtzeit in Tom Cruise zu verwandeln. Das Modell, das er im Video lädt, wird auf mrdeepfakes gehostet und wurde bisher für Offline-Deepfake-Verarbeitung verwendet. Quelle: https://www.youtube.com/watch?v=0TcCKtObSnI

Obwohl die besten Ergebnisse durch das Training des Benutzer-Gesichts gegen das Ziel-Promi erzielt werden, scheint die Qualität der Simulation direkt proportional zur Ähnlichkeit zwischen Benutzer und Ziel-Promi zu sein. Wenn der Benutzer relativ gut zum Promi passt, kann ein überzeugendes Ergebnis erzielt werden.

Wie in den letzten drei Margot-Robbie-Swaps in den oben genannten Bildern erkennbar ist, kann die Software keine Wunder wirken, wenn das Gesicht des Benutzers radikal andere allgemeine Merkmale aufweist. Allerdings kann DeepFaceLab auch komplette Kopf-Swaps durchführen, ein Prozess, der den Quellkopf vollständig überschreibt, allerdings mit Einschränkungen in Bezug auf Haarstile. Kommentare auf dem Discord-Server bestätigen, dass diese auch in DeepFaceLive implementiert werden können.

DeepFaceLive unterstützt derzeit nur NVIDIA-Grafikkarten, wobei die GTX 750 die niedrigste Hardware ist, die ein vernünftiges Ergebnis mit der Anwendung erzielen kann. Auf einer Grafikkarte mit 4 GB VRAM erfordert es außerdem 32 GB Swap-Disk-Speicherplatz.

Training des Margot-Robbie-Modells – ein Bild, das auf dem DeepFaceLab/DeepFaceLive-Discord von Ivan Petrov gepostet wurde. Hier sehen wir, dass das Quelldataset extrem vielfältig ist, offensichtlich mit dem Ziel, ein robustes und gut generalisiertes Modell zu erstellen, das eine breite Palette von Gesichtstypen in das Bild der australischen Schauspielerin verwandeln kann. Die meisten “A”-Sätze sind normalerweise von einer einzelnen Person.

Benutzer berichten, dass DeepFaceLive extrem anspruchsvoll in Bezug auf Hardware-Ressourcen ist, aber Petrov hat darauf reagiert, indem er betonte, dass DeepFaceLive für gut ausgestattete PCs in einer Innenumgebung konzipiert ist.

Das DeepFaceLab-GitHub-Repository wurde über 6.000 Mal geforkt, während das neue DeepFaceLive derzeit 85 Forks hat.

Mögliche Anwendungen

Kommentatoren in einem Thread (russische Sprache) auf der russischen Social-Media-Plattform VK.com spekulieren über die möglichen Anwendungen von DeepFaceLive und scheinen alle wahrscheinlichen Anwendungen für die Software erkannt zu haben: als “Anonymisierung” oder als Freizeit-Filter in Zoom und ähnlichen Anwendungen; als Mittel zur Begehung von Betrug oder zur Täuschung der Person, die den Live-Stream beobachtet; und – vielleicht am wahrscheinlichsten, angesichts der Herkunft und der Benutzerbasis der Software – als Mittel zur Implementierung von Promi-fokussierten Webcam-basierten Sexarbeit (siehe Bild am Ende des Artikels).

Die Möglichkeit von “Deepfake-Cam-Girls” tauchte vor ein paar Jahren in den Medien auf. Im Jahr 2020 kündigte die Avatarify-App Deepfake-Promi-Webcam-Funktionen an, jedoch bei einer Qualität, die erheblich niedriger war als der Standard, den DeepFaceLab gesetzt hat, das jetzt das Repository der Wahl für jüngste Schlagzeilen ist, wie z.B. der Tom-Cruise-Deepfaker Chris Ume, sowie hochrangige Film- und Fernsehproduktionsunternehmen auf der ganzen Welt.

DeepFaceLab, die Ausgangsanwendung für DeepFaceLive und das berichtete (russische Sprache) Framework für 95 % aller Deepfakes auf YouTube, ist auch die Software, die von Shamook, dem Deepfaker, dessen außergewöhnliche Arbeit an der Verbesserung von Luke Skywalkers Gastrolle in The Mandalorian kürzlich Lucasfilm zum VFX-Berater machte.

An die Deepfake-Einschränkungen angepasst

Die Methodik von Deepfake-Software wie DeepFaceLab und FaceSwap wird durch eine typische Webcam-Umgebung gut unterstützt und entfernt viele der Hindernisse für Authentizität, die off-line-Deepfakes noch plagt.

Beispielsweise funktionieren Deepfakes weniger überzeugend, wenn der Benutzer sich zu Profil (oder nach oben) dreht, sich schnell bewegt oder einer Szeneänderung oder plötzlichen Lichtänderung unterworfen ist.

Daher spielt die “statische” Natur eines typischen Zoom-Anrufs oder einer Webcam den Stärken der Software zu. Viele der angesehensten Beispiele für Deepfake-Tricks der letzten drei Jahre haben Sprecher gezeigt, die der Kamera direkt gegenüberstanden und sich in einer eingeschränkten Umgebung sehr wenig bewegten, wie z.B. die Überlagerung von Steve Buscemi auf Jennifer Lawrence bei einer Oscar-Rede und die Transformation von verschiedenen “zur Kamera” gerichteten politischen Sendungen.

Die wahrscheinlichste Verwendung des standardmäßig in DeepFaceLive enthaltenen Margot-Robbie-Modells – ein Cam-Implementierungstest-Video, das auf dem DeepFaceLab-Discord von dem russischen Benutzer ‘NoFace’ veröffentlicht wurde.

Geändert am 8. August, 20:52 Uhr – Nachname korrigiert.
Geändert am 8. August, 20:30 Uhr – Bilder von Discord hinzugefügt.