Streaming DeepFake en temps réel avec DeepFaceLive

Le logiciel deepfake le plus utilisé au monde, et celui le plus fortement associé au porno deepfake, bénéficie d'une nouvelle implémentation : la possibilité de superposer des deepfakes à l'effigie d'une célébrité dans des séquences de webcam en direct.

Le référentiel open source DeepFaceLive est une application Windows 10 construite sur les fondations de Laboratoire DeepFace, qui est rapidement devenu la principale ressource pour l'échange de visage basé sur la pornographie après que le créateur du logiciel original de deepfake a abandonné le projet peu de temps après l'avènement du deepfaking créé une controverse mondiale en 2018. Les deux projets liste la section forum du site porno deepfake mrdeepfakes en tant que ressource d'assistance officielle.

Dans une vidéo de l'interface DeepFaceLive publiée par le développeur Ivan Petrov en avril, nous voyons des images téléchargées de l'imitateur Miles Fisher se transformer en Tom Cruise en temps réel. Source : https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Hier, le chef de file des deux projets, développeur russe Ivan Petrov, annoncé une nouvelle version de DeepFaceLive sur le groupe Discord du projet, notant que DeepFaceLive intègre désormais un modèle entraîné de l'actrice Margot Robbie, un sujet fréquent de vidéos pornographiques sur mrdeepfakes.

Quatre exemples de clips vidéo ont été téléchargés pour démontrer la capacité de DeepFaceLive à associer l'identité de Robbie à n'importe quel intervenant dans un flux de webcam.

L'une des démonstrations de Margot Robbie de deepfaking en direct. Source : https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Les vidéos de transformation de Robbie ont été initialement partagées sur Twitch, mais supprimées par la suite.

Les trois autres exemples de faceswapping fournis par DeepFaceLive. L'exigence d'une correspondance approximative du visage avec le sujet cible est toujours en évidence. Dans l'image en bas à gauche, nous voyons que le logiciel ne peut pas masquer efficacement les obstructions, comme cela peut être réalisé dans DeepFaceLab, car cela nécessite des masques de formation dans le Application XSeg de DeepFaceLab, une méthode qui ne peut pas être appliquée à la falsification en temps réel.

Un modèle par défaut supplémentaire, du comédien et acteur britannique Rowan Atkinson, devrait être bientôt disponible pour DeepFaceLive. À l'origine, le référentiel DeepFaceLive comportait une catégorie CELEB_MODEL, où il était possible de télécharger d'autres célébrités, dont Tom Cruise, en tant qu'Open Neural Network Exchange (.onnx), bien que ces répertoires aient depuis été supprimés.

Tom Cruise était une identité incorporée pour une version bêta de DeepFaceLive en avril 2021, mais a depuis apparemment été supprimée par défaut dans le package. Cependant, le modèle peut être téléchargé et installé, ainsi que des modèles formés de nombreuses autres célébrités et des modèles personnalisés formés par les utilisateurs finaux.

DeepFaceLive fonctionne exclusivement comme une application Windows 10 et est rapporté par un utilisateur pour bien fonctionner avec le streaming en direct de NVIDIA Diffusez .

Obtention d'identités

Les utilisateurs n'ont pas besoin de passer par le processus fastidieux de collecte de données faciales pour un ensemble de données, suivi des 3 à 10 jours nécessaires à l'obtention d'une correspondance optimale, puisque la FAQ de DeepFaceLive indique qu'il peut utiliser des « modèles de visages publics » prêts à l'emploi, déjà compilés par d'autres créateurs. En effet, la principale source de ces modèles est le Modèles formés au forum (lien d'archive) fil sur le site porno mrdeepfakes, qui peut être vu en cours d'utilisation par un utilisateur final russe dans un vidéo YouTube récente.

Vladislav Pedro utilise DeepFaceLive pour se transformer en Tom Cruise en temps réel. Le modèle qu'il charge dans la vidéo est hébergé chez mrdeepfakes et a été utilisé jusqu'à présent pour le traitement deepfake hors ligne. Source : https://www.youtube.com/watch?v=0TcCKtObSnI

Bien que les meilleurs résultats soient obtenus en comparant le visage de l'utilisateur final à celui de la célébrité cible, la qualité de la simulation semble être directement proportionnelle à la ressemblance entre l'utilisateur final et la cible. Lorsque l'utilisateur est relativement bien adapté à la célébrité, un résultat convaincant peut être obtenu.

Comme le montrent les trois derniers échanges de Margot Robbie dans les images ci-dessus, le logiciel ne peut pas faire de miracles lorsque le visage de l'utilisateur final présente des caractéristiques générales radicalement différentes. Cependant, DeepFaceLab peut également le faire. effectuer des échanges de tête entiers, un processus qui écrase complètement la tête source, mais avec des limitations en ce qui concerne les coiffures. Les commentaires sur le serveur Discord confirment que ceux-ci peuvent également être implémentés dans DeepFaceLive.

DeepFaceLive ne prend actuellement en charge que les GPU NVIDIA, la GTX 750 étant le matériel le plus bas pouvant obtenir un résultat raisonnable avec l'application. Sur une carte graphique avec 4 Go de VRAM, il faut également 32 Go d'espace disque d'échange.

Entraînement du modèle Margot Robbie – une image posté sur le Discord DeepFaceLab/DeepFaceLive par Ivan Petrov. On constate ici que l'ensemble de données source est extrêmement diversifié, apparemment dans le but de créer un modèle robuste et généralisable capable de transformer une grande variété de types de visages pour obtenir l'image de l'actrice australienne. La plupart des ensembles « A » concernent généralement un seul individu.

Les utilisateurs rapportent que DeepFaceLive est extrêmement exigeant en termes de ressources matérielles, mais Petrov a répondu à cela en affirmant que DeepFaceLive est destiné aux PC bien spécifiés dans un environnement intérieur.

Le DeepFaceLab GitHub a été à bifurcation plus de 6,000 85 fois, tandis que le nouveau DeepFaceLive compte actuellement XNUMX fourches.

Utilisations possibles

Les commentateurs dans un fil (en russe) sur le site social russe VK.com spéculent sur les utilisations possibles de DeepFaceLive et semblent avoir discerné toutes les applications probables du logiciel : comme un filtre « d'anonymisation » ou récréatif dans Zoom et des applications similaires ; comme un moyen de commettre une fraude ou de tromper la personne qui regarde le flux en direct ; et - peut-être plus probablement, à la lumière de la provenance et de la base d'utilisateurs du logiciel - comme un moyen de mettre en œuvre un travail du sexe basé sur la webcam axé sur les célébrités (voir l'image à la fin de l'article).

La possibilité de « deepfake cam girls » émergé dans les médias il y a quelques années. En 2020 l'application Avatarify annoncé fonctionnalité de webcam de célébrités deepfake, mais à une qualité significativement baisser que la norme établie par DeepFaceLab, qui est maintenant le dépôt de choix pour les récents faire la une Tom Cruise deepfaker Chris Ume, ainsi que des sociétés de production cinématographique et télévisuelle de haut niveau dans le monde entier.

DeepFaceLab, l'application de départ pour DeepFaceLive et le rapporté (en russe) cadre pour 95 % de tous les deepfakes sur YouTube, est également le logiciel utilisé par Shamook, le deepfaker dont l'extraordinaire travail l'amélioration de l'apparence de Luke Skywalker dans The Mandalorian a récemment inspiré Lucasfilm pour l'embaucher en tant que consultant VFX.

Adapté aux limitations de Deepfake

La méthodologie des logiciels deepfake tels que DeepFaceLab et Échange de visage est bien desservi par un environnement de webcam typique et supprime de nombreux obstacles à l'authenticité qui peuvent encore nuire aux deepfakes hors ligne.

Par exemple, les deepfakes fonctionnent de manière moins convaincante lorsque l'utilisateur se tourne vers le profil (ou lève les yeux), se déplace rapidement ou est soumis à des changements de scène ou à des changements soudains d'éclairage.

Par conséquent, le caractère « statique » d'un appel Zoom classique ou d'une webcam renforce les atouts du logiciel. Nombre des exemples les plus célèbres de deepfakes de ces trois dernières années ont montré des intervenants faisant face à la caméra et bougeant très peu dans un environnement contraint, comme l'imposition de Steve Buscemi à Jennifer Lawrence. lors d'un discours aux Oscars, et la transformation de diverses émissions politiques « à la caméra ».

Sans doute l'utilisation la plus probable du modèle Margot Robbie par défaut inclus dans DeepFaceLive - une vidéo de test d'implémentation de caméra publié sur le Discord DeepFaceLab par l'utilisateur russe « NoFace ».

Modifié à 8h52 le 7 août - Nom de famille corrigé.
Modifié à 8h30 le 8 août - ajout d'images de Discord.