Diffusion de deepfakes en temps réel avec DeepFaceLive

Le logiciel de deepfake le plus utilisé au monde, et celui qui est le plus fortement associé aux deepfakes pornographiques, obtient une nouvelle implémentation – la capacité de superposer des deepfakes de ressemblance de célébrité dans des séquences de webcam en direct.

Le référentiel open source DeepFaceLive est une application Windows 10 construite sur les fondations de DeepFaceLab, qui est devenu rapidement la principale ressource pour le face-swapping basé sur la pornographie après que le créateur du logiciel de deepfake original ait abandonné le projet peu après que la création de deepfakes ait suscité une controverse mondiale en 2018. Les deux projets listent la section du forum du site de deepfakes pornographiques mrdeepfakes comme une ressource de support officielle.

Dans une vidéo de l’interface de DeepFaceLive publiée par le développeur Ivan Petrov en avril, nous voyons des séquences téléchargées de l’imitateur Miles Fisher se transformant en Tom Cruise en temps réel. Source: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Hier, le responsable de ces deux projets, le développeur russe Ivan Petrov, a annoncé une nouvelle version de DeepFaceLive sur le groupe Discord du projet, notant que DeepFaceLive intègre désormais un modèle formé de l’actrice Margot Robbie, une cible fréquente de vidéos pornographiques sur mrdeepfakes.

Quatre clips vidéo d’exemple ont été téléchargés pour démontrer la capacité de DeepFaceLive à attacher l’identité de Robbie à tout locuteur dans un flux de webcam.

Une des démonstrations de Margot Robbie de deepfaking en temps réel. Source: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Les vidéos de transformation de Robbie ont été partagées à l’origine sur Twitch, mais ont été supprimées par la suite.

Les trois autres exemples de faceswapping fournis par DeepFaceLive. L’exigence d’une correspondance de visage approximative avec le sujet cible est toujours en évidence. Dans l’image du bas à gauche, nous voyons que le logiciel ne peut pas masquer efficacement les obstacles, comme cela peut être réalisé dans DeepFaceLab, puisque cela nécessite la formation de masques dans l’application XSeg de DeepFaceLab, une méthode qui ne peut pas être appliquée au deepfaking en temps réel.

Un modèle par défaut supplémentaire, de l’acteur et comédien britannique Rowan Atkinson, devrait être disponible pour DeepFaceLive bientôt. À l’origine, le référentiel DeepFaceLive présentait une catégorie CELEB_MODEL, où il était possible de télécharger d’autres célébrités, y compris Tom Cruise, sous forme de fichiers Open Neural Network Exchange (.onnx), bien que ces répertoires aient été supprimés depuis.

Tom Cruise était une identité incorporée dans une version bêta de DeepFaceLive en avril 2021, mais a depuis été apparemment supprimé en tant que modèle par défaut dans le package. Cependant, le modèle peut être téléchargé et installé, ainsi que des modèles formés à partir de nombreuses autres célébrités, et des modèles personnalisés formés par les utilisateurs finals.

DeepFaceLive fonctionne exclusivement en tant qu’application Windows 10 et est signalé par un utilisateur pour fonctionner bien avec l’application de diffusion en direct Broadcast de NVIDIA.

Obtention des identités

Les utilisateurs n’ont pas besoin de passer par le processus fastidieux de collecte de matériel facial pour un ensemble de données, suivi des 3-10 jours nécessaires pour obtenir une correspondance très bonne, puisque la FAQ de DeepFaceLive indique qu’il peut utiliser des modèles de visage publics “prêts à l’emploi” qui ont déjà été compilés par d’autres créateurs. En effet, la plus grande source de tels modèles est le Forum-Trained Models (lien d’archive) sur le site de deepfakes pornographiques mrdeepfakes, qui peut être vu en utilisation par un utilisateur final russe dans une vidéo YouTube récente.

Vladislav Pedro utilisant DeepFaceLive pour se transformer en Tom Cruise en temps réel. Le modèle qu’il charge dans la vidéo est hébergé sur mrdeepfakes et a été utilisé jusqu’à présent pour le traitement de deepfakes hors ligne. Source: https://www.youtube.com/watch?v=0TcCKtObSnI

Bien que les meilleurs résultats soient obtenus en formant le visage de l’utilisateur final contre celui de la célébrité cible, la qualité de la simulation semble être directement proportionnelle à la ressemblance entre l’utilisateur final et la célébrité.

Comme on peut le voir dans les trois derniers échanges de Margot Robbie dans les images ci-dessus, le logiciel ne peut pas réaliser de miracles lorsque le visage de l’utilisateur final a des caractéristiques générales radicalement différentes. Cependant, DeepFaceLab peut également réaliser des échanges de tête complets, un processus qui supprime complètement la tête source, bien qu’avec des limitations en ce qui concerne les coiffures. Les commentaires sur le serveur Discord confirment que ceux-ci peuvent également être mis en œuvre dans DeepFaceLive.

DeepFaceLive prend actuellement en charge uniquement les GPU NVIDIA, avec le GTX 750 comme matériel le plus bas qui peut obtenir un résultat raisonnable avec l’application. Sur une carte graphique avec 4 Go de VRAM, il nécessite également 32 Go d’espace de disque de swap.

Formation du modèle Margot Robbie – une image publiée sur le Discord de DeepFaceLab/DeepFaceLive par Ivan Petrov. Ici, nous voyons que l’ensemble de données source est extrêmement diversifié, apparemment avec l’intention de créer un modèle robuste et bien généralisé qui peut transformer une large gamme de types de visage en l’image de l’actrice australienne. La plupart des ensembles “A” sont généralement d’un seul individu.

Les utilisateurs signalent que DeepFaceLive est extrêmement exigeant en termes de ressources matérielles, mais Petrov a répondu à cela en affirmant que DeepFaceLive est destiné à des PC bien équipés dans un environnement intérieur.

Le référentiel DeepFaceLab GitHub a été forké plus de 6 000 fois, tandis que le nouveau DeepFaceLive compte actuellement 85 forks.

Utilisations possibles

Les commentateurs dans un fil (langue russe) sur le site social russe VK.com spéculent sur les utilisations possibles de DeepFaceLive, et semblent avoir discerné toutes les applications possibles pour le logiciel : en tant que filtre d’anonymisation ou de divertissement dans les applications telles que Zoom ; en tant que moyen de commettre des fraudes ou de tromper la personne qui regarde le flux en direct ; et – peut-être le plus probable, compte tenu de l’origine et de la base d’utilisateurs du logiciel – en tant que moyen de mettre en œuvre des travaux de webcam basés sur les célébrités (voir image à la fin de l’article).

La possibilité de “deepfake cam girls” est apparue dans les médias il y a quelques années. En 2020, l’application Avatarify a annoncé la fonctionnalité de deepfake de célébrité en webcam, mais à une qualité nettement inférieure à la norme établie par DeepFaceLab, qui est maintenant le référentiel de choix pour les deepfakes récents qui ont fait les gros titres, tels que Chris Ume, ainsi que des sociétés de production de films et de télévision de haut niveau dans le monde entier.

DeepFaceLab, l’application source de DeepFaceLive et le cadre rapporté (langue russe) de 95 % de tous les deepfakes sur YouTube, est également le logiciel utilisé par Shamook, le deepfaker dont le travail extraordinaire sur l’amélioration de l’apparition de Luke Skywalker dans The Mandalorian a récemment inspiré Lucasfilm à l’embaucher en tant que consultant VFX.

Adapté aux limitations des deepfakes

La méthodologie des logiciels de deepfake tels que DeepFaceLab et FaceSwap est bien servie par un environnement de webcam typique, et supprime de nombreux obstacles à l’authenticité qui peuvent encore affliger les deepfakes hors ligne.

Par exemple, les deepfakes fonctionnent moins convaincants lorsque l’utilisateur se tourne de profil (ou regarde vers le haut), se déplace rapidement ou est soumis à des changements de scène ou à des changements soudains d’éclairage.

Par conséquent, la nature “statique” d’un appel Zoom ou d’une webcam typique joue sur les forces du logiciel. Beaucoup des exemples les plus révérés de tromperie de deepfake au cours des trois dernières années ont présenté des orateurs face à la caméra directement et se déplaçant très peu dans un environnement contraint, tel que la superposition de Steve Buscemi sur Jennifer Lawrence à un discours aux Oscars, et la transformation de diverses émissions politiques “à la caméra”.

Arguablement l’utilisation la plus probable du modèle Margot Robbie par défaut inclus dans DeepFaceLive – une vidéo de test d’implémentation de cam publiée sur le Discord de DeepFaceLab par l’utilisateur russe ‘NoFace’.

Modifié le 8 août à 20h52 – Nom de famille corrigé.
Modifié le 8 août à 20h30 – Ajout d’images du Discord.