Reddit interdit la communauté ‘SFW’ de deepfakes

Le week-end dernier, apparemment dimanche, Reddit a interdit la communauté de deepfakes dite ‘SFW’ (Safe For Work) intitulée r/deepfakesfw. Le subreddit était l’une des premières réponses à la suppression par le géant des médias sociaux de la communauté originale r/deepfakes en 2018, qui était remplie de contenu pornographique créé par intelligence artificielle.

La légende relativement standard qui accueille maintenant (capture d’écran archivée le lundi 13 juin) quiconque visitant le sous-reddit explique qu’il ‘a été interdit en raison d’une violation des règles de Reddit contre la pornographie non consentie’.

La nouvelle page d’accueil pour r/deepfakesfw.

Le sous-reddit r/deepfakesfw n’a pas été fréquemment archivé par les plates-formes de conservation populaires, mais la capture d’écran la plus récente de WayBack Machine, prise il y a environ dix jours (le 3 juin 2022), indique que le sous-reddit comptait 3 095 lecteurs à ce moment-là.

C’est en fait un nombre plus élevé de lecteurs que r/DeepFakesSFW (notez le ‘s’ supplémentaire), qui compte actuellement 2 827 lecteurs (capture d’écran archivée le lundi 13 juin 2022). La communauté de deepfakes ‘SFW’ la plus populaire semble actuellement être r/SFWdeepfakes, qui compte actuellement 16 636 lecteurs (capture d’écran prise le lundi 13 juin 2022).

Ne demandez même pas

Ce qui semble avoir condamné r/deepfakesfw, ce n’est pas la publication, mais la demande de pornographie de deepfakes. Les règles de Reddit sur les médias sexuellement explicites stipulent:

‘[Images] ou vidéo d’une autre personne publiée dans le but de créer du contenu explicite ou de solliciter de la “pornographie de lookalike” (par exemple, “deepfakes” ou “pornographie de bulle”) est également interdite par la règle.’

Sur la base des derniers flux RSS disponibles du sous-reddit SFW interdit, il s’avère que la demande plutôt que la publication de contenu de deepfakes NSFW a finalement déclenché l’interdiction:

Certains des derniers messages clairement NSFW du sous-reddit r/deepfakesfw maintenant mort. Source: Inoreader.

Bien que les messages auxquels ces flux RSS pointent ne soient plus disponibles, en cliquant sur les liens de profil des demandeurs (floutés dans l’image ci-dessus), on constate que de nombreux posteurs demandent du contenu de deepfakes interdit sur plus d’un forum et offrent ou demandent certains des contenus les plus extrêmes de ce type, y compris de la pornographie incestueuse et diverses nuances de thèmes pornographiques non consentis.

Cela suggère que les sous-reddits ‘SFW’ de Reddit survivent grâce à la rapidité, à la diligence et aux temps de réponse rapides de leurs modérateurs, puisque Reddit semble peu disposé à devenir une sorte de forum de petites annonces pour que les gens se connectent et transigent des deepfakes illégitimes via les DM (dans les cas où cela ne peut pas être explicitement demandé dans un message).

Si tel est le cas, alors le sous-reddit r/DeepFakesSFW, qui n’a pas encore été interdit, pourrait vivre sur du temps emprunté; ses deux messages les plus récents actuellement en tête du sous-reddit lors de l’accès à l’URL du sous-reddit avec le thème ‘old’ Reddit activé ont été spécifiquement marqués ‘NSFW’ (un tag qui ne devrait pas même être disponible dans cette communauté).

Selon les circonstances, certains messages qui enfreignent les règles apparaissent actuellement dans le sous-reddit r/DeepFakesSFW. Source: https://www.reddit.com/r/DeepFakesSFW/

Vous pouvez voir ces deux messages NSFW en tête du forum r/DeepFakesSFW archivés ici (capture d’écran prise le lundi 13 juin 2022).

Il n’y a en fait pas de ‘flair’ NSFW disponible lors de la création d’un nouveau message sur r/DeepFakesSFW, qui est opérationnel depuis quatre ans, selon les informations de la barre latérale:

Étiquettes disponibles lors de la publication sur r/DeepFakesSFW.

Aussi, les étiquettes NSFW sur r/DeepFakesSFW semblent avoir été appliquées par les modérateurs du forum ou par des administrateurs de niveau supérieur – ou même des algorithmes, sans intervention ni opposition possible des modérateurs locaux. J’ai contacté le seul modérateur répertorié de r/DeepFakesSFW à ce sujet et je publierai toute mise à jour disponible.

(ÉDITION, mardi 14 juin 2022 – Un modérateur de r/DeepFakesSFW a répondu, déclarant ‘Il semble que cela se produise lorsque le compte de l’utilisateur est NSFW’. Présument que la seule façon de ralentir la probabilité de telles demandes dans les sous-reddits de deepfakes SFW serait d’interdire les utilisateurs qui ont ‘gagné’ cette classification.)

La plupart du contenu de ce sous-reddit, et du plus grand r/SFWdeepfakes, concerne l’utilisation de la technologie de deepfakes pour ‘recaster’ des acteurs de films populaires ou classiques, ou pour s’amuser de manière plus innocente avec les médias populaires et la technologie de deepfakes, et se qualifient effectivement de ‘SFW’.

Même si de nombreux messages de ce type frôlent dangereusement la limite des interdictions liées aux droits d’auteur, la survie continue de messages vidéo de deepfakes non pornographiques ‘appropriés par des IP’ par des créateurs de deepfakes YouTube majeurs tels que Ctrl-Shift-Face suggère une large tolérance des studios et des détenteurs de droits à l’égard d’une telle activité, du moins pour le moment.

L’apparence ‘innocente’ du processus et de l’écosystème de deepfakes

Il y a deux semaines, il a été révélé (et beaucoup discuté) que Google avait soudainement interdit les logiciels de création de deepfakes de son environnement de traitement cloud Colab. Même à ce jour, Colab est apparemment déclenché uniquement par les tentatives d’exécuter DeepFaceLab (DFL), le logiciel de deepfakes le plus populaire au monde (et celui le plus étroitement associé à la pornographie IA), plutôt que des implémentations moins fréquentées telles que FaceSwap, qui a une meilleure réputation, même s’il effectue exactement les mêmes tâches que DFL.

Dans une certaine mesure, cette approche a peut-être été la seule façon pour Colab de mettre en œuvre une quelconque restriction sur la production de pornographie de deepfakes, puisque le processus de formation de deepfakes utilise rien d’autre que des logiciels open source et des images de visage fortement rognées (généralement à seulement 512x512px, souvent moins), avec presque zéro possibilité pour les algorithmes de reconnaissance d’images d’intercepter tout contenu pornographique réel.

Une fois que le modèle de deepfake est formé, le créateur de deepfakes n’a plus besoin de la puissance de traitement considérable de Colab ou d’un GPU local coûteux. La plupart des conversions réelles (c’est-à-dire le processus d’incorporation d’un visage dans une vidéo, pornographique ou non), peuvent être effectuées localement, sur des GPU de laptop à faible puissance – ou même sur un CPU (avec un temps de traitement légèrement plus long). Une fois que quelque chose de pornographique se produit dans le processus de deepfake, Colab est depuis longtemps hors du tableau.

Par conséquent, les éléments constitutifs qui passent entre les créateurs de pornographie de deepfakes représentent rarement plus qu’une infraction mineure aux droits d’auteur, sous la forme de ‘ensembles de visages’ que les créateurs de deepfakes ont extraits de vidéos YouTube, de Blu-ray, d’entretiens télévisés, de médias sociaux et de diverses autres sources.

Une politique de ‘terre brûlée’ est-elle en route pour les communautés de deepfakes?

La question qui hante les habitants des communautés de deepfakes Discord telles que DeepFaceLab (y compris DeepFaceLive), FaceSwap, Machine Video Editor (MVE, un environnement GUI pour DFL, avec de nombreuses fonctionnalités ajoutées), et de nouveaux serveurs Discord audio basés sur des deepfakes tels que Audio Deepfakes est Les propriétaires actuels de portails et de plates-formes interdiront-ils bientôt simplement les communautés de deepfakes par principe, plutôt que de supporter le coût d’une modération constante contre une marée de partisans et de créateurs de contenu NSFW?

Bryan Lyon, l’un des développeurs de FaceSwap et propriétaire du serveur Discord associé, a commenté^†:

‘Nous sommes parvenus à rester sur Discord, malgré plusieurs purges, en restant absolument propres. Nous n’avons pas de canaux cachés ou de deuxième serveur avec du contenu illicite. Il y a eu une purge du serveur DeepFaceLab populaire il y a quelques années. Tout le monde sur ce serveur a été interdit. Ils avaient des rôles d’invitation avec accès à des canaux avec de la pornographie non consentie.’

Étant donné que Google, l’une des plus grandes ressources technologiques au monde, a interdit les formations de deepfakes sur ses serveurs et ses GPU, il est même possible que GitHub, propriété de Microsoft, décide que la facilitation de ces technologies* ne vaudra pas la peine de l’ambiguïté morale ou de l’investissement de surveillance.

À ce stade, le processus de légitimation des technologies de deepfakes afin que leur utilisation se déplace de la pornographie maison vers la production de films et de télévision, et les utilisations non criminelles/non portant atteinte aux droits, est trop naissant pour produire des lignes directrices de politique claires pour les plates-formes et les services d’hébergement de communautés.

* Archive de https://github.com/search?q=deepfake du lundi 13 juin 2022.
† En messages privés sur Discord.

Publié pour la première fois le 13 juin 2022. Édité à 15h08 UTC pour modifier l’image.
Modifié le mardi 14 juin 2022 à 6h24 UTC pour ajouter la réponse du modérateur de Reddit concernant le statut NSFW de certains posteurs. Modification d’image également pour l’illustration des flux RSS.