Reddit interdit la communauté ‘SFW’ de deepfakes

Au cours du week-end, apparemment autour du dimanche, Reddit a interdit la communauté de deepfakes nominalement ‘SFW’ (Safe For Work) intitulée r/deepfakesfw. Le subreddit était l’une des premières réponses à la suppression par le géant des médias sociaux de la communauté originale r/deepfakes en 2018, qui était remplie de contenu pornographique basé sur l’IA.

La légende relativement standard qui accueille maintenant (capture d’archive prise le lundi 13 juin) quiconque visitant le sous-reddit explique qu’il ‘a été interdit en raison d’une violation des règles de Reddit contre la pornographie involontaire’.

La nouvelle page d’accueil pour r/deepfakesfw.

Le sous-reddit r/deepfakesfw n’a pas été archivé fréquemment par les plates-formes de conservation populaires, mais la capture la plus récente de WayBack Machine, prise il y a environ dix jours (le 3 juin 2022), indique que le sous-reddit comptait 3 095 lecteurs à ce moment-là.

C’est en fait un plus grand nombre d’abonnés que r/DeepFakesSFW (notez le ‘s’ supplémentaire), qui compte actuellement 2 827 lecteurs (capture d’archive prise le lundi 13 juin 2022). La communauté de deepfakes SFW la plus populaire semble actuellement être r/SFWdeepfakes, qui compte 16 636 lecteurs (capture prise le lundi 13 juin 2022).

Ne demandez même pas

Ce qui semble avoir condamné r/deepfakesfw, ce n’est pas la publication, mais la demande de pornographie de deepfakes. Les règles de Reddit sur les médias sexuellement explicites indiquent :

‘[Les images] ou la vidéo d’une autre personne publiées dans le but de fabriquer du contenu explicite ou de solliciter de la “pornographie de lookalike” (par exemple, “deepfakes” ou “bubble porn”) est également contraire à la règle.’

Sur la base des derniers flux RSS disponibles du sous-reddit SFW interdit, c’est la demande plutôt que la publication de contenu de deepfakes NSFW qui a finalement déclenché l’interdiction :

Certains des derniers messages clairement NSFW du sous-reddit r/deepfakesfw maintenant mort. Source : Inoreader.

Bien que les messages auxquels ces flux RSS font référence ne soient plus disponibles, en cliquant sur les liens de profil des demandeurs (floutés sur l’image ci-dessus), on constate que de nombreux posteurs demandent du contenu de deepfakes interdit sur plus d’un forum et proposent ou demandent certains des contenus les plus extrêmes de ce type, y compris de la pornographie incestueuse et diverses nuances de thèmes pornographiques involontaires.

Cela suggère que les sous-reddits SFW restants survivent grâce à la rapidité, à la diligence et aux temps de réponse rapides de leurs modérateurs, puisque Reddit semble peu disposé à devenir une sorte de forum de petites annonces pour que les gens se connectent et échangent des deepfakes illégitimes via les DM (dans les cas où cela ne peut pas être explicitement demandé dans un message).

Si tel est le cas, alors le sous-reddit r/DeepFakesSFW, qui n’est pas encore interdit, pourrait vivre sur du temps emprunté ; ses deux messages les plus populaires actuels, lorsqu’on entre l’URL du sous-reddit avec le thème ‘old’ Reddit activé, ont été spécifiquement marqués ‘NSFW’ (un tag qui ne devrait pas même être disponible dans cette communauté).

Selon les circonstances, certains messages qui enfreignent les règles apparaissent actuellement dans le sous-reddit r/DeepFakesSFW. Source : https://www.reddit.com/r/DeepFakesSFW/

Vous pouvez voir ces deux messages NSFW en tête du forum r/DeepFakesSFW archivé ici (capture prise le lundi 13 juin 2022).

Il n’y a pas de ‘flair’ NSFW disponible lors de la création d’un nouveau message sur r/DeepFakesSFW, qui est opérationnel depuis quatre ans, selon les informations de la barre latérale :

Balises disponibles lors de la publication sur r/DeepFakesSFW.

Par conséquent, les balises NSFW sur r/DeepFakesSFW semblent avoir été appliquées par les modérateurs du forum ou par des administrateurs de niveau supérieur – ou même des algorithmes, possiblement sans aucune intervention ou opposition des modérateurs locaux. J’ai contacté le seul modérateur répertorié de r/DeepFakesSFW à ce sujet et je publierai toutes les mises à jour disponibles.

(ÉDITION, mardi 14 juin 2022 – Un modérateur de r/DeepFakesSFW a répondu, déclarant ‘Il semble que cela se produise lorsque le compte de l’utilisateur est NSFW’. On peut donc supposer que la seule façon de ralentir la probabilité de telles demandes dans les sous-reddits de deepfakes SFW serait d’interdire les utilisateurs qui ont ‘gagné’ cette classification.)

La plupart du contenu de ce sous-reddit, et du plus grand r/SFWdeepfakes, est consacré à l’utilisation de la technologie de deepfakes pour ‘recaster’ des acteurs de films ou de séries télévisées populaires ou classiques, ou pour s’amuser de manière plus innocente avec les médias populaires et la technologie de deepfakes, et se qualifient en effet de ‘SFW’.

Même si de nombreux messages de ce type frôlent dangereusement les interdictions liées aux droits d’auteur, la survie continue de messages vidéo de deepfakes non pornographiques ‘appropriés en termes de propriété intellectuelle’ par des créateurs de deepfakes YouTube importants tels que Ctrl-Shift-Face suggère une large tolérance des studios et des détenteurs de droits à l’égard d’une telle activité, du moins pour le moment.

L’apparence ‘innocente’ du processus et de l’écosystème de deepfakes

Il y a deux semaines, il a été révélé (et beaucoup discuté) que Google avait soudainement interdit les logiciels de création de deepfakes de ses environnements de traitement cloud Colab. Même à ce jour, Colab est apparemment déclenché uniquement par les tentatives d’exécuter DeepFaceLab (DFL), le logiciel de deepfakes le plus populaire au monde (et celui le plus étroitement associé à la pornographie IA), plutôt que des implémentations moins fréquentées telles que FaceSwap, qui a une meilleure réputation, même s’il effectue exactement les mêmes tâches que DFL.

Dans une certaine mesure, cette approche peut avoir été la seule façon pour Colab de mettre en œuvre une quelconque restriction sur la production de pornographie de deepfakes, puisque le processus réel de formation de deepfakes utilise rien d’autre que des logiciels open source et des images de visage fortement rognées (généralement à une résolution de 512x512px, souvent moins), avec presque aucune possibilité pour les algorithmes de reconnaissance d’images d’intercepter tout contenu pornographique réel.

Une fois le modèle de deepfake formé, le créateur de deepfakes n’a plus besoin de la puissance de traitement considérable de Colab ou d’un GPU local coûteux. La plupart des conversions réelles (c’est-à-dire le processus d’incorporation d’un visage dans une vidéo, pornographique ou non), peuvent être effectuées localement, sur des GPU de laptop à faible puissance – ou même sur un CPU (avec un temps de traitement légèrement plus long). Lorsque quelque chose de pornographique se produit dans le processus de deepfake, Colab a depuis longtemps été éliminé de l’image.

Par conséquent, les éléments constitutifs qui passent entre les créateurs de pornographie de deepfakes représentent rarement plus qu’une infraction mineure aux droits d’auteur, sous la forme de ‘ensembles de visages’ que les créateurs de deepfakes ont extraits de vidéos YouTube, de Blu-ray, d’entretiens télévisés, de médias sociaux et de diverses autres sources.

Une politique de ‘terre brûlée’ pour les communautés de deepfakes ?

La question qui hante les habitants des communautés de deepfakes Discord telles que DeepFaceLab (y compris DeepFaceLive), FaceSwap, Machine Video Editor (MVE, un environnement GUI pour DFL, avec de nombreuses fonctionnalités ajoutées), et de nouveaux serveurs Discord audio basés sur des deepfakes tels que Audio Deepfakes est Les propriétaires actuels de portails et de plates-formes interdiront-ils bientôt les communautés de deepfakes sur principe, plutôt que de supporter le coût d’une modération constante contre une marée de partisans et de créateurs de contenu NSFW ?

Bryan Lyon, l’un des développeurs de FaceSwap et propriétaire du serveur Discord associé, a commenté^† :

‘Nous sommes parvenus à rester sur Discord, malgré plusieurs purges, en restant absolument propres. Nous n’avons pas de canaux cachés ou de serveur secret avec du contenu illicite. Il y a eu une purge du serveur DeepFaceLab populaire il y a quelques années. Tout le monde sur ce serveur a été interdit. Ils avaient des rôles d’invitation avec accès à des canaux contenant de la pornographie non consensuelle.’

Étant donné que Google, l’une des plus grandes ressources technologiques d’hébergement au monde, a interdit l’entraînement de deepfakes sur ses serveurs et GPU, il est même possible que GitHub, propriété de Microsoft, décide que faciliter ces technologies* ne vaudra finalement pas la peine de l’ambiguïté morale ou de l’investissement de surveillance.

À ce stade, le processus de légitimation des technologies de deepfakes afin que leur utilisation se déplace de la pornographie faite maison vers la production de films et de télévision, et les utilisations non contraignantes/criminelles, est trop naissant pour produire des lignes directrices de politique claires pour les plates-formes et les services d’hébergement de communautés.

* Archive de https://github.com/search?q=deepfake du lundi 13 juin 2022.
† Dans des DM privés sur Discord.

Publié pour la première fois le 13 juin 2022. Édité à 15h08 UTC pour une modification d’image.
Modifié le mardi 14 juin 2022 à 6h24 UTC, pour ajouter la réponse du modérateur de Reddit concernant le statut NSFW de certains posteurs. Modification d’image sur l’illustration des flux RSS également.