CivitAI resserre les règles des deepfakes sous la pression de Mastercard et Visa

CivitAI, possiblement le référentiel de modèles d’IA le plus populaire sur Internet, a finalement cédé à la pression des facilitateurs de paiement MasterCard et Visa pour réviser radicalement ses politiques sur le contenu NSFW – et en particulier ses conditions d’utilisation concernant les LoRAs de célébrités, l’un des flux de contenu les plus populaires soumis par les utilisateurs du site, qui permettent aux gens d’utiliser des modèles adjacents téléchargeables gratuitement tels que LoRAs pour créer des représentations d’IA (y compris représentations vidéo) de personnes bien connues.

Cliquez pour jouer. Bien que Civit ne fournisse pas de chiffres exacts (et que les erreurs d’étiquetage ou de catégorisation ne sont pas inhabituelles, ce qui fausserait probablement les chiffres), le nombre de modèles d’IA de célébrités, principalement des LoRAs, est clairement dans les centaines ou même les milliers, et clairement dominé par des sujets féminins. Source : civitai.com

Il est clair que Civit opère sous pression dans une diffusion en direct Twitch** au nom de l’entreprise, le responsable des relations avec la communauté d’entreprise, Alasdair Nicoll, lui-même un créateur de modèles (SFW) sur Civit, a admis que les changements ont été imposés au site par les préoccupations de leurs processeurs de paiement concernant le contenu pour adultes et la représentation de personnes réelles. Il admet également que les principales forces derrière ces processeurs, Visa et MasterCard, sont susceptibles d’exiger encore plus de changements plus tard :

‘Ce ne sont pas des changements que nous voulions apporter. Cela se résume à de nouvelles lois et à des lois impendantes. Il y a des lois sur les deepfakes, il y a des lois sur la pornographie IA… les processeurs de paiement, et en fin de compte Visa et MasterCard sont effrayés ; ils ne veulent pas être poursuivis, et ils sont en fin de compte à l’origine de ces changements.

‘Certaines des autres options qui nous ont été proposées étaient de supprimer tout le contenu non adapté aux mineurs ; de supprimer le contenu X et triple-X de CivitAI et de le mettre sur une plate-forme complètement nouvelle, puis de bloquer géographiquement cette plate-forme, car plus de la moitié des États américains exigent une certaine forme de blocage géographique de la pornographie, [ainsi que] de nombreux pays asiatiques et le Royaume-Uni…

‘La troisième option était de passer à une monnaie numérique, des paiements numériques uniquement… il n’y avait donc littéralement pas d’option viable pour cela.’

Le domaine Civit a été temporairement hors service pour des révisions au cours des derniers jours, apparemment pour mettre en œuvre les changements. Bien que le site ait déjà interdit l’utilisation de thèmes NSFW dans les représentations de célébrités LoRA/modèle, il est maintenant impossible de parcourir la section des modèles de Civit et de voir les aperçus de célébrités LoRA côte à côte avec le très grand nombre de modèles génériques NSFW conçus pour produire du contenu pour adultes.

L’annonce officielle indique :

‘Le contenu étiqueté avec des noms de personnes réelles (comme “Tom Cruise”) ou signalé comme des ressources POI (personnes réelles) sera caché des flux.’

Lors de la session Twitch, Nicoll a révélé davantage de détails sur les mesures conçues pour protéger les célébrités et les personnes réelles. Civit a toujours permis aux personnes réelles de demander que le modèle d’IA hébergé par Civit les représentant soit supprimé, mais maintenant Nicoll fait allusion à un système qui peut empêcher que de telles images ne soient réuploadées après une réjection initiale, avec la possibilité d’identifier une ‘personne protégée’ même dans des images que le système n’a jamais vues auparavant.

À cette fin, le site est maintenant en partenariat avec le système de modération d’IA Clavata – bien que l’étendue de la mesure dans laquelle Clavata alimente ces nouvelles installations ne soit pas encore claire.

Nicoll a déclaré :

‘Tom Hanks a réclamé sa ressemblance à nous, par exemple. Beaucoup d’actrices pour adultes l’ont fait ; beaucoup d’acteurs et d’actrices de renom l’ont fait…

‘Je pense que la première à avoir réclamé sa ressemblance était Barbara Eden, son héritage* – elle a été l’une des premières à réclamer sa ressemblance, ce qui est plutôt drôle, car elle est âgée.’

Protégé par défaut ?

Au cours des deux dernières années, la société d’effets visuels d’IA Metaphysic (divulgation complète : j’ai travaillé pour Metaphysic.ai de début 2022 à fin 2024) a tenté de créer un système propriétaire qui permettrait à quiconque de s’inscrire pour sa propre ressemblance, principalement destiné aux noms d’Hollywood inquiets pour la piraterie de leur identité basée sur l’IA, avec le soutien d’acteurs tels que Anne Hathaway, Octavia Spencer et Tom Hanks (avec qui la société a travaillé sur la sortie de Robert Zemeckis Here [2024]).

Logiquement, l’utilité du système dépendrait toujours de la législation future ; sur la base des mesures que Civit est maintenant contraint de prendre, le service basé sur abonnement^† proposé par Metaphysic pourrait être redondant face à la croissance rapide des lois sur les deepfakes, et à la couverture potentielle (gratuite) en vertu de la loi commune. Il n’est pas actuellement connu si l’offre Metaphysic Pro sera transférée à la société d’effets visuels Double Negative, qui a acquis les actifs de Metaphysic l’année dernière.

Quoi qu’il en soit, il semble de plus en plus que la législation mondiale et les pressions du marché sont plus susceptibles de fournir des protections et des recours, plutôt que des solutions commerciales de ce type.

Faire bouillir la grenouille

Un rapport de 2023 de 404 Media a attiré l’attention sur la propension des modèles d’IA de célébrités et de pornographie sur Civit, bien que le fondateur de Civit, Justin Maier, a minimisé la relation entre les ressemblances de célébrités contribuées par les utilisateurs et leur utilisation dans la génération de contenu pornographique.

Bien que Civit gagne de l’argent en facilitant l’utilisation sur site des LoRAs et d’autres modèles fournis par les utilisateurs, Nicoll est clair que ce n’est pas la principale préoccupation qui motive Visa et MasterCard à stipuler des changements sur le site, afin qu’il puisse continuer à être monétisé :

‘Certaines personnes disent que la raison pour laquelle nous sommes dans ce pétrin est que nous autorisons la génération. Ce n’est pas le cas. L’hébergement de ces modèles, l’hébergement de ce contenu, suffit à attirer l’œil de Sauron.’

Les threads de commentaires de la communauté se sont émerveillés ces dernières années que Civit ait été autorisé à héberger des ressemblances de célébrités. Conscient de la possibilité, peut-être de l’inévitabilité d’une répression, un certain nombre d’initiatives pour préserver les LoRAs soit supprimées par Civit, soit par leurs uploaders, ont été proposées ou mises en œuvre, notamment le (jusqu’à présent) rather négligé subreddit r/CivitaiArchives.

Bien que de nombreuses personnes aient suggéré qu’une initiative basée sur les torrents est la solution naturelle, aucun domaine bien suivi ne semble encore avoir émergé – et dans tous les cas, cela semblerait certain de déplacer l’activité interdite à Civit et ailleurs vers les marges les plus extrêmes d’Internet ; aux jardins clos ; et, le plus probablement, au dark net, puisque la plupart des cadres qui pourraient accueillir des LoRAs de ressemblance interdits (tels que Reddit et Discord) interdisent déjà un tel contenu ou semblent certain de l’interdire imminemment.

Actuellement, les LoRAs de célébrités peuvent encore être vus avec certaines restrictions à Civit, bien que la plupart du contenu généré ait été déréférencé et sera exclu de la découverte occasionnelle. Ce qui semble probable, un commentateur a suggéré à Nicoll lors de la session Twitch, est que la répression s’approfondira (présumément jusqu’au point d’interdire toutes les ressemblances de personnes réelles dans les modèles ou les représentations téléchargées).

Nicoll a répondu :

‘”Ils ne s’arrêteront pas là, ils continueront à exiger davantage et davantage” – absolument ! Oui, absolument. C’est juste le monde dans lequel nous vivons. L’espoir est que nous devenions suffisamment grands et puissants pour avoir un peu plus de poids dans ce qui nous est dicté […]

Désespérant des alternatives proposées à Civit, Nicoll a ajouté :

‘[…] Personne n’achètera des Bitcoins pour [utiliser] le générateur CivitAI. Nous avons donc essayé de rendre cela le plus acceptable possible, et c’est ce que nous avons fini par obtenir. Alors, mes excuses si cela est quelque chose que vous ne pouvez pas supporter, mais malheureusement c’est ce que c’est. Nous avons fait de notre mieux, nous avons résisté autant que nous le pouvions, mais finalement nous avons été informés que c’est ainsi – vous devez le faire ou ce sera la fin […]’

‘[…] Ces institutions financières, elles ne comprennent pas ce que les gens font ici avec cela. Nous avons essayé de leur expliquer, nous avons essayé de leur parler, mais nous sommes pratiquement le dernier bastion de [contenu NSFW].

Nicoll a déclaré que Civit avait contacté ‘tous les processeurs de paiement imaginables :

‘Même les processeurs de paiement à haut risque que les sites de pornographie utilisent, et ils sont tous très très prudents avec le contenu d’IA. C’est le problème – c’est du contenu d’IA. Si nous étions un site de pornographie traditionnel, nous serions en sécurité, mais le contenu d’IA est ce qui les effraie.’

Quoi d’autre ?

Avant cette annonce, Civit avait été observé supprimant des téléchargements couverts par certaines des catégories et des types de contenu qui sont maintenant interdits. Au moment de la rédaction, un ‘référentiel d’urgence’ pour les LoRAs Wan 2.1 a été établi sur le site Hugging Face. Bien que certains des LoRAs archivés là soient conçus pour faciliter des activités sexuelles générales qui sont peu formées ou absentes dans les nouveaux modèles de vidéo tels que Wan 2.1, plusieurs d’entre eux tombent sous la catégorie strictement interdite ‘déshabiller’ (c’est-à-dire ‘dénuder’), y compris certains modèles qui pourraient être considérés comme ‘extrêmes’ ou manifestement potentiellement offensants.

Le subreddit r/datahoarders, qui a été à la pointe de la préservation de la littérature en ligne du gouvernement américain sous la campagne de suppression de Donald Trump, a jusqu’à présent montré du mépris pour l’idée de sauvegarder le contenu perdu de CivitAI.

Dans la littérature, la facilitation facile de la génération d’IA NSFW par CivitAI n’est pas passée inaperçue. Cependant, l’une des études les plus citées, le document Exploring the Use of Abusive Generative AI Models on Civitai de 2024, est entravé par le fait que Civit n’a pas autorisé la génération de célébrités ou d’IA illégale à ce jour, et par la détermination des chercheurs à trouver leurs preuves sur Civit lui-même.

Il est clair, cependant, que ce qui préoccupe les processeurs de paiement n’est pas ce qui est produit avec les LoRAs sur Civit lui-même, ou ce qui est publié là-bas, mais ce qui est fait avec ces modèles dans d’autres communautés qui sont soit fermées, soit moins réglementées.

Le site Mr. Deepfakes, qui était synonyme de la méthode basée sur l’auto-encodeur de deepfaking NSFW, jusqu’à l’avènement de Stable Diffusion et des modèles basés sur la diffusion en 2022, a récemment commencé à publier des exemples de vidéos pornographiques basées sur des célébrités en utilisant les dernières vagues de générateurs de texte à vidéo et d’image à vidéo, notamment Hunyuan Video et Wan 2.1 – tous deux très récents dont l’influence est naissante, mais qui semblent destinés à susciter des titres incendiaires à mesure que leurs communautés se développeront au cours de cette année.

Métadonnées obligatoires

Un changement intéressant apparemment exigé par les processeurs de paiement, selon Nicoll, est que toutes les images du site doivent maintenant contenir des métadonnées. Lorsqu’une image ou une vidéo est produite par un modèle génératif dans un flux de travail typique sur une plate-forme telle que ComfyUI, la sortie contient généralement des métadonnées qui répertorient le modèle utilisé (sa hash ainsi que son nom, afin que si le modèle est renommé par un utilisateur, sa provenance reste claire) et de multiples autres paramètres.

En raison de ces points de données cachés sur la façon dont l’image a été créée, les utilisateurs sont capables de faire glisser une vidéo ou une image créée par quelqu’un d’autre dans leur propre flux de travail ComfyUI et de recréer l’ensemble du flux, et de résoudre les dépendances manquantes (telles que des modèles ou des composants que le créateur original avait, que l’utilisateur devra alors localiser et télécharger).

Toute image ou génération de vidéo manquant de ces données sera, Civit a annoncé, supprimée dans les trente jours. Les utilisateurs peuvent ajouter de telles données manuellement, en les saisissant sur le site Web de Civit lui-même.

Puisque la valeur des métadonnées est (présumément) probante, cette stipulation semble plutôt inutile ; il est trivial de copier et coller des métadonnées d’un fichier à un autre, et l’invention ad hoc de métadonnées via un formulaire Web rend cette nouvelle règle un peu déroutante.

Quoi qu’il en soit, plusieurs utilisateurs (y compris un commentant lors de la session Twitch) ont téléchargé des milliers d’images à Civit. Leur seule solution maintenant est d’annoter manuellement chacun d’eux, ou de supprimer et de télécharger à nouveau des versions des images avec des métadonnées ajoutées – ce qui supprimera les ‘j’aime’ ou les ‘buzz’ ou les conversations que les images originales ont générées.

Nouvelles règles

Voici les changements résumés applicables à Civit à partir d’aujourd’hui :

• Le contenu étiqueté avec des noms de personnes réelles ou identifié comme des ressources de personnes réelles ne sera plus affiché dans les flux publics.
• Le contenu avec des thèmes d’enfants/mineurs sera filtré des flux.
• Le contenu X et XXX classé qui manque de métadonnées de génération sera caché de la vue publique et signalé avec un avertissement, permettant au téléchargeur d’ajouter les détails manquants. Un tel contenu ne sera pas supprimé mais restera visible uniquement pour son créateur jusqu’à ce qu’il soit mis à jour.
• Les images créées à l’aide de la fonction Bring Your Own Image (BYOI) doivent maintenant appliquer une modification de bruit d’au moins 50 % pendant la génération. Cela signifie que l’IA doit modifier de manière significative l’image téléchargée, réduisant ainsi la chance de générer des répliques quasi-exactes. Cependant, les images créées entièrement sur CivitAI ou remixées à partir d’autres contenus CivitAI ne sont pas soumises à cette règle et peuvent toujours utiliser n’importe quel niveau de débruitage, allant de pas de changement du tout (0,0) à une transformation complète (1,0). Ce changement vise à réduire les abus de l’outil BYOI, qui pourrait autrement être utilisé pour produire des deepfakes subtils ou imperceptibles en modifiant à peine des images réelles de personnes réelles.
• Lors de la navigation avec le contenu X ou XXX activé, les recherches de noms de célébrités ne renverront aucun résultat. La combinaison de noms de célébrités avec du contenu pour adultes reste interdite.
• Les publicités ne seront pas affichées sur les images ou les ressources conçues pour reproduire l’apparence de personnes réelles.
• Les pourboires (Buzz) seront désactivés pour les images ou les ressources qui représentent des personnes réelles.
• Les modèles conçus pour reproduire des personnes réelles ne seront pas éligibles pour l’accès anticipé, une fonctionnalité Civitai qui permet aux créateurs de publier du contenu en premier lieu auprès de leurs partisans payants. Cela limite la monétisation des ressemblances de célébrités ou de personnes réelles.
• Une déclaration de conformité 2257 a été ajoutée pour clarifier que la plate-forme n’autorise pas de contenu non généré par IA. Cela aide à assurer la protection juridique en affirmant que tout matériel explicite est synthétique et non basé sur la photographie ou la vidéo réelle.
• Une nouvelle page de demande de suppression de contenu permet à quiconque de signaler du matériel abusif ou illégal sans avoir besoin de se connecter. Les utilisateurs enregistrés doivent continuer à utiliser les outils de signalement intégrés sur chaque publication. Cela est distinct du formulaire existant pour demander la suppression de sa ressemblance de la plate-forme.
• CivitAI a introduit un nouveau système de modération via un partenariat avec Clavata, dont les outils d’analyse d’images ont surpassé les solutions précédentes telles que Amazon Rekognition et Hive.

** À compter du mardi 20 mai 2025 11h23min47 (il se peut que cela se soit produit plus tôt), la diffusion en direct Twitch a été supprimée. Pour m’assurer que je pouvais vérifier les faits rapportés dans le flux, je conserve une copie.

* Malgré la mention de l’ ‘héritage’ de Barbara Eden, l’ actrice de I Dream of Jeannie est toujours en vie, actuellement âgée de 93 ans.
^† Archivé : https://archive.ph/tsMb0

Publié pour la première fois jeudi 24 avril 202. Modifié jeudi 24 avril 2025 14h32min28 : dates corrigées.
Modifié mardi 20 mai 2025 pour refléter la suppression du contenu Twitch utilisé comme matériel de référence.