CivitAI renforce ses règles anti-deepfake sous la pression de Mastercard et Visa

CivitAI, probablement le référentiel de modèles d'IA le plus populaire sur Internet, a finalement cédé à la pression des facilitateurs de paiement MasterCard et Visa pour réviser radicalement leurs politiques sur le contenu NSFW - et en particulier leurs conditions d'utilisation concernant les LoRA de célébrités, l'un des flux de contenu soumis par les utilisateurs les plus populaires du site, qui permettent aux gens d'utiliser des modèles complémentaires téléchargeables gratuitement tels que LoRA pour créer des représentations d'IA (y compris représentations vidéo) de personnes connues.

Cliquez pour jouer. Bien que Civit ne fournisse pas de chiffres exacts (et que les erreurs d'étiquetage/de catégorisation ne soient pas inhabituelles, ce qui fausserait probablement les chiffres), le nombre de modèles d'IA de célébrités, principalement LoRA, se chiffre clairement en centaines, voire en milliers, et est clairement dominé par des sujets féminins. Source : civitai.com

Il est clair qu'il travaille sous pression dans un Diffusion en direct sur Twitch** au nom de l'entreprise, le responsable de l'engagement communautaire de l'entreprise, Alasdair Nicoll, lui-même le créateur L'un des mannequins (SFW) de Civit a admis que ces changements ont été imposés au site par les inquiétudes des processeurs de paiement concernant le contenu pour adultes et la représentation de personnes réelles. Il admet également qu'il est probable que les principaux acteurs de ces processeurs, Visa et MasterCard, exigeront ultérieurement des changements encore plus importants :

Ce ne sont pas les changements que nous souhaitions. Cela se résume à une nouvelle législation imminente. Il existe des lois sur les deepfakes, des lois sur la pornographie par IA… Les processeurs de paiement, et finalement Visa et MasterCard, sont effrayés ; ils ne veulent pas être poursuivis en justice et sont à l'origine de ces changements.

« Parmi les autres options qui nous ont été proposées, on peut citer la suppression totale des contenus non sécuritaires pour le travail, la suppression du contenu x et triple-x de CivitAI et son transfert sur une toute nouvelle plateforme, puis le blocage géographique de cette plateforme, car plus de la moitié des États américains exigent une certaine forme de blocage géographique de la pornographie, [ainsi que] de nombreux pays asiatiques et le Royaume-Uni…

« La troisième option était de passer entièrement à la cryptographie, avec uniquement des paiements en cryptographie… il n’y avait donc littéralement aucune bonne option pour cela. »

Le domaine Civit a été régulièrement mis à l'arrêt ces derniers jours pour des révisions, apparemment pour appliquer les changements. Bien que le site ait déjà interdit l'utilisation de thèmes NSFW dans les représentations LoRA/modèles de célébrités, il est désormais impossible de parcourir la section modèles de Civit et de voir les aperçus LoRA de célébrités côte à côte avec le très grand nombre de modèles NSFW génériques conçus pour produire du contenu pour adultes.

L'espace annonce officielle États:

« Le contenu étiqueté avec des noms de personnes réelles (comme « Tom Cruise ») ou signalé comme des ressources POI (personnes réelles) sera masqué des flux. »

Lors de la session Twitch, Nicoll a dévoilé plus de détails sur les mesures visant à protéger les personnalités et les personnes réelles. Civit a toujours permis aux personnes réelles de demander le retrait d'un modèle d'IA hébergé par Civit les représentant, mais Nicoll fait désormais allusion à un système permettant d'empêcher la remise en ligne de telles images après un premier rejet, avec la possibilité d'identifier une personne « protégée » même sur des images que le système n'a jamais vues auparavant.

À cette fin, le site s’associe désormais au système de modération Clavata AI – bien que la mesure dans laquelle Clavata alimentera ces nouvelles installations ne soit pas encore claire.

Nicoll a dit :

« Tom Hanks a réclamé son portrait, par exemple. Beaucoup d'actrices adultes l'ont fait ; beaucoup d'acteurs et d'actrices de renom… »

« Je pense que la première que nous ayons jamais eue était Barbara Eden, sa succession* – elle a été l'une des premières à revendiquer son image, ce qui est assez drôle, parce qu'elle est vieille. »

Protégé par défaut ?

Au cours des deux dernières années, la société d'effets visuels d'IA Metaphysic (divulgation complète : j'ai travaillé pour Metaphysic.ai de début 2022 à fin 2024) a tenté de créer un système propriétaire cela permettrait à quiconque d'enregistrer sa propre image, bien que principalement destiné aux noms d'Hollywood préoccupés par le détournement de leur identité par l'IA, avec le soutien des acteurs tel que Anne Hathaway, Octavia Spencer et Tom Hanks (avec qui la compagnie a travaillé sur la sortie de Robert Zemeckis) Ici [2024]).

Logiquement, l'utilité du système dépendrait toujours de la jurisprudence éventuelle ; sur la base des mesures que Civit est désormais obligée de prendre, service sur abonnement^† L'offre proposée par Metaphysic pourrait s'avérer superflue face à la croissance rapide des lois anti-deepfake et à la couverture potentielle (gratuite) en vertu de la common law. On ignore actuellement si l'offre Metaphysic Pro sera transférée à la société Double Negative VFX, qui acquis les actifs de Metaphysic l'année dernière.

Quoi qu’il en soit, il semble de plus en plus que le droit mondial et les pressions générales du marché soient plus susceptibles d’offrir une protection et des recours, par opposition aux solutions commerciales de ce type.

Faire bouillir la grenouille

Un rapport de 2023 de 404 Media a attiré l'attention à la propension des modèles d'IA de célébrités et de porno chez Civit, bien que le fondateur du site, Justin Maier minimisé la relation entre les portraits de célébrités fournis par les utilisateurs et leur utilisation dans la génération de matériel pornographique.

Bien que Civit gagne de l'argent en facilitant l'utilisation sur site des LoRA et d'autres modèles fournis par les utilisateurs, Nicoll est clair sur le fait que ce n'est pas la principale préoccupation qui motive Visa et MasterCard à stipuler des modifications sur le site, afin qu'il puisse continuer à être monétisé :

Certains disent que si nous sommes dans cette situation, c'est parce que nous autorisons la génération. Ça n'a rien à voir. Héberger ces modèles, héberger ce contenu, suffit à attirer l'attention de Sauron.

Ces dernières années, les discussions de la communauté se sont émerveillées de voir Civit autorisé à héberger des portraits de célébrités. Conscients de la possibilité, voire de l'inévitabilité, d'une répression, plusieurs initiatives visant à préserver les LoRA supprimées par Civit ou par leurs auteurs ont été proposées ou mises en œuvre, notamment le subreddit r/CivitaiArchives, jusqu'ici négligé.

Bien que beaucoup aient suggéré qu'une initiative basée sur le torrent soit la solution naturelle, aucun domaine bien suivi ne semble encore avoir émergé - et dans tous les cas, cela semblerait certain de déplacer l'activité interdite à Civit et ailleurs vers les marges les plus éloignées d'Internet ; vers des jardins clos ; et, très probablement, vers le dark net, puisque la plupart des cadres qui pourraient accueillir des LoRA de ressemblance interdite (tels que Reddit et Discord) interdisent déjà ce type de contenu ou semblent certains de l'interdire de manière imminente.

Pour l'instant, les LoRA de célébrités peuvent encore être consultées sur Civit, avec certaines restrictions. Cependant, la plupart des contenus générés ont été déréférencés et ne seront plus consultables. Un commentateur a suggéré à Nicoll lors de la session Twitch que la répression s'intensifiera probablement (probablement jusqu'à interdire toute représentation de personnes réelles dans les modèles ou représentations mis en ligne).

Nicoll a répondu :

« Ils ne s'arrêteront pas là, ils continueront à exiger toujours plus » – absolument ! Oui, absolument. C'est le monde dans lequel nous vivons. Le seul espoir est que nous devenions suffisamment grands et puissants pour avoir un peu plus notre mot à dire sur ce qu'on nous dicte […]

Désespérant des alternatives offertes à Civit, Nicoll a ajouté :

« […] Personne n'achètera de Bitcoin pour utiliser le générateur CivitAI. Nous avons donc essayé de rendre cela aussi acceptable que possible, et voici le résultat. Je vous prie donc de m'excuser si cela vous semble insupportable, mais malheureusement, c'est ainsi. Nous avons fait de notre mieux, nous avons résisté autant que possible, mais au final, on nous a dit que c'était fini : il fallait le faire, sinon ce serait la fin […] »

« […] Ces institutions financières ne comprennent pas ce que les gens font ici avec ça. Nous avons essayé de le leur dire, de leur parler, mais nous sommes pratiquement le dernier bastion du contenu [NSFW]. »

Nicoll a déclaré que Civit avait contacté « tous les processeurs de paiement imaginables » :

« Même les processeurs de paiement à haut risque utilisés par les sites pornographiques sont extrêmement méfiants à l'égard du contenu IA. C'est là le problème : il s'agit de contenu IA. Si nous étions un site porno traditionnel, tout irait bien, mais c'est le contenu IA qui les effraie. »

Où ensuite?

Avant cette annonce, Civit supprimait régulièrement des contenus appartenant à certaines catégories et types de contenus désormais interdits. Au moment de la rédaction de cet article, un « référentiel d'urgence » pour les protocoles LoRA WAN 2.1 a été mis en place. établies Sur le site web Hugging Face. Bien que certaines des LoRA archivées ici soient conçues pour faciliter des activités sexuelles générales peu pratiquées, voire absentes des nouveaux modèles vidéo tels que Wan 2.1, plusieurs d'entre elles relèvent de la catégorie désormais strictement interdite du « déshabillage » (c'est-à-dire de la « nudification »), y compris certaines modèles pouvant être qualifiés d'« extrêmes » ou manifestement potentiellement offensants.

Le subreddit r/datahoarders, qui a été à la pointe de la préservation de la littérature en ligne du gouvernement américain sous Donald Trump campagne de suppression massive, a jusqu'à présent montré du mépris pour l'idée de sauvegarder le contenu perdu de CivitAI.

Dans la littérature, la facilité avec laquelle CivitAI facilite la génération d'IA NSFW n'est pas passée inaperçue. Cependant, l'une des études les plus citées, celle de 2024 papier Exploration de l'utilisation abusive de modèles d'IA génératifs sur Civitai, est entravé par le fait que Civit n'a pas autorisé à ce jour de générations d'IA célèbres ou illégales, et par la détermination des chercheurs à trouver leurs preuves à Civit même.

Il est clair, cependant, que ce qui préoccupe les processeurs de paiement n'est pas ce qui est produit avec les LoRA chez Civit lui-même, ou ce qui y est publié, mais ce qui est fait avec ces modèles. d’autres des communautés qui sont soit fermées, soit généralement moins réglementées.

Le site Web Mr. Deepfakes, qui était synonyme avec la prévalence méthode basée sur l'autoencodeur de NSFW deepfaking, jusqu'à l'avènement de Stable Diffusion et des modèles basés sur la diffusion en 2022, a récemment commencé à publier des exemples de vidéos pornographiques basées sur des célébrités en utilisant la dernière vague de générateurs de texte en vidéo et d'image en vidéo, notamment Hunyuan Video et Wan 2.1 - deux versions très récentes dont l'influence est naissante, mais qui semblent prêtes à faire la une des journaux à mesure que leurs communautés respectives se développent au cours de cette année.

Métadonnées obligatoires

Selon Nicoll, un changement intéressant semble être exigé par les processeurs de paiement : toutes les images du site doivent désormais contenir des métadonnées. Lorsqu'une image ou une vidéo est produite par un modèle génératif dans un flux de travail classique sur une plateforme comme ComfyUI, le résultat contient généralement des métadonnées indiquant le modèle utilisé (son hachage ainsi que son nom, afin que, si le modèle est renommé par un utilisateur, sa provenance reste claire) et plusieurs autres paramètres.

En raison de ces points de données cachés sur la façon dont l'image a été créée, les utilisateurs sont capable de faire glisser une vidéo ou une image créée par quelqu'un d'autre dans son propre flux de travail ComfyUI et recréer l'intégralité du flux, et traiter toutes les dépendances manquantes (telles que les modèles ou les composants que le créateur d'origine possédait, que l'utilisateur devra ensuite localiser et télécharger).

Civit a annoncé que toute génération d'images ou de vidéos ne contenant pas ces données sera supprimée sous trente jours. Les utilisateurs peuvent ajouter ces données manuellement en les saisissant directement sur le site web de Civit.

Étant donné que la valeur des métadonnées est (vraisemblablement) probante, cette stipulation semble plutôt inutile ; il est trivial de copier et coller des métadonnées d'un fichier à un autre, et ad hoc L'invention des métadonnées via un formulaire Web rend cette nouvelle règle un peu déroutante.

Néanmoins, plusieurs utilisateurs (dont un commentateur sur Twitch) ont publié des milliers d'images sur Civit. Leur seul recours est désormais d'annoter manuellement chacune d'elles, ou de supprimer et de republier des versions des images avec des métadonnées supplémentaires, ce qui effacera tous les « j'aime », les « buzz » ou les conversations générés par les images originales.

Les nouvelles règles

Voici les changements résumés applicables chez Civit à partir d'aujourd'hui :

• Le contenu étiqueté avec les noms de personnes réelles ou identifié comme des ressources de personnes réelles n'apparaîtra plus dans les flux publics.
• Le contenu comportant des thèmes enfants/mineurs sera filtré des flux.
• Les contenus classés X et XXX sans métadonnées de génération seront masqués et signalés par un avertissement, permettant à l'utilisateur de compléter les informations manquantes. Ces contenus ne seront pas supprimés, mais resteront visibles uniquement par leur créateur jusqu'à leur mise à jour.
• Les images créées avec la fonctionnalité BYOI (Bring Your Own Image) doivent désormais appliquer une altération du bruit d'au moins 50 % lors de la génération. Cela signifie que l'IA doit modifier considérablement l'image téléchargée, réduisant ainsi le risque de générer des répliques quasi-exactes. Cependant, les images créées entièrement sur CivitAI ou remixées à partir d'autres contenus CivitAI ne sont pas soumises à cette règle et peuvent toujours utiliser n'importe quel niveau de réduction du bruit, de l'absence totale de modification (0.0) à la transformation complète (1.0). Cette modification vise à réduire les abus de l'outil BYOI, qui pourrait autrement servir à produire des deepfakes subtils ou indétectables en modifiant à peine les images réelles. Forcer une modification minimale de 50 % garantit que l'IA ne se contente pas de retoucher légèrement une photo existante d'une personne réelle.
• Lorsque vous naviguez avec du contenu X ou XXX activé, les recherches de noms de célébrités ne donneront aucun résultat. L'association de noms de célébrités avec du contenu réservé aux adultes reste interdite.
• Les publicités n’apparaîtront pas sur des images ou des ressources conçues pour reproduire l’apparence d’individus réels.
• Le pourboire (Buzz) sera désactivé pour les images ou les ressources qui représentent des personnes réelles.
• Les modèles conçus pour reproduire des personnes réelles ne seront pas éligibles à l'accès anticipé, une fonctionnalité de Civitai qui permet aux créateurs de diffuser leur contenu en priorité auprès de leurs contributeurs payants. Cela limite la monétisation des portraits de célébrités ou de personnes réelles.
• A 2257 Déclaration de conformité a été ajouté pour préciser que la plateforme n'autorise aucun contenu non généré par l'IA. Cela contribue à garantir la protection juridique en affirmant que tout contenu explicite est synthétique et non basé sur de vraies photographies ou vidéos.
• Une nouvelle Page de demande de suppression de contenu Permet à chacun de signaler du contenu abusif ou illégal sans avoir à se connecter. Les utilisateurs inscrits doivent continuer à utiliser les outils de signalement intégrés à chaque publication. Ce formulaire est distinct du formulaire existant pour demander le retrait de leur image de la plateforme.
• CivitAI a introduit un nouveau système de modération grâce à un partenariat avec Clavata, dont les outils d'analyse d'images ont surpassé les solutions précédentes telles qu'Amazon Rekognition et Hive.

** Depuis le mardi 20 mai 2025 à 11h23:47 (cela a peut-être eu lieu plus tôt), le live Twitch a été supprimé. Afin de pouvoir vérifier les faits rapportés, j'en conserve une copie.

* Malgré la mention du « domaine » de Barbara Eden, le I Dream of Jeannie L'actrice est toujours en vie, actuellement âgée de 93 ans.
^† Archivé : https://archive.ph/tsMb0

Première publication le jeudi 24 avril 202. Modifié le jeudi 24 avril 2025 14:32:28 : dates corrigées.
Modifié le mardi 20 mai 2025 pour refléter la suppression du contenu Twitch utilisé comme matériel de référence.