CivitAI resserre les règles des deepfakes sous la pression de Mastercard et Visa

CivitAI, possiblement le répertoire de modèles d’IA le plus populaire sur Internet, a finalement cédé à la pression des facilitateurs de paiement MasterCard et Visa pour réviser radicalement ses politiques sur le contenu NSFW – et en particulier ses conditions d’utilisation concernant les LoRAs de célébrités, l’un des flux de contenu les plus populaires soumis par les utilisateurs, qui permettent aux gens d’utiliser des modèles adjoints téléchargeables gratuitement tels que LoRAs pour créer des représentations d’IA (y compris représentations vidéo) de personnes bien connues.

Cliquez pour jouer. Bien que Civit ne fournisse pas de chiffres exacts (et que la fausse étiquette / la fausse catégorisation n’est pas inhabituelle, ce qui déformerait probablement les chiffres), le nombre de modèles d’IA de célébrités, principalement des LoRAs, est clairement dans les centaines ou même des milliers, et clairement dominé par des sujets féminins. Source : civitai.com

Il est clair que Civit fonctionne sous pression dans une diffusion en direct Twitch** au nom de l’entreprise, le responsable des relations avec la communauté d’Alasdair Nicoll, lui-même un créateur de modèles (SFW) sur Civit, a admis que les changements ont été imposés au site par les préoccupations de leurs processeurs de paiement concernant le contenu pour adultes et la représentation de personnes réelles. Il admet également la probabilité que les principales forces derrière ces processeurs, Visa et MasterCard, exigent probablement plus de changements plus tard :

‘Ce ne sont pas des changements que nous voulions apporter. Cela se résume à de nouvelles lois et à des lois imminentes. Il y a des lois sur les deepfakes, il y a des lois sur la pornographie d’IA… les processeurs de paiement, et en fin de compte Visa et MasterCard sont effrayés ; ils ne veulent pas être poursuivis, et ils sont en fin de compte à l’origine de ces changements.

‘Certaines des autres options qui nous ont été proposées étaient de supprimer tout le contenu non adapté aux moins de 18 ans ; supprimer le contenu x et triple-x de CivitAI et le mettre sur une plate-forme complètement nouvelle, puis géo-bloquer cette plate-forme, car plus de la moitié des États américains exigent une forme de géo-blocage de la pornographie, [ainsi que] de nombreux pays asiatiques et le Royaume-Uni…

‘La troisième option était d’aller pleinement dans le crypto, les paiements cryptographiques uniquement… il n’y avait donc littéralement pas d’option valable pour cela.’

Le domaine Civit a été fermé périodiquement pour des révisions au cours des derniers jours, apparemment pour mettre en œuvre les changements. Bien que le site ait déjà interdit l’utilisation de thèmes NSFW dans les représentations de célébrités LoRA / modèle, il est maintenant impossible de parcourir la section des modèles de Civit et de voir les aperçus de célébrités LoRA côte à côte avec le très grand nombre de modèles NSFW génériques conçus pour produire du contenu mature.

L’ annonce officielle indique :

‘Le contenu étiqueté avec des noms de personnes réelles (comme “Tom Cruise”) ou signalé comme des ressources de personne réelle sera masqué des flux.’

Lors de la session Twitch, Nicoll a révélé plus de détails sur les mesures conçues pour protéger les célébrités et les personnes réelles. Civit a toujours permis aux personnes réelles de demander que le modèle d’IA hébergé par Civit les représentant soit supprimé, mais maintenant Nicoll fait allusion à un système qui peut empêcher de telles images d’être réuploadées après une réjection initiale, avec la possibilité d’identifier une « personne protégée » même dans des images que le système n’a jamais vues auparavant.

Pour cela, le site s’associe désormais au système de modération d’IA Clavata – bien que la mesure dans laquelle Clavata alimente ces nouvelles fonctionnalités ne soit pas encore claire.

Nicoll a déclaré :

‘Tom Hanks a réclamé sa ressemblance à nous, par exemple. Beaucoup d’actrices pour adultes l’ont fait ; beaucoup d’acteurs et d’actrices de renom l’ont fait…

‘Je pense que la première que nous ayons jamais eue était Barbara Eden, son domaine* – elle était l’une des premières à réclamer sa ressemblance, ce qui est plutôt drôle, car elle est âgée.’

Protégé par défaut ?

Au cours des deux dernières années, la société de VFX d’IA Metaphysic (divulgation complète : j’ai travaillé pour Metaphysic.ai de début 2022 à fin 2024) a tenté de créer un système propriétaire qui permettrait à quiconque d’enregistrer sa propre ressemblance, principalement destiné aux noms d’Hollywood inquiets pour la piraterie de leur identité basée sur l’IA, avec le soutien d’acteurs tels que Anne Hathaway, Octavia Spencer et Tom Hanks (avec lequel la société a travaillé sur le film de Robert Zemeckis Here [2024]).

Logiquement, l’utilité du système dépendrait toujours de la jurisprudence éventuelle ; sur la base des mesures que Civit est maintenant contraint de prendre, le service basé sur abonnement^† proposé par Metaphysic pourrait être redondant face à la croissance rapide des lois sur les deepfakes et à la couverture potentielle (gratuite) en vertu du droit commun. Il n’est pas actuellement connu si l’offre Metaphysic Pro sera transférée à la société de VFX Double Negative, qui a acquis les actifs de Metaphysic l’année dernière.

Dans tous les cas, il semble de plus en plus que le droit et les pressions du marché mondiales sont plus susceptibles de fournir une protection et des recours, plutôt que des solutions commerciales de ce type.

Chauffer la grenouille

Un rapport de 404 Media en 2023 a attiré l’attention sur la propension des modèles d’IA de célébrités et de pornographie sur Civit, bien que le fondateur de Civit, Justin Maier, a minimisé la relation entre les ressemblances de célébrités soumises par les utilisateurs et leur utilisation pour générer du matériel pornographique.

Bien que Civit gagne de l’argent en facilitant l’utilisation des LoRAs et d’autres modèles fournis par les utilisateurs sur le site, Nicoll est clair que ce n’est pas la principale préoccupation qui motive Visa et MasterCard à stipuler des changements sur le site, afin qu’il puisse continuer à être monétisé :

‘Certaines personnes disent que la raison pour laquelle nous sommes dans ce pétrin est que nous autorisons la génération. Cela n’a rien à voir. L’hébergement de ces modèles, l’hébergement de ce contenu, suffit à attirer l’œil de Sauron.’

Les fils de discussion de la communauté se sont émerveillés ces dernières années que Civit ait été autorisé à héberger des ressemblances de célébrités. Conscient de la possibilité, peut-être de l’inévitabilité d’un raid, plusieurs initiatives pour préserver les LoRAs soit supprimées par Civit, soit par leurs uploaders, ont été proposées ou mises en œuvre, notamment le (jusqu’à présent) rather négligé subreddit r/CivitaiArchives.

Bien que de nombreuses personnes aient suggéré qu’une initiative basée sur les torrents est la solution naturelle, aucun domaine bien suivi ne semble avoir émergé – et dans tous les cas, cela semblerait certain de déplacer l’activité interdite à Civit et ailleurs vers les marges les plus externes d’Internet ; aux jardins clos ; et, le plus probablement, au dark net, puisque la plupart des cadres qui pourraient accueillir des ressemblances de célébrités interdites (tels que Reddit et Discord) interdisent déjà un tel contenu ou semblent certain de l’interdire imminemment.

Pour l’instant, les LoRAs de célébrités peuvent encore être vus avec certaines restrictions à Civit, bien que la plupart du contenu généré ait été supprimé de la liste et sera exclu de la découverte occasionnelle. Ce qui semble probable, un commentateur a suggéré à Nicoll lors de la session Twitch, est que le raid s’intensifiera (présumablement jusqu’à interdire toutes les ressemblances de personnes réelles dans les modèles ou les représentations téléchargées).

Nicoll a répondu :

‘”Ils ne s’arrêteront pas là, ils continueront à exiger davantage” – absolument ! Oui, absolument. C’est juste le monde dans lequel nous vivons. L’espoir est que nous devenions suffisamment grands et puissants pour avoir un peu plus de poids dans ce qui nous est dicté […]

Désespéré des alternatives offertes à Civit, Nicoll a ajouté :

‘[…] Personne n’achètera des Bitcoins pour [utiliser] le générateur CivitAI. Nous avons donc essayé de rendre cela aussi acceptable que possible, et c’est ce que nous avons fini par obtenir. Alors, mes excuses si cela est quelque chose que vous ne pouvez pas supporter, mais malheureusement c’est ce que c’est. Nous avons fait de notre mieux, nous avons poussé autant que nous le pouvions, mais finalement on nous a dit que c’est comme ça – vous devez le faire ou ce sera la fin […]’

‘[…] Ces institutions financières, elles ne comprennent pas ce que les gens font ici avec cela. Nous avons essayé de leur dire, nous avons essayé de leur parler, mais nous sommes pratiquement le dernier bastion de contenu NSFW.

Nicoll a déclaré que Civit avait contacté « tous les processeurs de paiement imaginables :

‘Même les processeurs de paiement à haut risque que les sites de pornographie utilisent, et ils sont tous très très prudents avec le contenu d’IA. C’est le problème – c’est du contenu d’IA. Si nous étions un site de pornographie traditionnel, nous serions en sécurité, mais le contenu d’IA est ce qui les effraie.’

Quoi d’autre ?

Avant cette annonce, Civit avait été observé à supprimer des téléchargements couverts par certaines des catégories et des types de contenu qui sont maintenant interdits. Au moment de la rédaction, un « répertoire d’urgence » pour les LoRAs Wan 2.1 a été établi sur le site Hugging Face. Bien que certains des LoRAs archivés là soient conçus pour faciliter des activités sexuelles générales qui sont peu formées ou absentes dans les nouveaux modèles de vidéo tels que Wan 2.1, plusieurs d’entre eux tombent sous la catégorie strictement interdite « déshabiller » (c’est-à-dire « nudifier »), y compris certains modèles qui pourraient être considérés comme « extrêmes » ou potentiellement offensants.

Le subreddit r/datahoarders, qui a été à la pointe de la préservation de la littérature en ligne du gouvernement américain sous la campagne de suppression de Donald Trump, a jusqu’à présent montré du mépris pour l’idée de sauver le contenu perdu de CivitAI.

Dans la littérature, la facilitation facile de la génération d’IA NSFW par CivitAI n’est pas passée inaperçue. Cependant, l’une des études les plus citées, le document Exploring the Use of Abusive Generative AI Models on Civitai de 2024, est entravé par le fait que Civit n’a pas autorisé les générations de célébrités ou d’IA illégales à ce jour, et par la détermination des chercheurs à trouver leurs preuves sur Civit lui-même.

Il est clair, cependant, que ce qui préoccupe les processeurs de paiement n’est pas ce qui est produit avec les LoRAs sur Civit lui-même, ou ce qui est publié là, mais ce qui est fait avec ces modèles dans d’autres communautés qui sont soit fermées, soit moins réglementées.

Le site Web Mr. Deepfakes, qui était synonyme de la méthode d’auto-encodeur prévalente de deepfaking NSFW jusqu’à l’avènement de la diffusion stable et des modèles basés sur la diffusion en 2022, a récemment commencé à publier des exemples de vidéos pornographiques basées sur des célébrités en utilisant la dernière vague de générateurs de texte à vidéo et d’image à vidéo, notamment Hunyuan Video et Wan 2.1 – deux sorties très récentes dont l’influence est naissante, mais qui semblent prêtes à susciter des titres incendiaires au cours de l’année.

Métadonnées obligatoires

Un changement intéressant qui semble être exigé par les processeurs de paiement, selon Nicoll, est que toutes les images sur le site doivent maintenant contenir des métadonnées. Lorsqu’une image ou une vidéo est produite par un modèle génératif dans un flux de travail typique sur une plate-forme telle que ComfyUI, la sortie contient généralement des métadonnées qui répertorient le modèle utilisé (son hachage ainsi que son nom, afin que, dans le cas où le modèle est renommé par un utilisateur, sa provenance reste claire) et de multiples autres paramètres.

En raison de ces points de données cachés sur la façon dont l’image a été créée, les utilisateurs sont capables de faire glisser une vidéo ou une image créée par quelqu’un d’autre dans leur propre flux de travail ComfyUI et de recréer l’ensemble du flux, et de résoudre les dépendances manquantes (telles que des modèles ou des composants que le créateur d’origine avait, que l’utilisateur devra alors localiser et télécharger).

Toute image ou génération de vidéo manquant de ces données sera, Civit a annoncé, supprimée dans les trente jours. Les utilisateurs peuvent ajouter de telles données manuellement, en les saisissant sur le site Web de Civit lui-même.

Puisque la valeur des métadonnées est (présumément) probante, cette stipulation semble plutôt inutile ; il est trivial de copier et de coller des métadonnées d’un fichier à un autre, et l’invention ad hoc de métadonnées via un formulaire Web rend cette nouvelle règle un peu déroutante.

Néanmoins, plusieurs utilisateurs (y compris un commentateur lors de la session Twitch) ont téléchargé des milliers d’images à Civit. Leur seul recours est maintenant de annoter manuellement chacun d’eux, ou de supprimer et de télécharger à nouveau des versions des images avec des métadonnées ajoutées – ce qui effacera les « j’aime » ou les « buzz » ou les conversations que les images d’origine ont générées.

Les nouvelles règles

Voici les changements résumés applicables à Civit à partir d’aujourd’hui :

• Le contenu étiqueté avec des noms de personnes réelles ou identifié comme des ressources de personnes réelles ne sera plus visible dans les flux publics.
• Le contenu avec des thèmes d’enfants / mineurs sera filtré des flux.
• Le contenu classé X et XXX qui manque de métadonnées de génération sera masqué de la vue publique et signalé avec un avertissement, permettant au téléchargeur d’ajouter les détails manquants. Un tel contenu ne sera pas supprimé mais restera visible uniquement à son créateur jusqu’à ce qu’il soit mis à jour.
• Les images créées à l’aide de la fonction Bring Your Own Image (BYOI) doivent maintenant appliquer une modification de bruit d’au moins 50 % pendant la génération. Cela signifie que l’IA doit modifier de manière significative l’image téléchargée, réduisant ainsi la probabilité de générer des répliques quasi-exactes. Cependant, les images créées entièrement sur CivitAI ou remixées à partir d’autres contenus CivitAI ne sont pas soumises à cette règle et peuvent toujours utiliser n’importe quel niveau de débruitage, allant de pas de modification du tout (0,0) à une transformation complète (1,0). Ce changement vise à réduire les abus de l’outil BYOI, qui pourrait autrement être utilisé pour produire des deepfakes subtils ou indétectables en modifiant à peine des images réelles.
• Lors de la navigation avec le contenu X ou XXX activé, les recherches de noms de célébrités ne renverront aucun résultat. L’association de noms de célébrités avec du contenu mature est toujours interdite.
• Les publicités ne seront pas affichées sur les images ou les ressources conçues pour reproduire l’apparence de personnes réelles.
• Les pourboires (Buzz) seront désactivés pour les images ou les ressources qui représentent des personnes réelles.
• Les modèles conçus pour reproduire des personnes réelles ne seront pas éligibles à l’accès anticipé, une fonctionnalité Civitai qui permet aux créateurs de publier du contenu en premier lieu auprès de leurs partisans payants. Cela limite la monétisation des ressemblances de célébrités ou de personnes réelles.
• Une déclaration de conformité 2257 a été ajoutée pour clarifier que la plate-forme n’autorise aucun contenu non généré par l’IA. Cela aide à assurer la protection juridique en affirmant que tout contenu explicite est synthétique et non basé sur la photographie ou la vidéo réelle.
• Une nouvelle page de demande de suppression de contenu permet à quiconque de signaler du contenu abusif ou illégal sans avoir besoin de se connecter. Les utilisateurs enregistrés doivent continuer à utiliser les outils de signalement intégrés sur chaque publication. Cela est distinct du formulaire existant pour demander la suppression de sa ressemblance de la plate-forme.
• CivitAI a introduit un nouveau système de modération grâce à un partenariat avec Clavata, dont les outils d’analyse d’images ont surpassé les solutions précédentes telles qu’Amazon Rekognition et Hive.

** À compter du mardi 20 mai 2025 11h23min47 (il se peut que cela se soit produit plus tôt), la diffusion en direct Twitch a été supprimée. Pour que je puisse vérifier les faits rapportés dans la diffusion, je conserve une copie.

* Malgré la mention du « domaine » de Barbara Eden, l’actrice de I Dream of Jeannie est toujours en vie, actuellement âgée de 93 ans.
^† Archivé : https://archive.ph/tsMb0

Publié pour la première fois le jeudi 24 avril 202. Modifié le jeudi 24 avril 2025 14h32min28 : correction des dates.
Modifié le mardi 20 mai 2025 pour refléter la suppression du contenu Twitch utilisé comme matériel de référence.