CivitAI Aperta Regras de Deepfakes Sob Pressão da Mastercard e Visa

CivitAI, possivelmente o repositório de modelos de IA mais popular na internet, finalmente cedeu à pressão dos facilitadores de pagamento MasterCard e Visa para revisar radicalmente suas políticas de conteúdo NSFW – e particularmente seus TOS em relação a LoRAs de celebridades, um dos fluxos de conteúdo mais populares submetidos pelos usuários, que permitem que as pessoas usem modelos adjuntos gratuitos, como LoRAs para criar depictions de IA (incluindo depictions de vídeo) de pessoas famosas.

Clique para reproduzir. Embora Civit não forneça números exatos (e o erro de rotulagem/categorização não é incomum, o que provavelmente distorceria os números), o número de modelos de IA de celebridades, principalmente LoRAs, é claramente de centenas ou até milhares, e claramente dominado por sujeitos femininos. Fonte: civitai.com

Claramente operando sob pressão em uma transmissão ao vivo do Twitch** em nome da empresa, o Gerente de Engajamento da Comunidade da empresa, Alasdair Nicoll, ele mesmo um criador de modelos (SFW) no Civit, admitiu que as mudanças foram impostas ao site por preocupações de seus processadores de pagamento sobre conteúdo adulto e representação de pessoas reais. Ele também admite a probabilidade de que as principais forças por trás desses processadores, Visa e MasterCard, provavelmente exigirão mudanças ainda maiores posteriormente:

‘Essas não são mudanças que queríamos fazer. Isso se resume a nova e iminente legislação. Existem leis de deepfakes por aí, existem leis de pornografia de IA… processadores de pagamento, e, em última análise, Visa e MasterCard estão assustados; eles não querem ser processados, e estão, em última análise, impulsionando essas mudanças.

‘Algumas das outras opções que nos foram dadas foram remover todo o conteúdo não apropriado para trabalho; remover conteúdo X e triple-X do CivitAI e colocá-lo em uma plataforma completamente nova, e, em seguida, bloquear geograficamente essa plataforma, porque mais da metade dos estados dos EUA exigem algum tipo de bloqueio geográfico de pornografia, [bem como] muitos países asiáticos e o Reino Unido…

‘A terceira opção era ir para pagamentos criptográficos apenas… então, literalmente, não havia boas opções para isso.’

O domínio Civit está periodicamente offline para revisões nos últimos dias, aparentemente para efetuar as mudanças. Embora o site já tivesse proibido o uso de temas NSFW em depicções de modelos de celebridades LoRA, agora é impossível navegar pela seção de modelos do Civit e ver pré-visualizações de modelos de celebridades LoRA lado a lado com o grande número de modelos NSFW genéricos projetados para produzir conteúdo maduro.

O anúncio oficial afirma:

‘Conteúdo marcado com nomes de pessoas reais (como “Tom Cruise”) ou marcado como recursos de pessoa real será ocultado dos feeds.’

Na sessão do Twitch, Nicoll revelou mais detalhes sobre medidas projetadas para proteger figuras famosas e pessoas reais. Civit sempre permitiu que pessoas reais solicitassem que um modelo de IA hospedado no Civit que as representasse fosse removido, mas agora Nicoll alude a um sistema que pode evitar que essas imagens sejam reenviadas após a rejeição inicial, com a capacidade de identificar uma ‘pessoa protegida’ mesmo em imagens que o sistema nunca viu antes.

Para esse fim, o site agora está se associando ao sistema de moderação de IA Clavata – embora a extensão com que Clavata estará alimentando essas novas instalações ainda não esteja clara.

Nicoll disse:

‘Tom Hanks reivindicou sua semelhança conosco, por exemplo. Muitas das atrizes adultas também o fizeram; muitos atores e atrizes da lista A também…

‘Acho que a primeira que tivemos foi Barbara Eden, sua propriedade* – ela foi uma das primeiras a reivindicar sua semelhança, o que é um pouco engraçado, porque ela é velha.’

Protegido por Padrão?

Nos últimos dois anos, a empresa de efeitos visuais de IA Metaphysic (divulgação total: trabalhei para Metaphysic.ai desde o início de 2022 até o final de 2024) tentou criar um sistema proprietário que permitiria que qualquer pessoa registrasse sua própria semelhança, embora principalmente destinado a nomes de Hollywood preocupados com a captura de identidade baseada em IA, com o apoio de atores como Anne Hathaway, Octavia Spencer e Tom Hanks (com quem a empresa trabalhou no lançamento de Robert Zemeckis Aqui [2024]).

Lógica, a utilidade do sistema sempre dependeria da legislação eventual; com base nas medidas que Civit agora está sendo forçado a tomar, o serviço baseado em assinatura^† proposto pela Metaphysic poderia ser redundante diante do rápido crescimento das leis de deepfakes e da cobertura potencial (gratuita) sob a lei comum. Atualmente, não se sabe se a oferta Metaphysic Pro será transferida para a empresa de efeitos visuais Double Negative, que adquiriu os ativos da Metaphysic no ano passado.

Em qualquer caso, parece cada vez mais que a legislação global e as pressões do mercado são mais prováveis de fornecer proteção e recursos, em vez de soluções comerciais desse tipo.

Cozinhando o Sapo

Um relatório de 2023 da 404 Media chamou a atenção para a tendência de modelos de IA de celebridades e pornografia no Civit, embora o fundador do Civit, Justin Maier, diminuído a relação entre semelhanças de celebridades contribuídas pelo usuário e seu uso na geração de material pornográfico.

Embora Civit ganhe dinheiro facilitando o uso de LoRAs e outros modelos fornecidos pelo usuário no local, Nicoll é claro que isso não é a principal preocupação que motiva a Visa e a MasterCard a estipular mudanças no site, para que ele possa continuar a ser monetizado:

‘Algumas pessoas estão dizendo que o motivo pelo qual estamos nessa confusão é porque permitimos a geração. Isso não entra em questão. O hospedagem desses modelos, o hospedagem desse conteúdo, é suficiente para atrair o olhar de Sauron.’

As threads de comentários da comunidade se maravilharam nos últimos anos que o Civit foi autorizado a hospedar semelhanças de celebridades. Cientes da possibilidade, talvez inevitabilidade de uma repressão, várias iniciativas para preservar LoRAs removidas pelo Civit ou por seus uploaders foram propostas ou implementadas, incluindo o (até agora) relativamente negligenciado subreddit r/CivitaiArchives.

Embora muitos tenham sugerido que uma iniciativa baseada em torrent é a solução natural, nenhum domínio bem seguido parece ter surgido ainda – e, de qualquer forma, isso pareceria certo para mover a atividade banida no Civit e em outros lugares para as margens mais externas da internet; para jardins murados; e, mais provavelmente, para a dark net, já que a maioria dos quadros que poderiam acomodar semelhanças de LoRAs proibidas (como Reddit e Discord) já proíbem tal conteúdo ou parecem certos de proibi-lo em breve.

No momento, as LoRAs de celebridades ainda podem ser vistas com algumas restrições no Civit, embora a maioria do conteúdo gerado tenha sido removida da lista e será excluída da descoberta casual. O que parece provável, um comentarista sugeriu a Nicoll na sessão do Twitch, é que a repressão se aprofundará (presumivelmente na extensão de banir todas as semelhanças de pessoas reais em modelos ou depicções carregados).

Nicoll respondeu:

‘”Eles não vão parar aqui, vão continuar exigindo mais e mais” – absolutamente! Sim, absolutamente. É apenas o mundo em que vivemos. A única esperança é que nos tornemos grandes e poderosos o suficiente para ter um pouco mais de voz no que está sendo ditado a nós […]

Desesperado com as alternativas oferecidas ao Civit, Nicoll acrescentou:

‘[…] Ninguém vai comprar Bitcoin para [usar] o gerador CivitAI. Então, tentamos tornar isso o mais palatável possível, e é o que acabamos com. Então, peço desculpas se isso é algo que você simplesmente não pode suportar, mas infelizmente é o que é. Tentamos o nosso melhor, empurramos tanto quanto pudemos, mas, no final, fomos informados de que é isso – você tem que fazer isso ou será o fim […]’

‘[…] Essas instituições financeiras, elas não entendem o que as pessoas estão fazendo aqui com isso. Tentamos dizer a elas, tentamos conversar com elas, mas somos praticamente o último bastião de conteúdo NSFW.

Nicoll disse que o Civit havia se aproximado de ‘todo processador de pagamento imaginável:

‘Até mesmo os processadores de pagamento de alto risco que os sites de pornografia usam, e todos estão muito, muito cautelosos com o conteúdo de IA. Esse é o problema – é conteúdo de IA. Se fôssemos um site de pornografia tradicional, estaríamos bem, mas o conteúdo de IA é o que eles temem.’

Onde a Próxima?

Antes desse anúncio, o Civit havia sido observado removendo uploads cobertos por algumas das categorias e tipos de conteúdo agora proibidos. No momento da escrita, um ‘repositório de emergência’ para LoRAs Wan 2.1 foi estabelecido no site Hugging Face. Embora alguns dos LoRAs arquivados lá sejam projetados para facilitar atividades sexuais gerais que são escassamente treinadas ou ausentes em novos modelos de vídeo, como Wan 2.1, vários deles caem sob a categoria estritamente proibida ‘despir’ (ou seja, ‘desnudificando’), incluindo alguns modelos que poderiam ser argumentados como ‘extremos’ ou manifestamente ofensivos.

O subreddit r/datahoarders, que esteve à frente da preservação da literatura online do governo dos EUA sob a campanha de exclusão de Donald Trump, mostrou desprezo pela ideia de salvar o conteúdo perdido do CivitAI.

Na literatura, a facilitação fácil de geração de NSFW de IA do CivitAI não passou despercebida. No entanto, um dos estudos mais citados, o artigo Explorando o Uso de Modelos de IA Abusivos no Civitai de 2024, é limitado pelo fato de o Civit não ter permitido gerações de IA de celebridades ou ilegais até o momento, e pela determinação dos pesquisadores de encontrar evidências no próprio Civit.

Claramente, no entanto, o que preocupa os processadores de pagamento não é o que está sendo produzido com LoRAs no Civit em si, ou o que está sendo publicado lá, mas o que está sendo feito com esses modelos em outras comunidades que são fechadas ou geralmente menos regulamentadas.

O site Mr. Deepfakes, que era sinônimo do método baseado em autoencoder de deepfakes NSFW, até o advento da difusão estável e modelos baseados em difusão em 2022, recentemente começou a postar exemplos de vídeos pornográficos baseados em celebridades usando a última onda de geradores de texto para vídeo e imagem para vídeo, incluindo Hunyuan Video e Wan 2.1 – ambos lançamentos muito recentes cuja influência é nascente, mas que parecem estar prestes a gerar manchetes incendiárias à medida que suas respectivas comunidades se desenvolvem ao longo do ano.

Metadados Obrigatórios

Uma mudança interessante aparentemente exigida pelos processadores de pagamento, de acordo com Nicoll, é que todas as imagens no site agora devem conter metadados. Quando uma imagem ou vídeo é produzido por um modelo gerador em um fluxo de trabalho típico em uma plataforma como ComfyUI, a saída geralmente contém metadados que lista o modelo usado (seu hash, bem como seu nome, para que, no caso de o modelo ser renomeado por um usuário, sua proveniência permaneça clara) e várias outras configurações.

Devido a esses pontos de dados ocultos sobre como a imagem foi feita, os usuários são capazes de arrastar um vídeo ou imagem feito por outra pessoa para o seu próprio fluxo de trabalho ComfyUI e recriar todo o fluxo, e abordar quaisquer dependências ausentes (como modelos ou componentes que o criador original tinha, que o usuário terá que localizar e baixar).

Qualquer geração de imagens ou vídeos que falte esses dados será, como anunciado pelo Civit, excluída dentro de trinta dias. Os usuários podem adicionar esses dados manualmente, digitando-os no site do Civit.

Desde que o valor dos metadados é (presumivelmente) evidenciário, essa exigência parece um pouco inútil; é trivial copiar e colar metadados de um arquivo para outro, e a invenção ad hoc de metadados via um formulário da web torna essa nova regra um pouco confusa.

No entanto, vários usuários (incluindo um que comentou na sessão do Twitch) têm muitas imagens carregadas no Civit. Sua única solução agora é anotar manualmente cada uma delas, ou excluir e recarregar versões das imagens com metadados adicionados – o que apagará quaisquer ‘curtidas’ ou ‘buzz’ ou conversas que as imagens originais geraram.

As Novas Regras

Aqui estão as mudanças resumidas aplicáveis ao Civit a partir de hoje:

• Conteúdo marcado com nomes de indivíduos reais ou identificado como recursos de pessoa real não aparecerá mais em feeds públicos.
• Conteúdo com temas de crianças/menores será filtrado dos feeds.
• Conteúdo com classificação X e XXX que falta metadados de geração será ocultado da vista pública e marcado com um aviso, permitindo que o uploader adicione os detalhes ausentes. Tal conteúdo não será excluído, mas permanecerá visível apenas para seu criador até ser atualizado.
• Imagens feitas usando a funcionalidade Bring Your Own Image (BYOI) devem agora aplicar pelo menos 50% de alteração de ruído durante a geração. Isso significa que a IA deve modificar significativamente a imagem carregada, reduzindo a chance de gerar réplicas quase exatas. No entanto, as imagens criadas inteiramente no CivitAI ou remixadas de outros conteúdos do CivitAI não estão sujeitas a essa regra e podem usar qualquer nível de desruído, desde nenhuma alteração (0,0) até uma transformação completa (1,0). Essa mudança visa reduzir o abuso da ferramenta BYOI, que poderia ser usada para produzir deepfakes sutis ou indetectáveis, alterando ligeiramente imagens reais.
• Quando navegando com conteúdo X ou XXX habilitado, as buscas por nomes de celebridades não retornarão resultados. Combinar nomes de celebridades com conteúdo maduro continua proibido.
• Anúncios não aparecerão em imagens ou recursos projetados para replicar a aparência de indivíduos reais.
• A dica (Buzz) será desativada para imagens ou recursos que representam indivíduos reais.
• Modelos projetados para replicar pessoas reais não serão elegíveis para Acesso Antecipado, um recurso do Civitai que permite que os criadores lancem conteúdo primeiro para apoiadores pagantes. Isso limita a monetização de semelhanças de celebridades ou pessoas reais.
• Uma Declaração de Conformidade 2257 foi adicionada para esclarecer que a plataforma não permite nenhum conteúdo não gerado por IA. Isso ajuda a garantir a proteção legal, afirmando que todo material explícito é sintético e não baseado em fotografia ou vídeo real.
• Uma nova Página de Solicitação de Remoção de Conteúdo permite que qualquer pessoa relate material abusivo ou ilegal sem precisar fazer login. Usuários registrados devem continuar usando as ferramentas de relatórios integradas em cada postagem. Isso é separado do formulário existente para solicitar a remoção de sua semelhança da plataforma.
• O CivitAI introduziu um novo sistema de moderação por meio de uma parceria com a Clavata, cujas ferramentas de análise de imagem superaram soluções anteriores, como o Amazon Rekognition e o Hive.

** À partir de terça-feira, 20 de maio de 2025, 11:23:47 (pode ter ocorrido anteriormente), a transmissão ao vivo do Twitch foi removida. Para garantir que eu possa verificar os fatos relatados na transmissão, mantenho uma cópia.

* Apesar da menção à ‘propriedade’ de Barbara Eden, a atriz de Eu Sonho de Jeannie ainda está viva, atualmente com 93 anos.
^† Arquivado: https://archive.ph/tsMb0

Publicado pela primeira vez na quinta-feira, 24 de abril de 202. Alterado na quinta-feira, 24 de abril de 2025, 14:32:28: datas corrigidas.