Connect with us

CivitAI Aperta Regras de Deepfakes Sob Pressão da Mastercard e Visa

Ângulo de Anderson

CivitAI Aperta Regras de Deepfakes Sob Pressão da Mastercard e Visa

mm
ChatGPT-4o + Firefly

CivitAI, possivelmente o repositório de modelos de IA mais popular na internet, finalmente cedeu à pressão dos facilitadores de pagamento MasterCard e Visa para revisar radicalmente suas políticas de conteúdo NSFW – e particularmente seus TOS sobre LoRAs de celebridades, uma das correntes de conteúdo mais populares submetidas pelos usuários do site, que permitem que as pessoas usem modelos adjuntos gratuitos, como LoRAs, para criar depicções de IA (incluindo depicções de vídeo) de pessoas bem conhecidas.

Clique para reproduzir. Embora Civit não forneça números exatos (e a rotulagem/ categorização incorreta não é incomum, o que provavelmente distorceria os números), o número de modelos de IA de celebridades, principalmente LoRAs, está claramente na casa das centenas ou até mesmo milhares, e claramente dominado por sujeitos femininos. Fonte: civitai.com

Claramente operando sob pressão em uma transmissão ao vivo do Twitch** em nome da empresa, o Gerente de Engajamento da Comunidade da empresa, Alasdair Nicoll, ele mesmo um criador de modelos (SFW) na Civit, admitiu que as mudanças foram impostas ao site pelos processadores de pagamento da empresa devido a preocupações sobre conteúdo adulto e representação de pessoas reais. Ele também admite a probabilidade de que as principais forças por trás desses processadores, Visa e MasterCard, provavelmente exigirão mudanças ainda maiores posteriormente:

‘Essas não são mudanças que queríamos fazer. Isso se resume a nova e iminente legislação. Existem leis de deepfakes por aí, existem leis de pornografia de IA… processadores de pagamento, e, em última análise, Visa e MasterCard estão assustados; eles não querem ser processados, e estão, em última análise, impulsionando essas mudanças.

‘Algumas das outras opções que nos foram dadas foram remover todo o conteúdo não seguro para o trabalho; remover conteúdo X e triple-X do CivitAI e para uma plataforma completamente nova, e, em seguida, bloquear geograficamente essa plataforma, porque mais da metade dos estados dos EUA exigem algum tipo de bloqueio geográfico de pornografia, [bem como] muitos países asiáticos e o Reino Unido…

‘A terceira opção era ir para pagamentos em criptomoedas, pagamentos em criptomoedas apenas… então, literalmente, não havia boas opções para isso.’

O domínio Civit tem estado periodicamente offline para revisões nos últimos dias, aparentemente para efetuar as mudanças. Embora o site já tivesse proibido o uso de temas NSFW em depicções de celebridades LoRA/modelo, agora é impossível navegar pela seção de modelos do Civit e ver pré-visualizações de LoRA de celebridades lado a lado com o grande número de modelos NSFW genéricos projetados para produzir conteúdo maduro.

O anúncio oficial afirma:

‘Conteúdo marcado com nomes de pessoas reais (como “Tom Cruise”) ou marcado como recursos de POI (pessoas reais) será ocultado dos feeds.’

Na sessão do Twitch, Nicoll revelou mais detalhes sobre medidas projetadas para proteger figuras famosas e pessoas reais. Civit sempre permitiu que pessoas reais solicitassem que um modelo de IA hospedado pela Civit que as retratasse fosse removido, mas agora Nicoll alude a um sistema que pode evitar que tais imagens sejam reenviadas após a rejeição inicial, com a facilidade de identificar uma ‘pessoa protegida’ mesmo em imagens que o sistema nunca viu antes.

Para esse fim, o site agora está se associando ao sistema de moderação de IA Clavata – embora a extensão com que Clavata irá alimentar essas novas instalações ainda não esteja clara.

Nicoll disse:

‘Tom Hanks reivindicou sua semelhança conosco, por exemplo. Muitas atrizes de adultos também o fizeram; muitos atores e atrizes da lista A também…

‘Acho que a primeira que já tivemos foi Barbara Eden, seu espólio* – ela foi uma das primeiras a reivindicar sua semelhança, o que é um pouco engraçado, porque ela é velha.’

Protegido por Padrão?

Ao longo dos últimos dois anos, a empresa de efeitos visuais de IA Metaphysic (divulgação total: eu trabalhei para Metaphysic.ai desde o início de 2022 até o final de 2024) tentou criar um sistema proprietário que permitiria que qualquer pessoa registrasse sua própria semelhança, embora principalmente direcionado a nomes de Hollywood preocupados com a captura de suas identidades com base em IA, com o apoio de atores como Anne Hathaway, Octavia Spencer e Tom Hanks (com quem a empresa trabalhou no lançamento de Robert Zemeckis Aqui [2024]).

Logicamente, a utilidade do sistema sempre dependeu da legislação de caso; com base nas medidas que Civit agora está sendo forçada a tomar, o serviço baseado em assinatura proposto pela Metaphysic pode ser redundante diante do rápido crescimento das leis de deepfakes e da cobertura potencial (gratuita) sob a lei comum. Não está claro no momento se a oferta Metaphysic Pro será transferida para a empresa de efeitos visuais Double Negative, que adquiriu os ativos da Metaphysic no ano passado.

De qualquer forma, está cada vez mais claro que a legislação global e as pressões do mercado são mais prováveis de fornecer proteção e soluções, em vez de soluções comerciais desse tipo.

Cozinhando o Sapinho

Um relatório de 2023 da 404 Media chamou a atenção para a tendência de modelos de IA de celebridades e pornô no Civit, embora o fundador do site, Justin Maier, diminuído a relação entre semelhanças de celebridades contribuídas pelos usuários e seu uso na geração de material pornográfico.

Embora Civit ganhe dinheiro facilitando o uso de LoRAs e outros modelos fornecidos pelos usuários no site, Nicoll está claro de que isso não é a principal preocupação que motiva Visa e MasterCard a estipular mudanças no site, para que ele possa continuar a ser monetizado:

‘Algumas pessoas estão dizendo que o motivo pelo qual estamos nessa bagunça é porque permitimos a geração. Isso não entra em questão. O hospedagem desses modelos, o hospedagem desse conteúdo, é o suficiente para atrair o olho de Sauron.’

As threads de comentários da comunidade se maravilharam nos últimos anos de que Civit foi autorizado a hospedar semelhanças de celebridades. Cientes da possibilidade, talvez inevitabilidade de uma repressão, várias iniciativas para preservar LoRAs removidas pelo Civit ou por seus uploaders foram propostas ou implementadas, incluindo o (até agora) rather negligenciado subreddit r/CivitaiArchives.

Embora muitos tenham sugerido que uma iniciativa baseada em torrent é a solução natural, nenhum domínio bem seguido parece ter emergido ainda – e, de qualquer forma, isso pareceria certo para mover a atividade banida no Civit e em outros lugares para as margens mais externas da internet; para jardins murados; e, mais provavelmente, para a dark net, uma vez que a maioria das estruturas que poderiam acomodar LoRAs de semelhanças banidas (como Reddit e Discord) ou já banem tal conteúdo ou parecem certos de banir em breve.

No momento, LoRAs de celebridades ainda podem ser vistas com algumas restrições no Civit, embora a maioria do conteúdo gerado tenha sido removida da lista e será excluída da descoberta casual. O que parece provável, um comentarista sugeriu a Nicoll na sessão do Twitch, é que a repressão se aprofundará (presumivelmente para o ponto de banir todas as semelhanças de pessoas reais em modelos ou depicções carregados).

Nicoll respondeu:

‘”Eles não vão parar aqui, vão continuar exigindo mais e mais” – absolutamente! Sim, absolutamente. É só o mundo em que vivemos. A única esperança é que nos tornemos grandes e poderosos o suficiente para ter um pouco mais a dizer sobre o que está sendo ditado a nós […]

Desesperado com as alternativas oferecidas ao Civit, Nicoll acrescentou:

‘[…] Ninguém vai comprar Bitcoin para [usar] o gerador CivitAI. Então, tentamos tornar isso o mais palatável possível, e é o que acabamos com. Então, peço desculpas se isso é algo que você simplesmente não pode suportar, mas infelizmente é o que é. Tentamos nosso melhor, empurramos tanto quanto podíamos, mas, no final, fomos informados de que é isso – você tem que fazer isso ou será o fim […]’

‘[…] Essas instituições financeiras, elas não entendem o que as pessoas estão fazendo aqui com isso. Tentamos dizer a elas, tentamos falar com elas, mas somos praticamente o último bastião de [conteúdo NSFW].

Nicoll disse que Civit havia se aproximado de ‘todo processador de pagamento imaginável:

‘Até mesmo os processadores de pagamento de alto risco que os sites de pornô usam, e eles estão todos muito, muito cautelosos com conteúdo de IA. Esse é o problema – é conteúdo de IA. Se fôssemos um site de pornô tradicional, estaríamos bem, mas o conteúdo de IA é o que eles têm medo.’

Para Onde?

Antes desse anúncio, Civit havia sido observado removendo uploads cobertos por algumas das categorias e tipos de conteúdo que agora estão proibidos. No momento da escrita, um ‘repositório de emergência’ para Wan 2.1 LoRAs foi estabelecido no site Hugging Face. Embora alguns dos LoRAs arquivados lá sejam projetados para facilitar atividades sexuais gerais que são escassamente treinadas ou ausentes em novos modelos de vídeo, como Wan 2.1, vários deles caem sob a categoria agora estritamente proibida ‘despir’ (ou seja, ‘desnudificar’), incluindo alguns modelos que poderiam ser argumentados como ‘extremos’ ou manifestamente potencialmente ofensivos.

O subreddit r/datahoarders, que esteve à frente da preservação de literatura online do governo dos EUA sob a campanha de exclusão em massa de Donald Trump, mostrou desprezo pela ideia de salvar conteúdo perdido do CivitAI.

No momento, LoRAs de celebridades ainda podem ser vistas com algumas restrições no Civit, embora a maioria do conteúdo gerado tenha sido removida da lista e será excluída da descoberta casual. O que parece provável, um comentarista sugeriu a Nicoll na sessão do Twitch, é que a repressão se aprofundará (presumivelmente para o ponto de banir todas as semelhanças de pessoas reais em modelos ou depicções carregados).

Nicoll respondeu:

‘”Eles não vão parar aqui, vão continuar exigindo mais e mais” – absolutamente! Sim, absolutamente. É só o mundo em que vivemos. A única esperança é que nos tornemos grandes e poderosos o suficiente para ter um pouco mais a dizer sobre o que está sendo ditado a nós […]

Desesperado com as alternativas oferecidas ao Civit, Nicoll acrescentou:

‘[…] Ninguém vai comprar Bitcoin para [usar] o gerador CivitAI. Então, tentamos tornar isso o mais palatável possível, e é o que acabamos com. Então, peço desculpas se isso é algo que você simplesmente não pode suportar, mas infelizmente é o que é. Tentamos nosso melhor, empurramos tanto quanto podíamos, mas, no final, fomos informados de que é isso – você tem que fazer isso ou será o fim […]’

‘[…] Essas instituições financeiras, elas não entendem o que as pessoas estão fazendo aqui com isso. Tentamos dizer a elas, tentamos falar com elas, mas somos praticamente o último bastião de [conteúdo NSFW].

Nicoll disse que Civit havia se aproximado de ‘todo processador de pagamento imaginável:

‘Até mesmo os processadores de pagamento de alto risco que os sites de pornô usam, e eles estão todos muito, muito cautelosos com conteúdo de IA. Esse é o problema – é conteúdo de IA. Se fôssemos um site de pornô tradicional, estaríamos bem, mas o conteúdo de IA é o que eles têm medo.’

Metadados Obrigatórios

Uma mudança interessante aparentemente exigida pelos processadores de pagamento, de acordo com Nicoll, é que todas as imagens no site devem agora conter metadados. Quando uma imagem ou vídeo é produzido por um modelo gerador em um fluxo de trabalho típico em uma plataforma como ComfyUI, a saída geralmente contém metadados que lista o modelo usado (seu hash, bem como seu nome, para que, no caso de o modelo ser renomeado por um usuário, sua proveniência permaneça clara) e várias outras configurações.

Devido a esses pontos de dados ocultos sobre como a imagem foi feita, os usuários são capazes de arrastar um vídeo ou imagem feito por outra pessoa para o seu próprio fluxo de trabalho ComfyUI e recriar todo o fluxo, e abordar quaisquer dependências ausentes (como modelos ou componentes que o criador original tinha, que o usuário terá que localizar e baixar).

Qualquer geração de imagens ou vídeos que falta esses dados será, Civit anunciou, excluída dentro de trinta dias. Os usuários podem adicionar esses dados manualmente, digitando-os no site Civit.

Como o valor dos metadados é (presumivelmente) evidenciário, essa exigência parece um pouco inútil; é trivial copiar e colar metadados de um arquivo para outro, e a invenção ad hoc de metadados via um formulário da web torna essa nova regra um pouco confusa.

No entanto, vários usuários (incluindo um que comentou na sessão do Twitch) têm muitos milhares de imagens carregadas no Civit. Sua única solução agora é anotar manualmente cada um deles, ou apagar e carregar novamente versões das imagens com metadados adicionados – o que apagará qualquer ‘curtida’ ou ‘buzz’ ou conversas que as imagens originais geraram.

As Novas Regras

Aqui estão as mudanças resumidas aplicáveis no Civit a partir de hoje:

  • Conteúdo marcado com nomes de indivíduos reais ou identificado como recursos de pessoas reais não aparecerá mais em feeds públicos.
  • Conteúdo com temas de crianças/menores será filtrado dos feeds.
  • Conteúdo X e XXX classificado que falta metadados de geração será ocultado da vista pública e marcado com um aviso, permitindo que o uploader adicione os detalhes ausentes. Tal conteúdo não será excluído, mas permanecerá visível apenas para seu criador até ser atualizado.
  • Imagens feitas usando a funcionalidade Bring Your Own Image (BYOI) devem agora aplicar pelo menos 50% de alteração de ruído durante a geração. Isso significa que a IA deve modificar significativamente a imagem carregada, reduzindo a chance de gerar réplicas quase idênticas. No entanto, imagens criadas inteiramente no CivitAI ou remixadas de outros conteúdos do CivitAI não estão sujeitas a essa regra e ainda podem usar qualquer nível de desruído, desde nenhum (0,0) até transformação total (1,0). Essa mudança visa reduzir o abuso da ferramenta BYOI, que poderia ser usada para produzir deepfakes sutis ou indetectáveis, alterando levemente imagens reais.
  • Quando navegando com conteúdo X ou XXX habilitado, pesquisas por nomes de celebridades não retornarão resultados. Combinar nomes de celebridades com conteúdo maduro permanece proibido.
  • Anúncios não aparecerão em imagens ou recursos projetados para replicar a aparência de indivíduos reais.
  • A dica (Buzz) será desativada para imagens ou recursos que retratam indivíduos reais.
  • Modelos projetados para replicar pessoas reais não serão elegíveis para Acesso Antecipado, um recurso do Civitai que permite que criadores lancem conteúdo primeiro para apoiadores pagantes. Isso limita a monetização de semelhanças de celebridades ou pessoas reais.
  • Um Declaração de Conformidade 2257 foi adicionado para esclarecer que a plataforma não permite nenhum conteúdo não gerado por IA. Isso ajuda a garantir proteção legal, afirmando que todo material explícito é sintético e não baseado em fotografia ou vídeo real.
  • Uma nova Página de Solicitação de Remoção de Conteúdo permite que qualquer pessoa relate material abusivo ou ilegal sem precisar fazer login. Usuários registrados devem continuar usando as ferramentas de relatório integradas em cada postagem. Isso é separado do formulário existente para solicitar a remoção de sua semelhança da plataforma.
  • CivitAI introduziu um novo sistema de moderação por meio de uma parceria com Clavata, cujas ferramentas de análise de imagens superaram soluções anteriores, como Amazon Rekognition e Hive.

** À partir de terça-feira, 20 de maio de 2025 11:23:47 (pode ter acontecido antes), a transmissão ao vivo do Twitch foi removida. Para garantir que eu pudesse verificar os fatos relatados na transmissão, retiro uma cópia.

* Apesar da menção ao ‘espólio’ de Barbara Eden, a atriz de Eu Sonho de Jeannie ainda está viva, atualmente com 93 anos.
Arquivado: https://archive.ph/tsMb0

Publicado pela primeira vez na quinta-feira, 24 de abril de 202. Alterado na quinta-feira, 24 de abril de 2025 14:32:28: corrigido datas.
Modificado na terça-feira, 20 de maio de 2025 para refletir a remoção do conteúdo do Twitch usado como material de referência.

Escritor sobre aprendizado de máquina, especialista em síntese de imagem humana. Ex-chefe de conteúdo de pesquisa da Metaphysic.ai.