O Reddit Proíbe a Comunidade ‘SFW’ de Deepfakes

Durante o fim de semana, aparentemente por volta de domingo, o Reddit proibiu a comunidade de deepfakes “SFW” (Safe For Work) intitulada r/deepfakesfw. A subreddit era uma das primeiras respostas à exclusão, pela gigante das mídias sociais, da comunidade original de deepfakes, r/deepfakes, em 2018.

A lenda relativamente padrão que agora cumprimenta (snapshot de arquivo feito na segunda-feira, 13 de junho) qualquer pessoa que visita a sub explica que ela ‘foi banida devido a uma violação das regras do Reddit contra pornografia involuntária’.

A nova página inicial para r/deepfakesfw.

A sub r/deepfakesfw não foi frequentemente arquivada por plataformas de conservação populares, mas a mais recente snapshot da WayBack Machine, feita há cerca de dez dias (em 3 de junho de 2022), indica que a sub tinha 3.095 leitores naquela época.

Isso é, na verdade, um número maior de assinantes do que r/DeepFakesSFW (note o ‘s’ extra), que atualmente tem 2.827 leitores (snapshot feito na segunda-feira, 13 de junho de 2022). A comunidade ‘legítima’ SFW de deepfakes mais popular parece ser atualmente r/SFWdeepfakes, que, no momento da escrita, tem 16.636 leitores (snapshot feito na segunda-feira, 13 de junho de 2022).

Nem Pergunte

O que parece ter condenado r/deepfakesfw não foi a postagem, mas o pedido de pornografia de deepfakes. As regras do Reddit sobre Mídia Sexualmente Explícita afirmam:

‘[Imagens] ou vídeo de outra pessoa postado com o propósito específico de criar conteúdo explícito falso ou solicitar “pornografia de lookalike” (por exemplo, “deepfakes” ou “pornografia de bolha”) também é contra a Regra.’

Com base no último feed de RSS disponível da sub banida SFW, foi o pedido e não a postagem de conteúdo de deepfakes NSFW que finalmente desencadeou a proibição:

Alguns dos últimos posts claramente NSFW da subreddit r/deepfakesfw agora morta. Fonte: Inoreader.

Embora os posts que esses feeds de RSS apontam não estejam mais disponíveis, clicar nos links de perfil dos solicitantes (desfocados na imagem acima) revela que muitos dos postadores solicitam conteúdo de deepfakes proibido em mais de um fórum e estão pedindo ou oferecendo alguns dos conteúdos mais extremos desse tipo, incluindo pornô de incesto e várias sombras de temas pornográficos involuntários.

Isso sugere que as subs ‘SFW’ restantes do Reddit sobrevivem pela velocidade, diligência e tempos de resposta rápidos de seus moderadores, desde que parece que o Reddit não está disposto a se tornar um tipo de fórum de classificados para que as pessoas se conectem e transacionem deepfakes ilegítimos via DMs (nos casos em que isso não pode ser explicitamente solicitado em uma postagem).

Se for assim, então a sub r/DeepFakesSFW ainda não banida pode estar vivendo emprestado; suas duas postagens atuais de destaque quando se entra na URL da subreddit raiz com o tema ‘old’ do Reddit habilitado foram marcadas especificamente como ‘NSFW’ (uma tag que presumivelmente não deveria estar disponível nessa comunidade específica).

Dependendo das circunstâncias, algumas postagens que violam as regras atualmente aparecem na sub r/DeepFakesSFW. Fonte: https://www.reddit.com/r/DeepFakesSFW/

Você pode ver essas duas postagens NSFW no topo do fórum r/DeepFakesSFW arquivado aqui (snapshot feito na segunda-feira, 13 de junho de 2022).

Na verdade, não há ‘flair’ NSFW disponível ao fazer uma nova postagem em r/DeepFakesSFW, que está operacional há quatro anos, de acordo com as informações da barra lateral:

Tags disponíveis ao postar em r/DeepFakesSFW.

Portanto, as tags NSFW em r/DeepFakesSFW parecem ter sido aplicadas por moderadores do fórum ou por administradores de nível superior – ou até mesmo algoritmos, possivelmente sem qualquer intervenção ou oposição dos moderadores locais. Eu me comuniquei com o único moderador listado de r/DeepFakesSFW sobre isso e publicarei quaisquer atualizações disponíveis.

(EDIÇÃO, terça-feira, 14 de junho de 2022 – Um moderador de r/DeepFakesSFW respondeu, afirmando ‘Parece que acontece quando a conta do usuário é NSFW’. Presumivelmente, a única maneira de desacelerar a probabilidade de tais pedidos em subs de deepfakes SFW seria, portanto, banir usuários que ‘ganharam’ essa classificação.)

A maioria do conteúdo nessa subreddit e na maior r/SFWdeepfakes está preocupada em usar tecnologia de deepfakes para ‘recriar’ atores de filmes populares ou clássicos, ou de outra forma para ter algum divertimento mais inócuo com mídia popular e tecnologia de deepfakes, e de fato se qualificam como ‘SFW’.

Embora muitas dessas postagens estejam perigosamente perto de bans baseados em direitos autorais, a sobrevivência contínua de postagens de vídeo de deepfakes ‘apropriados de IP’ não pornográficos por grandes criadores de deepfakes do YouTube, como Ctrl-Shift-Face, sugere uma ampla tolerância de estúdios e detentores de direitos em relação a essa atividade, pelo menos por enquanto.

A Aparência ‘Inocente’ do Processo e da Ecoestrutura de Deepfakes

Há duas semanas, ficou claro (e muito discutido) que o Google havia proibido repentinamente o software de criação de deepfakes de seus ambientes de processamento em nuvem Colab. Até a data de hoje, o Colab é aparentemente ‘acionado’ apenas por tentativas de executar DeepFaceLab (DFL), o software de deepfakes mais popular do mundo (e o mais estreitamente associado à pornografia de IA), em vez de implementações menos frequentadas, como FaceSwap, que é melhor reputado, embora execute exatamente as mesmas tarefas que o DFL.

Até certo ponto, essa abordagem pode ter sido a única maneira pela qual o Colab poderia ter implementado alguma restrição à produção de pornografia de deepfakes, pois o processo real de treinamento de deepfakes usa apenas software de código aberto e imagens de face recortadas (geralmente com apenas 512x512px, muitas vezes menos), com quase zero possibilidade de algoritmos de reconhecimento de imagens interceptarem qualquer conteúdo pornográfico real.

Quando o modelo de deepfake é treinado, o criador de deepfakes não precisa mais do enorme poder de processamento do Colab ou de uma GPU local cara. A maioria das conversões reais (ou seja, o processo de impor uma face em um vídeo, pornográfico ou não), pode ser realizada localmente, em GPUs de laptops de baixo poder – ou até mesmo em uma CPU (com um tempo de processamento ligeiramente mais longo). Quando algo pornográfico está acontecendo no processo de deepfake, o Colab já está fora da equação há muito tempo.

Portanto, os elementos constituintes que passam entre criadores de pornografia de deepfakes raramente representam mais do que uma possível infração de direitos autorais menor, na forma de ‘conjuntos de faces’, que criadores de deepfakes extraíram de vídeos do YouTube, Blu-rays, entrevistas transmitidas, mídias sociais e várias outras fontes.

Uma Política de ‘Terra Arrasada’ Está Vindo para as Comunidades de Deepfakes?

A pergunta que assombra os habitantes das comunidades de deepfakes do Discord, como DeepFaceLab (incluindo DeepFaceLive), FaceSwap, Machine Video Editor (MVE, um ambiente baseado em GUI para DFL, com muitos recursos adicionais), e novos servidores de deepfakes de áudio do Discord, como Audio Deepfakes, é Os proprietários atuais de portais e plataformas logo simplesmente proibirão as comunidades de deepfakes por princípio, em vez de suportar o custo de moderação constante contra uma maré de adeptos e criadores de NSFW?

Bryan Lyon, um dos desenvolvedores do FaceSwap e proprietário do servidor do Discord associado, comentou^†:

‘Conseguimos ficar no Discord, apesar de várias purgas, ficando absolutamente limpos. Não temos canais ocultos ou um segundo servidor secreto com conteúdo ilícito. Houve uma purga do servidor popular do DeepFaceLab há alguns anos. Todos nele foram banidos. Eles tinham papéis de convite com acesso a canais com pornografia não consensual.’

Dado que o Google, uma das maiores fontes de recursos tecnológicos do mundo, proibiu o treinamento de deepfakes em seus servidores e GPUs, é possível que a GitHub, de propriedade da Microsoft, decida que facilitar essas tecnologias* não valerá a pena a ambiguidade moral ou o investimento de supervisão.

Até o momento, o processo de legitimar tecnologias de deepfakes para que seu uso se afaste da pornografia caseira em direção à produção de filmes e TV, e usos não infractores/criminais, é muito incipiente para produzir diretrizes de política claras para plataformas e serviços de hospedagem de comunidades.

* Arquivo de https://github.com/search?q=deepfake de segunda-feira, 13 de junho de 2022.
† Em DMs privados no Discord.

Publicado pela primeira vez em 13 de junho de 2022. Editado às 15h08 UTC para emendar imagem.
Emendado na terça-feira, 14 de junho de 2022, às 6h24 UTC, para adicionar a resposta do moderador do Reddit sobre o status NSFW de alguns postadores. Também emendado a imagem sobre ilustrações de feeds RSS.