Transmissão de DeepFake em Tempo Real com DeepFaceLive

O software de deepfake mais utilizado do mundo, e o mais fortemente associado a pornografia de deepfake, está recebendo uma nova implementação – a capacidade de superpor deepfakes de uma semelhança de celebridade em vídeos ao vivo de webcam.

O repositório de código aberto DeepFaceLive é um aplicativo do Windows 10 construído sobre as fundações do DeepFaceLab, que rapidamente se tornou o recurso líder para troca de faces baseada em pornografia após o criador do software de deepfake original abandonar o projeto logo após a criação de deepfakes ter criado controvérsia mundial em 2018. Ambos os projetos listam a seção de fórum do site de pornografia de deepfake mrdeepfakes como um recurso de suporte oficial.

Em um vídeo da interface do DeepFaceLive lançado pelo desenvolvedor Ivan Petrov em abril, vemos imagens baixadas do imitador Miles Fisher sendo transformado em Tom Cruise em tempo real. Fonte: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Ontem, o líder de ambos os projetos, o desenvolvedor russo Ivan Petrov, anunciou uma nova versão do DeepFaceLive no grupo do Discord do projeto, observando que o DeepFaceLive agora incorpora um modelo treinado da atriz Margot Robbie, um tema frequente de vídeos pornográficos no mrdeepfakes.

Quatro clipes de vídeo de amostra foram carregados para demonstrar a capacidade do DeepFaceLive de anexar a identidade de Robbie a qualquer falante em um feed de webcam.

Uma das demonstrações de Margot Robbie de deepfaking ao vivo. Fonte: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Os vídeos de transformação de Robbie foram originalmente compartilhados no Twitch, mas subsequentemente excluídos.

Os três outros exemplos de troca de faces fornecidos pelo DeepFaceLive. O requisito de uma correspondência facial aproximada com o assunto-alvo ainda está em evidência. Na imagem inferior esquerda, vemos que o software não pode mascarar obstruções de forma eficaz, como pode ser alcançado no DeepFaceLab, desde que isso exige treinamento de máscaras no aplicativo XSeg do DeepFaceLab, um método que não pode ser aplicado a faking em tempo real.

Um modelo padrão adicional, do comediante e ator britânico Rowan Atkinson, é prometido para ser disponibilizado para o DeepFaceLive em breve. Originalmente, o repositório do DeepFaceLive apresentava uma categoria CELEB_MODEL, onde era possível baixar outros celebridades, incluindo Tom Cruise, como arquivos Open Neural Network Exchange (.onnx), embora esses diretórios tenham sido excluídos desde então.

Tom Cruise foi uma identidade incorporada a uma versão beta do DeepFaceLive em abril de 2021, mas desde então aparentemente foi removida como padrão no pacote. No entanto, o modelo pode ser baixado e instalado, juntamente com modelos treinados de muitas outras celebridades, e modelos personalizados treinados por usuários finais.

O DeepFaceLive executa exclusivamente como um aplicativo do Windows 10 e é relatado por um usuário para funcionar bem com o aplicativo de transmissão ao vivo Broadcast da NVIDIA.

Obtendo Identidades

Os usuários não precisam passar pelo processo laborioso de coletar material facial para um conjunto de dados, seguido dos 3-10 dias necessários para obter uma correspondência muito boa, desde que o FAQ do DeepFaceLive afirma que ele pode usar modelos faciais públicos “prontos para uso” que já foram compilados por outros criadores. Na prática, a maior fonte de tais modelos é a thread Forum-Trained Models (link de arquivo) no site de pornografia de deepfake mrdeepfakes, que pode ser vista em uso por um usuário final russo em um vídeo recente do YouTube.

Vladislav Pedro usando o DeepFaceLive para se transformar em Tom Cruise em tempo real. O modelo que ele carrega no vídeo é hospedado no mrdeepfakes e foi usado até agora para processamento de deepfake offline. Fonte: https://www.youtube.com/watch?v=0TcCKtObSnI

Embora os melhores resultados sejam obtidos treinando o rosto do usuário final contra o alvo de celebridade, a qualidade da simulação parece estar em proporção direta com o quão bem o usuário final se assemelha à celebridade. Quando o usuário é relativamente bem adaptado à celebridade, um resultado convincente pode ser obtido.

Como é evidente nos três últimos swaps de Margot Robbie nas imagens acima, o software não pode realizar milagres quando o rosto do usuário final tem características gerais radicalmente diferentes. No entanto, o DeepFaceLab também pode realizar trocas de cabeça completas, um processo que substitui completamente a cabeça de origem, embora com limitações em relação a penteados. Comentários no servidor do Discord confirmam que essas também podem ser implementadas no DeepFaceLive.

O DeepFaceLive atualmente suporta apenas GPUs NVIDIA, com o GTX 750 sendo o hardware mais baixo que pode obter um resultado razoável com o aplicativo. Em uma placa gráfica com 4GB de VRAM, também é necessário 32GB de espaço de disco de troca.

Treinando o modelo de Margot Robbie – uma imagem postada no Discord do DeepFaceLab/DeepFaceLive por Ivan Petrov. Aqui vemos que o conjunto de dados de origem é extremamente diverso, aparentemente com a intenção de criar um modelo robusto e bem generalizado que possa transformar uma ampla gama de tipos faciais na imagem da atriz australiana. A maioria dos conjuntos ‘A’ é usualmente de um único indivíduo.

Os usuários relatam que o DeepFaceLive é extremamente exigente em termos de recursos de hardware, mas Petrov respondeu a isso afirmando que o DeepFaceLive é destinado a PCs bem equipados em um ambiente interno.

O repositório do DeepFaceLab no GitHub foi bifurcado mais de 6.000 vezes, enquanto o novo DeepFaceLive atualmente tem 85 bifurcações.

Usos Possíveis

Comentários em uma thread (idioma russo) no site social russo VK.com especulam sobre os usos possíveis do DeepFaceLive e parecem ter discernido todos os aplicativos prováveis para o software: como um filtro de “anonimização” ou recreativo em aplicativos como o Zoom; como um meio para cometer fraude ou enganar a pessoa que assiste ao stream ao vivo; e – talvez mais provável, à luz da proveniência do software e da base de usuários – como um meio de implementar trabalho de webcam baseado em celebridades (veja a imagem no final do artigo).

A possibilidade de “garotas de câmera de deepfake” surgiu na mídia há alguns anos. Em 2020, o aplicativo Avatarify anunciou funcionalidade de webcam de celebridade de deepfake, mas em uma qualidade significativamente inferior ao padrão estabelecido pelo DeepFaceLab, que agora é o repositório de escolha para deepfakes recentes que chamaram a atenção dos headlines, como o deepfaker de Tom Cruise Chris Ume, bem como empresas de produção de filmes e TV de alto nível em todo o mundo.

O DeepFaceLab, o aplicativo de origem para o DeepFaceLive e o relatado (idioma russo) framework para 95% de todos os deepfakes no YouTube, também é o software usado por Shamook, o deepfaker cujo trabalho extraordinário melhorando a aparição de Luke Skywalker em The Mandalorian recentemente inspirou a Lucasfilm a contratar como consultor de efeitos visuais.

Adaptado às Limitações de Deepfake

A metodologia do software de deepfake, como o DeepFaceLab e o FaceSwap, é bem servida por um ambiente de webcam típico e remove muitos dos obstáculos à autenticidade que ainda podem afetar deepfakes offline.

Por exemplo, os deepfakes performam menos convincentemente quando o usuário se vira para o perfil (ou olha para cima), se move rapidamente ou está sujeito a mudanças de cena ou mudanças bruscas de iluminação.

Portanto, a natureza “estática” de uma chamada de Zoom ou webcam típica atende às forças do software. Muitos dos exemplos mais reverenciados de truques de deepfake nos últimos três anos apresentaram falantes enfrentando a câmera diretamente e se movendo muito pouco em um ambiente restrito, como a imposição de Steve Buscemi sobre Jennifer Lawrence em um discurso de Oscar, e a transformação de várias transmissões políticas “para a câmera”.

Arguably o uso mais provável do modelo padrão de Margot Robbie incluído no DeepFaceLive – um vídeo de teste de implementação de câmera publicado no Discord do DeepFaceLab pelo usuário russo ‘NoFace’.

Alterado às 20h52 do dia 7 de agosto – Corrigido sobrenome.
Alterado às 20h30 do dia 8 de agosto – imagens adicionadas do Discord.