Transmissão DeepFake em tempo real com DeepFaceLive

O software deepfake mais usado no mundo, e o mais fortemente associado à pornografia deepfake, está recebendo uma nova implementação – a capacidade de sobrepor deepfakes de celebridades em imagens de webcam ao vivo.

O repositório de código aberto DeepFace Live é um aplicativo do Windows 10 desenvolvido com base em DeepFace Lab, que rapidamente se tornou o principal recurso para troca de rosto baseada em pornografia depois que o criador do software deepfake original abandonou o projeto logo após o advento do deepfaking ter criado polêmica mundial em 2018. Ambos os projetos Lista a seção de fórum do site pornô deepfake mrdeepfakes como um recurso de suporte oficial.

Em um vídeo da interface DeepFaceLive lançado pelo desenvolvedor Ivan Petrov em abril, vemos imagens baixadas do imitador Miles Fisher sendo transformado em Tom Cruise em tempo real. Fonte: https://martinanderson.substack.com/p/real-time-deepfake-streaming-is-apparently

Ontem, o líder de ambos os projetos, o desenvolvedor russo Ivan Petrov, anunciou uma nova versão do DeepFaceLive no grupo Discord do projeto, observando que o DeepFaceLive agora incorpora um modelo treinado da atriz Margot Robbie, assunto frequente de vídeos pornográficos no mrdeepfakes.

Quatro videoclipes de amostra foram carregados para demonstrar a capacidade do DeepFaceLive de anexar a identidade de Robbie a qualquer locutor em um feed de webcam.

Uma das demonstrações de Margot Robbie de deepfaking ao vivo. Fonte: https://github.com/iperov/DeepFaceLive/tree/master/doc/celebs/Margot_Robbie

Os vídeos de transformação de Robbie foram originalmente compartilhados no Twitch, mas posteriormente excluídos.

Os outros três exemplos de troca de faces fornecidos pelo DeepFaceLive. A exigência de uma correspondência facial aproximada com o sujeito alvo ainda está em evidência. Na imagem inferior esquerda vemos que o software não pode efetivamente mascarar obstruções, como pode ser obtido no DeepFaceLab, pois isso requer máscaras de treinamento no aplicativo XSeg do DeepFaceLab, um método que não pode ser aplicado à falsificação em tempo real.

Um modelo padrão adicional, do comediante e ator britânico Rowan Atkinson, deve ser disponibilizado para o DeepFaceLive em breve. Originalmente, o repositório DeepFaceLive apresentava uma categoria CELEB_MODEL, onde era possível baixar outras celebridades, incluindo Tom Cruise, como Open Neural Network Exchange (.onnx), embora esses diretórios tenham sido excluídos.

Tom Cruise foi uma identidade incorporada para um beta do DeepFaceLive em abril de 2021, mas desde então aparentemente foi removido como padrão no pacote. No entanto, o modelo pode ser baixado e instalado, junto com modelos treinados de muitas outras celebridades e modelos personalizados treinados por usuários finais.

O DeepFaceLive é executado exclusivamente como um aplicativo do Windows 10 e é relatado por um usuário para funcionar bem com a transmissão ao vivo da NVIDIA Transmissões aplicação.

Obtendo Identidades

Os usuários não precisam passar pelo laborioso processo de coleta de material facial para um conjunto de dados, seguido pelos 3 a 10 dias necessários para obter uma correspondência muito boa, uma vez que o FAQ do DeepFaceLive afirma que ele pode usar 'modelos de face públicos prontos para uso ' que já foram compilados por outros criadores. Com efeito, a maior fonte de tais modelos é o Modelos treinados em fórum (link de arquivo) no site pornô mrdeepfakes, que pode ser visto em uso por um usuário final russo em um vídeo recente do YouTube.

Vladislav Pedro usando o DeepFaceLive para se transformar em Tom Cruise em tempo real. O modelo que ele carrega no vídeo está hospedado em mrdeepfakes e tem sido usado até agora para processamento offline de deepfake. Fonte: https://www.youtube.com/watch?v=0TcCKtObSnI

Embora os melhores resultados sejam obtidos treinando o rosto do usuário final contra a celebridade-alvo, a qualidade da simulação parece estar em proporção direta com a semelhança do usuário final com o alvo. Quando o usuário está relativamente bem ajustado à celebridade, um resultado convincente pode ser obtido.

Como fica evidente nas últimas três trocas de Margot Robbie nas imagens acima, o software não pode fazer milagres onde o rosto do usuário final tem características gerais radicalmente diferentes. No entanto, o DeepFaceLab também pode realizar trocas de cabeça inteiras, um processo que substitui completamente a cabeça de origem, embora com limitações no que diz respeito aos penteados. Os comentários no servidor Discord confirmam que eles também podem ser implementados no DeepFaceLive.

Atualmente, o DeepFaceLive suporta apenas GPUs NVIDIA, sendo a GTX 750 o hardware mais baixo que pode obter um resultado razoável com o aplicativo. Em uma placa gráfica com 4 GB de VRAM, ela também requer 32 GB de espaço em disco de troca.

Treinando o modelo Margot Robbie – uma imagem publicado no Discord DeepFaceLab/DeepFaceLive por Ivan Petrov. Aqui vemos que o conjunto de dados de origem é extremamente diversificado, aparentemente com a intenção de criar um modelo robusto e bem generalizado que possa transformar uma ampla gama de tipos faciais na imagem da atriz australiana. A maioria dos conjuntos 'A' são geralmente de um único indivíduo.

Os usuários relatam que o DeepFaceLive é extremamente exigente em termos de recursos de hardware, mas Petrov respondeu a isso afirmando que o DeepFaceLive é destinado a PCs bem especificados em um ambiente interno.

O DeepFaceLab GitHub foi "fork" mais de 6,000 vezes, enquanto o novo DeepFaceLive possui atualmente 85 garfos.

Possíveis Usos

Comentaristas em um fio (língua russa) no site social russo VK.com especulam sobre os possíveis usos do DeepFaceLive e parecem ter discernido todas as aplicações prováveis ​​para o software: como um 'anonimização' ou filtro recreativo no Zoom e aplicativos semelhantes; como meio para cometer fraude ou enganar a pessoa que assiste à transmissão ao vivo; e – talvez o mais provável, tendo em vista a proveniência do software e a base de usuários – como um meio de implementar o trabalho sexual baseado em webcam com foco em celebridades (veja a imagem no final do artigo).

A possibilidade de 'deepfake cam girls' emergiu na mídia há alguns anos. Em 2020, o aplicativo Avatarify anunciou funcionalidade de webcam de celebridade deepfake, mas com uma qualidade significativamente diminuir do que o padrão definido pelo DeepFaceLab, que agora é o repositório de escolha para recente manchete O deepfaker de Tom Cruise, Chris Ume, bem como produtoras de cinema e TV de alto nível em todo o mundo.

DeepFaceLab, o aplicativo inicial para o DeepFaceLive e o relatado (língua russa) para 95% de todos os deepfakes no YouTube, também é o software usado por Shamook, o deepfaker cujo extraordinário trabalho sobre como melhorar a participação especial de Luke Skywalker em The Mandalorian recentemente inspirou a Lucasfilm contratá-lo como consultor de VFX.

Adaptado às limitações do Deepfake

A metodologia de software deepfake, como DeepFaceLab e Troca de rosto é bem servido por um ambiente típico de webcam e remove muitos dos obstáculos à autenticidade que ainda podem afetar os deepfakes off-line.

Por exemplo, os deepfakes têm um desempenho menos convincente quando o usuário se vira para o perfil (ou olha para cima), se move rapidamente ou está sujeito a mudanças de cena ou mudanças repentinas de iluminação.

Portanto, a natureza 'estática' de uma chamada de zoom ou webcam típica joga com os pontos fortes do software. Muitos dos exemplos mais reverenciados de truques de deepfake nos últimos três anos apresentaram alto-falantes voltados diretamente para a câmera e movendo-se muito pouco em um ambiente restrito, como a imposição de Steve Buscemi a Jennifer Lawrence. em um discurso do Oscar, e a transformação de várias transmissões políticas 'para a câmera'.

Indiscutivelmente o uso mais provável do modelo Margot Robbie padrão incluído no DeepFaceLive – um vídeo de teste de implementação de câmera publicado no DeepFaceLab Discord pelo usuário russo 'NoFace'.

Alterado às 8h52 de 7 de agosto – Sobrenome corrigido.
Alterado às 8h30 de 8 de agosto - imagens adicionadas do Discord.