RigNeRF: Um Novo Método de Deepfakes que Utiliza Campos de Radiância Neurais

Pesquisas recentes desenvolvidas na Adobe estão oferecendo o primeiro método viável e eficaz de deepfakes baseado em Campos de Radiância Neurais (NeRF) – talvez a primeira inovação real em arquitetura ou abordagem nos cinco anos desde o surgimento dos deepfakes em 2017.

O método, intitulado RigNeRF, utiliza modelos de face morfáveis 3D (3DMMs) como uma camada intersticial de instrumentação entre a entrada desejada (ou seja, a identidade a ser imposta no render NeRF) e o espaço neural, um método que tem sido amplamente adotado nos últimos anos por abordagens de síntese de face baseadas em Redes Adversárias Generativas (GAN), nenhuma das quais produziu até agora frameworks de substituição de face funcionais e úteis para vídeo.

Ao contrário dos vídeos de deepfakes tradicionais, absolutamente nenhum do conteúdo em movimento retratado aqui é ‘real’, mas sim um espaço neural explorável que foi treinado em footage breve. À direita, vemos o modelo de face morfável 3D (3DMM) atuando como interface entre as manipulações desejadas (‘sorri’, ‘olhe para a esquerda’, ‘olhe para cima’, etc.) e os parâmetros usualmente inacessíveis de uma visualização de Campo de Radiância Neural. Para uma versão de alta resolução deste clipe, juntamente com outros exemplos, veja a página do projeto, ou os vídeos incorporados no final deste artigo. Fonte: https://shahrukhathar.github.io/2022/06/06/RigNeRF.html

Os 3DMMs são efetivamente modelos de CGI de faces, os parâmetros dos quais podem ser adaptados a sistemas de síntese de imagem mais abstratos, como NeRF e GAN, que são de outra forma difíceis de controlar.

O que você está vendo na imagem acima (imagem do meio, homem de camisa azul), bem como a imagem diretamente abaixo (imagem da esquerda, homem de camisa azul), não é um ‘vídeo real’ no qual um pequeno patch de ‘face falsa’ foi superposto, mas sim uma cena completamente sintetizada que existe apenas como uma renderização neural volumétrica – incluindo o corpo e o fundo:

No exemplo acima, o vídeo da vida real à direita (mulher de vestido vermelho) é usado para ‘marionetar’ a identidade capturada (homem de camisa azul) à esquerda via RigNeRF, que (os autores afirmam) é o primeiro sistema baseado em NeRF a alcançar a separação de pose e expressão, além de ser capaz de realizar sínteses de visão novas.

A figura masculina à esquerda na imagem acima foi ‘capturada’ a partir de um vídeo de 70 segundos de um smartphone, e os dados de entrada (incluindo toda a informação da cena) foram subsequentemente treinados em 4 V100 GPUs para obter a cena.

Desde que os modelos de face morfáveis 3D (3DMMs) também estão disponíveis como proxies CGI paramétricos para o corpo inteiro (e não apenas como modelos de face), RigNeRF potencialmente abre a possibilidade de deepfakes de corpo inteiro, onde o movimento humano real, a textura e a expressão são passados para a camada paramétrica baseada em CGI, que então traduziria ação e expressão em ambientes e vídeos NeRF renderizados.

Quanto a RigNeRF – ele se qualifica como um método de deepfake no sentido atual em que os títulos entendem o termo? Ou é apenas mais um também-ran semi-aleijado para DeepFaceLab e outros sistemas de deepfakes baseados em autoencoders da era de 2017?

Os pesquisadores do novo artigo são inequívocos sobre este ponto:

‘Por ser um método capaz de reanimar faces, RigNeRF é propenso a mau uso por atores mal-intencionados para gerar deepfakes.’

O novo artigo é intitulado RigNeRF: Retratos Neurais 3D Totalmente Controláveis, e vem de ShahRukh Atha, da Universidade de Stonybrook, um estagiário na Adobe durante o desenvolvimento de RigNeRF, e quatro outros autores da Adobe Research.

Além dos Deepfakes Baseados em Autoencoders

A maioria dos deepfakes virais que capturaram os títulos nos últimos anos são produzidos por sistemas baseados em autoencoders, derivados do código que foi publicado no subreddit r/deepfakes em 2017 – embora não antes de ser copiado para o GitHub, onde foi bifurcado mais de mil vezes, não menos para a popular (embora controversa) DeepFaceLab e também o FaceSwap project.

Além de GAN e NeRF, os frameworks de autoencoders também experimentaram com 3DMMs como ‘diretrizes’ para melhorar a síntese de faces. Um exemplo disso é o projeto HifiFace de julho de 2021. No entanto, nenhuma iniciativa usável ou popular parece ter se desenvolvido a partir dessa abordagem até o momento.

Os dados para as cenas de RigNeRF são obtidos capturando vídeos curtos de smartphone. Para o projeto, os pesquisadores de RigNeRF usaram um iPhone XR ou um iPhone 12 para todos os experimentos. Para a primeira metade da captura, o sujeito é solicitado a realizar uma ampla gama de expressões faciais e fala enquanto mantém a cabeça imóvel, enquanto a câmera é movida ao redor dele.

Para a segunda metade da captura, a câmera mantém uma posição fixa, enquanto o sujeito deve mover a cabeça ao redor, evincindo uma ampla gama de expressões. Os 40-70 segundos de footage resultantes (cerca de 1200-2100 frames) representam o conjunto de dados inteiro que será usado para treinar o modelo.

Reduzindo a Coleta de Dados

Em contraste, os sistemas de autoencoders, como o DeepFaceLab, exigem a coleta e curadoria relativamente laboriosa de milhares de fotos diversas, frequentemente tiradas de vídeos do YouTube e outros canais de mídia social, bem como de filmes (no caso de deepfakes de celebridades).

Os modelos de autoencoders treinados resultantes são frequentemente destinados a ser usados em uma variedade de situações. No entanto, os ‘deepfakers’ de celebridades mais fastidiosos podem treinar modelos inteiros do zero para um único vídeo, apesar do fato de que o treinamento pode levar uma semana ou mais.

Apesar da nota de advertência dos pesquisadores do novo artigo, os conjuntos de dados ‘patchwork’ e amplamente montados que alimentam o pornô AI, bem como as ‘recriações de deepfakes’ populares do YouTube/TikTok, parecem improváveis de produzir resultados aceitáveis e consistentes em um sistema de deepfake como RigNeRF, que tem uma metodologia específica de cena. Dada as restrições de captura de dados delineadas no novo trabalho, isso pode provar, em certa medida, uma salvaguarda adicional contra a apropriação casual de identidade por deepfakers mal-intencionados.

Adaptando NeRF para Vídeo de Deepfake

NeRF é um método baseado em fotogrametria no qual um pequeno número de fotos de origem tiradas de várias perspectivas são montadas em um espaço neural 3D explorável. Essa abordagem ganhou destaque no início deste ano, quando a NVIDIA lançou seu Instant NeRF sistema, capaz de reduzir os tempos de treinamento exorbitantes para NeRF para minutos, ou até segundos:

Instant NeRF. Fonte: https://www.youtube.com/watch?v=DJ2hcC1orc4

O resultado é essencialmente um ambiente estático que pode ser explorado, mas que é difícil de editar. Os pesquisadores observam que duas iniciativas anteriores baseadas em NeRF – HyperNeRF + E/P e NerFACE – tentaram a síntese de vídeo facial, e (aparentemente para fins de completude e diligência) estabeleceram RigNeRF contra esses dois frameworks em uma rodada de testes:

Uma comparação qualitativa entre RigNeRF, HyperNeRF e NerFACE. Veja os vídeos de origem vinculados e o PDF para versões de alta qualidade. Fonte da imagem estática: https://arxiv.org/pdf/2012.03065.pdf

No entanto, nesse caso, os resultados, que favorecem RigNeRF, são bastante anômalos, por duas razões: primeiro, os autores observam que ‘não há trabalho existente para uma comparação de maçãs com maçãs’; segundo, isso exigiu a limitação das capacidades de RigNeRF para, pelo menos parcialmente, corresponder à funcionalidade mais restrita dos sistemas anteriores.

Como os resultados não são uma melhoria incremental no trabalho anterior, mas sim representam uma ‘quebra’ na edição e utilidade de NeRF, vamos deixar a rodada de testes de lado e, em vez disso, ver o que RigNeRF está fazendo de diferente em relação a seus antecessores.

Forças Combinadas

A principal limitação de NerFACE, que pode criar controle de pose/expressão em um ambiente NeRF, é que ele assume que a footage de origem será capturada com uma câmera estática. Isso efetivamente significa que não pode produzir vistas novas que ultrapassam as limitações de captura. Isso produz um sistema que pode criar ‘retratos em movimento’, mas que é inadequado para vídeo de deepfake.

HyperNeRF, por outro lado, embora capaz de gerar vistas novas e hiper-realistas, não tem instrumentação que permita mudar poses de cabeça ou expressões faciais, o que novamente não resulta em nenhum tipo de concorrente para deepfakes baseados em autoencoders.

RigNeRF consegue combinar essas duas funcionalidades isoladas, criando um ‘espaço canônico’, uma linha de base padrão a partir da qual desvios e deformações podem ser realizados via entrada do módulo 3DMM.

Criando um ‘espaço canônico’ (sem pose, sem expressão), no qual as deformações (ou seja, poses e expressões) produzidas via o módulo 3DMM podem agir.

Como o sistema 3DMM não será exatamente correspondente ao sujeito capturado, é importante compensar isso no processo. RigNeRF realiza isso com um campo de deformação prévio calculado a partir de uma Rede Neural Multicamada (MLP) derivada da footage de origem.

Os parâmetros da câmera necessários para calcular deformações são obtidos via COLMAP, enquanto os parâmetros de expressão e forma para cada frame são obtidos de DECA.

A posição é otimizada ainda mais por meio de ajuste de marcos e parâmetros da câmera do COLMAP, e, devido a restrições de recursos de computação, a saída de vídeo é reduzida para resolução de 256×256 para treinamento (um processo de redução de hardware que também aflige a cena de deepfaking baseada em autoencoders).

Depois disso, a rede de deformação é treinada nos quatro V100s – hardware formidável que não é provável estar ao alcance de entusiastas casuais (no entanto, onde o treinamento de aprendizado de máquina está envolvido, é frequentemente possível trocar robustez por tempo e simplesmente aceitar que o treinamento do modelo será uma questão de dias ou até semanas).

Em conclusão, os pesquisadores afirmam:

‘Em contraste com outros métodos, RigNeRF, graças ao uso de um módulo de deformação orientado por 3DMM, é capaz de modelar pose de cabeça, expressões faciais e a cena de retrato 3D completa com alta fidelidade, proporcionando assim reconstruções com detalhes nítidos.’

Veja os vídeos incorporados abaixo para mais detalhes e footage de resultados.

Publicado pela primeira vez em 15 de junho de 2022.