A Separação é a Próxima Revolução de Deepfake

Aumento de dados CGI está sendo usado em um novo projeto para obter maior controle sobre imagens de deepfake. Embora você ainda não possa usar cabeças CGI para preencher as lacunas ausentes em conjuntos de dados faciais de deepfake, uma nova onda de pesquisa sobre a separação de identidade do contexto significa que logo você pode não precisar.

Os criadores de alguns dos vídeos de deepfake mais bem-sucedidos e virais dos últimos anos selecionam seus vídeos de origem com muito cuidado, evitando fotos de perfil prolongadas (ou seja, o tipo de fotos de perfil laterais popularizadas por procedimentos de prisão da polícia), ângulos agudos e expressões incomuns ou exageradas. Cada vez mais, os vídeos de demonstração produzidos por criadores de deepfake virais são compilações editadas que selecionam os ângulos e expressões mais “fáceis” para deepfake.

Na verdade, o vídeo de destino mais acomodante para inserir um deepfake de celebridade é aquele em que a pessoa original (cuja identidade será apagada pelo deepfake) está olhando diretamente para a câmera, com um alcance mínimo de expressões.

A maioria dos deepfakes populares nos últimos anos mostrou sujeitos diretamente enfrentando a câmera, e ou apenas expressões populares (como sorrindo), que podem ser facilmente extraídas de saídas de paparazzi de tapete vermelho, ou (como no caso do fake de Sylvester Stallone como o Terminator, à esquerda), idealmente sem expressão alguma, desde que expressões neutras sejam extremamente comuns, tornando-as fáceis de incorporar em modelos de deepfake.

Porque tecnologias de deepfake, como DeepFaceLab e FaceSwap, realizam essas trocas mais simples muito bem, estamos suficientemente impressionados com o que eles conseguem para não notar o que eles não conseguem, e – frequentemente – nem mesmo tentam:

Grabs de um vídeo de deepfake aclamado onde Arnold Schwarzenegger é transformado em Sylvester Stallone – a menos que os ângulos sejam muito difíceis. Perfis permanecem um problema persistente com as abordagens atuais de deepfake, parcialmente porque o software de código aberto usado para definir poses faciais em frameworks de deepfake não é otimizado para vistas laterais, mas principalmente porque da escassez de material de origem adequado em um ou ambos os conjuntos de dados necessários. Fonte: https://www.youtube.com/watch?v=AQvCmQFScMA

Nova pesquisa de Israel propõe um método novo de usar dados sintéticos, como cabeças CGI, para trazer o deepfake para os anos 2020, separando verdadeiramente a identidade facial (ou seja, as características faciais essenciais de ‘Tom Cruise’, de todos os ângulos) do contexto (ou seja, olhando para cima, olhando para o lado, franzindo a testa, franzindo a testa no escuro, sobrancelhas franzidas, olhos fechados, etc.).

O novo sistema separa discretamente a pose e o contexto (ou seja, piscar um olho) do código de identidade do indivíduo, usando dados faciais sintéticos não relacionados (ilustrados à esquerda). Na linha superior, vemos um ‘piscar’ transferido para a identidade de Barack Obama, promovido pelo caminho não linear aprendido do espaço latente de um GAN, representado pela imagem CGI à esquerda. Na linha abaixo, vemos o canto da boca esticado transferido para o ex-presidente. Na parte inferior direita, vemos ambos os recursos aplicados simultaneamente. Fonte: https://arxiv.org/pdf/2111.08419.pdf

Isso não é apenas marionetismo de deepfake, uma técnica mais adequada para avatares e lip-sincronização parcial de faces, e que tem potencial limitado para transformações de vídeo de deepfake completas.

Mais do que isso, isso representa um caminho para uma separação fundamental de instrumentalidade (como ‘mudar o ângulo da cabeça’, ‘criar uma careta’) da identidade, oferecendo um caminho para um quadro de síntese de imagem de deepfake baseado em alto nível, em vez de ‘derivado’.

O novo artigo é intitulado Delta-GAN-Encoder: Codificando Mudanças Semânticas para Edição de Imagem Explícita, usando Poucos Amostras Sintéticas, e vem de pesquisadores do Technion – Israel Institute of Technology.

Para entender o que o trabalho significa, vamos dar uma olhada em como os deepfakes são produzidos atualmente, desde sites de deepfake pornográfico até Industrial Light and Magic (já que o repositório de código aberto DeepFaceLab é atualmente dominante tanto em deepfaking ‘amador’ quanto profissional).

O que Está Atrasando a Tecnologia de Deepfake Atual?

Os deepfakes são criados atualmente treinando um modelo de aprendizado de máquina encoder/decoder em duas pastas de imagens faciais – a pessoa que você deseja ‘pintar’ (no exemplo anterior, é Arnie) e a pessoa que você deseja superpor no vídeo (Sly).

Exemplos de poses e condições de iluminação variadas em dois conjuntos de faces. Note a expressão distinta no final da terceira linha na coluna A, que é improvável ter um equivalente próximo no outro conjunto de dados.

O sistema encoder/decoder então compara cada imagem em cada pasta com as outras, sustentando, melhorando e repetindo essa operação por centenas de milhares de iterações (frequentemente por até uma semana), até que ele entenda as características essenciais de ambas as identidades o suficiente para trocá-las ao seu bel-prazer.

Para cada uma das duas pessoas sendo trocadas no processo, o que a arquitetura de deepfake aprende sobre identidade está entrelaçado com o contexto. Ela não pode aprender e aplicar princípios sobre uma pose genérica ‘para sempre’, mas precisa de exemplos abundantes no conjunto de treinamento, para cada identidade que estará envolvida na troca de faces.

Portanto, se você deseja trocar duas identidades que estão fazendo algo mais incomum do que apenas sorrir ou olhar diretamente para a câmera, você precisará de muitas instâncias dessa pose particular/identidade em ambos os conjuntos de faces:

Porque as características de ID facial e pose estão atualmente tão interligadas, uma ampla paridade de expressão, pose de cabeça e (em menor medida) iluminação é necessária em dois conjuntos de dados faciais para treinar um modelo de deepfake eficaz em sistemas como o DeepFaceLab. Quanto menos uma configuração particular (como ‘vista lateral/sorrindo/iluminado’) for apresentada em ambos os conjuntos de faces, menos precisamente ela será renderizada em um vídeo de deepfake, se necessário.

Se o conjunto A contém a pose incomum, mas o conjunto B não a tem, você está basicamente sem sorte; não importa por quanto tempo você treine o modelo, ele nunca aprenderá a reproduzir essa pose bem entre as identidades, porque ele só teve metade das informações necessárias quando foi treinado.

Mesmo que você tenha imagens correspondentes, pode não ser suficiente: se o conjunto A tiver a pose correspondente, mas com iluminação lateral dura, em comparação com a pose equivalente achatada no outro conjunto de faces, a qualidade da troca não será tão boa quanto se cada um compartilhasse características de iluminação comuns.

Por Que os Dados São Escassos

A menos que você seja preso regularmente, você provavelmente não tem muitas fotos de perfil lateral de si mesmo. Qualquer uma que tenha surgido, você provavelmente jogou fora. Desde que agências de fotos também fazem o mesmo, fotos de perfil são difíceis de encontrar.

Criadores de deepfakes frequentemente incluem múltiplas cópias dos dados de perfil lateral limitados que eles têm para uma identidade em um conjunto de faces, apenas para que a pose obtenha pelo menos um pouco de atenção e tempo durante o treinamento, em vez de ser descartada como um outlier.

Mas há muitos mais tipos possíveis de fotos de perfil lateral do que provavelmente estarão disponíveis para inclusão em um conjunto de dados – sorrindo, franzindo a testa, gritando, chorando, iluminado de forma escura, desdenhoso, entediado, alegre, iluminado por flash, olhando para cima, olhando para baixo, olhos abertos, olhos fechados… e assim por diante. Qualquer uma dessas poses, em combinações múltiplas, pode ser necessária em um vídeo de deepfake de destino.

E isso é apenas para perfis. Quantas fotos você tem de si mesmo olhando diretamente para cima? Você tem o suficiente para representar amplamente as 10.000 expressões possíveis que você pode estar usando enquanto mantém exatamente essa pose daquela câmera, cobrindo pelo menos alguns dos um milhão de ambientes de iluminação possíveis?

É provável que você não tenha nenhuma foto de si mesmo olhando para cima. E isso é apenas dois ângulos de uma cobertura completa de centenas necessários.

Mesmo que fosse possível gerar uma cobertura completa de um rosto de todos os ângulos sob uma variedade de condições de iluminação, o conjunto de dados resultante seria muito grande para ser treinado, na ordem de centenas de milhares de imagens; e mesmo que fosse possível treinar, a natureza do processo de treinamento para os frameworks de deepfake atuais jogaria fora a maior parte desses dados extras em favor de um número limitado de recursos derivados, porque os frameworks atuais são redutivos e não muito escaláveis.

Substituição Sintética

Desde o início dos deepfakes, os criadores de deepfakes experimentaram o uso de imagens estilo CGI, cabeças feitas em aplicativos 3D como Cinema4D e Maya, para gerar essas ‘poses ausentes’.

Nenhum AI necessário; uma atriz é recriada em um programa CGI tradicional, Cinema 4D, usando malhas e texturas bitmap – tecnologia que remonta à década de 1960, embora tenha alcançado uso generalizado apenas a partir da década de 1990. Em teoria, esse modelo de face poderia ser usado para gerar dados de origem de deepfake para poses, estilos de iluminação e expressões faciais incomuns. Na prática, ele foi de pouca ou nenhuma utilidade em deepfaking, desde que a ‘falsidade’ dos renders tende a vazar em vídeos trocados. Fonte: imagem do autor deste artigo em https://rossdawson.com/futurist/implications-of-ai/comprehensive-guide-ai-artificial-intelligence-visual-effects-vfx/

Esse método é geralmente abandonado cedo por novos praticantes de deepfake, porque embora possa fornecer poses e expressões que de outra forma estariam indisponíveis, a aparência sintética das faces CGI geralmente vaza para as trocas devido ao entrelaçamento de ID e informações contextuais/semânticas.

Isso pode levar ao surgimento repentino de faces do ‘vale da estranheza’ em um vídeo de deepfake de outra forma convincente, à medida que o algoritmo começa a se basear nos únicos dados que ele pode ter para uma pose ou expressão incomum – faces manifestamente falsas.

Entre os sujeitos mais populares para criadores de deepfakes, um algoritmo de deepfake 3D para a atriz australiana Margot Robbie está incluído na instalação padrão do DeepFaceLive, uma versão do DeepFaceLab que pode realizar deepfakes em um fluxo ao vivo, como uma sessão de webcam. Uma versão CGI, como ilustrada acima, poderia ser usada para obter ângulos ‘ausentes’ incomuns em conjuntos de dados de deepfake. Fonte: https://sketchfab.com/3d-models/margot-robbie-bust-for-full-color-3d-printing-98d15fe0403b4e64902332be9cfb0ace

Faces CGI como Diretrizes Conceituais Desacopladas

Em vez disso, o novo método Delta-GAN Encoder (DGE) dos pesquisadores israelenses é mais eficaz, porque a pose e as informações contextuais das imagens CGI foram completamente separadas das informações de ‘identidade’ do alvo.

Podemos ver esse princípio em ação na imagem abaixo, onde várias orientações de cabeça foram obtidas usando a imagem CGI como uma diretriz. Como as características de identidade são não relacionadas às características contextuais, não há vazamento de nenhuma aparência falsa sintética da face CGI, nem da identidade representada nela:

Com o novo método, você não precisa encontrar três imagens de origem separadas para realizar um deepfake de múltiplos ângulos – você pode simplesmente girar a cabeça CGI, cujos recursos de alto nível são impostos à identidade sem vazar nenhuma informação de ID.

Delta-GAN-Encoder. Grupo superior esquerdo: o ângulo de uma imagem de origem pode ser alterado em um segundo para renderizar uma nova imagem de origem, que é refletida na saída; grupo superior direito: a iluminação também é desacoplada da identidade, permitindo a superposição de estilos de iluminação; grupo inferior esquerdo: vários detalhes faciais são alterados para criar uma expressão ‘triste’; grupo inferior direito: um único detalhe de expressão facial é alterado, de modo que os olhos estão franzindo.

Essa separação de identidade e contexto é alcançada na etapa de treinamento. O pipeline para a nova arquitetura de deepfake procura o vetor latente em uma Rede Adversária Generativa (GAN) pré-treinada que corresponde à imagem a ser transformada – uma metodologia Sim2Real que se baseia em um projeto de 2018 da seção de pesquisa de IA da IBM.

Os pesquisadores observam:

‘Com apenas algumas amostras, que diferem por um atributo específico, é possível aprender o comportamento desacoplado de um modelo gerador entrelaçado pré-treinado. Não há necessidade de amostras do mundo real para atingir esse objetivo, o que nem sempre é factível.

‘Usando amostras de dados não realistas, o mesmo objetivo pode ser alcançado graças à exploração das semânticas dos vetores latentes codificados. Aplicar mudanças desejadas sobre amostras de dados existentes pode ser feito sem exploração explícita do comportamento do espaço latente.’

Os pesquisadores antecipam que os princípios centrais de desacoplamento explorados no projeto possam ser transferidos para outros domínios, como simulações de arquitetura de interiores, e que o método Sim2Real adotado para o Delta-GAN-Encoder possa eventualmente permitir a instrumentação de deepfake baseada em esboços, em vez de entrada estilo CGI.

Pode-se argumentar que a extensão com que o novo sistema israelense possa ou não sintetizar vídeos de deepfake é muito menos significativa do que o progresso que a pesquisa fez em desacoplar o contexto da identidade, ganhando mais controle sobre o espaço latente de uma GAN.

A desacoplamento é um campo de pesquisa ativo em síntese de imagem; em janeiro de 2021, um artigo liderado pela Amazon demonstrou controle de pose e desacoplamento semelhantes, e em 2018 um artigo do Shenzhen Institutes of Advanced Technology da Academia Chinesa de Ciências fez progressos na geração de pontos de vista arbitrários em uma GAN.