Por que os Deepfakes Atualmente Não Podem Convey Subtlety de Emoção

Ontem, a estreia do episódio 6 da série spin-off de Star Wars, The Book of Boba Fett, parece ter dividido a opinião dos fãs. Recebida com aprovação geral, há uma suposição generalizada nas redes sociais de que a recriação aprimorada de um Mark Hamill rejuvenescido (em comparação com a aparição anterior do personagem na temporada 2 finale de The Mandalorian em 2020) é um resultado direto da Industrial Light and Magic ter contratado o praticante de deepfakes amador Shamook (que havia aprimorado radicalmente seu trabalho com software de código aberto); e que as renderizações do personagem devem ser uma combinação de tecnologia de deepfakes, talvez limpa com CGI.

Atualmente, há confirmação limitada disso, embora Shamook tenha dito pouco ao mundo desde que o NDA contratual da ILM foi aplicado. No entanto, o trabalho é uma melhoria extraordinária em relação ao CGI de 2020; exibe alguns dos “brilhos” associados a modelos de deepfakes derivados de obras de arquivo; e, em geral, está de acordo com o melhor padrão visual atual para deepfakes.

A outra vertente da opinião dos fãs é que a nova tentativa de “Jovem Luke” tem um conjunto diferente de falhas do que a anterior. Talvez mais revelador, a falta de expressividade e emoções sutis e apropriadas nas longas sequências que apresentam a nova recriação de Skywalker são mais típicas de deepfakes do que de CGI; The Verge descreveu a simulação de Boba Fett em termos de “visagem incômoda e vazia de Mark Hamill, congelada em 1983”.

Independentemente das tecnologias por trás da nova recriação da ILM, as transformações de deepfakes têm um problema fundamental com a sutileza da emoção que é difícil de abordar, seja por mudanças na arquitetura ou por melhorar o material de treinamento de origem, e que é tipicamente evitado pelas escolhas cuidadosas que os criadores de deepfakes fazem ao selecionar um vídeo-alvo.

Limitações de Alinhamento Facial

Os dois repositórios de código aberto de deepfakes mais comumente usados são DeepFaceLab (DFL) e FaceSwap, ambos derivados do código-fonte anônimo e controverso de 2017, com o DFL tendo uma grande liderança na indústria de efeitos visuais, apesar de sua instrumentação limitada.

Cada um desses pacotes é inicialmente responsável por extrair marcos faciais das faces que ele consegue identificar no material de origem (ou seja, frames de vídeos e/ou imagens estáticas).

A Rede de Alinhamento Facial (FAN) em ação, do repositório oficial. Fonte: https://github.com/1adrianb/face-alignment

Os DFL e FaceSwap usam a biblioteca Facial Alignment Network (FAN). A FAN pode criar marcos 2D e 3D (veja a imagem acima) para faces extraídas. Os marcos 3D podem levar em consideração a orientação percebida da face, até ângulos extremos e perfis relativamente agudos.

No entanto, é evidente que essas são diretrizes muito rudimentares para conduzir e avaliar pixels:

Do fórum do FaceSwap, um indicador aproximado dos marcos disponíveis para linhas faciais. Fonte: https://forum.faceswap.dev/viewtopic.php?f=25&t=27

Os lineamentos básicos da face são permitidos: os olhos podem se abrir e fechar, assim como a mandíbula, enquanto configurações básicas da boca (como sorrir, franzir, etc.) podem ser traçadas e adaptadas. A face pode girar em qualquer direção, até cerca de 200 graus a partir do ponto de vista da câmera.

Além disso, essas são cercas muito cruas para o comportamento dos pixels dentro dessas fronteiras e representam as únicas diretrizes matemáticas e precisas faciais em todo o processo de deepfakes. O próprio processo de treinamento simplesmente compara a disposição dos pixels dentro ou perto dessas fronteiras.

Treinamento no DeepFaceLab. Fonte: https://medium.com/geekculture/realistic-deepfakes-with-deepfacelab-530e90bd29f2

Já que não há provisão para topologia de subpartes da face (convexidade e concavidade das bochechas, detalhes de envelhecimento, covinhas, etc.), não é sequer possível tentar corresponder a essas “sutis” sub-características entre uma fonte (a “face que você deseja escrever”) e um alvo (a “face que você deseja colar”) identidade.

Fazendo o Melhor com Dados Limitados

Obter dados combinados entre duas identidades para fins de treinamento de deepfakes não é fácil. Quanto mais incomum o ângulo que você precisa combinar, mais você pode precisar comprometer se esse (raro) ângulo de combinação entre as identidades A e B realmente apresenta a mesma expressão.

Perto, mas não exatamente uma combinação.

No exemplo acima, as duas identidades são razoavelmente semelhantes em disposição, mas isso é o mais perto que esse conjunto de dados pode chegar a uma combinação exata.

Diferenças claras permanecem: o ângulo e a lente não combinam exatamente, e nem a iluminação; o sujeito A não tem os olhos completamente fechados, ao contrário do sujeito B; a qualidade da imagem e a compressão são piores no sujeito A; e de alguma forma o sujeito B parece muito mais “feliz” do que o sujeito A.

Mas, você sabe, é tudo o que temos, então vamos ter que treinar com isso de qualquer forma.

Porque essa combinação A><B tem tantos elementos incomuns, você pode ter certeza de que há poucas, se houver, combinações semelhantes no conjunto. Portanto, o treinamento vai subajustar ou superajustar.

Subajuste: Se essa combinação for uma minoria (ou seja, o conjunto de dados pai é bastante grande e não apresenta frequentemente as características dessas duas fotos), não vai receber muito tempo de treinamento em comparação com combinações mais “fáceis” (ou seja, neutras). Consequentemente, esse ângulo/expressão não vai ser bem representado em um deepfake feito com o modelo treinado.

Superajuste: Em desespero por combinações de dados escassas para combinações A><B tão raras, os criadores de deepfakes às vezes duplicam a combinação muitas vezes no conjunto de dados, para que tenha uma melhor chance de se tornar uma característica no modelo final. Isso leva a um superajuste, onde os vídeos de deepfakes feitos com o modelo provavelmente vão repetir pedantemente as combinações evidentes entre as duas fotos, como a extensão diferente com que os olhos estão fechados.

Na imagem abaixo, vemos Vladimir Putin sendo treinado no DeepFaceLab para realizar uma troca com Kevin Spacey. Aqui, o treinamento está relativamente avançado em 160.000 iterações.

Fonte: https://i.imgur.com/OdXHLhU.jpg

O observador casual pode argumentar que Putin parece um pouco, bem, “mais espacial” do que Spacey nesses testes de troca. Vamos ver o que um programa de reconhecimento de emoções online faz da combinação de expressões:

Fonte: https://www.noldus.com/facereader/measure-your-emotions

De acordo com esse oráculo, que analisa uma topografia facial muito mais detalhada do que o DFL e o Faceswap, Spacey é menos “zangado”, “desgostoso” e “desdenhoso” do que o deepfake resultante de Putin nessa combinação.

As expressões desiguais vêm como parte de um pacote entrelaçado, pois as aplicações de deepfakes populares não têm capacidade de registrar ou combinar expressões ou emoções, exceto tacitamente, como um mapeamento de pixel para pixel.

Para nós, as diferenças são enormes. Aprendemos a ler expressões faciais como uma técnica básica de sobrevivência desde os primeiros anos e continuamos a confiar nessa habilidade na idade adulta para fins de integração social e progressão, acasalamento e como um quadro de avaliação de ameaças contínuo. Desde que estamos tão sensibilizados para microexpressões, as tecnologias de deepfakes eventualmente precisarão levar isso em conta.

Contra a Maré

Embora a revolução dos deepfakes tenha trazido a promessa de inserir “estrelas de cinema clássicas” em filmes e séries de TV modernos, a IA não pode voltar no tempo e filmar seus trabalhos clássicos em uma definição e qualidade mais compatíveis, o que é fundamental para esse caso de uso.

Com base na suposição (e para nossos propósitos, não importa se está errada) de que a recriação de Hamill em Boba Fett foi amplamente o trabalho de um modelo de deepfakes treinado, o conjunto de dados para o modelo teria precisado explorar imagens do período perto da linha do tempo do show (ou seja, Hamill como um jovem de trinta anos por volta do tempo da produção de Return of the Jedi, 1981-83).

O filme foi filmado com o estoque de negativo de cor Eastman 250T 5293/7293, um emulsionado de 250ASA considerado de grão médio a fino na época, mas ultrapassado em clareza, gama de cores e fidelidade mesmo antes do final dos anos 80. É um estoque de sua época, e o escopo operístico de Jedi permitiu poucos close-ups, mesmo para os atores principais, tornando questões de grão ainda mais críticas, desde que as faces de origem ocupam apenas uma parte do quadro.

Uma variedade de cenas de Hamill em Return of the Jedi (1983).

Além disso, muitas das cenas com efeitos visuais que apresentam Hamill teriam sido processadas por uma impressora óptica, aumentando o grão do filme. No entanto, o acesso aos arquivos da Lucasfilm – que presumivelmente cuidaram bem dos negativos mestres e poderiam oferecer horas de imagens brutos adicionais – poderia superar esse problema.

Às vezes, é possível cobrir uma faixa de anos da produção de um ator para aumentar e diversificar o conjunto de dados de deepfakes. No caso de Hamill, os criadores de deepfakes são limitados por sua mudança de aparência após um acidente de carro em 1977 e o fato de que ele quase imediatamente começou sua segunda carreira como um ator de voz aclamado após Jedi, tornando o material de origem relativamente escasso.

Faixa Limitada de Emoções?

Se você precisar que seu ator de deepfakes mastigue o cenário, você precisará de imagens de origem que contenham uma faixa de expressões faciais incomumente ampla. Pode ser que as únicas imagens de origem disponíveis para a idade certa não apresentem muitas dessas expressões.

Por exemplo, na época em que a arco da história de Return of the Jedi surgiu, o personagem de Hamill havia basicamente dominado suas emoções, um desenvolvimento absolutamente central à mitologia da franquia original. Portanto, se você fizer um modelo de deepfakes de Hamill a partir de dados de Jedi, você terá que trabalhar com a faixa de emoções mais limitada e a postura facial incomum que o papel de Hamill exigia dele naquela época, em comparação com suas entradas anteriores na franquia.

Mesmo que você considere que há momentos em Return of the Jedi em que o personagem de Skywalker está sob estresse e poderia fornecer material para uma faixa de expressões mais ampla, o material facial nesses cenários é, no entanto, fugaz e sujeito ao blur de movimento e edição rápida típicos de cenas de ação; então os dados são bastante desequilibrados.

Generalização: A Mescla de Emoções

Se a recriação de Skywalker em Boba Fett for de fato um deepfake, a falta de variedade de expressões que foi apontada por alguns não seria inteiramente devido ao material de origem limitado. O processo de treinamento do codificador-decodificador de deepfakes está buscando um modelo generalizado que distile com sucesso características centrais de milhares de imagens e possa, pelo menos, tentar deepfake um ângulo que faltava ou era raro no conjunto de dados.

Se não fosse por essa flexibilidade, uma arquitetura de deepfakes seria simplesmente copiar e colar morfologias básicas em uma base por quadro, sem considerar adaptação temporal ou contexto.

No entanto, o doloroso trade-off por essa versatilidade é que a fidelidade da expressão provavelmente será uma vítima do processo, e quaisquer expressões que sejam “sutis” podem não ser as certas. Todos nós tocamos nossos rostos como orquestras de 100 peças e estamos bem equipados para fazer isso, enquanto o software de deepfakes está, de fato, faltando pelo menos a seção de cordas.

Disparidade de Afeto nas Expressões

Movimentos faciais e seus efeitos em nós não são uma linguagem uniforme em todos os rostos; a sobrancelha levantada que parece insouciantemente em Roger Moore pode parecer menos sofisticada em Seth Rogan, enquanto o encanto sedutor de Marilyn Monroe pode se traduzir em uma emoção mais negativa se deepfaked em uma pessoa cujo papel mais disponível é “zangado” ou “descontente” (como o personagem de Aubrey Plaza em sete temporadas de Parks and Recreation).

Portanto, a equivalência pixel a pixel entre conjuntos de faces A/B não é necessariamente útil a esse respeito; mas é tudo o que está disponível no software de código aberto de deepfakes de última geração.

O que é, de fato, necessário é um quadro de deepfakes que não apenas possa reconhecer expressões e inferir emoções, mas tenha a capacidade de incorporar conceitos de alto nível, como “zangado”, “sedutor”, “entediado”, “cansado”, etc., e categorizar essas emoções e suas expressões relacionadas em cada um dos dois conjuntos de faces, em vez de examinar e replicar a disposição de uma boca ou uma pálpebra.

Publicado pela primeira vez em 3 de fevereiro de 2022. Atualizado às 19h47, EET, atribuição de nome incorreta.