O Amanhecer das Emoções Deepfaked

Pesquisadores desenvolveram uma nova técnica de aprendizado de máquina para impor arbitrariamente novas emoções em faces em vídeo, adaptando tecnologias existentes que recentemente emergiram como soluções para sincronizar movimentos labiais com dublagem em língua estrangeira.

A pesquisa é uma colaboração igual entre a Universidade Northeastern em Boston e o Media Lab do MIT, e é intitulada Invertable Frowns: Video-to-Video Facial Emotion Translation. Embora os pesquisadores admitam que a qualidade inicial dos resultados deva ser desenvolvida por meio de pesquisas adicionais, eles afirmam que a técnica, chamada Wav2Lip-Emotion, é a primeira do seu tipo a abordar diretamente a modificação de expressões em vídeo completo por meio de técnicas de rede neural.

O código base foi lançado no GitHub, embora os checkpoints do modelo sejam adicionados ao repositório de código aberto posteriormente, os autores prometem.

À esquerda, um quadro ‘triste’ do vídeo de origem. À direita, um quadro ‘feliz’. No centro estão duas abordagens nascentes para sintetizar emoções alternativas – linha superior: uma face completamente mascarada onde toda a superfície de expressão foi substituída; linha inferior: um método Wav2Lip mais tradicional, que substitui apenas a parte inferior da face. Fonte: https://raw.githubusercontent.com/jagnusson/Wav2Lip-Emotion/main/literature/ADGD_2021_Wav2Lip-emotion.pdf

Vídeo Único como Dados de Origem

Em teoria, tais manipulações são obtidas agora por meio de treinamento completo em repositórios de deepfakes tradicionais, como DeepFaceLab ou FaceSwap. No entanto, o fluxo de trabalho padrão envolveria o uso de uma identidade alternativa à ‘identidade alvo’, como um ator imitando a identidade alvo, cujas próprias expressões seriam transferidas para outra pessoa, juntamente com o resto da performance. Além disso, técnicas de clonagem de voz deepfake geralmente seriam necessárias para completar a ilusão.

Além disso, alterar a expressão de target1>target1 em um único vídeo de origem sob esses frameworks populares envolveria alterar os vetores de alinhamento facial de uma maneira que essas arquiteturas não facilitam atualmente.

Wav2Lip-Emotion mantém a sincronização dos movimentos labiais do diálogo de áudio do vídeo original enquanto transforma as expressões associadas.

Em vez disso, Wav2Lip-Emotion busca efetivamente ‘copiar e colar’ expressões relacionadas a emoções de uma parte de um vídeo e substituí-las em outros pontos, com uma frugalidade auto-imposta de dados de origem que visa eventualmente oferecer um método de menor esforço para manipulação de expressões.

Modelos offline poderiam ser desenvolvidos posteriormente, treinados em vídeos alternativos do falante, eliminando a necessidade de qualquer vídeo conter uma ‘paleta’ de estados de expressão com os quais manipular o vídeo.

Propósitos Potenciais

Os autores sugerem uma série de aplicações para a modificação de expressões, incluindo um filtro de vídeo ao vivo para compensar os efeitos da PTSD e de paralisia facial. O artigo observa:

‘Indivíduos com ou sem expressões faciais inibidas podem se beneficiar de ajustar suas próprias expressões para melhor se adequar às suas circunstâncias sociais. Alguém pode querer alterar as expressões em vídeos mostrados a eles. Os falantes podem estar gritando um com o outro durante uma conferência de vídeo, mas ainda assim querer coletar o conteúdo em sua troca sem as expressões desagradáveis. Ou um diretor de cinema pode querer aumentar ou diminuir as expressões de um ator.’

Já que a expressão facial é um indicador-chave e central de intenção, mesmo onde possa se chocar com as palavras sendo faladas, a capacidade de alterar a expressão também oferece, em certa medida, a capacidade de mudar como a comunicação é recebida.

Trabalho Anterior

O interesse em alteração de expressão de aprendizado de máquina remonta a pelo menos 2012, quando uma colaboração entre Adobe, Facebook e Universidade Rutgers propôs um método para alterar expressões usando uma abordagem de reconstrução de geometria 3D baseada em tensor, que laboriosamente impunha uma malha CGI sobre cada quadro de um vídeo de destino para efetuar a mudança.

A pesquisa de 2012 da Adobe/Facebook manipulou expressões impondo mudanças tradicionais CGI em footage de vídeo. As expressões podiam ser aumentadas ou suprimidas. Fonte: https://yfalan.github.io/files/papers/FeiYang_CVPR2012.pdf

Embora os resultados tenham sido promissores, a técnica era laboriosa e os recursos necessários eram consideráveis. Nesse ponto, CGI estava muito à frente das abordagens baseadas em visão computacional para manipulação direta de recursos e pixels.

Mais relacionado ao novo artigo é MEAD, um conjunto de dados e modelo de geração de expressão lançado em 2020, capaz de gerar vídeos de ‘cabeça falante’, embora sem o nível de sofisticação que é potencialmente obtido por meio da modificação direta de vídeo de origem.

Geração de expressão com MEAD, uma colaboração entre SenseTime Research, Carnegie Mellon e três universidades chinesas. Fonte: https://wywu.github.io/projects/MEAD/MEAD.html

Em 2018, outro artigo, intitulado GANimation: Animação Facial Anatomicamente Consciente a Partir de uma Imagem Única, surgiu como uma colaboração acadêmica entre EUA e Espanha, e usou Redes Adversárias Generativas para aumentar ou alterar expressões em imagens estáticas apenas.

Alterando expressões em imagens estáticas com GANimation. Fonte: https://arxiv.org/pdf/1807.09251.pdf

Wav2Lip-Emotion

Em vez disso, o novo projeto é baseado em Wav2Lip, que ganhou publicidade em 2020 por oferecer um método potencial para re-sincronizar movimentos labiais para acomodar entrada de fala (ou canção) que nunca foi apresentada no vídeo original.

A arquitetura original Wav2Lip foi treinada em um corpus de frases faladas dos arquivos da BBC. Para adaptar Wav2Lip à tarefa de alteração de expressão, os pesquisadores ‘afinaram’ a arquitetura no conjunto de dados MEAD mencionado anteriormente.

MEAD consiste em 40 horas de vídeo com 60 atores lendo a mesma frase enquanto performam uma variedade de expressões faciais. Os atores vêm de 15 países diferentes e oferecem uma gama de características internacionais destinadas a ajudar o projeto (e projetos derivados) a produzir síntese de expressão aplicável e bem generalizada.

Na época da pesquisa, MEAD havia lançado apenas a primeira parte do conjunto de dados, com 47 indivíduos performando expressões como ‘zangado’, ‘desgosto’, ‘medo’, ‘desdém’, ‘feliz’, ‘triste’ e ‘surpresa’. Nessa primeira incursão em uma nova abordagem, os pesquisadores limitaram o escopo do projeto à superposição ou alteração das emoções percebidas ‘feliz’ e ‘triste’, pois essas são as mais facilmente reconhecidas.

Método e Resultados

A arquitetura original Wav2Lip substitui apenas a seção inferior da face, enquanto Wav2Lip-Emotion também experimenta com uma máscara de substituição facial completa e síntese de expressão. Portanto, foi necessário para os pesquisadores modificar adicionalmente os métodos de avaliação incorporados, pois esses não foram projetados para uma configuração de face completa.

Os autores melhoram o código original retenendo a entrada de áudio original, mantendo a consistência do movimento labial.

O elemento gerador apresenta um codificador de identidade, codificador de fala e decodificador de face, de acordo com o trabalho anterior. O elemento de fala é codificado adicionalmente como convoluções 2D empilhadas que são subsequentemente concatenadas aos seus quadros associados.

Além do elemento gerador, a arquitetura modificada apresenta três componentes discriminadores principais, visando a qualidade da sincronização labial, um elemento de objetivo de emoção e um objetivo de qualidade visual treinado adversariamente.

Para a reconstrução da face completa, o trabalho original Wav2Lip não continha precedente, e portanto o modelo foi treinado do zero. Para o treinamento da face inferior (meia-máscara), os pesquisadores procederam a partir de checkpoints incluídos no código original Wav2Lip.

Além da avaliação automática, os pesquisadores usaram opinião da multidão fornecida por uma plataforma de serviço semi-automatizada. Os trabalhadores geralmente avaliaram a saída com alta nota em termos de reconhecimento das emoções superpostas, enquanto relatavam avaliações ‘moderadas’ para a qualidade da imagem.

Os autores sugerem que, além de melhorar a qualidade do vídeo gerado com refinamentos adicionais, iterações futuras do trabalho poderiam abranger uma gama mais ampla de emoções, e que o trabalho poderia igualmente ser aplicado no futuro a dados de origem rotulados ou inferidos automaticamente e conjuntos de dados, levando, eventualmente, a um sistema autêntico no qual as emoções pudessem ser ajustadas para cima ou para baixo ao bel-prazer do usuário, ou eventualmente substituídas por emoções contrastantes em relação ao vídeo de origem.