Alterando Emoções em Vídeos com IA

Pesquisadores da Grécia e do Reino Unido desenvolveram uma abordagem inovadora de aprendizado profundo para alterar as expressões e o humor aparente de pessoas em vídeos, preservando a fidelidade dos movimentos labiais ao áudio original de uma forma que tentativas anteriores não conseguiram igualar.

Do vídeo que acompanha o artigo (inserido no final deste artigo), um clipe breve do ator Al Pacino tendo sua expressão sutilmente alterada pelo NED, com base em conceitos semânticos de alto nível que definem expressões faciais individuais e suas emoções associadas. O método ‘Reference-Driven’ à direita pega a emoção interpretada de um vídeo de origem e a aplica à toda uma sequência de vídeo. Fonte: https://www.youtube.com/watch?v=Li6W8pRDMJQ

Este campo específico se enquadra na categoria em crescimento de emoções deepfaked, onde a identidade do falante original é preservada, mas suas expressões e micro-expressões são alteradas. À medida que esta tecnologia de IA amadurece, oferece a possibilidade de produções de cinema e TV fazerem alterações sutis nas expressões dos atores – mas também abre uma categoria nova de ‘vídeos deepfaked com emoções alteradas’.

Mudando Rostos

As expressões faciais de figuras públicas, como políticos, são rigorosamente curadas; em 2016, as expressões faciais de Hillary Clinton estiveram sob intensa escrutínio da mídia por seu potencial impacto negativo em suas perspectivas eleitorais; as expressões faciais, como se revela, também são um tópico de interesse para o FBI; e são um indicador crítico em entrevistas de emprego, tornando a perspectiva (muito distante) de um filtro de ‘controle de expressão’ ao vivo um desenvolvimento desejável para candidatos que tentam passar em uma pré-seleção no Zoom.

Um estudo de 2005 do Reino Unido afirmou que a aparência facial afeta as decisões de votação, enquanto uma matéria de 2019 do Washington Post examinou o uso de clipe de vídeo ‘fora de contexto’, que é atualmente a coisa mais próxima que os proponentes de notícias falsas têm para realmente alterar como uma figura pública parece estar se comportando, respondendo ou sentindo.

Rumo à Manipulação Neural de Expressão

No momento, o estado da arte em manipular o afeto facial é bastante rudimentar, pois envolve lidar com a desentanglement de conceitos de alto nível (como triste, zangado, feliz, sorrindo) do conteúdo de vídeo real. Embora as arquiteturas de deepfake tradicionais pareçam alcançar esse desentanglement quite bem, espelhar emoções em diferentes identidades ainda exige que dois conjuntos de faces de treinamento contenham expressões correspondentes para cada identidade.

Exemplos típicos de imagens de faces em conjuntos de dados usados para treinar deepfakes. Atualmente, você só pode manipular a expressão facial de uma pessoa criando caminhos de expressão para expressão específicos de ID em uma rede neural de deepfake. O software de deepfake de 2017 não tem compreensão intrínseca, semântica, de um ‘sorriso’ – ele simplesmente mapeia e combina mudanças percebidas na geometria facial entre os dois assuntos.

O que é desejável e ainda não foi perfeitamente alcançado é reconhecer como o assunto B (por exemplo) sorri e simplesmente criar um ‘sorriso’ switch na arquitetura, sem precisar mapeá-lo para uma imagem equivalente do assunto A sorrindo.

O novo artigo é intitulado Neural Emotion Director: Controle semântico de expressões faciais em vídeos “in-the-wild” que preserva a fala, e vem de pesquisadores da Escola de Engenharia Elétrica e Computação da Universidade Técnica Nacional de Atenas, do Instituto de Ciência da Computação da Fundação para Pesquisa e Tecnologia Hellas (FORTH), e do Colégio de Engenharia, Matemática e Ciências Físicas da Universidade de Exeter no Reino Unido.

A equipe desenvolveu uma estrutura chamada Neural Emotion Director (NED), incorporando uma rede de tradução de emoção baseada em 3D, 3D-Based Emotion Manipulator.

O NED recebe uma sequência de parâmetros de expressão e os traduz para um domínio de destino. Ele é treinado em dados não paralelos, o que significa que não é necessário treinar em conjuntos de dados onde cada identidade tem expressões faciais correspondentes.

O vídeo, mostrado no final deste artigo, executa uma série de testes onde o NED impõe um estado emocional aparente em footagens do conjunto de dados do YouTube.

Os autores afirmam que o NED é o primeiro método baseado em vídeo para ‘dirigir’ atores em situações aleatórias e imprevisíveis, e disponibilizaram o código no site do projeto do NED.

Método e Arquitetura

O sistema é treinado em dois grandes conjuntos de dados de vídeo anotados com rótulos de ’emoção’.

A saída é habilitada por um renderizador de faces de vídeo que renderiza a emoção desejada para o vídeo usando técnicas tradicionais de síntese de imagens faciais, incluindo segmentação de face, alinhamento de marcos faciais e mesclagem, onde apenas a área facial é sintetizada e, em seguida, imposta sobre a filmagem original.

A arquitetura para o pipeline do Neural Emotion Detector (NED). Fonte: https://arxiv.org/pdf/2112.00585.pdf

Inicialmente, o sistema obtém a recuperação facial 3D e impõe alinhamentos de marcos faciais nos quadros de entrada para identificar a expressão. Depois disso, esses parâmetros de expressão recuperados são passados para o 3D-Based Emotion Manipulator, e um vetor de estilo é computado por meio de um rótulo semântico (como ‘feliz’) ou por um arquivo de referência.

Um arquivo de referência é um vídeo que retrata uma expressão/emocional específica, que é então imposta sobre a totalidade do vídeo de destino, trocando a expressão original.

Etapa no pipeline de transferência de emoção, apresentando vários atores amostrados de vídeos do YouTube.

A forma facial 3D final gerada é então concatenada com a Coordenada de Face Média Normalizada (NMFC) e as imagens dos olhos (os pontos vermelhos na imagem acima), e passada para o renderizador neural, que executa a manipulação final.

Resultados

Os pesquisadores conduziram estudos extensivos, incluindo estudos de usuário e ablação, para avaliar a eficácia do método contra o trabalho anterior, e descobriram que, na maioria das categorias, o NED supera o estado da arte atual nesse sub-setor de manipulação facial neural.

Os autores do artigo imaginam que implementações posteriores deste trabalho, e ferramentas de natureza semelhante, serão úteis principalmente nas indústrias de TV e cinema, afirmando:

‘Nosso método abre uma grande quantidade de novas possibilidades para aplicações úteis de tecnologias de renderização neural, variando desde pós-produção de filmes e jogos de vídeo até avatares afetivos fotorealistas.’

Este é um trabalho inicial no campo, mas um dos primeiros a tentar reencenação facial com vídeo em vez de imagens estáticas. Embora os vídeos sejam essencialmente muitas imagens estáticas executadas muito rapidamente, há considerações temporais que tornam as aplicações anteriores de transferência de emoção menos eficazes. No vídeo que acompanha e nos exemplos no artigo, os autores incluem comparações visuais da saída do NED contra outros métodos recentes comparáveis.

Comparações mais detalhadas e muitos mais exemplos do NED podem ser encontrados no vídeo completo abaixo:

3 de dezembro de 2021, 18:30 GMT+2 – A pedido de um dos autores do artigo, foram feitas correções com relação ao ‘arquivo de referência’, que eu erroneamente afirmei ser uma foto estática (quando na verdade é um clipe de vídeo). Também foi feita uma alteração no nome do Instituto de Ciência da Computação da Fundação para Pesquisa e Tecnologia.
3 de dezembro de 2021, 20:50 GMT+2 – Um segundo pedido de um dos autores do artigo para uma alteração adicional no nome da instituição mencionada acima.