Sem línguas! Pesquisadores de IA abordam a ausência de uma estrutura anatômica na animação facial

Ficaram de fora em 2026: É aquela época do ano em que a qualidade e o volume da pesquisa oscilam em sincronia com as últimas conferências de novembro e dezembro. Para atravessar esses períodos de escassez, vamos conhecer alguns dos artigos mais interessantes que quase foram selecionados em 2026, mas acabaram preteridos por outros trabalhos em períodos de submissão mais concorridos.

Até pouco tempo atrás, quem trabalhava com deepfakes, fosse amador ou profissional, tinha preocupações mais importantes do que saber se o ser humano reconstruído parecia ter língua. Afinal, a língua é o elemento mais imprevisível do rosto: não aparece de forma alguma em pessoas que murmuram e só é observada ocasionalmente na maioria das situações cotidianas.

Por isso, quando ela é necessária, não está lá — pelo menos nas reconstruções feitas por IA. Em um cenário no qual a reconstrução amadora baseada em difusão alcançou um nível impressionante de realismo, e nossa capacidade crítica em relação a seres humanos gerados por IA está cada vez mais apurada, talvez seja hora de abordar o problema.

O problema da língua

Em julho, uma colaboração acadêmica entre a Austrália e a China apresentou um fluxo de trabalho para solucionar a falta de simulação da língua em processos de trabalho com IA. Intitulada TongueReenact, a estrutura proposta recorre a praticamente todos os métodos disponíveis no conjunto de ferramentas de deepfake, incluindo splatting gaussiano, humanos paramétricos, campos de radiância neural (NeRF) e geração de vídeo baseada em difusão (desculpem, GANs, vocês ficaram de fora desta vez).

Acima, a captura da pessoa que conduz (real), cujas características são transferidas para a renderização do TongueReenact abaixo. Fonte

Embora o código prometido pelo projeto aparentemente não tenha sido disponibilizado desde a publicação do artigo e ainda não tenha sido divulgado nenhum vídeo suplementar, esta é, mesmo assim, uma contribuição pioneira: é a primeira a abordar a língua na reconstrução baseada em IA fora da área médica — e também a tratar da grave falta de dados anotados, essenciais para qualquer solução proposta.

Os pesquisadores usaram de forma inovadora diversas estruturas e conjuntos de dados existentes para criar uma estrutura de segmentação da língua baseada em SegmentAnything e gerar rótulos aproximados para os dados recém-segmentados.

O artigo afirma:

‘[We] apresentamos a primeira estrutura para transferir a dinâmica da língua entre identidades diferentes na reencenação facial. Dado um quadro de origem e um vídeo de condução, nosso método transfere tanto os movimentos faciais quanto a articulação da língua para a identidade de origem.

‘A principal constatação do nosso trabalho é que a síntese da língua não pode ser tratada como um problema genérico de preenchimento de áreas. A língua precisa estar ancorada espacialmente à geometria do rosto de origem, que, por sua vez, muda a cada quadro do vídeo de condução.’

O sistema começa transferindo os movimentos faciais da pessoa que conduz para o rosto de origem, usando splatting gaussiano 3D e o modelo facial FLAME. Isso gera um rosto animado com a pose e a expressão corretas, mas ainda sem língua.

O fluxo de trabalho do TongueReenact. Acima: as imagens da língua são identificadas, segmentadas e refinadas manualmente para treinar um modelo de detecção. Abaixo: os movimentos faciais são transferidos de um vídeo de condução para um rosto de origem, antes que um modelo de difusão gere a língua ausente na posição adequada.

Em seguida, um modelo Stable Diffusion é usado para gerar a língua ausente, orientado pela aparência dela no vídeo de condução e pela geometria do rosto reconstruído.

Ao comentar a necessidade de corrigir essa lacuna na reconstrução facial, os autores observam*:

‘Durante ações expressivas como rir, sentir repulsa ou demonstrar surpresa, [the tongue] pode dominar por completo a região oral visível. Ainda assim, quase todos os sistemas existentes de reencenação e avatares modelam o interior da boca como um vazio sem textura ou o deixam sem qualquer restrição.

‘Essa omissão não é por acaso: a língua é uma estrutura singularmente transitória, totalmente oculta em repouso, exposta de forma intermitente durante a fala e, de repente, dominante em expressões extremas. Por isso, ela resiste fundamentalmente à modelagem paramétrica estática aplicada ao restante do rosto.

‘Abordar esse desafio negligenciado é a principal motivação do nosso trabalho.’

Nos testes, o novo método superou substancialmente cinco sistemas concorrentes de animação facial, alcançando uma vantagem de precisão superior a 100% em relação ao rival mais próximo em medidas importantes de posicionamento e tamanho da língua — embora seja preciso reconhecer que testes desse tipo são difíceis de conceber quando se está abrindo novos caminhos e quando os métodos anteriores abordam o novo desafio de forma mínima ou nem sequer o abordam.

Vamos examinar mais de perto a nova abordagem.

Método

Para desenvolver um sistema capaz de identificar línguas em imagens faciais comuns, foi usado o conjunto de dados NERSemble, composto por gravações multiangulares de cabeças humanas, juntamente com quadros gerados sinteticamente a partir do conjunto de dados VFHQ, que reúne mais de 16.000 vídeos faciais de alta qualidade:

Pressione para reproduzirUm exemplo curiosamente «lingual» de reconstrução de campo de radiância, disponível no site do projeto Nersemble. No entanto, a língua mostrada aqui é tratada como geometria genérica e não tem um domínio distinto.Fonte 

O modelo de segmentação facial MaskGAN foi usado para localizar a boca em cada imagem. Em seguida, o detector médico TongueSAM foi usado para identificar a provável região da língua, antes de encaminhá-la ao SegmentAnything, que gerou um contorno inicial (ou seja, um rótulo pseudorrótulo) da língua visível.

Exemplos do conjunto de dados TongueSAM, destinado a uso médico analítico, e não à avaliação de expressões faciais. Fonte

As máscaras resultantes foram divididas em três grupos, de acordo com a proporção da língua que estava visível. Os exemplos incorretos foram descartados, e as máscaras promissoras foram corrigidas manualmente para distinguir a língua dos lábios, dos dentes e de outros tecidos ao redor da boca. Essas anotações refinadas foram usadas para treinar a rede de segmentação de imagens BiSeNet.

Em seguida, o modelo foi aplicado a outros indivíduos do NERSemble e a quadros sintéticos do VFHQ; suas previsões foram verificadas e corrigidas por pessoas antes de um novo treinamento — processo repetido até que o desempenho em indivíduos nunca vistos se estabilizasse:

Fluxo de trabalho para converter dados existentes em dados do «domínio da língua».

Para sintetizar a língua, a região oral identificada pelo BiSeNet foi ligeiramente ampliada antes de ser encaminhada ao modelo de difusão, dando à língua gerada espaço para se estender além da segmentação inicial à medida que a boca mudava de forma.

A geração foi realizada no espaço latente de Variações de imagem do Stable Diffusion, com orientações separadas derivadas da geometria facial reconstruída e da língua visível no quadro de referência, e apenas a região identificada da boca e da língua foi regenerada.

O fluxo de trabalho generativo. A referência a DINO V2 no quadrante superior esquerdo representa o uso do GAGAvatar (veja abaixo), que combina características de aparência do DINO V2 com o FLAME.

Dados e testes

O BiSeNet foi treinado com duas classes de saída, derivadas das etapas de processamento de dados mencionadas anteriormente: fundo e língua. O treinamento foi realizado ao longo de 50,000 iterações, com uma taxa de aprendizado de 10^-3, usando imagens de 512x512px e tamanho de lote 4, em uma única GPU NVIDIA A40 com 48GB de VRAM. Os dados de treinamento consistiam nos quadros dos conjuntos NERSemble e VFHQ mencionados anteriormente.

Para a etapa de reenactment, foi usada a estrutura-base de Gaussian Splatting pré-treinada GAGAvatar. Também foi usado o checkpoint de Stable Diffusion Image Variations, com o codificador VAE e o codificador CLIP congelados. Em seguida, os codificadores de orientação e o UNET de remoção de ruído foram treinados com dados do NERSemble por 85,000 iterações, com tamanho do lote 8 e entradas de 512×512. Na inferência, foram usadas 20 etapas de DDIM (para muitos modelos de difusão atuais, esse número é considerado alto e favorece os detalhes, com certas compensações inevitáveis).

Os sistemas concorrentes de avatares testados foram GPAvatar, o aclamado LivePortrait, X-NeMo e X-Portrait. Cada um foi avaliado com 9,000 pares de imagens de referência e condução do VFHQ, com identidades diferentes.

As métricas usadas foram Similaridade perceptual aprendida entre patches de imagem (LPIPS); Presença da língua (a proporção de quadros em que uma língua é detectada); IoU da língua (a sobreposição entre as regiões da língua gerada e da língua de referência); e Similaridade da área da língua (o grau de correspondência entre o tamanho da língua gerada e o da língua de referência).

Resultados dos testes que comparam TongueReenact com cinco estruturas rivais de reenactment facial. TongueReenact apresenta o melhor resultado nas quatro métricas específicas para a língua; as setas indicam se são preferíveis pontuações mais baixas ou mais altas.

Sobre a comparação inicial, os autores afirmam:

‘Nosso método apresenta o melhor desempenho nas quatro métricas de transferência da língua, com IoU da língua de 0.3582 e similaridade da área da língua de 0.4338, mais que o dobro do concorrente mais próximo, confirmando uma transferência substancialmente mais precisa da dinâmica da língua.

‘A presença da língua, com pontuação de 0.7891, demonstra ainda que nosso método sintetiza de forma confiável a articulação visível da língua, enquanto os métodos existentes frequentemente não a produzem.’

Alguns destaques entre os diversos exemplos qualitativos apresentados no artigo original. Aqui vemos comparações entre a nova abordagem e as cinco concorrentes anteriores, nenhuma das quais é capaz de gerar línguas. Consulte o artigo original para ver mais exemplos e imagens de maior resolução.

Embora não possamos avaliar isso por conta própria, devido à atual falta de material de vídeo suplementar, os autores também testaram a consistência temporal do sistema usando T-LPIPS:

Resultados dos testes de consistência temporal.

Os autores comentam:

‘Nosso modelo completo apresenta valores substancialmente menores de oscilação do fluxo (0.218543 contra 0.622901) e de magnitude do fluxo (0.513165 contra 1.254073), confirmando que a redução de ruído ancorada na geometria produz movimentos suaves e estáveis da língua.

‘O valor mais baixo de T-LPIPS confirma ainda que a síntese da língua não compromete a coerência temporal.’

Conclusão

O efeito do vale da estranheza está sendo gradualmente superado por alguns dos mais recentes modelos de vídeo baseados em difusão. No entanto, começa a surgir uma nova barreira psicológica: as pessoas passam a ter uma opinião negativa sobre conteúdo gerado por IA por motivos que não têm a ver com a qualidade daquilo a que estão assistindo.

Isso deve complicar a avaliação qualitativa, embora eu suponha que métricas baseadas em testes «cegos» (nos quais o usuário quer dar uma nota pior ao conteúdo gerado por IA, mas teme dar uma nota pior ao conteúdo real) possam ajudar a desenvolver uma espécie de escala «sombra» para o realismo da IA.

Portanto, embora haja linhas de pesquisa promissoras sobre a reprodução, por meio da IA, de características secundárias de identidade, como cabelo, simulação de emoções, direção do olhar e, agora, movimentos da língua, esses aspectos talvez sejam irrelevantes por enquanto.

* Minha conversão das citações em linha dos autores em hiperlinks.

Publicado originalmente na quarta-feira, 11 de novembro de 2026