A Disney Combina CGI Com Renderização Neural para Tacklar o ‘Vale da Estranheza’

A divisão de pesquisa de IA da Disney desenvolveu um método híbrido para simulação facial de qualidade de filme, combinando as forças da renderização neural facial com a consistência de uma abordagem baseada em CGI.

O artigo pendente é intitulado Renderizando com Estilo: Combinando Abordagens Tradicionais e Neurais para Renderização de Faces de Alta Qualidade, e é previsto em um novo vídeo de 10 minutos no canal do YouTube da Disney Research (incorporado no final deste artigo*).

Malhas combinadas com renderizações faciais neurais. Veja o vídeo incorporado no final do artigo para mais detalhes e qualidade. Fonte: https://www.youtube.com/watch?v=k-RKSGbWLng (substituído por https://www.youtube.com/watch?v=TwpLqTmvqVk)

Como o vídeo nota, a renderização neural de faces (incluindo deepfakes) pode produzir olhos e interiores de boca mais realistas do que o CGI é capaz de, enquanto as texturas faciais impulsionadas por CGI são mais consistentes e adequadas para saídas de efeitos visuais de cinema.

Portanto, a Disney está experimentando deixar o gerador neural StyleGan2 da NVIDIA lidar com os recursos circundantes de um rosto e os elementos “críticos para a vida” como os olhos, enquanto superpõe texturas faciais CGI consistentes e elementos relacionados na saída.

A partir do vídeo (veja o final do artigo), o conceito arquitetônico por trás da abordagem híbrida da Disney, onde uma malha de CGI de estilo antigo, do tipo usado para recriar ‘jovem’ Carrie Fisher e o falecido Peter Cushing para Rogue One (2016), é integrada em ambientes de faces renderizadas neuralmente.

O vídeo faz uma referência tácita à crítica frequente da inautenticidade e do efeito “vale da estranheza” da recriação de CGI do falecido ator britânico Peter Cushing em Rogue One (2016), concedendo:

‘[Há] ainda uma grande lacuna entre o que as pessoas podem capturar e renderizar facilmente versus duplos digitais fotorealistas finais, completos com cabelo, olhos e boca interna. Para fechar essa lacuna, geralmente é necessário muito trabalho manual de artistas habilidosos.’

Na verdade, mesmo os sistemas de captura facial mais modernos não tentam recriar olhos, interiores de boca ou cabelo, que têm problemas de autenticidade em tais técnicas (olhos) ou de consistência temporal (cabelo).

O vídeo ilustra o que os artistas de efeitos visuais obterão após uma sessão típica de captura facial moderna. Olhos, cabelo, barba e interiores de boca terão que ser tratados por equipes separadas na linha de produção, além de texturização e iluminação.

Controle de Iluminação

A abordagem híbrida também é benéfica com a reiluminação – um desafio notável para a renderização neural de faces, desde que as superposições de pele CGI possam ser mais facilmente reiluminadas.

Uma versão animada da abordagem CGI/Neural.

Em ambientes mais desafiadores, como filmagens externas, os pesquisadores desenvolveram um método de inpintura ao redor de uma espécie de zona desmilitarizada que cerca a pessoa sendo “criada”.

Uma margem preta é gerada para permitir uma ‘tela’ para inpintura das partes externas da identidade e integrar a pele CGI na saída combinada CGI/neural.

O vídeo nota:

‘[A] renderização neural não corresponde perfeitamente à restrição de fundo. – é apenas um guia, desde que otimizar componentes humanos realistas, como cabelo, olhos e dentes, é o objetivo principal. Mais desafiador é manter uma identidade consistente, enquanto muda a iluminação da cena.’

Criando Malhas CGI a Partir de Renderizações Neurais

A equipe de pesquisa também desenvolveu um autoencoder variacional treinado em um (não especificado) grande banco de dados de imagens faciais 3D, e afirma que pode produzir ‘malhas faciais 3D aleatórias, mas plausíveis’ a partir de dados de verdade.

Há limitações para essa pesquisa superar, incluindo a dificuldade em manter o cabelo temporalmente consistente nas renderizações neurais, e o vídeo (veja abaixo) mostra vários exemplos de cabelo mutando rapidamente em uma volta consistente de uma face CGI/neural.

A consistência temporal na renderização de vídeo neural é um problema muito mais amplo do que apenas da Disney, e parece provável que iterações posteriores desse sistema possam recorrer a adicionar cabelo “em pós-produção” ou outras abordagens possíveis para geração de cabelo do que esperar que uma abordagem neural nova eventualmente resolva isso.

Usos para Geração de Conjuntos de Dados

O método é proposto também como um método potencial para gerar dados sintéticos e enriquecer o paisagem de conjuntos de imagens faciais, que nos últimos anos se tornou perigosamente monótona.

A Disney imagina a nova técnica populando conjuntos de imagens faciais.

‘[Cada] resultado fotorealista que geramos tem uma geometria subjacente correspondente e mapas de aparência, renderizados de pontos de vista de câmera desconhecidos com iluminação conhecida. Essa informação de “verdade” pode ser vital para treinar aplicações downstream, como reconstrução de faces 3D monocular, reconhecimento facial ou compreensão de cena. E assim, cada renderização de resultado pode ser considerada uma amostra de dados, e podemos gerar muitas variações de muitos indivíduos diferentes.

‘Além disso, mesmo para uma pessoa renderizada em uma expressão única com um ponto de vista e iluminação únicos, podemos gerar variações aleatórias da renderização fotorealista variando a semente de randomização durante a otimização.’

Os pesquisadores notam que essa diversidade de saída configurável pode ser útil no treinamento de aplicações de reconhecimento facial, concluindo:

‘[Nosso] método é capaz de aproveitar a tecnologia atual para captura, modelagem e renderização de pele facial, e criar automaticamente renderizações de faces fotorealistas completas que correspondem à identidade desejada, expressão e configuração de cena. Essa abordagem tem aplicações em renderização facial para filmes e entretenimento, economizando trabalho manual de artistas e também para geração de dados em diferentes campos de aprendizado profundo.’

Para uma olhada mais profunda na nova abordagem, confira o vídeo de 10 minutos lançado hoje:

 * O link de vídeo original foi substituído por outro aparentemente idêntico 8 horas após a publicação deste artigo. Eu mudei todos os links relevantes, pois não há rastro do vídeo original.

8:24 GMT+2 – Substituído vídeo, pois foi trocado pelo canal do YouTube da Disney Research por algum motivo.