Em Direção à Geração de Vídeo de Deepfake de Corpo Inteiro Perpétuo

Em um campo onde a paciência é necessária, um novo sistema nos leva um pouco mais perto da simulação humana em tempo real sem rodadas de renderização frustrantes.

O estado da arte na simulação humana de corpo inteiro evoluiu muito desde que a possibilidade de deepfakes de corpo inteiro apareceu em 2022. Agora, estamos acostumados com a capacidade formidável e freqüentemente controversa de sistemas de código aberto, como Wan-Animate, e sistemas de código fechado, como Grok, para converter imagens únicas ou múltiplas em uma performance de vídeo consistente e freqüentemente transformadora:

Clique para reproduzir se necessário. Exemplos de substituição de pessoa com WanAnimate-2.2. Por favor, consulte a fonte para melhor resolução.  Fonte 

Além disso, o antigo framework de deepfake facial em tempo real baseado em autoencoder DeepFaceLive foi ultrapassado por frameworks mais sofisticados, como Deep-Live-Cam, que aproveita uma orquestração de iterações LivePortrait, bem como módulos legados GAN e InsightFace, para criar um sucessor eficaz em tempo real ao projeto (agora abandonado) DFLive:

Clique para reproduzir: Elon Musk em um vídeo ao vivo via Deep-Live-Cam. Por favor, consulte a fonte para melhor resolução. Fonte 

No entanto, enquanto frameworks como Deep-Live-Cam podem funcionar para sempre e falsificar para sempre, e embora sejam melhores em gerar ângulos faciais difíceis do que costumavam ser, os resultados são, no entanto, limitados em termos de resolução e capacidade: você pode obter uma face/identidade específica, e ela pode fazer muitas coisas, como expressões faciais convincentes e sincronização labial – mas é basicamente um truque de um único:

BRB…

A maioria dos atuais sistemas de simulação humana de IA são, da mesma forma, limitados e/ou “especializados”. Uma limitação recorrente é que os melhores sistemas de simulação/impersonação humana são offline – ou seja, são muito intensivos em recursos para operar em tempo real e, em vez disso, precisam ir embora, calcular a solução e apresentar o resultado ao usuário mais tarde.

Obviamente, tais sistemas são inadequados para transmutação de IA ao vivo, como transformar todo um conjunto de movimentos corporais, como dança, em uma transmissão ao vivo.

Um exemplo disso nos últimos anos é o Wan2.2. Animate de código aberto, que fez um sucesso na comunidade de hobbyistas e revendedores profissionais – mas, mais uma vez, é um cenário de “gerar e esperar”:

Clique para reproduzir. De 2025, exemplos das impressionantes capacidades do Wan2.2-Animate – se você puder ter um pouco de paciência. Por favor, consulte a fonte para melhor resolução. Fonte 

Então, como está agora, você pode ter algo ótimo, versátil ou agora – escolha dois.

LiveAnimate

Nesse impasse mexicano, vem uma nova oferta da China, que efetivamente transforma o Wan2.2 Animate em um framework de animação em tempo real operando, atualmente, a uma respeitável taxa de quase 20fps, com resultados impressionantes em uma variedade de cenários:

Clique para reproduzir: Do site do projeto, o LiveAnimate transfere poses de condução em diferentes cenários, como dança de palco, corpo inteiro ao ar livre e retrato de close-up, reproduzindo movimento corporal inteiro, manual e facial. Por favor, consulte a fonte para melhor resolução. Fonte 

O novo trabalho estende o sistema original em uma versão capaz de funcionar em tempo real, mudando como o vídeo é gerado: em vez de processar frames passados e futuros juntos, o LiveAnimate gera cada novo segmento à medida que a ação se desenrola, usando apenas alguns passos, enquanto retém poses selecionadas anteriormente para manter a aparência do sujeito consistente ao longo de sessões longas.

Basicamente, o sistema mantém os frames anteriores como um método de memória persistente para se basear à medida que o vídeo se desenvolve, para que a identidade permaneça consistente – não muito diferente da forma como os sistemas de CGI antigos se referem a mapas de textura.

Embora um LoRA esteja envolvido no estágio de processamento, o LiveAnimate não é apenas mais um sistema LoRA – sua geração de streaming, sistema de pose/memória em cache, inferência de três etapas e otimizações de GPU representam mecanismos adicionais, além das diversas outras tecnologias (algumas surpreendentemente antigas) em seu repertório.

O novo sistema pode lidar não apenas com cenários de condução de corpo inteiro, como os exemplos acima, mas também com movimentos de corpo superior, como em cenários de entrevista:

Clique para reproduzir. ‘Movimento sutil de cabeça e mão sobre uma cena de escritório estática’.

Para ser justo em relação às suas limitações, o novo artigo admite que dois dos frameworks rivais testados contra o LiveAnimate foram capazes de preservar a identidade ligeiramente melhor em certas circunstâncias específicas; no entanto, nenhum dos concorrentes é um sistema online em vez de offline, e os autores do novo trabalho claramente estão empurrando os limites em uma direção plausível e otimista.

Além disso, pode ser digno de nota que a inferência requer dois GPUs H100 da NVIDIA, para um total de 160GB de VRAM*.

O artigo afirma:

‘O LiveAnimate mantém uma qualidade perceptual e identidade quase constantes dos primeiros 30 segundos ao final [minuto], enquanto os sistemas anteriores se deterioram substancialmente ou requerem horas de computação offline para o mesmo rollout.

‘Esses resultados estabelecem um novo ponto de operação em qualidade, latência e duração para animação humana interativa em tempo real.’

O novo artigo é intitulado LiveAnimate: Animação Humana de Longo Prazo Estável em Tempo Real, e vem de nove autores da Universidade Chinesa de Hong Kong, Qwen Applications Business Group da Alibaba e Liblib AI. Um site do projeto, repleto de vídeos também apresentados neste artigo, está disponível, enquanto o código está ’em breve’, e os pesos… quem sabe?

Método

O LiveAnimate constitui um processo de treinamento em duas etapas projetado para fazer com que o Wan2.2-Animate gere continuamente e rapidamente, seguido de um sistema de memória que recupera poses úteis anteriores à medida que cada novo bloco de vídeo é produzido:

Visão geral do pipeline do LiveAnimate, mostrando seu processo de treinamento em duas etapas à esquerda e geração em tempo real à direita, onde poses de entrada são combinadas com poses armazenadas anteriormente e combinadas com frames recentes para gerar cada novo bloco de vídeo em três etapas. Fonte 

O Wan2.2-Animate original é projetado para considerar uma sequência inteira em vez de gerar um vídeo que se estende indefinidamente. Portanto, para adaptá-lo, os autores dividiram os vídeos de treinamento em blocos consecutivos, com cada um gerado usando blocos anteriores como contexto/verdade fundamental. Isso inicialmente ensina o modelo a continuar a partir de material confiável anterior, antes de ter que lidar com erros acumulados de sua própria saída.

Esqueça-me Não

Ao longo desse processo, a imagem de referência original é mantida permanentemente disponível por meio de um ‘Ref Sink’, fornecendo um lembrete fixo da identidade e aparência da pessoa. Uma vez que um bloco foi concluído, um ‘Clean KV Update’ converte as informações obtidas dele em contexto histórico para blocos subsequentes (embora isso não repare erros existentes).

Essa primeira etapa de treinamento ainda requer 50 etapas de denoising por bloco, tornando a operação em tempo real impraticável. A segunda etapa, portanto, destila o processo para três etapas, enquanto expõe o modelo à sua própria história gerada, desde que a implantação exija que cada novo segmento dependa de saídas imperfeitas anteriores:

As duas etapas de treinamento† usadas para preparar o LiveAnimate para implantação, primeiro aprendendo com blocos de vídeo anteriores limpos – então reduzindo a geração para três etapas, enquanto treinando no próprio output imperfeito do modelo.

Treinar contra essas sequências geradas por si mesmo apresenta outro problema, pois manter toda a história computacional de um vídeo seria proibitivamente caro. Em vez disso, uma corrida de prática completa é feita, então revisitada, um bloco de cada vez, para treinamento. Cada bloco pode, portanto, receber uma atualização sem manter a sequência inteira computacionalmente ‘ativa’.

Combinado com adaptação LoRA, isso permite que o modelo de 14 bilhões de parâmetros seja destilado em um único nó contendo oito GPUs H100 de 80GB (notando que esse cluster é para treinamento, não inferência em tempo de execução).

Não Pare Agora

Para geração indefinida, o LiveAnimate também deve decidir o que é importante lembrar. Manter tudo faria com que os requisitos de processamento aumentassem fora de controle; mas reter apenas frames recentes também pode descartar vistas úteis anteriores.

Portanto, Pose-Retrieval Sink Attention (PR-Sink) aborda isso, mantendo o primeiro bloco gerado como um ‘Static Sink’ permanente – uma pose anterior relevante, operando como um ‘Dynamic Sink’ substituível, e uma janela rolante contendo o bloco atual e os dois anteriores. A imagem de referência permanece separadamente disponível por meio do Ref Sink, enquanto tamanhos de armazenamento fixos impedem que os custos aumentem à medida que o comprimento do vídeo aumenta.

Guerras de Blocos

Para escolher poses antigas para essa memória limitada, ViTPose reduz posições corporais e manuais em três frames em uma representação compacta. O banco de memória contém cinco poses representativas e é populado durante os primeiros 20 blocos, favorecendo poses variadas sobre quase-duplicatas.

Durante a geração, a pose de entrada é comparada com essas representativas e a correspondência mais próxima é recuperada, fornecendo evidências anteriores de como a pessoa parecia em uma posição semelhante. No entanto, o bloco imediatamente anterior é excluído, pois já existe na janela rolante, deixando o Dynamic Sink livre para recuperar informações de mais longe.

Finalmente, o tempo de execução em si é otimizado para velocidade, distribuindo o processamento de atenção em duas GPUs H100, sobrepondo a comunicação com o cálculo e reutilizando informações em cache sempre que possível.

Dados e Testes

O LiveAnimate foi treinado em 40.000 vídeos de fala do AVSpeech e 20.000 vídeos de movimento humano do conjunto de dados do TikTok e HumanVid, com treinamento e inferência que suportam resoluções de 480×480; 384×672; e 672×384 pixels.

O treinamento começou a partir do ponto de partida do Wan2.2-Animate-14B, usando LoRA com rank 128, e prosseguiu em oito GPUs NVIDIA H100 por 10.000 etapas na primeira etapa e 20.000 na segunda.

O vídeo foi gerado em blocos de três frames latentes (a representação interna comprimida do modelo), correspondendo a 12 frames RGB, enquanto a inferência foi realizada nas duas H100.

A avaliação comparou o LiveAnimate com métodos de animação humana baseados em pose existentes em sequências curtas e longas, usando imagens de referência e poses de condução em configurações consistentes. Os testes de longa forma estenderam a geração para três minutos para examinar se a qualidade e a identidade permaneciam estáveis ao longo do tempo.

Os frameworks testados foram EverAnimate; One-to-All; SCAIL^††; UniAnimate-DiT; e Wan2.2-Animate.

As métricas usadas abrangeram qualidade visual, consistência de identidade, qualidade distribucional e erro de representação temporal. Pontuação Estética (ASE) e Avaliação de Qualidade de Imagem sem Referência (IQA) mediram a qualidade visual do frame; DINO, similaridade (DINO-S), e consistência de aparência com a identidade de referência; Fréchet Inception Distance (FID), qualidade distribucional; e distância de recurso VideoMAE (V-MAE), como o vídeo gerado preservou o movimento ao longo do tempo:

Resultados de teste relacionados à qualidade e identidade ao longo de três minutos de geração contínua, com o LiveAnimate permanecendo comparativamente estável em todas as cinco métricas à medida que a sequência progride. Vários métodos concorrentes mostram uma deterioração maior ao longo do tempo. Leituras mais altas são melhores para IQA, ASE e DINO-S, com leituras mais baixas melhores para FID e V-MAE.

Como mostrado no gráfico de resultados inicial acima, o LiveAnimate alcançou o ASE inicial mais alto de 2,823 e IQA de 4,047, nos primeiros 30 segundos. Os autores afirmam que isso indica que a destilação de três etapas preserva a qualidade perceptual, apesar do orçamento de inferência reduzido.

Mais significativamente, o LiveAnimate mostrou pouca deterioração durante três minutos de geração contínua, com suas pontuações de qualidade visual e consistência de identidade permanecendo quase inalteradas.

Inversamente, o One-to-All se deteriorou substancialmente ao longo do tempo, com menor qualidade visual e consistência de identidade e maior erro distribucional; e o Wan2.2-Animate base também mostrou alguma perda de consistência de identidade.

Os autores afirmam:

‘Essas tendências apoiam nossa afirmação central de que gerenciar explicitamente o contexto de longo prazo é importante para animação em streaming.’

A eficiência de escalabilidade do LiveAnimate também foi testada em GPUs. Como mostrado abaixo, 12,41 FPS foi alcançado com um H100; 19,63 FPS com dois; e 22,13 FPS com quatro, com os ganhos cada vez mais limitados pela sobrecarga de comunicação. Dois H100 foram, portanto, selecionados como a configuração preferida:

Eficiência de escalabilidade em um, dois e quatro GPUs H100 na resolução 480×480, mostrando latência, taxa de frames, velocidade e eficiência. Dois GPUs alcançaram 19,63 FPS, enquanto a escalabilidade adicional para quatro produziu apenas um aumento modesto para 22,13 FPS.

Ao alcançar 19,63 FPS, cada bloco de 12 frames foi gerado em 0,611 segundos. Em comparação, aproximadamente 2–5 horas foram necessárias pelos sistemas concorrentes para gerar a mesma sequência de três minutos.

Testes qualitativos revelaram diferenças semelhantes: no teste de corpo inteiro mostrado abaixo, uma deterioração severa foi observada no One-to-All; flickering foi produzido pelo UniAnimate-DiT e SCAIL; e um deslizamento de cor ou fundo tardio se tornou evidente com o Wan-Animate e EverAnimate.

Resultados de teste comparando animação de corpo inteiro ao longo de três minutos. Frames foram amostrados a cada 20 segundos, com anotações vermelhas destacando a deterioração de longo prazo nos métodos concorrentes. As linhas de base requeriam aproximadamente 2–5 horas para gerar a sequência, em comparação com aproximadamente quatro minutos para o LiveAnimate. Por favor, consulte o artigo da fonte para melhor resolução.

O LiveAnimate manteve a aparência do sujeito e a cena circundante ao longo da sequência de três minutos. Na prova menos exigente do corpo superior mostrada abaixo, uma estabilidade de longo prazo comparável foi alcançada pelo EverAnimate e pelo LiveAnimate (embora a geração em tempo real tenha sido fornecida apenas pelo LiveAnimate):

Resultados de teste comparando animação de corpo superior ao longo de três minutos. Frames amostrados a cada 20 segundos mostram o LiveAnimate mantendo a identidade, roupas e fundo escuro do sujeito de forma mais consistente do que os métodos concorrentes.

Os autores concluem:

‘No benchmark de três minutos, o LiveAnimate sustenta quase constantemente a qualidade perceptual e a identidade a 19,63 FPS em dois GPUs H100, com memória e latência independentes da duração do stream, enquanto as linhas de base offline se deterioram visivelmente ou requerem horas de computação.

‘Esses resultados trazem modelos de difusão de vídeo em escala de bilhões dentro do alcance de aplicações interativas, como transmissão ao vivo, telepresença e avatares virtuais.’

Conclusão

É animador ver um framework de geração em tempo real adotar uma abordagem inovadora para os problemas persistentes de memória e identidade que atormentam a geração de vídeo.

Existem muitos frameworks de geração que podem se referir a imagens fixas fornecidas pelo usuário, sem a necessidade de ‘colar’ a imagem de referência no conteúdo de imagem para vídeo essencial.

No entanto, isso resolve apenas alguns dos problemas de geração de um único clipe de vídeo, como manter a identidade (incluindo roupas e penteado) de uma pessoa que reentra no quadro, ou que se tornou momentaneamente obscurecida, e então é vista novamente. Até o momento, apenas a abordagem LoRA de alta intensidade e temporária e irritante fez algum progresso com essas questões, embora limitado e provisório.

Para o vídeo, e, de fato, para a revolução de IA atual, o desenvolvimento de memória persistente eficaz é uma questão crítica e existencial – uma que provavelmente definirá a diferença entre o advento da IA geral e uma terceira inverno de IA.

*  Isso ainda é um ‘gotcha’? O pensamento atual é que modelos especializados menores possam eventualmente ser executados localmente, sem aluguel, enquanto necessidades de ponta são atendidas por um mercado de aluguel de GPU competitivo e, esperançosamente, balkanizado. Isso pressupõe que as empresas de fronteira falhem em EEE da concorrência, e que computação de GPU substancial permaneça disponível independentemente. Com base nisso, não considero mais os requisitos de GPU excessivos como um demérito, mas espero que o acesso se torne cada vez mais democrático e que otimizações posteriores reduzam as demandas iniciais de recursos.

^† Gerado e verificado por mim.

^†† Para testes de vídeo longo, o SCAIL e o UniAnimate-DiT foram estendidos com o mesmo procedimento de janela deslizante sem treinamento, pois nenhum deles suporta geração de longo prazo de forma nativa. O EverAnimate e o One-to-All foram avaliados usando seus próprios métodos de geração de vídeo longo.

Publicado pela primeira vez na quinta-feira, 13 de agosto de 2026