Melhor Geração de Vídeo por Inteligência Artificial por Reorganização de Quadros Durante o Treinamento

Um novo artigo publicado esta semana no Arxiv aborda um problema que qualquer pessoa que tenha adotado o Hunyuan Video ou Wan 2.1 geradores de vídeo de inteligência artificial terá encontrado até agora: aberrações temporais, onde o processo gerativo tende a acelerar abruptamente, confundir, omitir ou de outra forma estragar momentos cruciais em um vídeo gerado:

Clique para reproduzir. Algumas das falhas temporais que estão se tornando familiares para os usuários dos novos sistemas de vídeo gerativo, destacadas no novo artigo. À direita, o efeito de melhoria da nova abordagem FluxFlow. Fonte: https://haroldchen19.github.io/FluxFlow/

O vídeo acima apresenta trechos de vídeos de teste no (avisado: bastante caótico) site do projeto do artigo. Podemos ver vários problemas cada vez mais familiares sendo remediados pelo método dos autores (ilustrado à direita no vídeo), que é essencialmente uma técnica de pré-processamento de dados aplicável a qualquer arquitetura de vídeo gerativo.

No primeiro exemplo, apresentando ‘duas crianças brincando com uma bola’, gerado por CogVideoX, vemos (à esquerda no vídeo de compilação acima e no exemplo específico abaixo) que a geração nativa salta rapidamente por vários micro-movimentos essenciais, acelerando a atividade das crianças para um ‘tom’ de desenho animado. Em contraste, o mesmo conjunto de dados e método produzem melhores resultados com a nova técnica de pré-processamento, denominada FluxFlow (à direita da imagem no vídeo abaixo):

Clique para reproduzir.

No segundo exemplo (usando NOVA-0.6B) vemos que um movimento central envolvendo um gato foi corrompido ou subamostrado significativamente no estágio de treinamento, a ponto de o sistema gerativo se tornar ‘paralisado’ e incapaz de fazer o assunto se mover:

Clique para reproduzir.

Essa síndrome, onde o movimento ou assunto fica ‘preso’, é um dos principais problemas relatados por HV e Wan, nos vários grupos de síntese de imagem e vídeo.

Alguns desses problemas estão relacionados a questões de legendagem de vídeo no conjunto de dados de origem, que analisamos esta semana; mas os autores do novo trabalho concentram seus esforços nas qualidades temporais dos dados de treinamento, e apresentam um argumento convincente de que abordar os desafios dessa perspectiva pode produzir resultados úteis.

Como mencionado no artigo anterior sobre legendagem de vídeo, certos esportes são particularmente difíceis de distilar em momentos-chave, significando que eventos críticos (como um enterrada) não recebem a atenção necessária no momento do treinamento:

Clique para reproduzir.

No exemplo acima, o sistema gerativo não sabe como passar para a próxima etapa do movimento e transita ilogicamente de uma pose para a outra, alterando a atitude e a geometria do jogador no processo.

Esses são movimentos grandes que se perderam no treinamento – mas igualmente vulneráveis são movimentos muito menores, porém cruciais, como o bater das asas de uma borboleta:

Clique para reproduzir.

Ao contrário da enterrada, o bater das asas não é um evento ‘raro’, mas sim um evento persistente e monótono. No entanto, sua consistência se perde no processo de amostragem, pois o movimento é tão rápido que é muito difícil estabelecer temporalmente.

Esses não são problemas particularmente novos, mas estão recebendo mais atenção agora que modelos de vídeo gerativo poderosos estão disponíveis para entusiastas para instalação local e geração gratuita.

As comunidades no Reddit e Discord inicialmente trataram esses problemas como ‘relacionados ao usuário’. Isso é uma suposição compreensível, pois os sistemas em questão são muito novos e minimamente documentados. Portanto, vários especialistas sugeriram remédios diversos (e nem sempre eficazes) para alguns dos problemas documentados aqui, como alterar as configurações em vários componentes de workflows de ComfyUI para Hunyuan Video (HV) e Wan 2.1.

Em alguns casos, em vez de produzir movimento rápido, tanto HV quanto Wan produzem movimento lento. Sugestões do Reddit e ChatGPT (que aproveita principalmente o Reddit) incluem alterar o número de quadros na geração solicitada, ou reduzir radicalmente a taxa de quadros*.

Isso tudo é uma solução desesperada; a verdade emergente é que ainda não sabemos a causa exata ou o remédio exato para esses problemas; claramente, atormentar as configurações de geração para contornar esses problemas (particularmente quando isso degrada a qualidade da saída, por exemplo, com uma taxa de quadros muito baixa) é apenas uma solução temporária, e é bom ver que a cena de pesquisa está abordando problemas emergentes tão rapidamente.

Então, além da nossa análise desta semana sobre como a legendagem afeta o treinamento, vamos dar uma olhada no novo artigo sobre regularização temporal e quais melhorias ele pode oferecer à cena atual de vídeo gerativo.

A ideia central é bastante simples e sutil, e não é pior por isso; no entanto, o artigo é um pouco inflado para atingir as oito páginas prescritas, e vamos pular sobre essa inflação quando necessário.

O peixe na geração nativa do framework VideoCrafter é estático, enquanto a versão alterada pelo FluxFlow captura as mudanças necessárias. Fonte: https://arxiv.org/pdf/2503.15417

O novo trabalho é intitulado Regularização Temporal Torna Seu Gerador de Vídeo Mais Forte, e vem de oito pesquisadores de Everlyn AI, Universidade de Ciência e Tecnologia de Hong Kong (HKUST), Universidade de Central Florida (UCF) e Universidade de Hong Kong (HKU).

(no momento da escrita, havia alguns problemas com o site do projeto)

FluxFlow

A ideia central por trás do FluxFlow, o novo esquema de pré-treinamento dos autores, é superar os problemas generalizados flutuação e inconsistência temporal reorganizando blocos e grupos de blocos nas ordens de quadros temporais à medida que os dados de origem são expostos ao processo de treinamento:

A ideia central por trás do FluxFlow é mover blocos e grupos de blocos para posições inesperadas e não temporais, como uma forma de aumento de dados.

O artigo explica:

‘[Artefatos] decorrem de uma limitação fundamental: apesar de aproveitar conjuntos de dados de grande escala, os modelos atuais frequentemente confiam em padrões temporais simplificados nos dados de treinamento (por exemplo, direções de caminhada fixas ou transições de quadros repetitivas) em vez de aprender dinâmicas temporais diversas e plausíveis.

‘Esse problema é ainda mais agravado pela falta de aumento temporal explícito durante o treinamento, deixando os modelos propensos a superajustar-se a correlações temporais espúrias (por exemplo, “quadro #5 deve seguir #4”) em vez de generalizar em diferentes cenários de movimento.’

A maioria dos modelos de geração de vídeo, explicam os autores, ainda se baseia muito na síntese de imagem, focando na fidelidade espacial enquanto ignora em grande parte o eixo temporal. Embora técnicas como recorte, inversão e jitter de cor tenham ajudado a melhorar a qualidade da imagem estática, elas não são soluções adequadas quando aplicadas a vídeos, onde a ilusão de movimento depende de transições consistentes entre quadros.

Os problemas resultantes incluem texturas cintilantes, cortes desagradáveis entre quadros e padrões de movimento repetitivos ou excessivamente simples.

Clique para reproduzir.

O artigo argumenta que, embora alguns modelos – incluindo Stable Video Diffusion e LlamaGen – compensam com arquiteturas cada vez mais complexas ou restrições projetadas, essas vêm a um custo em termos de computação e flexibilidade.

Já que o aumento de dados temporais provou ser útil em tarefas de compreensão de vídeo (em frameworks como FineCliper, SeFAR e SVFormer) é surpreendente, afirmam os autores, que essa tática é raramente aplicada em um contexto gerativo.

Comportamento Disruptivo

Os pesquisadores defendem que simples perturbações estruturadas na ordem temporal durante o treinamento ajudam os modelos a generalizar melhor para movimentos realistas e diversos:

‘Ao treinar em sequências desordenadas, o gerador aprende a recuperar trajetórias plausíveis, regularizando efetivamente a entropia temporal. FLUXFLOW ponteia a lacuna entre aumento temporal discriminativo e gerativo, oferecendo uma solução de melhoria plug-and-play para geração de vídeo temporalmente plausível, melhorando a qualidade geral.

‘Ao contrário dos métodos existentes que introduzem alterações arquiteturais ou dependem de pós-processamento, FLUXFLOW opera diretamente no nível dos dados, introduzindo perturbações temporais controladas durante o treinamento.’

Clique para reproduzir.

Perturbações de nível de quadro, afirmam os autores, introduzem perturbações finas dentro de uma sequência. Esse tipo de perturbação não é muito diferente da técnica de mascaramento, onde seções de dados são bloqueadas aleatoriamente, para evitar que o sistema se ajuste demais aos dados e encorajar uma melhor generalização.

Testes

Embora a ideia central aqui não seja um artigo de tamanho completo, devido à sua simplicidade, ainda há uma seção de testes que podemos analisar.

Os autores testaram quatro consultas relacionadas à qualidade temporal melhorada, mantendo a fidelidade espacial; capacidade de aprender dinâmicas de movimento e fluxo óptico; manter a qualidade temporal na geração extraterm; e sensibilidade a hiperparâmetros-chave.

Os pesquisadores aplicaram FluxFlow a três arquiteturas gerativas: baseada em U-Net, na forma de VideoCrafter2; baseada em DiT, na forma de CogVideoX-2B; e baseada em AR, na forma de NOVA-0.6B.

Para uma comparação justa, eles ajustaram os modelos base das arquiteturas com FluxFlow como uma fase de treinamento adicional, por um epoch, no conjunto de dados OpenVidHD-0.4M.

Os modelos foram avaliados em relação a dois benchmarks populares: UCF-101; e VBench.

Para UCF, as métricas Fréchet Video Distance (FVD) e Inception Score (IS) foram usadas. Para VBench, os pesquisadores se concentraram na qualidade temporal, qualidade por quadro e qualidade geral.

Avaliação Quantitativa Inicial do FluxFlow-Frame. “+ Original” indica treinamento sem FLUXFLOW, enquanto “+ Num × 1” mostra diferentes configurações de FluxFlow-Frame. Os melhores resultados são sombreados; os segundos melhores são sublinhados para cada modelo.

Comentando sobre esses resultados, os autores afirmam:

‘Ambos FLUXFLOW-FRAME e FLUXFLOW-BLOCK melhoram significativamente a qualidade temporal, como evidenciado pelas métricas nas Tabelas 1, 2 (ou seja, FVD, Assunto, Cintilação, Movimento e Dinâmico) e resultados qualitativos na [imagem abaixo].

‘Por exemplo, o movimento do carro deslizante em VC2, o gato perseguindo sua cauda em NOVA e o surfista andando de uma onda em CVX se tornam notavelmente mais fluidos com FLUXFLOW. Importante, essas melhorias temporais são alcançadas sem sacrificar a fidelidade espacial, como evidenciado pelos detalhes nítidos de salpicos de água, trilhas de fumaça e texturas de onda, juntamente com métricas de fidelidade espacial e geral.’

Abaixo, vemos seleções dos resultados qualitativos aos quais os autores se referem (por favor, veja o artigo original para resultados completos e melhor resolução):

Seleções dos resultados qualitativos.

O artigo sugere que, embora tanto as perturbações de nível de quadro quanto as de nível de bloco melhorem a qualidade temporal, as perturbações de nível de quadro tendem a se sair melhor. Isso é atribuído à sua granularidade mais fina, que permite ajustes temporais mais precisos. As perturbações de nível de bloco, por outro lado, podem introduzir ruído devido a padrões espaciais e temporais fortemente acoplados dentro dos blocos, reduzindo sua eficácia.

Conclusão

Este artigo, junto com a colaboração de legendagem de vídeo da Bytedance-Tsinghua lançada esta semana, deixou claro para mim que as aparentes deficiências nos novos modelos de vídeo gerativo podem não resultar de erros do usuário, passos institucionais ou limitações de financiamento, mas sim de uma ênfase de pesquisa que priorizou desafios mais urgentes, como coerência e consistência temporais, sobre essas preocupações menores.

Até recentemente, os resultados dos sistemas de vídeo gerativo gratuitos e disponíveis para download estavam tão comprometidos que nenhum grande esforço surgiu da comunidade de entusiastas para resolver esses problemas (nem porque os problemas eram fundamentais e não trivialmente solucionáveis).

Agora que estamos tão perto da era prevista de saída de vídeo fotorealista puramente gerado por IA, está claro que tanto a comunidade de pesquisa quanto a comunidade casual estão tomando um interesse mais profundo e produtivo em resolver os problemas restantes; com sorte, esses não são obstáculos intransponíveis.

* O frame rate nativo do Wan é de apenas 16fps, e em resposta aos meus próprios problemas, observo que os fóruns sugeriram reduzir a taxa de frames para tão baixo quanto 12fps, e então usar FlowFrames ou outros sistemas de re-fluxo baseados em IA para interpolar as lacunas entre um número tão escasso de frames.

Publicado pela primeira vez na sexta-feira, 21 de março de 2025