Por que o vídeo de IA às vezes fica de cabeça para baixo

Se 2022 foi o ano em que a IA geradora capturou a imaginação do público em geral, 2025 é o ano em que a nova geração de frameworks de vídeo gerador da China parece estar prestes a fazer o mesmo.

O Hunyuan Video da Tencent fez um impacto significativo na comunidade de hobbyists de IA com sua liberação de código aberto de um modelo de difusão de vídeo de mundo completo que os usuários podem personalizar de acordo com suas necessidades.

Logo atrás dele está o Wan 2.1 da Alibaba, uma das soluções de imagem para vídeo FOSS mais poderosas do período – agora com suporte a personalização por meio de Wan LoRAs.

Além da disponibilidade do modelo de fundação humana recente SkyReels, na época da escrita também aguardamos a liberação da suíte de criação e edição de vídeo VACE da Alibaba:

Clique para reproduzir. A liberação pendente da suíte de edição de IA multi-funcional VACE da Alibaba excitou a comunidade de usuários. Fonte: https://ali-vilab.github.io/VACE-Page/

Impacto Súbito

A cena de pesquisa de IA de vídeo gerador em si não é menos explosiva; ainda é a primeira metade de março, e as submissões de terça-feira para a seção de Visão Computacional do Arxiv (um hub para papers de IA geradora) chegaram a quase 350 entradas – um número mais associado ao auge da temporada de conferências.

Os dois anos desde o lançamento da Stable Diffusion no verão de 2022 (e o desenvolvimento subsequente de Dreambooth e LoRA métodos de personalização) foram caracterizados pela falta de desenvolvimentos significativos adicionais, até as últimas semanas, onde novas liberações e inovações prosseguiram a um ritmo tão acelerado que é quase impossível acompanhar tudo, muito menos cobrir tudo.

Modelos de difusão de vídeo como Hunyuan e Wan 2.1 resolveram, finalmente, e após anos de esforços fracassados de centenas de iniciativas de pesquisa, o problema da consistência temporal em relação à geração de humanos, e em grande parte também a ambientes e objetos.

Não pode haver dúvida de que estúdios de efeitos visuais estão atualmente aplicando funcionários e recursos para adaptar os novos modelos de vídeo da China para resolver desafios imediatos, como a troca de faces, apesar da falta atual de mecanismos auxiliares do tipo ControlNet para esses sistemas.

Deve ser um alívio que um obstáculo significativo tenha sido potencialmente superado, embora não pelas vias antecipadas.

Entre os problemas que permanecem, este não é insignificante:

Clique para reproduzir. Com base no prompt ‘Uma pequena rocha rola por uma encosta rochosa íngreme, deslocando solo e pequenas pedras’, o Wan 2.1, que alcançou as pontuações mais altas no novo paper, comete um simples erro. Fonte: https://videophy2.github.io/

Subindo a Colina para Trás

Todos os sistemas de texto para vídeo e imagem para vídeo atualmente disponíveis, incluindo modelos de código fechado comerciais, têm uma tendência a produzir erros de física, como o exemplo acima, onde o vídeo mostra uma rocha rolando para cima, com base no prompt ‘Uma pequena rocha rola por uma encosta rochosa íngreme, deslocando solo e pequenas pedras‘.

Uma teoria sobre por que isso acontece, recentemente proposta em uma colaboração acadêmica entre a Alibaba e os Emirados Árabes Unidos, é que os modelos são treinados sempre em imagens únicas, em certo sentido, mesmo quando estão treinando em vídeos (que são escritos como sequências de frames para fins de treinamento); e eles podem não aprender necessariamente a ordem temporal correta de ‘antes’ e ‘depois’ de imagens.

No entanto, a solução mais provável é que os modelos em questão usaram rotinas de aumento de dados que envolvem expor um clipe de treinamento de origem ao modelo tanto para a frente quanto para trás, efetivamente dobrando os dados de treinamento.

Já se sabia que isso não deve ser feito arbitrariamente, porque alguns movimentos funcionam em reverso, mas muitos não. Um estudo de 2019 do Reino Unido da Universidade de Bristol buscou desenvolver um método que pudesse distinguir equivariante, invariante e irreversível clipe de vídeo de dados de origem que coexistem em um conjunto de dados (veja a imagem abaixo), com a noção de que clipe de origem inadequado pode ser filtrado das rotinas de aumento de dados.

Exemplos de três tipos de movimento, apenas um dos quais é livremente reversível enquanto mantém dinâmica física plausível. Fonte: https://arxiv.org/abs/1909.09422

Os autores desse trabalho formulam o problema claramente:

‘Descobrimos que a realidade de vídeos revertidos é traída por artefatos de reversão, aspectos da cena que não seriam possíveis em um mundo natural. Alguns artefatos são sutis, enquanto outros são fáceis de detectar, como uma ação de arremesso reversa onde o objeto arremessado surge espontaneamente do chão.

‘Observamos dois tipos de artefatos de reversão, físicos, que exibem violações das leis da natureza, e improváveis, que descrevem um cenário possível, mas improvável. Esses não são exclusivos, e muitas ações revertidas sofrem ambos os tipos de artefatos, como quando se desamassa um pedaço de papel.

‘Exemplos de artefatos físicos incluem: gravidade invertida (por exemplo, ‘largar algo’), impulsos espontâneos em objetos (por exemplo, ‘girar uma caneta’), e mudanças de estado irreversíveis (por exemplo, ‘queimar uma vela’). Um exemplo de artefato improvável: pegar um prato do armário, secá-lo e colocá-lo no suporte de secagem.

‘Esse tipo de reutilização de dados é muito comum no tempo de treinamento, e pode ser benéfico – por exemplo, para garantir que o modelo não aprenda apenas uma visão de uma imagem ou objeto que pode ser virado ou rotacionado sem perder sua coerência central e lógica.

‘Isso só funciona para objetos que são verdadeiramente simétricos, é claro; e aprender física a partir de um vídeo ‘revertido’ só funciona se a versão revertida faz tanto sentido quanto a versão para a frente.’

Reversões Temporárias

Não temos evidências de que sistemas como Hunyuan Video e Wan 2.1 permitiram que clipe ‘revertido’ fosse exposto ao modelo durante o treinamento (nenhum grupo de pesquisadores foi específico sobre as rotinas de aumento de dados).

No entanto, a única possibilidade razoável alternativa, diante de tantos relatos (e minha própria experiência prática), pareceria ser que os conjuntos de dados de larga escala que alimentam esses modelos podem conter clipe que realmente apresentam movimentos ocorrendo em reverso.

A rocha no exemplo de vídeo incorporado acima foi gerada usando Wan 2.1 e é apresentada em um novo estudo que examina como os modelos de difusão de vídeo lidam com a física.

Nos testes para esse projeto, o Wan 2.1 alcançou uma pontuação de apenas 22% em termos de sua capacidade de aderir consistentemente às leis físicas.

No entanto, essa é a melhor pontuação de qualquer sistema testado para o trabalho, indicando que podemos ter encontrado nosso próximo obstáculo para a IA de vídeo:

Pontuações obtidas por sistemas de código aberto e fechado líderes, com a saída dos frameworks avaliada por anotadores humanos. Fonte: https://arxiv.org/pdf/2503.06800

Os autores do novo trabalho desenvolveram um sistema de benchmarking, agora em sua segunda iteração, chamado VideoPhy, com o código disponível no GitHub.

Embora o escopo do trabalho esteja além do que podemos cobrir aqui de forma abrangente, vamos dar uma olhada geral em sua metodologia e seu potencial para estabelecer uma métrica que possa ajudar a direcionar o curso de futuras sessões de treinamento de modelo longe desses casos estranhos de reversão.

O estudo, realizado por seis pesquisadores da UCLA e da Google Research, é chamado VideoPhy-2: Uma Avaliação Física Desafiadora de Senso Comum em Geração de Vídeo. Um site de projeto acompanhante também está disponível, junto com código e conjuntos de dados no GitHub, e um visualizador de conjunto de dados no Hugging Face.

Clique para reproduzir. Aqui, o modelo OpenAI Sora falha em entender as interações entre remos e reflexos e não consegue fornecer um fluxo físico lógico para a pessoa no barco ou para a forma como o barco interage com ela.

Método

Os autores descrevem a versão mais recente de seu trabalho, VideoPhy-2, como uma ‘avaliação de senso comum desafiadora para ações do mundo real’. A coleção apresenta 197 ações em uma variedade de atividades físicas diversificadas, como hula-hooping, ginástica e tênis, bem como interações de objetos, como dobrar um objeto até quebrá-lo.

Um modelo de linguagem grande (LLM) é usado para gerar 3840 prompts a partir dessas ações iniciais, e os prompts são usados para sintetizar vídeos por meio dos vários frameworks que estão sendo testados.

Ao longo do processo, os autores desenvolveram uma lista de ‘candidatos’ regras e leis físicas que os vídeos gerados por IA devem atender, usando modelos de visão-linguagem para avaliação.

Os autores afirmam:

‘Por exemplo, em um vídeo de um esportista jogando tênis, uma regra física seria que a bola de tênis deve seguir uma trajetória parabólica sob a gravidade. Para julgamentos de ouro, pedimos aos anotadores humanos que pontuem cada vídeo com base na aderência semântica geral e no senso comum físico, e que marquem sua conformidade com várias regras físicas.’

Acima: Um prompt de texto é gerado a partir de uma ação usando um LLM e usado para criar um vídeo com um gerador de texto-para-vídeo. Um modelo de visão-linguagem legenda o vídeo, identificando possíveis regras físicas em jogo. Abaixo: Anotadores humanos avaliam a realidade do vídeo, confirmam violações de regras, adicionam regras faltantes e verificam se o vídeo corresponde ao prompt original.

Inicialmente, os pesquisadores curaram um conjunto de ações para avaliar o senso comum físico em vídeos gerados por IA. Eles começaram com mais de 600 ações provenientes dos conjuntos de dados Kinetics, UCF-101 e SSv2, focando em atividades que envolvem esportes, interações de objetos e física do mundo real.

Dois grupos independentes de anotadores de estudantes de STEM (com uma qualificação mínima de graduação obtida) revisaram e filtraram a lista, selecionando ações que testam princípios como gravidade, momento e elasticidade, enquanto removiam tarefas de baixo movimento, como digitar, acariciar um gato ou mascar.

Após uma refinação adicional com Gemini-2.0-Flash-Exp para eliminar duplicatas, o conjunto de dados final incluiu 197 ações, com 54 envolvendo interações de objetos e 143 centradas em atividades físicas e esportivas:

Amostras das ações destiladas.

Na segunda etapa, os pesquisadores usaram o Gemini-2.0-Flash-Exp para gerar 20 prompts para cada ação no conjunto de dados, resultando em um total de 3.940 prompts. O processo de geração se concentrou em interações físicas visíveis que pudessem ser claramente representadas em um vídeo gerado. Isso excluiu elementos não visuais, como emoções, detalhes sensoriais e linguagem abstrata, mas incorporou personagens e objetos diversificados.

Por exemplo, em vez de um prompt simples como ‘Um arqueiro libera a flecha’, o modelo foi orientado a produzir uma versão mais detalhada, como ‘Um arqueiro puxa a corda do arco para trás até a tensão total, então libera a flecha, que voa reta e atinge um alvo de papel’.

Como os modelos de vídeo modernos podem interpretar descrições mais longas, os pesquisadores refinaram ainda mais as legendas usando o Mistral-NeMo-12B-Instruct ampliador de prompt, para adicionar detalhes visuais sem alterar o significado original.

Prompts de amostra do VideoPhy-2, categorizados por atividades físicas ou interações de objetos. Cada prompt é emparelhado com sua ação correspondente e o princípio físico relevante que testa.

Para a terceira etapa, as regras físicas não foram derivadas de prompts de texto, mas de vídeos gerados, pois os modelos geradores podem ter dificuldade em aderir a prompts de texto condicionados.

Vídeos foram criados primeiro usando prompts do VideoPhy-2, então ‘up-captionados’ com o Gemini-2.0-Flash-Exp para extrair detalhes-chave. O modelo propôs três regras físicas esperadas por vídeo, que os anotadores humanos revisaram e expandiram, identificando violações adicionais potenciais.

Exemplos das legendas ampliadas.

Em seguida, para identificar as ações mais desafiadoras, os pesquisadores geraram vídeos usando CogVideoX-5B com prompts do conjunto de dados VideoPhy-2. Eles então selecionaram 60 ações de 197 onde o modelo consistentemente falhou em seguir tanto os prompts quanto o senso comum físico básico.

Essas ações envolviam interações físicas ricas, como transferência de momento no arremesso de disco, mudanças de estado, como dobrar um objeto até quebrá-lo, tarefas de equilíbrio, como caminhar na corda bamba, e movimentos complexos que incluíam saltos para trás, salto com vara e arremesso de pizza, entre outros. No total, 1.200 prompts foram escolhidos para aumentar a dificuldade do subconjunto de dados.

O conjunto de dados resultante compreendia 3.940 legendas – 5,72 vezes mais do que a versão anterior do VideoPhy. O comprimento médio das legendas originais é de 16 tokens, enquanto as legendas ampliadas atingem 138 tokens – 1,88 vezes e 16,2 vezes mais longas, respectivamente.

O conjunto de dados também apresenta 102.000 anotações humanas que cobrem aderência semântica, senso comum físico e violações de regras em vários modelos de geração de vídeo.

Avaliação

Os pesquisadores então definiram critérios claros para avaliar os vídeos. O objetivo principal era avaliar como bem cada vídeo correspondia ao seu prompt de entrada e seguiu princípios físicos básicos.

Em vez de simplesmente classificar os vídeos por preferência, eles usaram feedback baseado em classificação para capturar sucessos e falhas específicos. Anotadores humanos pontuaram os vídeos em uma escala de cinco pontos, permitindo julgamentos mais detalhados, enquanto a avaliação também verificou se os vídeos seguiam várias regras e leis físicas.

Para a avaliação humana, um grupo de 12 anotadores foi selecionado a partir de testes no Amazon Mechanical Turk (AMT) e forneceu classificações após receber instruções detalhadas remotas. Para garantir a justiça, aderência semântica e senso comum físico foram avaliados separadamente (no estudo original do VideoPhy, eles foram avaliados conjuntamente).

Os anotadores primeiro classificaram como bem os vídeos correspondiam aos seus prompts de entrada, então avaliaram separadamente a plausibilidade física, pontuando violações de regras e realismo geral em uma escala de cinco pontos. Apenas os prompts originais foram exibidos, para manter uma comparação justa entre os modelos.

A interface apresentada aos anotadores do AMT.

Embora o julgamento humano permaneça o padrão de ouro, é caro e vem com uma série de caveats. Portanto, a avaliação automatizada é essencial para avaliações de modelo mais rápidas e escaláveis.

Os autores do paper testaram vários modelos de vídeo-linguagem, incluindo o Gemini-2.0-Flash-Exp e o VideoScore, em sua capacidade de pontuar vídeos para precisão semântica e ‘senso comum físico’.

Os modelos novamente classificaram cada vídeo em uma escala de cinco pontos, enquanto uma tarefa de classificação separada determinou se as regras físicas foram seguidas, violadas ou incertas.

Experimentos mostraram que os modelos de vídeo-linguagem existentes lutaram para corresponder aos julgamentos humanos, principalmente devido ao raciocínio físico fraco e à complexidade dos prompts. Para melhorar a avaliação automatizada, os pesquisadores desenvolveram o VideoPhy-2-Autoeval, um modelo de 7B parâmetros projetado para fornecer previsões mais precisas em três categorias: aderência semântica; senso comum físico; e conformidade de regras, ajustado fino no modelo VideoCon-Physics usando 50.000 anotações humanas*.

Dados e Testes

Com essas ferramentas em vigor, os autores testaram vários sistemas de vídeo gerador, tanto por meio de instalações locais quanto, quando necessário, por meio de APIs comerciais: CogVideoX-5B; VideoCrafter2; HunyuanVideo-13B; Cosmos-Diffusion; Wan2.1-14B; OpenAI Sora; e Luma Ray.

Os modelos foram alimentados com prompts de legendas ampliadas, sempre que possível, exceto que o Hunyuan Video e o VideoCrafter2 operam sob limitações de 77 tokens CLIP e não podem aceitar prompts acima de um determinado comprimento.

Os vídeos gerados foram mantidos em menos de 6 segundos, pois a saída mais curta é mais fácil de avaliar.

Os dados de treinamento foram do conjunto de dados VideoPhy-2, que foi dividido em um conjunto de benchmark e um conjunto de treinamento. 590 vídeos foram gerados por modelo, exceto para Sora e Ray2; devido ao fator de custo (números equivalentes de vídeos foram gerados para esses).

(Por favor, consulte o paper de origem para mais detalhes de avaliação, que são cronologicamente registrados lá)

A avaliação inicial lidou com atividades físicas/esportes (PA) e interações de objetos (OI), e testou tanto o conjunto de dados geral quanto o subconjunto ‘mais difícil’ mencionado anteriormente:

Resultados da primeira rodada.

Aqui os autores comentam:

‘Mesmo o modelo de melhor desempenho, Wan2.1-14B, alcança apenas 32,6% e 21,9% no conjunto de dados completo e na divisão difícil do nosso conjunto de dados, respectivamente. Seu desempenho relativamente forte em comparação com outros modelos pode ser atribuído à diversidade de seus dados de treinamento multimodais, juntamente com um filtro de movimento robusto que preserva vídeos de alta qualidade em uma ampla gama de ações.

‘Além disso, observamos que os modelos fechados, como o Ray2, têm um desempenho pior do que os modelos de código aberto, como o Wan2.1-14B e o CogVideoX-5B. Isso sugere que os modelos fechados não são necessariamente superiores aos modelos de código aberto na captura do senso comum físico.

‘Notavelmente, o Cosmos-Diffusion-7B alcança a segunda melhor pontuação na divisão difícil, superando até mesmo o modelo HunyuanVideo-13B muito maior. Isso pode ser devido à alta representação de ações humanas em seus dados de treinamento, juntamente com simulações renderizadas sinteticamente.’

Os resultados mostraram que os modelos de vídeo lutaram mais com atividades físicas, como esportes, do que com interações de objetos mais simples. Isso sugere que melhorar os vídeos gerados por IA nessa área exigirá conjuntos de dados melhores – particularmente filmagens de alta qualidade de esportes, como tênis, arremesso de disco, beisebol e críquete.

O estudo também examinou se a plausibilidade física de um modelo estava correlacionada com outras métricas de qualidade de vídeo, como estética e suavidade de movimento. Os resultados revelaram que não há uma forte correlação, o que significa que um modelo não pode melhorar seu desempenho no VideoPhy-2 apenas gerando movimentos visuais atraentes ou fluidos – ele precisa de uma compreensão mais profunda do senso comum físico.

Embora o paper forneça muitos exemplos qualitativos, poucos dos exemplos estáticos fornecidos no PDF parecem se relacionar com os extensos exemplos de vídeo fornecidos pelos autores no site do projeto. Portanto, vamos dar uma olhada em uma pequena seleção dos exemplos estáticos e em alguns dos vídeos reais do projeto.

A linha superior mostra vídeos gerados pelo Wan2.1. (a) No Ray2, o jet-ski à esquerda fica para trás antes de se mover para trás. (b) No Hunyuan-13B, o martelo de demolir se deforma no meio do movimento e uma tábua de madeira quebrada aparece inesperadamente. (c) No Cosmos-7B, o dardo expulsa areia antes de fazer contato com o solo.

Sobre o exemplo qualitativo acima, os autores comentam:

‘[Nós] observamos violações do senso comum físico, como jet-skis se movendo de forma não natural em reverso e a deformação de um martelo de demolir sólido, desafiando os princípios da elasticidade. No entanto, mesmo o Wan sofre com a falta de senso comum físico, como mostrado no clipe incorporado no início deste artigo.’

‘Nesse caso, destacamos que uma rocha começa a rolar e acelerar para cima, desafiando a lei física da gravidade.’

Exemplos adicionais do site do projeto:

Clique para reproduzir. Aqui, a legenda foi ‘Uma pessoa torce uma toalha molhada vigorosamente, com água pulverizada para fora em um arco visível’ – mas a fonte resultante de água é muito mais como uma mangueira de água do que uma toalha.

Clique para reproduzir. Aqui, a legenda foi ‘Um químico derrama um líquido claro de um béquer para um tubo de ensaio, evitando derramar’, mas podemos ver que o volume de água sendo adicionado ao béquer não é consistente com a quantidade saindo do frasco.

Como mencionei no início, o volume de material associado a esse projeto ultrapassa o que pode ser coberto aqui. Portanto, por favor, consulte o paper de origem, o site do projeto e os sites relacionados mencionados anteriormente, para uma visão geral exaustiva dos procedimentos dos autores e muito mais exemplos de testes e detalhes procedimentais.

* Quanto à proveniência das anotações, o paper apenas especifica ‘adquirido para essas tarefas’ – parece muito para ter sido gerado por 12 trabalhadores do AMT.

Publicado pela primeira vez na quinta-feira, 13 de março de 2025