Preparando a Cozinha para a Consistência Narrativa na Geração de Vídeo de Longa Duração

A reciente liberação pública do modelo de inteligência artificial generativa Hunyuan Video intensificou as discussões em curso sobre o potencial de grandes modelos de visão-linguagem multimodais para criar filmes inteiros um dia.

No entanto, como observamos, isso é uma perspectiva muito distante no momento, por várias razões. Uma delas é a janela de atenção muito curta da maioria dos geradores de vídeo de IA, que lutam para manter a consistência, mesmo em um único tiro curto, muito menos em uma série de tiros.

Outra é que referências consistentes ao conteúdo de vídeo (como ambientes exploráveis, que não devem mudar aleatoriamente se você retraçar seus passos através deles) só podem ser alcançadas em modelos de difusão por técnicas de personalização, como adaptação de baixo rank (LoRA), o que limita as capacidades prontas para uso dos modelos de base.

Portanto, a evolução da geração de vídeo parece estar prestes a estagnar, a menos que sejam desenvolvidas novas abordagens para a continuidade narrativa.

Receita para a Continuidade

Com isso em mente, uma nova colaboração entre os EUA e a China propôs o uso de vídeos de culinária instrutiva como um possível modelo para sistemas de continuidade narrativa futuros.

Clique para reproduzir. O sistema VideoAuteur sistematiza a análise de partes de um processo de culinária para produzir um novo conjunto de dados finamente legendado e um método de orquestração para a geração de vídeos de culinária. Consulte o site de origem para melhor resolução. Fonte: https://videoauteur.github.io/

Intitulado VideoAuteur, o trabalho propõe um pipeline de duas etapas para gerar vídeos de culinária instrutiva usando estados coerentes que combinam keyframes e legendas, alcançando resultados de ponta em – admitidamente – um espaço subinscrito.

A página do projeto VideoAuteur também inclui vários vídeos mais atraentes que usam a mesma técnica, como um trailer proposto para um crossover Marvel/DC:

Clique para reproduzir. Dois super-heróis de universos alternativos se enfrentam em um trailer falso do VideoAuteur. Consulte o site de origem para melhor resolução.

A página também apresenta vídeos promocionais semelhantes para uma série de animais da Netflix e um anúncio de carro da Tesla (TSLA ).

Ao desenvolver o VideoAuteur, os autores experimentaram com diversas funções de perda e outras abordagens novas. Para desenvolver um fluxo de trabalho de geração de receitas, eles também curaram CookGen, o maior conjunto de dados focado no domínio da culinária, com 200.000 clipes de vídeo com duração média de 9,5 segundos.

Com uma média de 768,3 palavras por vídeo, o CookGen é confortavelmente o conjunto de dados mais extensivamente anotado do seu tipo. Diversos modelos de visão/linguagem foram usados, entre outras abordagens, para garantir que as descrições fossem tão detalhadas, relevantes e precisas quanto possível.

Vídeos de culinária foram escolhidos porque as instruções de culinária têm uma narrativa estruturada e inequívoca, tornando a anotação e avaliação uma tarefa mais fácil. Exceto por vídeos pornográficos (provavelmente para entrar neste espaço particular em breve), é difícil pensar em qualquer outro gênero tão visual e narrativamente “fórmula”.

Os autores afirmam:

‘Nossa abordagem proposta de duas etapas, que inclui um diretor de narrativa longa e geração de vídeo condicionada visualmente, demonstra melhorias promissoras na consistência semântica e fidelidade visual em vídeos narrativos longos gerados.

Através de experimentos em nosso conjunto de dados, observamos melhorias na coerência espacial e temporal em sequências de vídeo.

‘Esperamos que nosso trabalho possa facilitar pesquisas adicionais na geração de vídeos narrativos longos.’

O novo trabalho é intitulado VideoAuteur: Em direção à geração de vídeos narrativos longos e vem de oito autores de universidades e empresas como Johns Hopkins, ByteDance e ByteDance Seed.

Cura de Conjunto de Dados

Para desenvolver o CookGen, que alimenta um sistema gerativo de duas etapas para produzir vídeos de culinária de IA, os autores usaram material das coleções YouCook e HowTo100M.

Os autores comparam a escala do CookGen com conjuntos de dados anteriores focados no desenvolvimento narrativo em geração de vídeo, como o conjunto de dados Flintstones, o conjunto de dados de desenho animado Pororo, StoryGen, o StoryStream da Tencent e VIST.

Comparação de imagens e comprimento de texto entre CookGen e os conjuntos de dados mais próximos e populares.

O CookGen se concentra em narrativas do mundo real, particularmente atividades procedimentais como culinária, oferecendo histórias mais claras e fáceis de anotar em comparação com conjuntos de dados de quadrinhos baseados em imagens. Ele supera o maior conjunto de dados existente, o StoryStream, com 150 vezes mais quadros e descrições textuais 5 vezes mais densas.

Os pesquisadores ajustaram finamente um modelo de legendagem usando a metodologia do LLaVA-NeXT como base. As pseudo-legendas de reconhecimento de fala automático (ASR) obtidas para o HowTo100M foram usadas como “ações” para cada vídeo e, em seguida, refinadas ainda mais por grandes modelos de linguagem (LLMs).

Por exemplo, o ChatGPT-4o foi usado para produzir um conjunto de legendas e foi solicitado a se concentrar em interações entre sujeito-objeto (como mãos manipulando utensílios e alimentos), atributos de objeto e dinâmicas temporais.

Como os scripts de ASR provavelmente contêm imprecisões e são geralmente “barulhentos”, a Intersecção-sobre-a-União (IoU) foi usada como uma métrica para medir quão bem as legendas se conformavam à seção do vídeo que estavam abordando. Os autores observam que isso foi crucial para a criação de consistência narrativa.

Os clipes curados foram avaliados usando Fréchet Video Distance (FVD), que mede a disparidade entre exemplos do mundo real (mundo real) e exemplos gerados, com e sem keyframes de referência, chegando a um resultado performático:

Usando FVD para avaliar a distância entre vídeos gerados com as novas legendas, com e sem o uso de keyframes capturados dos vídeos de amostra.

Além disso, os clipes foram avaliados por GPT-4o e seis annotadores humanos, seguindo a definição de “alucinação” do LLaVA-Hound (i.e., a capacidade de um modelo de inventar conteúdo espúrio).

Os pesquisadores compararam a qualidade das legendas com a coleção Qwen2-VL-72B, obtendo uma pontuação ligeiramente melhor.

Comparação de pontuações FVD e avaliação humana entre Qwen2-VL-72B e a coleção dos autores.

Método

A fase gerativa do VideoAuteur é dividida entre o Diretor de Narrativa Longa (LND) e o modelo de geração de vídeo condicionado visualmente (VCVGM).

O LND gera uma sequência de embeddings visuais ou keyframes que caracterizam o fluxo narrativo, semelhante a “destaques essenciais”. O VCVGM gera clipes de vídeo com base nessas escolhas.

Esquema para o pipeline de processamento do VideoAuteur. O Diretor de Narrativa Longa faz seleções apropriadas para alimentar o módulo gerativo alimentado pelo Seed-X.

Os autores discutem extensivamente os méritos diferentes de um diretor de imagem-texto entrelaçado e um diretor de keyframe centrado na linguagem, e concluem que o primeiro é a abordagem mais eficaz.

O diretor de imagem-texto entrelaçado gera uma sequência entrelaçando tokens de texto e embeddings visuais, usando um modelo auto-regressivo para prever o próximo token com base no contexto combinado de texto e imagens. Isso garante um alinhamento apertado entre visuais e texto.

Em contraste, o diretor de keyframe centrado na linguagem sintetiza keyframes usando um modelo de difusão condicionado por texto com base apenas em legendas, sem incorporar embeddings visuais no processo de geração.

Os pesquisadores encontraram que, embora o método centrado na linguagem gere keyframes visualmente atraentes, ele carece de consistência entre os quadros, argumentando que o método entrelaçado alcança pontuações mais altas em realismo e consistência visual. Eles também encontraram que esse método foi capaz de aprender um estilo visual realista por meio do treinamento, embora às vezes com alguns elementos repetitivos ou barulhentos.

Inusualmente, em uma linha de pesquisa dominada pela co-optação de Stable Diffusion e Flux em fluxos de trabalho, os autores usaram o modelo de linguagem multimodal de 7B parâmetros da Tencent, SEED-X, como base para seu pipeline gerativo (embora esse modelo aproveite a versão SDXL da Stable Diffusion para uma parte limitada de sua arquitetura).

Os autores afirmam:

‘Ao contrário do pipeline clássico de Imagem-para-Vídeo (I2V) que usa uma imagem como o quadro inicial, nossa abordagem aproveita [latentes visuais regressados] como condições contínuas ao longo da [sequência].

‘Além disso, melhoramos a robustez e a qualidade dos vídeos gerados adaptando o modelo para lidar com embeddings visuais barulhentos, pois os latentes visuais regressados podem não ser perfeitos devido a erros de regressão.’

Embora pipelines gerativos condicionados visualmente típicos usem keyframes iniciais como um ponto de partida para orientação do modelo, o VideoAuteur expande esse paradigma gerando estados visuais multi-partes em um espaço latente semanticamente coerente, evitando o viés potencial de basear a geração posterior apenas em “quadros iniciais”.

Esquema para o uso de embeddings de estado visual como um método de condicionamento superior.

Testes

Em linha com os métodos do SeedStory, os pesquisadores usam o SEED-X para aplicar o ajuste fino LoRA em seu conjunto de dados narrativo, descrevendo enigmaticamente o resultado como um “modelo semelhante ao Sora”, pré-treinado em acoplamentos de vídeo/texto em larga escala e capaz de aceitar tanto prompts visuais quanto textuais e condições.

32.000 vídeos narrativos foram usados para o desenvolvimento do modelo, com 1.000 reservados como amostras de validação. Os vídeos foram recortados para 448 pixels no lado curto e, em seguida, recortados centralmente para 448x448px.

Para o treinamento, a geração de narrativa foi avaliada principalmente no conjunto de validação YouCook2. O conjunto Howto100M foi usado para a avaliação da qualidade dos dados e também para a geração de imagem-para-vídeo.

Para a perda de condicionamento visual, os autores usaram a perda de difusão do DiT e um trabalho de 2024 baseado em torno da Stable Diffusion.

Para provar sua afirmação de que o entrelaçamento é uma abordagem superior, os autores compararam o VideoAuteur com vários métodos que dependem apenas de entrada baseada em texto: EMU-2, SEED-X, SDXL e FLUX.1-schnell (FLUX.1-s).

Dado um prompt global, ‘Guia passo a passo para cozinhar tofu mapo’, o diretor entrelaçado gera ações, legendas e embeddings de imagem sequencialmente para narrar o processo. As duas primeiras linhas mostram keyframes decodificados dos espaços latentes EMU-2 e SEED-X. Essas imagens são realistas e consistentes, mas menos polidas do que as de modelos avançados como SDXL e FLUX.

Os autores afirmam:

‘A abordagem centrada na linguagem usando modelos de imagem-para-texto produz keyframes visualmente atraentes, mas sofre com a falta de consistência entre os quadros devido à informação mútua limitada. Em contraste, o método de geração entrelaçada aproveita latentes visuais alinhados com a linguagem, alcançando um estilo visual realista por meio do treinamento.

‘No entanto, ele ocasionalmente gera imagens com elementos repetitivos ou barulhentos, pois o modelo auto-regressivo luta para criar embeddings precisos em uma única passada.’

A avaliação humana confirma ainda mais a afirmação dos autores sobre o desempenho melhorado da abordagem entrelaçada, com métodos entrelaçados alcançando as pontuações mais altas em uma pesquisa.

Comparações de abordagens de um estudo humano realizado para o artigo.

Entretanto, observamos que as abordagens centradas na linguagem alcançam as melhores pontuações estéticas. Os autores argumentam, no entanto, que isso não é a questão central na geração de vídeos narrativos longos.

Clique para reproduzir. Segmentos gerados para um vídeo de construção de pizza, pelo VideoAuteur.

Conclusão

A estrada de pesquisa mais popular em relação a esse desafio, ou seja, a consistência narrativa na geração de vídeo de longa duração, está preocupada com imagens únicas. Projetos desse tipo incluem DreamStory, StoryDiffusion, TheaterGen e o ConsiStory da NVIDIA.

Em certo sentido, o VideoAuteur também se encaixa nessa categoria “estática”, pois ele usa imagens de sementes a partir das quais seções de clipes são geradas. No entanto, o entrelaçamento de vídeo e conteúdo semântico traz o processo um passo mais perto de um pipeline prático.

Publicado pela primeira vez na quinta-feira, 16 de janeiro de 2025