Em Direção ao Controle Total na Geração de Vídeo em IA

Modelos de vídeo de base, como Hunyuan e Wan 2.1, embora poderosos, não oferecem aos usuários o tipo de controle granular que a produção de filmes e TV (particularmente a produção de efeitos visuais) exige.

Nos estúdios de efeitos visuais profissionais, modelos de código aberto como esses, juntamente com modelos de imagem (e não de vídeo) anteriores, como Stable Diffusion, Kandinsky e Flux, são normalmente usados ao lado de uma variedade de ferramentas de apoio que adaptam a saída bruta para atender a necessidades criativas específicas. Quando um diretor diz: “Isso parece ótimo, mas podemos torná-lo um pouco mais [n]?” você não pode responder dizendo que o modelo não é preciso o suficiente para lidar com esses pedidos.

Em vez disso, uma equipe de IA de efeitos visuais usará uma variedade de técnicas tradicionais de CGI e compostas, aliadas a procedimentos e fluxos de trabalho personalizados desenvolvidos ao longo do tempo, para tentar impulsionar os limites da síntese de vídeo um pouco mais.

Portanto, por analogia, um modelo de vídeo de base é muito como uma instalação padrão de um navegador da web como o Chrome; ele faz muito fora da caixa, mas se você quiser que ele se adapte às suas necessidades, em vez de vice-versa, você precisará de alguns plugins.

Controle Total

No mundo da síntese de imagem baseada em difusão, o sistema de terceiros mais importante é ControlNet.

ControlNet é uma técnica para adicionar controle estruturado a modelos gerativos baseados em difusão, permitindo que os usuários orientem a geração de imagens ou vídeos com entradas adicionais, como mapas de bordos, mapas de profundidade ou informações de pose.

Os vários métodos do ControlNet permitem profundidade>imagem (linha superior), segmentação semântica>imagem (inferior esquerda) e geração de imagem orientada por pose de humanos e animais (inferior esquerda).

Ao invés de confiar apenas em prompts de texto, o ControlNet introduz ramificações de rede neural separadas, ou adaptadores, que processam esses sinais de condicionamento enquanto preservam as capacidades gerativas do modelo de base.

Isso permite saídas refinadas que aderem mais de perto às especificações do usuário, tornando-o particularmente útil em aplicações onde controle de composição, estrutura ou movimento preciso é necessário:

Com uma pose orientadora, vários tipos de saída precisos podem ser obtidos via ControlNet. Fonte: https://arxiv.org/pdf/2302.05543

No entanto, frameworks de adaptadores desse tipo operam externamente em um conjunto de processos neurais que são muito focados internamente. Essas abordagens têm várias desvantagens.

Primeiro, os adaptadores são treinados independentemente, levando a conflitos de ramificação quando vários adaptadores são combinados, o que pode resultar em qualidade de geração degradada.

Em segundo lugar, eles introduzem redundância de parâmetros, exigindo computação e memória extras para cada adaptador, tornando a escalabilidade ineficiente.

Terceiro, apesar de sua flexibilidade, os adaptadores frequentemente produzem resultados sub-ótimos em comparação com modelos que são completamente ajustados para geração multi-condição. Essas questões tornam os métodos baseados em adaptadores menos eficazes para tarefas que exigem integração perfeita de vários sinais de controle.

Idealmente, as capacidades do ControlNet seriam treinadas nativamente no modelo, de uma maneira modular que pudesse acomodar inovações posteriores e muito antecipadas, como geração de vídeo/áudio simultânea ou capacidades de sincronização labial nativas (para áudio externo).

Como está, cada peça adicional de funcionalidade representa ou uma tarefa de pós-produção ou um procedimento não nativo que precisa navegar os pesos sensíveis e fortemente ligados de qualquer modelo de base em que esteja operando.

FullDiT

Entram nesse impasse uma nova oferta da China, que postula um sistema onde medidas do estilo ControlNet são incorporadas diretamente em um modelo gerativo de vídeo no momento do treinamento, em vez de serem relegadas a uma segunda opção.

Do novo artigo: a abordagem FullDiT pode incorporar imposição de identidade, profundidade e movimento de câmera em uma geração nativa e pode invocar qualquer combinação desses de uma vez. Fonte: https://arxiv.org/pdf/2503.19907

Intitulado FullDiT, a nova abordagem funde condições multi-tarefa, como transferência de identidade, mapeamento de profundidade e movimento de câmera, em uma parte integrada de um modelo gerativo de vídeo treinado, para o qual os autores produziram um modelo treinado protótipo e vídeos de acompanhamento em um site do projeto.

No exemplo abaixo, vemos gerações que incorporam movimento de câmera, informações de identidade e texto (ou seja, prompts de texto orientadores):

Clique para reproduzir. Exemplos de imposição de usuário do estilo ControlNet com apenas um modelo de base treinado nativamente. Fonte: https://fulldit.github.io/

Deve-se notar que os autores não propõem seu modelo treinado experimental como um modelo de base funcional, mas sim como uma prova de conceito para modelos de vídeo-para-vídeo (T2V) e imagem-para-vídeo (I2V) que oferecem aos usuários mais controle do que apenas um prompt de imagem ou texto.

Como não há modelos semelhantes desse tipo ainda, os pesquisadores criaram um novo benchmark chamado FullBench, para a avaliação de vídeos multi-tarefa, e reivindicam desempenho de ponta em testes semelhantes que eles desenvolveram contra abordagens anteriores. No entanto, como o FullBench foi projetado pelos próprios autores, sua objetividade é não testada, e seu conjunto de dados de 1.400 casos pode ser muito limitado para conclusões mais amplas.

Talvez o aspecto mais interessante da arquitetura apresentada no artigo seja seu potencial para incorporar novos tipos de controle. Os autores afirmam:

‘Neste trabalho, exploramos apenas condições de controle da câmera, identidades e informações de profundidade. Não investigamos mais condições e modalidades, como áudio, fala, nuvem de pontos, caixas delimitadoras de objetos, fluxo óptico, etc. Embora o design do FullDiT possa integrar modalidades adicionais com modificações mínimas na arquitetura, como adaptar rapidamente e de forma rentável modelos existentes a novas condições e modalidades é ainda uma questão importante que merece mais exploração.’

Embora os pesquisadores apresentem o FullDiT como um passo à frente na geração de vídeo multi-tarefa, deve-se considerar que esse novo trabalho se baseia em arquiteturas existentes, em vez de introduzir um paradigma fundamentalmente novo.

No entanto, o FullDiT atualmente se destaca (até onde sei) como um modelo de base de vídeo com recursos do estilo ControlNet “codificados” – e é bom ver que a arquitetura proposta pode acomodar inovações posteriores também.

Clique para reproduzir. Exemplos de movimentos de câmera controlados pelo usuário, do site do projeto.

O novo artigo é intitulado FullDiT: Modelo Gerativo de Vídeo Multi-Tarefa com Atenção Completa e vem de nove pesquisadores de Kuaishou Technology e da Universidade Chinesa de Hong Kong. A página do projeto está aqui e os novos dados de benchmark estão no Hugging Face.

Método

Os autores defendem que o mecanismo de atenção unificado do FullDiT permite uma aprendizagem de representação cruzada de modalidade mais forte, capturando tanto relações espaciais quanto temporais entre condições:

De acordo com o novo artigo, o FullDiT integra várias condições de entrada por meio de atenção completa, convertendo-as em uma sequência unificada. Em contraste, modelos baseados em adaptadores (à esquerda) usam módulos separados para cada entrada, levando a redundância, conflitos e desempenho mais fraco.

Ao contrário de configurações baseadas em adaptadores que processam cada fluxo de entrada separadamente, essa estrutura de atenção compartilhada evita conflitos de ramificação e reduz a sobrecarga de parâmetros. Eles também afirmam que a arquitetura pode ser escalada para novos tipos de entrada sem uma grande reformulação – e que o esquema do modelo mostra sinais de generalização para combinações de condições não vistas durante o treinamento, como ligar movimento de câmera com identidade de personagem.

Clique para reproduzir. Exemplos de geração de identidade do site do projeto.

Na arquitetura do FullDiT, todas as entradas de condicionamento – como texto, movimento de câmera, identidade e profundidade – são primeiro convertidas em um formato de token unificado. Esses tokens são então concatenados em uma sequência longa, que é processada por meio de uma pilha de camadas de transformador usando atenção completa. Essa abordagem segue trabalhos anteriores, como Open-Sora Plan e Movie Gen.

Esse design permite que o modelo aprenda relações temporais e espaciais conjuntamente em todas as condições. Cada bloco de transformador opera sobre a sequência inteira, permitindo interações dinâmicas entre modalidades sem depender de módulos separados para cada entrada – e, como observamos, a arquitetura é projetada para ser extensível, tornando muito mais fácil incorporar sinais de controle adicionais no futuro, sem mudanças estruturais significativas.

O Poder de Três

O FullDiT converte cada sinal de controle em um formato de token padronizado para que todas as condições possam ser processadas juntas em uma estrutura de atenção unificada. Para o movimento de câmera, o modelo codifica uma sequência de parâmetros extrínsecos – como posição e orientação – para cada quadro. Esses parâmetros são marcados com carimbo de data/hora e projetados em vetores de incorporação que refletem a natureza temporal do sinal.

As informações de identidade são tratadas de forma diferente, pois são intrinsicamente espaciais e não temporais. O modelo usa mapas de identidade que indicam quais personagens estão presentes em quais partes de cada quadro. Esses mapas são divididos em patches, com cada patch projetado em uma incorporação que captura pistas de identidade espacial, permitindo que o modelo associe regiões específicas do quadro com entidades específicas.

A profundidade é um sinal espaciotemporal, e o modelo lida com isso dividindo vídeos de profundidade em patches 3D que abrangem tanto espaço quanto tempo. Esses patches são então incorporados de uma maneira que preserva sua estrutura entre quadros.

Uma vez incorporados, todos esses tokens de condição (câmera, identidade e profundidade) são concatenados em uma sequência longa, permitindo que o FullDiT processe-os juntos usando atenção completa. Essa representação compartilhada torna possível que o modelo aprenda interações entre modalidades e ao longo do tempo sem depender de fluxos de processamento isolados.

Dados e Testes

A abordagem de treinamento do FullDiT dependia de conjuntos de dados anotados seletivamente adaptados a cada tipo de condicionamento, em vez de exigir que todas as condições estivessem presentes simultaneamente.

Para condições textuais, a iniciativa segue a abordagem de legendagem estruturada delineada no projeto MiraData.

Coleta de vídeo e pipeline de anotação do projeto MiraData. Fonte: https://arxiv.org/pdf/2407.06358

Para o movimento de câmera, o conjunto de dados RealEstate10K foi a principal fonte de dados, devido às suas anotações de parâmetros de câmera de alta qualidade.

No entanto, os autores observaram que o treinamento exclusivamente em conjuntos de dados de cena estática, como o RealEstate10K, tendia a reduzir movimentos de objetos e humanos dinâmicos em vídeos gerados. Para contrariar isso, eles realizaram um ajuste fino adicional usando conjuntos de dados internos que incluíam movimentos de câmera mais dinâmicos.

As anotações de identidade foram geradas usando a pipeline desenvolvida para o projeto ConceptMaster, que permitia a filtragem e extração eficientes de informações de identidade granulares.

A estrutura do ConceptMaster é projetada para abordar problemas de desacoplamento de identidade, preservando a fidelidade do conceito em vídeos personalizados. Fonte: https://arxiv.org/pdf/2501.04698

As anotações de profundidade foram obtidas do conjunto de dados Panda-70M usando Depth Anything.

Otimização por meio da Ordem dos Dados

Os autores também implementaram um cronograma de treinamento progressivo, introduzindo condições mais desafiadoras mais cedo no treinamento para garantir que o modelo adquirisse representações robustas antes que tarefas mais simples fossem adicionadas. A ordem de treinamento seguiu de texto para câmera, então identidades, e finalmente profundidade, com tarefas mais fáceis geralmente introduzidas mais tarde e com menos exemplos.

Os autores enfatizam o valor de ordenar a carga de trabalho dessa maneira:

‘Durante a fase de pré-treinamento, observamos que tarefas mais desafiadoras exigem tempo de treinamento estendido e devem ser introduzidas mais cedo no processo de aprendizado. Essas tarefas desafiadoras envolvem distribuições de dados complexas que diferem significativamente da saída do vídeo, exigindo que o modelo possua capacidade suficiente para capturar e representar com precisão.’

‘Por outro lado, introduzir tarefas mais fáceis muito cedo pode levar o modelo a priorizar aprender essas primeiro, pois elas fornecem feedback de otimização mais imediato, o que pode impedir a convergência de tarefas mais desafiadoras.’

Uma ilustração da ordem de treinamento de dados adotada pelos pesquisadores, com vermelho indicando maior volume de dados.

Após o pré-treinamento inicial, uma etapa final de ajuste fino refinou ainda mais o modelo para melhorar a qualidade visual e a dinâmica do movimento. Em seguida, o treinamento seguiu o de um framework de difusão padrão*:

Os autores treinaram o FullDiT usando um modelo de difusão de texto-para-vídeo interno (não divulgado) contendo cerca de um bilhão de parâmetros. Eles escolheram intencionalmente um tamanho de parâmetro modesto para manter a justiça nas comparações com métodos anteriores e garantir a reprodutibilidade.

Como os vídeos de treinamento diferiam em comprimento e resolução, os autores padronizaram cada lote redimensionando e preenchendo vídeos para uma resolução comum, amostrando 77 quadros por sequência e usando atenção aplicada e máscaras de perda para otimizar a eficácia do treinamento.

O otimizador Adam foi usado em uma taxa de aprendizado de 1×10⁻⁵ em um cluster de 64 GPUs NVIDIA H800, para um total combinado de 5.120GB de VRAM (considere que, nas comunidades de síntese de entusiastas, 24GB em um RTX 3090 ainda é considerado um padrão luxuoso).

O modelo foi treinado por cerca de 32.000 passos, incorporando até três identidades por vídeo, juntamente com 20 quadros de condições de câmera e 21 quadros de condições de profundidade, ambos amostrados uniformemente dos 77 quadros.

Para inferência, o modelo gerou vídeos em uma resolução de 384×672 pixels (aproximadamente cinco segundos a 15 frames por segundo) com 50 passos de inferência de difusão e uma escala de orientação de classificador livre de cinco.

Métricas

Os autores avaliaram o FullDiT usando dez métricas que cobrem cinco aspectos principais de desempenho: alinhamento de texto, controle de câmera, semelhança de identidade, precisão de profundidade e qualidade geral de vídeo.

O alinhamento de texto foi medido usando semelhança CLIP, enquanto o controle de câmera foi avaliado por meio de erro de rotação (RotErr), erro de translação (TransErr) e consistência de movimento de câmera (CamMC), seguindo a abordagem de CamI2V (no projeto CameraCtrl).

A semelhança de identidade foi avaliada usando DINO-I e CLIP-I, e a precisão do controle de profundidade foi quantificada usando Erro Absoluto Médio (MAE).

A qualidade do vídeo foi julgada com três métricas do MiraData: semelhança CLIP de nível de quadro para suavidade; distância de movimento baseada em fluxo óptico para dinâmica; e pontuações estéticas LAION-Aesthetic para atratividade visual.

Treinamento

Os autores treinaram o FullDiT usando um modelo de difusão de texto-para-vídeo interno (não divulgado) contendo cerca de um bilhão de parâmetros.

Métodos Anteriores

Para a avaliação de câmera-para-vídeo, os autores compararam o FullDiT contra MotionCtrl, CameraCtrl e CamI2V, com todos os modelos treinados usando o conjunto de dados RealEstate10K para garantir consistência e justiça.

Na geração condicionada por identidade, como não havia modelos multi-identidade comparáveis disponíveis, o modelo foi comparado com o modelo ConceptMaster de 1 bilhão de parâmetros, usando os mesmos dados de treinamento e arquitetura.

Para tarefas de profundidade-para-vídeo, comparações foram feitas com Ctrl-Adapter e ControlVideo.

Resultados quantitativos para geração de vídeo de tarefa única. O FullDiT foi comparado ao MotionCtrl, CameraCtrl e CamI2V para geração de câmera-para-vídeo; ConceptMaster (versão de 1 bilhão de parâmetros) para geração de identidade-para-vídeo; e Ctrl-Adapter e ControlVideo para geração de profundidade-para-vídeo. Todos os modelos foram avaliados usando suas configurações padrão. Para consistência, 16 quadros foram uniformemente amostrados de cada método, correspondendo ao comprimento de saída de modelos anteriores.

Os resultados indicam que o FullDiT, apesar de lidar com vários sinais de condicionamento simultaneamente, alcançou desempenho de ponta em métricas relacionadas a texto, movimento de câmera, identidade e controles de profundidade.

Em métricas de qualidade geral, o sistema geralmente superou outros métodos, embora sua suavidade fosse ligeiramente menor do que a do ConceptMaster. Aqui os autores comentam:

‘A suavidade do FullDiT é ligeiramente menor do que a do ConceptMaster, pois o cálculo de suavidade é baseado na semelhança CLIP entre quadros adjacentes. Como o FullDiT exibe dinâmica significativamente maior em comparação com o ConceptMaster, a métrica de suavidade é afetada pelas grandes variações entre quadros adjacentes.’

‘Para a pontuação estética, como o modelo de avaliação favorece imagens no estilo de pintura e o ControlVideo geralmente gera vídeos nesse estilo, ele alcança uma pontuação alta em estética.’

Em relação à comparação qualitativa, pode ser preferível referir-se aos vídeos de amostra no site do projeto FullDiT, pois os exemplos em PDF são inevitavelmente estáticos (e também muito grandes para serem reproduzidos aqui).

A primeira seção dos resultados qualitativos reproduzidos no PDF. Por favor, consulte o artigo original para os exemplos adicionais, que são muito extensos para serem reproduzidos aqui.

Os autores comentam:

‘O FullDiT demonstra preservação de identidade superior e gera vídeos com melhor dinâmica e qualidade visual em comparação com o ConceptMaster. Como o ConceptMaster e o FullDiT são treinados na mesma arquitetura de base, isso destaca a eficácia da injeção de condições com atenção completa.’

‘… Os resultados demonstram a controllabilidade e a qualidade de geração superior do FullDiT em comparação com os métodos existentes de profundidade-para-vídeo e câmera-para-vídeo.’

Uma seção dos exemplos de saída do FullDiT com múltiplos sinais. Por favor, consulte o artigo original e o site do projeto para exemplos adicionais.

Conclusão

Embora o FullDiT seja uma incursão emocionante em um tipo mais completo de modelo de base de vídeo, é preciso se perguntar se a demanda por instrumentalidades do estilo ControlNet justificará a implementação desses recursos em larga escala, pelo menos para projetos de código aberto, que lutariam para obter a enorme quantidade de poder de processamento de GPU necessário, sem apoio comercial.

O desafio principal é que usar sistemas como Profundidade e Pose geralmente requer familiaridade não trivial com interfaces de usuário relativamente complexas, como ComfyUI. Portanto, parece que um modelo de código aberto funcional desse tipo é mais provável de ser desenvolvido por um grupo de empresas de efeitos visuais menores que carecem de dinheiro (ou vontade, dado que esses sistemas são rapidamente tornado obsoletos por atualizações de modelo) para curar e treinar tal modelo atrás de portas fechadas.

Por outro lado, sistemas de IA baseados em API podem estar bem motivados a desenvolver métodos interpretativos mais simples e mais fáceis de usar para modelos nos quais sistemas de controle auxiliares foram treinados diretamente.

Clique para reproduzir. Controles de Profundidade+Texto impostos em uma geração de vídeo usando FullDiT.

* Os autores não especificam nenhum modelo de base conhecido (por exemplo, SDXL, etc.)

Publicado pela primeira vez na quinta-feira, 27 de março de 2025