O Caminho para uma Edição de Vídeo Baseada em IA Melhorada

O setor de pesquisa de síntese de vídeo/imagem regularmente produz arquiteturas de edição de vídeo, e nos últimos nove meses, essas saídas se tornaram ainda mais frequentes. No entanto, a maioria delas representa apenas avanços incrementais no estado da arte, pois os desafios centrais são substanciais.

No entanto, uma nova colaboração entre a China e o Japão esta semana produziu alguns exemplos que merecem uma análise mais detalhada da abordagem, mesmo que não seja necessariamente um trabalho de referência.

No vídeo abaixo (do site do projeto associado ao artigo, que – advertência – pode sobrecarregar o seu navegador) vemos que, embora as capacidades de deepfaking do sistema sejam inexistentes na configuração atual, o sistema faz um excelente trabalho em alterar plausivelmente e significativamente a identidade da jovem na imagem, com base em uma máscara de vídeo (inferior esquerda):

Clique para reproduzir. Com base na máscara de segmentação semântica visualizada na parte inferior esquerda, a mulher original (superior esquerda) é transformada em uma identidade notavelmente diferente, embora esse processo não alcance a troca de identidade indicada no prompt. Fonte: https://yxbian23.github.io/project/video-painter/ (esteja ciente de que, no momento da escrita, este site com reprodução automática e cheio de vídeos tendia a travar o meu navegador). Por favor, consulte os vídeos de origem, se você puder acessá-los, para melhor resolução e detalhes, ou verifique os exemplos no vídeo de visão geral do projeto em https://www.youtube.com/watch?v=HYzNfsD3A0s

A edição baseada em máscara desse tipo é bem estabelecida em modelos de difusão latente estáticos, usando ferramentas como ControlNet. No entanto, manter a consistência do fundo em vídeo é muito mais desafiador, mesmo quando as áreas mascaradas fornecem ao modelo flexibilidade criativa, como mostrado abaixo:

Clique para reproduzir. Uma mudança de espécie, com o novo método VideoPainter. Por favor, consulte os vídeos de origem, se você puder acessá-los, para melhor resolução e detalhes, ou verifique os exemplos no vídeo de visão geral do projeto em https://www.youtube.com/watch?v=HYzNfsD3A0s

Os autores do novo trabalho consideram sua abordagem em relação à arquitetura BrushNet da Tencent (que cobrimos no ano passado) e ao ControlNet, ambos os quais tratam de uma arquitetura de duas ramificações capaz de isolar a geração de primeiro plano e fundo.

No entanto, aplicar esse método diretamente à abordagem Diffusion Transformers (DiT) proposta pelo Sora da OpenAI apresenta desafios particulares, como os autores observam:

‘Aplicar diretamente a arquitetura de BrushNet e ControlNet aos DiTs de vídeo apresenta vários desafios. Primeiro, considerando a base generativa robusta e o grande tamanho dos modelos DiT de vídeo, replicar toda ou metade da arquitetura DiT de vídeo como codificador de contexto seria desnecessário e proibitivamente caro em termos computacionais.

‘Em segundo lugar, ao contrário da ramificação de controle puramente convolucional do BrushNet, os tokens nas regiões mascaradas do DiT contêm intrinsecamente informações de fundo devido à atenção global, o que dificulta a distinção entre regiões mascaradas e não mascaradas nos DiTs.

‘Por fim, o ControlNet carece de injeção de recursos em todas as camadas, dificultando o controle preciso do fundo em tarefas de inpainting.’

Portanto, os pesquisadores desenvolveram uma abordagem plug-and-play na forma de uma estrutura de duas ramificações intitulada VideoPainter.

VideoPainter oferece uma estrutura de duas ramificações para inpainting de vídeo que melhora os DiTs pré-treinados com um codificador de contexto leve. Esse codificador representa apenas 6% dos parâmetros da estrutura, o que, segundo os autores, torna a abordagem mais eficiente do que os métodos convencionais.

O modelo propõe três inovações principais: um codificador de contexto de duas camadas simplificado para orientação de fundo eficiente; um sistema de integração de recursos seletivo de máscara que separa tokens mascarados e não mascarados; e uma técnica de reamostragem de ID de região de inpainting que mantém a consistência de identidade em sequências de vídeo longas.

Ao congelar tanto o DiT pré-treinado quanto o codificador de contexto, introduzindo um ID-Adapter, VideoPainter garante que os tokens de região de inpainting de clipes anteriores persistam ao longo de um vídeo, reduzindo o tremeluzimento e as inconsistências.

A estrutura também é projetada para compatibilidade plug-and-play, permitindo que os usuários a integrem facilmente em fluxos de trabalho de geração e edição de vídeo existentes.

Para apoiar o trabalho, que usa CogVideo-5B-I2V como seu motor gerador, os autores criaram o que afirmam ser o maior conjunto de dados de inpainting de vídeo até o momento. Intitulado VPData, a coleção consiste em mais de 390.000 clipes, para uma duração total de vídeo de mais de 886 horas. Eles também desenvolveram um quadro de benchmarking relacionado intitulado VPBench.

Clique para reproduzir. Do site do projeto, vemos as capacidades de segmentação impulsionadas pela coleção VPData e pelo conjunto de testes VPBench. Por favor, consulte os vídeos de origem, se você puder acessá-los, para melhor resolução e detalhes, ou verifique os exemplos no vídeo de visão geral do projeto em https://www.youtube.com/watch?v=HYzNfsD3A0s

O novo trabalho é intitulado VideoPainter: Inpainting e Edição de Vídeo de Qualquer Comprimento com Controle de Contexto Plug-and-Play, e vem de sete autores do Tencent ARC Lab, da Universidade Chinesa de Hong Kong, da Universidade de Tóquio e da Universidade de Macau.

Além do mencionado site do projeto, os autores também lançaram uma visão geral mais acessível no YouTube, bem como uma página no Hugging Face.

Método

O pipeline de coleta de dados para VPData consiste em coleta, anotação, divisão, seleção e legendagem:

Esquema do pipeline de construção do conjunto de dados. Fonte: https://arxiv.org/pdf/2503.05639

As coleções de origem usadas para essa compilação vieram do Videvo e do Pexels, com uma coleta inicial de cerca de 450.000 vídeos.

Várias bibliotecas e métodos contribuíram para a etapa de pré-processamento: o framework Recognize Anything foi usado para fornecer marcação de vídeo de conjunto aberto, encarregado de identificar objetos principais; Grounding Dino foi usado para a detecção de caixas delimitadoras em torno dos objetos identificados; e o framework Segment Anything Model 2 (SAM 2) foi usado para refinar essas seleções grosseiras em segmentações de máscara de alta qualidade.

Para gerenciar transições de cena e garantir consistência na edição de vídeo, VideoPainter usa PySceneDetect para identificar e segmentar clipes em pontos de interrupção naturais, evitando mudanças disruptivas frequentemente causadas pelo rastreamento do mesmo objeto de vários ângulos. Os clipes foram divididos em intervalos de 10 segundos, com qualquer coisa menor que 6 segundos descartada.

Para a seleção de dados, três critérios de filtragem foram aplicados: qualidade estética, avaliada com o Laion-Aesthetic Score Predictor; força do movimento, medida por meio de fluxo óptico usando RAFT; e segurança de conteúdo, verificada por meio do Stable Diffusion’s Safety Checker.

Uma grande limitação nos conjuntos de dados de segmentação de vídeo existentes é a falta de anotações textuais detalhadas, que são cruciais para orientar modelos geradores:

Os pesquisadores enfatizam a falta de legendagem de vídeo em coleções comparáveis.

Portanto, o processo de curadoria de dados do VideoPainter incorpora modelos de visão-linguagem líderes, incluindo CogVLM2 e Chat GPT-4o para gerar legendas baseadas em keyframes e descrições detalhadas de regiões mascaradas.

VideoPainter melhora os DiTs pré-treinados introduzindo um codificador de contexto leve personalizado. Esse codificador separa a extração de contexto de fundo da geração de primeiro plano, como pode ser visto no canto superior direito do esquema ilustrativo abaixo:

Esquema conceitual para VideoPainter. O codificador de contexto do VideoPainter processa latentes ruidosos, máscaras subamostradas e latentes de vídeo mascarados via VAE, integrando apenas tokens de fundo no DiT pré-treinado para evitar ambiguidade. O Adaptador de Reamostragem de ID garante a consistência de identidade concatenando tokens de região de inpainting durante o treinamento e reamostrando-os de cliques anteriores durante a inferência.

Ao invés de sobrecarregar a estrutura com processamento redundante, esse codificador opera em uma entrada simplificada: uma combinação de latente ruidoso, latente de vídeo mascarado (extraído via um autoencoder variacional, ou VAE) e máscaras subamostradas.

O latente ruidoso fornece contexto de geração, e o latente de vídeo mascarado se alinha com a distribuição existente do DiT, visando melhorar a compatibilidade.

Ao invés de duplicar grandes seções do modelo, o que os autores afirmam ter ocorrido em trabalhos anteriores, VideoPainter integra apenas as duas primeiras camadas do DiT. Esses recursos extraídos são reintroduzidos no DiT congelado de forma estruturada e em grupo – recursos de camadas iniciais informam a metade inicial do modelo, enquanto recursos posteriores refinam a metade posterior.

Além disso, um mecanismo seletivo de token garante que apenas recursos relevantes para o fundo sejam reintegrados, evitando confusão entre regiões mascaradas e não mascaradas. Essa abordagem, segundo os autores, permite que VideoPainter mantenha alta fidelidade na preservação do fundo enquanto melhora a eficiência de inpainting do primeiro plano.

Os autores observam que o método que propõem suporta diversos métodos de estilização, incluindo o mais popular, Low Rank Adaptation (LoRA).

Dados e Testes

VideoPainter foi treinado usando o modelo CogVideo-5B-I2V, junto com seu equivalente texto-para-vídeo. O corpus VPData curado foi usado em 480x720px, a uma taxa de aprendizado de 1×10^-5.

O Adaptador de Reamostragem de ID foi treinado por 2.000 passos, e o codificador de contexto por 80.000 passos, ambos usando o otimizador AdamW. O treinamento ocorreu em duas etapas usando 64 GPUs NVIDIA V100 formidáveis (embora o artigo não especifique se elas tinham 16GB ou 32GB de VRAM).

Para benchmarking, Davis foi usado para máscaras aleatórias, e o próprio VPBench dos autores para máscaras de segmentação.

O conjunto de dados VPBench apresenta objetos, animais, humanos, paisagens e tarefas diversas, e cobre quatro ações: adicionar, remover, mudar, e trocar. A coleção apresenta 45 vídeos de 6 segundos, e nove vídeos com duração média de 30 segundos.

Oito métricas foram utilizadas para o processo. Para Preservação de Região Mascarada, os autores usaram Taxa de Sinal-Ruído de Pico (PSNR); Métricas de Semelhança Perceptual Aprendidas (LPIPS); Índice de Semelhança Estrutural (SSIM); e Erro Médio Absoluto (MAE).

Para alinhamento de texto, os pesquisadores usaram Semelhança CLIP tanto para avaliar a distância semântica entre a legenda do clipe e seu conteúdo percebido real, quanto para avaliar a precisão de regiões mascaradas.

Para avaliar a qualidade geral dos vídeos de saída, Distância de Vídeo Fréchet (FVD) foi usada.

Para uma comparação quantitativa para inpainting de vídeo, os autores colocaram seu sistema contra abordagens anteriores ProPainter, COCOCO e Cog-Inp (CogVideoX). O teste consistiu em inpainting o primeiro frame de um clipe usando modelos de inpainting de imagem, e então usando um backbone de imagem-para-vídeo (I2V) para propagar os resultados em uma operação de mistura latente, de acordo com um método proposto por um artigo de 2023 de Israel.

Como o site do projeto não está totalmente funcional no momento da escrita, e como o vídeo do projeto no YouTube pode não apresentar todos os exemplos embutidos no site do projeto, é um pouco difícil localizar exemplos de vídeo muito específicos dos resultados descritos no artigo. Portanto, mostraremos resultados estáticos parciais apresentados no artigo e fecharemos o artigo com alguns exemplos de vídeo adicionais que conseguimos extrair do site do projeto.

Comparações quantitativas de VideoPainter vs. ProPainter, COCOCO e Cog-Inp no VPBench (máscaras de segmentação) e Davis (máscaras aleatórias). Métricas cobrem preservação de região mascarada, alinhamento de texto e qualidade de vídeo. Vermelho = melhor, Azul = segundo melhor.

Sobre esses resultados quantitativos, os autores comentam:

‘No VPBench baseado em segmentação, ProPainter e COCOCO exibem o pior desempenho em quase todas as métricas, principalmente devido à incapacidade de inpainting objetos totalmente mascarados e à dificuldade da arquitetura de uma única ramificação em equilibrar a preservação do fundo e a geração do primeiro plano, respectivamente.

‘No benchmark de máscaras aleatórias Davis, ProPainter mostra melhoria ao aproveitar informações de fundo parciais. No entanto, VideoPainter alcança desempenho ótimo em segmentação (padrão e comprimento longo) e máscaras aleatórias por meio de sua arquitetura de duas ramificações que efetivamente desacopla a preservação do fundo e a geração do primeiro plano.’

Os autores então apresentam exemplos estáticos de testes qualitativos, dos quais apresentamos uma seleção abaixo. Em todos os casos, referimos o leitor ao site do projeto e ao vídeo do YouTube para melhor resolução.

Uma comparação contra métodos de inpainting em frameworks anteriores.

Clique para reproduzir. Exemplos concatenados por nós a partir dos vídeos de ‘resultados’ no site do projeto.

Quanto a essa rodada qualitativa para inpainting de vídeo, os autores comentam:

‘VideoPainter consistentemente mostra resultados excepcionais em coerência de vídeo, qualidade e alinhamento com a legenda de texto. Notavelmente, ProPainter falha em gerar objetos totalmente mascarados porque depende apenas da propagação de pixels de fundo em vez de geração.

‘Enquanto COCOCO demonstra funcionalidade básica, falha em manter identidade consistente em regiões submetidas a inpainting (aparências de embarcações inconsistentes e mudanças abruptas de terreno) devido à sua arquitetura de uma única ramificação tentando equilibrar a preservação do fundo e a geração do primeiro plano.

‘Cog-Inp alcança resultados básicos de inpainting; no entanto, a incapacidade da operação de mistura de detectar limites de máscara leva a artefatos significativos.

‘Além disso, VideoPainter pode gerar vídeos coerentes que excedem um minuto enquanto mantém a consistência de ID por meio da nossa reamostragem de ID.’

Os pesquisadores também testaram a capacidade de VideoPainter de aumentar legendas e obter resultados melhorados por esse método, colocando o sistema contra UniEdit, DiTCtrl e ReVideo.

Resultados de edição de vídeo contra três abordagens anteriores.

Os autores comentam:

‘Para ambos os vídeos padrão e longos no VPBench, VideoPainter alcança desempenho superior, até mesmo superando a abordagem de ponta a ponta ReVideo. Esse sucesso pode ser atribuído à sua arquitetura de duas ramificações, que garante excelentes capacidades de preservação do fundo e geração do primeiro plano, mantendo alta fidelidade em regiões não editadas enquanto assegura que regiões editadas se alinhem estreitamente às instruções de edição, complementadas pela reamostragem de ID de região de inpainting que mantém a consistência de ID em vídeos longos.’

Embora o artigo apresente exemplos estáticos qualitativos para essa métrica, eles são pouco esclarecedores, e referimos o leitor ao vídeo do YouTube para exemplos mais detalhados.

Finalmente, um estudo com seres humanos foi realizado, no qual trinta usuários foram solicitados a avaliar 50 gerações aleatórias do VPBench e dos subconjuntos de edição. Os exemplos destacaram a preservação do fundo, o alinhamento com o prompt e a qualidade geral do vídeo.

Resultados do estudo com seres humanos para VideoPainter.

Os autores afirmam:

‘VideoPainter superou significativamente as linhas de base existentes, alcançando taxas de preferência mais altas em todos os critérios de avaliação em ambas as tarefas.’

Eles admitem, no entanto, que a qualidade das gerações de VideoPainter depende do modelo base, que pode ter dificuldades com movimentos complexos e física; e observam que também se sai mal com máscaras de baixa qualidade ou legendas mal alinhadas.

Conclusão

VideoPainter parece ser uma adição valiosa à literatura. Típico de soluções recentes, no entanto, ele tem demandas computacionais consideráveis. Além disso, muitos dos exemplos escolhidos para apresentação no site do projeto ficam muito aquém dos melhores exemplos; portanto, seria interessante ver essa estrutura competindo contra futuras entradas e uma gama mais ampla de abordagens anteriores.

* Vale mencionar que ‘edição de vídeo’ neste sentido não significa ‘montar clipes diversos em uma sequência’, que é o significado tradicional deste termo; mas sim alterar diretamente ou de alguma forma modificar o conteúdo interno de clipes de vídeo existentes, usando técnicas de aprendizado de máquina

Publicado pela primeira vez na segunda-feira, 10 de março de 2025. Atualizado no sábado, 25 de julho de 2026, para substituir o vídeo.