Apagando Objetos e Pessoas de Vídeos com IA

Não, a criança não fica na imagem se a IA puder interferir.

Remover pessoas e objetos de imagens e vídeos é uma vertente popular da pesquisa em IA voltada a efeitos visuais (VFX). Há cada vez mais conjuntos de dados e estruturas dedicados a esse desafio. A contribuição mais recente, do Instituto de Big Data da Universidade Fudan, na China, é o EffectErase, um sistema de remoção de objetos em vídeo que leva em conta seus efeitos. Segundo os autores, ele supera de forma expressiva os métodos mais avançados nos testes:

Exemplos do método EffectErase reunidos a partir de materiais do site do projeto. Embora forneçamos o link, o site de origem contém tantos vídeos de alta resolução, não otimizados e com reprodução automática que pode afetar a estabilidade do navegador. O vídeo do YouTube que acompanha o trabalho é uma referência mais acessível e completa e está incorporado ao final deste artigo.  Fonte

O novo trabalho envolveu criar e organizar um conjunto de dados parcialmente novo, com quase 350 cenas originais do mundo real e também cenas sintetizadas. Foram utilizados repositórios públicos*. As cenas foram capturadas com equipamentos específicos ou obtidas de outras fontes e adaptadas a um fluxo de trabalho baseado na estrutura 3D de código aberto Blender.

O conjunto híbrido Video Object Removal (VOR) serve de base para o aplicativo EffectErase, construído sobre o sistema de geração de vídeo Wan2.1. O sistema também define dois novos benchmarks relacionados: VOR Eval e VOR Wild, respectivamente para amostras com e sem dados de referência corretos (ground truth).

(Embora o artigo tenha um site de projeto associado, ele está sobrecarregado com vários vídeos de alta resolução e é difícil de carregar. Se tiver dificuldade para usá-lo, consulte os trechos que reuni no vídeo incorporado acima.)

Comparação das quantidades presentes em conjuntos de dados anteriores semelhantes e no novo conjunto. Fonte

Os pesquisadores afirmam que sua abordagem alcança desempenho de ponta tanto nas métricas quantitativas quanto nos resultados qualitativos avaliados em um estudo com pessoas.

Eles observam que trabalhos anteriores nem sempre conseguiram remover efeitos associados aos objetos, como sombras e reflexos, e que seu conjunto de dados foi cuidadosamente criado para corrigir essa limitação:

Exemplos de abordagens anteriores que não conseguiram ir além do objeto a remover e eliminar indícios secundários, como reflexos e sombras.

O novo artigo se intitula EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing e foi escrito por quatro pesquisadores da Faculdade de Ciência da Computação e Inteligência Artificial da Universidade Fudan.

Método

O conjunto híbrido VOR foi projetado para abranger cenários suficientemente variados para cobrir todas as implicações de remover uma pessoa ou um objeto de um vídeo:

Quadros pareados do conjunto VOR mostram que a remoção precisa abranger não só o objeto visível, mas também os efeitos que ele provoca. Os exemplos incluem oclusão, sombra, mudanças de iluminação, reflexos e deformação física. Cada entrada, com o objeto presente, aparece ao lado do fundo limpo correspondente após sua remoção. Para mais exemplos, veja o vídeo do YouTube incorporado ao final deste artigo.

Os autores definem cinco tipos representativos de “interferência” a serem tratados: oclusão, incluindo diferentes tipos de obstrução por vidro e fumaça; sombras; iluminação (por exemplo, quando o objeto a remover cria ou altera o caminho da luz); reflexo; e deformação (por exemplo, a marca deixada por uma pessoa em uma almofada, que não deve permanecer depois que ela for removida).

Processo de construção do conjunto VOR, combinando cenas sintéticas geradas no Blender com gravações do mundo real. Os dados sintéticos usam ambientes 3D, objetos e trajetórias de câmera selecionados. As gravações reais abrangem diversas cenas e recebem movimento Ken Burns. Depois, a segmentação com SAM2 e o refinamento manual produzem trios alinhados de vídeo de primeiro plano, vídeo de fundo e máscara correspondente.

Para os dados reais originais, os pesquisadores usaram câmeras fixas para gravar cenas com e sem os objetos, abrangendo diferentes ambientes, horários do dia e condições climáticas.

Para os dados sintetizados, renderizaram vários pontos de vista e criaram cenários com múltiplos objetos. Os movimentos de câmera foram deliberadamente complexos e desafiadores, como os que podem ocorrer em gravações reais. Os pesquisadores observam que essa abordagem é mais sofisticada e trabalhosa do que a usada no conjunto Remove Objects with Side Effects in Videos (ROSE), semelhante nos demais aspectos.

Para aumentar a diversidade de movimentos, o efeito Ken Burns foi aplicado aos pares gravados por câmera. Foram acrescentados movimentos panorâmicos controlados, zooms e pequenos movimentos semelhantes aos de uma câmera na mão, segundo quatorze regras predefinidas. Cinco padrões de movimento foram amostrados por par, mantendo o recorte dentro do quadro original.

A escala e a diversidade aumentaram ainda mais com a combinação de objetos sintéticos e diferentes configurações de câmera. As máscaras foram geradas colocando manualmente pontos de orientação nos quadros-chave e propagando a segmentação com o Segment Anything 2 (SAM2). Os resultados foram limpos e refinados, formando trios validados de primeiro plano, fundo e máscara para treinamento.

A coleção final contém 145 horas de vídeo em 60.000 vídeos pareados, reais e sintéticos, abrangendo 366 classes de objetos em 443 cenas.

A rede EffectErase recebe o material por meio de um autoencoder variacional (VAE^†), enquanto o Wan2.1 remove o ruído da representação latente. Sobre essa base, o EffectErase utiliza três componentes: Aprendizado Conjunto de Remoção e Inserção, que treina as duas tarefas juntas nas mesmas regiões; Orientação de Região Sensível à Tarefa (TARG), que usa tokens de objeto e tarefa com atenção cruzada para modelar relações espaciais e temporais entre os objetos e seus efeitos e permitir a alternância entre tarefas; e Perda de Consistência dos Efeitos, que alinha as regiões dos efeitos entre as tarefas de remoção e inserção:

Esquema da estrutura EffectErase. Durante o treinamento, os vídeos pareados são codificados em um espaço latente compartilhado, combinados com ruído e processados por um transformador de difusão guiado por atenção cruzada sensível à tarefa. A perda de consistência dos efeitos alinha as regiões de remoção e inserção para que ambas as tarefas se concentrem na mesma área.

Os processos de remoção e inserção são treinados em conjunto, usando uma base de difusão compartilhada. Assim, o modelo aprende a se concentrar nas mesmas regiões afetadas e nos mesmos indícios estruturais.

Os vídeos com objetos, os vídeos apenas com o fundo e as máscaras são primeiro codificados em um espaço latente. Depois, acrescenta-se ruído para o treinamento por difusão, e o modelo aprende a recuperar representações limpas sob orientação específica de cada tarefa. Um adaptador leve combina as características com ruído às condições de remoção ou inserção. Assim, as duas tarefas compartilham supervisão e continuam sendo controláveis.

Orientação de Região Sensível à Tarefa cria um sinal específico da tarefa combinando tokens de linguagem com características visuais extraídas do objeto em primeiro plano por meio do CLIP. Um token genérico de objeto é substituído por um embedding derivado do conteúdo real da imagem. Essa representação combinada é inserida na rede de base por atenção cruzada. Isso permite acompanhar a evolução de um objeto e de seus efeitos visuais no espaço e no tempo, além de alternar com flexibilidade entre remoção e inserção.

Perda de Consistência dos Efeitos obriga os processos de remoção e inserção a se concentrarem nas mesmas áreas alteradas, pois ambos tratam do mesmo objeto e de seus efeitos visuais. Os mapas de atenção de cada ramo são combinados em mapas suaves de região e alinhados a um mapa de diferenças calculado a partir dos vídeos com o objeto e dos vídeos de fundo, para preservar mudanças sutis como iluminação e sombras. Essa perda adicional ajuda a inserção a orientar a remoção e mantém a consistência entre as duas tarefas.

Dados e Testes

Os pesquisadores compararam sua abordagem a vários métodos de preenchimento de imagens, preenchimento de vídeo e remoção de objetos: OmniPaint; ObjectClear; VACE; DiffuEraser; ProPainter; ROSE; e MiniMax-Remover.

O Wan2.1 foi ajustado com LoRA^†† usando o conjunto VOR na resolução de 832×480 pixels. Foram amostrados aleatoriamente 81 quadros consecutivos para treinamento. Esse é o limite prático do WAN, além do qual tendem a ocorrer erros. O treinamento durou 129.000 iterações com tamanho de lote de 8, usando oito GPUs H100, cada uma com 80GB de VRAM. A taxa de aprendizado foi definida como 1×10² e o rank do LoRA como 256.

A coleção sintética ROSE-Benchmark foi o único conjunto de dados externo testado. Os outros dois foram o VOR-Eval, correspondente ao conjunto VOR em sua divisão de teste; e o VOR-Wild, um conjunto de teste com 195 vídeos reais coletados na internet, contendo objetos em movimento.

As métricas utilizadas foram Relação Sinal-Ruído de Pico (PSNR); Índice de Similaridade Estrutural (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); e Distância de Vídeo de Fréchet (FVD). Também foi considerado um estudo com usuários sobre 195 vídeos gerados a partir do VOR-Wild, levando em conta as notas médias de 20 voluntários.

Além disso, os autores criaram o QScore, uma métrica que usa o modelo multimodal Qwen-VL para avaliar a qualidade dos vídeos após a remoção dos objetos. A avaliação considera artefatos restantes ou efeitos do ambiente que não foram removidos, como sombras e mudanças de iluminação:

Comparação quantitativa nos benchmarks ROSE e VOR. Os melhores resultados aparecem em negrito e os segundos melhores, sublinhados.

Sobre esses resultados, os autores observam:

‘[Os atuais] métodos de preenchimento de imagens operam em quadros individuais com modelos 2D, sem modelagem temporal. Por isso, não conseguem manter a consistência temporal dos vídeos.

Os [métodos] recentes de preenchimento de vídeo não modelam explicitamente os efeitos secundários dos objetos, o que resulta em remoções pouco naturais. Os [métodos] existentes de remoção de objetos em vídeo não modelam a correlação espacial e temporal entre o objeto e seus efeitos secundários. Por isso, frequentemente produzem artefatos e vestígios residuais dos objetos removidos.

‘No geral, o EffectErase alcança desempenho de ponta em todos os conjuntos de dados e métricas de avaliação. Ele obtém as melhores notas na métrica de qualidade de vídeo FVD, demonstrando maior fluidez e consistência temporal dos vídeos gerados.

‘Nosso método também obtém o maior QScore e as melhores avaliações dos usuários, demonstrando ainda mais sua eficácia em produzir resultados de remoção visualmente convincentes.’

Para a avaliação qualitativa, o artigo apresenta os resultados estáticos mostrados logo abaixo. Os resultados em movimento estão disponíveis no site do projeto e na apresentação em vídeo no YouTube:

Comparação qualitativa no VOR-Eval em casos de oclusão, sombra, iluminação, reflexo e deformação. Os métodos de preenchimento têm dificuldade para remover efeitos fora da máscara, enquanto os modelos de remoção frequentemente deixam artefatos visíveis. O EffectErase remove os objetos-alvo e seus efeitos associados de forma mais limpa. Consulte o artigo original para uma resolução melhor e o site do projeto para exemplos em vídeo.

Também indicamos ao leitor os diversos exemplos relacionados disponíveis no site do projeto, com uma prévia abaixo, além do vídeo oficial do YouTube incorporado ao final deste artigo:

Clique para reproduzir. Um exemplo de comparação do site do projeto EffectErase. Consulte o site para uma resolução melhor, levando em conta os avisos acima, e para mais exemplos.

Os autores comentam:

‘Os [métodos] de preenchimento de vídeo frequentemente produzem artefatos nas regiões mascaradas e não removem por completo os efeitos secundários causados pelos objetos removidos. Abordagens anteriores, como [ROSE] e [MinMax-Remover], removem bem os objetos-alvo, mas ainda têm dificuldade com seus efeitos secundários, especialmente em situações de oclusão, sombra, iluminação, reflexo e deformação.

‘Em contraste, o EffectErase remove com eficácia os objetos-alvo e seus efeitos associados, produzindo resultados limpos, coerentes e de alta qualidade.’

Por fim, os pesquisadores observam que o método também pode ser adaptado para inserir objetos, em vez de removê-los, sem treinamento adicional:

Resultados de inserção de objetos em vídeo. O EffectErase insere objetos preservando o conteúdo do fundo e gerando, entre os quadros, efeitos coerentes causados pelos objetos, como sombras e reflexos.

Os resultados em vídeo da tarefa de inserção podem ser vistos nos exemplos do vídeo do YouTube com marcação de tempo. O vídeo também está incorporado, sem marcação de tempo, ao final do artigo.

Conclusão

Uma análise de projetos semelhantes na literatura mostra que muitos ainda esperam que modelos de VFX de uso geral acabem incorporando essa funcionalidade a um “kit de ferramentas” voltado a vários efeitos, e não apenas a essa tarefa específica.

Entretanto, considerando as limitações de uma ferramenta que tenta fazer de tudo, parece razoável supor que sistemas especializados como o EffectErase continuarão tendo vantagem sobre abordagens mais gerais. A ressalva é que essa diferença pode acabar diminuindo tanto que não compense o esforço adicional de treinar um modelo separado.

* Diante das crescentes preocupações com a origem da propriedade intelectual, seria de esperar que todas essas fontes fossem citadas. No entanto, se os materiais disponíveis do novo trabalho informam a origem dos modelos 3D, não consegui localizar essa referência.

^† A referência fornecida parece ser um texto explicativo genérico de 2013, sem detalhar o VAE específico utilizado.

^†† Retirada do artigo, esta descrição é semanticamente ambígua, pois ajuste fino e LoRA são processos diferentes, com exigências muito distintas.

Publicado pela primeira vez no sábado, 21 de março de 2026