Melhorando a Remoção de Fundo de AI sem Anotação Humana Custosa

Nova pesquisa mostra que a IA pode cortar pessoas de vídeo sem anotação humana cara, melhorando a qualidade e a estabilidade

A maioria de nós já experimentou ser “removida” de um fundo por meio de filtros de alteração/ocultação de fundo em plataformas de vídeo-conferência – e podemos ter notado as limitações desses sistemas, que são treinados nos tipos de casos mais frequentes que provavelmente serão encontrados em uma conferência de vídeo e não são usualmente robustos para coisas “inesperadas” – ou mesmo para objetos previsíveis, como dedos:

Um exemplo típico de um sistema de extração de primeiro plano treinado por IA que corta muito do assunto de origem. Fonte

A solução mais fácil, e que está se tornando cada vez mais popular diante de modelos de linguagem e visão (VLMs) que não são especificamente treinados para essas tarefas, é ajustar um modelo existente em dados prováveis de serem encontrados pelo sistema:

Dois conjuntos de dados de alta volume e anotação excruciantemente detalhada sustentam as soluções oferecidas no artigo de 2020 ‘Real-Time High-Resolution Background Matting’. Fonte

No entanto, esses dados precisam ser anotados, a um certo custo e ao custo de tempo, por humanos; e, além disso, isso resulta em uma ferramenta muito específica e não generalizada que custa muito dinheiro e não pode ser usada para uma variedade mais ampla de tarefas.

Desenvolver modelos “direcionados” desse tipo é atualmente a rota mais curta para inferência eficaz em uma variedade de domínios, não apenas em matting de vídeo e imagem (ou seja, remoção de fundo/primeiro plano). Até o momento, muitas das soluções não supervisionadas oferecidas têm mais ou menos apenas empurrado o problema para outro lugar.

Mesmo agora, apesar da proliferação de filtros de IA em plataformas como o Zoom, o último continua a recomendar uma tela verde como a solução ideal para remoção de fundo – uma solução onerosa e um pouco “profissional” que talvez nos faça sentir um pouco desconfortáveis.

Corte!

Recentemente, houve um aumento do interesse em usar a família Segment Anything (SAM) para fornecer extração automatizada e granular. Como o SAM foi desenvolvido para ajudar na anotação e não para fornecer contornos nítidos em um padrão aceitável em um pipeline de efeitos visuais, os limites padrão não são adequados para atender ao desafio, sem ajuda:

Clique para reproduzir, se necessário. Um exemplo dos contornos grosseiros criados por um modelo Segment Anything – ideal para anotação, mas não bom o suficiente para drop-out de efeitos visuais. Fonte 

Uma oferta recente da China propôs uma maneira mais sofisticada de usar modelos SAM para obter processos de extração superiores – casando um rastreador fundamental, como o SAM, com uma ponte de proposta de região com cabeças de matting dedicadas. Dessa forma, o sistema é capaz de refinar detalhes de bordo iterativamente e resolver bordos desafiadores, como cabelo em movimento:

Clique para reproduzir, se necessário. Do site auxiliar que apoia o novo artigo, um amálgama de vídeos suplementares, demonstrando a sofisticação do método dos autores para extração. Fonte 

Crucialmente, o novo sistema composto é treinado apenas em imagens, não em vídeos, e não requer anotação humana adicional – o obstáculo tradicional contra o progresso nesse e em outros domínios de IA.

Exemplos de matting de imagem e vídeo granular alcançados com o novo método, com casos desafiadores, como cabelo, transparência e movimento, mostrados ao lado de sequências in-the-wild, onde o método produz – os autores defendem – resultados mais limpos e estáveis do que as abordagens anteriores. Fonte

Com três modelos experimentais produzidos para o trabalho, os autores afirmam um novo desempenho de ponta nessa tarefa, enquanto retêm as capacidades de generalização mais altas do modelo base, significando que o método produz um modelo de propósito geral com capacidades extras, em vez de uma ferramenta isolada direcionada a uma tarefa única.

Os autores afirmam:

‘Experimentos abrangentes mostram que o SAM2Matting alcança desempenho de ponta (SOTA) em matting de imagem e vídeo, com matting de vídeo avaliado em um modo estritamente zero-shot.

‘Resultados extensivos in-the-wild demonstram ainda mais sua forte generalização para cenários de mundo aberto com movimento rápido, fundos complexos e anexos de alvo (por exemplo, homem andando de bicicleta).

‘Além disso, nossos componentes de matting são leves e eficientes, permitindo que a variante SAM2.1-Tiny execute a 40 FPS em um vídeo de 1080p de 200 quadros usando menos de 5GB de memória de GPU.’

O novo artigo é intitulado SAM2Matting: Matting de Imagem e Vídeo Generalizado e vem de quatro autores da Universidade de Fudan e da Universidade de Finanças e Economia de Xangai. O trabalho tem um repositório GitHub, que, no momento da escrita, lançou checkpoints de diferentes variantes, código de inferência e um demo interativo, com a promessa de lançar o código de treinamento. Além disso, há um site do projeto.

Método

O método dos autores separa o rastreamento da extração de detalhes finos usando um rastreador de segmentação de objeto de vídeo (VOS) para produzir uma máscara grossa temporalmente consistente para cada quadro, enquanto um pipeline de matting dedicado refina os limites:

Visão geral do pipeline, onde um prompt flexível e um vídeo de entrada alimentam um rastreador de segmentação de objeto de vídeo para produzir uma máscara grossa, que é refinada por um detector de região de interesse e convertida em uma trimap antes de um preditor de escala múltipla progressiva gerar a máscara de alta detalhe final.

Um detector de região de interesse identifica regiões com detalhes finos ou semitransparência, convertendo-as em uma trimap (uma máscara de três regiões que divide a frente, o fundo e as áreas incertas) que guia o refinamento, após o qual um Preditor de Alfa Progressivo gera a máscara final por meio de uma cascata de escala grossa para fina em várias escalas

Sistemas de matting convencionais geralmente derivam regiões de interesse usando operações morfológicas simples, ou reutilizando diretamente a máscara – abordagens que podem perder detalhes finos ou incluir áreas que não precisam de refinamento:

Comparação do processamento baseado em máscara padrão com trimaps de verdade, mostrando como operações morfológicas simples produzem limites uniformes e grossos que perdem estruturas finas, como cabelo e transparência, levando à perda de detalhe na máscara final.

Juros Compostos

Por outro lado, o Detector de Região de Interesse proposto trata essa etapa como uma tarefa de classificação de pixel a pixel (ou seja, tratando cada pixel individual na imagem como uma decisão separada e atribuindo-lhe uma etiqueta com base em se pertence a uma região crítica de matting ou não) que integra a máscara VOS, o quadro atual e recursos de imagem em múltiplas escalas, para isolar regiões críticas de matting com mais precisão.

Na nova abordagem, a ROI prevista é primeiro convertida em uma pseudo-trimap que separa a frente e o fundo definitivos das regiões incertas, usando a máscara do rastreador para atribuir áreas conhecidas, enquanto marca a ROI como ambígua, para que o processamento posterior possa se concentrar explicitamente em limites onde o detalhe deve ser resolvido.

O refinamento é então tratado por um Preditor de Alfa Progressivo que trata a matting como um processo passo a passo, passando resultados intermediários de escala grossa para fina, com cada etapa usando a imagem, a trimap e a estimativa anterior para progredir e refinar a estrutura e recuperar detalhes finos.

Na etapa final, a saída de maior resolução é aumentada para produzir a máscara final, permitindo que formas amplas sejam estabelecidas cedo, enquanto elementos mais finos, como cabelo e transparência, sejam resolvidos em passos posteriores.

Durante o treinamento, os autores congelaram o rastreador VOS, enquanto treinavam apenas os componentes de matting em dados de imagem de alta qualidade – permitindo que detalhes finos sejam refinados sem comprometer a consistência do rastreamento. A supervisão foi aplicada por quadro, com regiões de interesse derivadas da máscara de alfa de verdade, e usada para guiar o aprendizado, enquanto o detector de ROI foi treinado com perdas projetadas para encorajar a classificação de limite precisa e reduzir artefatos pontiagudos.

Para estimativa de alfa, perdas foram aplicadas em múltiplas escalas para melhorar progressivamente o detalhe, ao lado de uma restrição adicional destinada a manter a máscara prevista alinhada com a máscara original – ajudando a preservar a estrutura e a prevenir regiões ocos ou quebradas na saída final.

Dados e Testes

Oito conjuntos de dados de matting de imagem foram usados inicialmente para os testes: I-HIM50K; P3M-10k; CelebAHairMask-HQ; AIM-500; Distinctions-646; AM-2K; UHRIM; e RefMatte; e três variantes da abordagem ‘Sam2Matting’ foram desenvolvidas como rastreadores VOS, respectivamente usando SAM2.1-Tiny; SAM2.1-Base+; e o conceito focado SAM3.

O componente de rastreamento foi congelado, com apenas os componentes de matting otimizados. Todas as versões foram treinadas por cinco épocas em quatro GPUs NVIDIA (NVDA ) A6000, cada uma com uma alocação de VRAM de 48GB. Um tamanho de lote de 32 foi usado, sob o AdamW otimizador. Métricas usadas foram Diferença Absoluta Média (MAD); Erro Quadrático Médio (MSE); Gradiente (Grad); Conectividade (Conn); e dtSSD (para matting de vídeo apenas).

Testes Quantitativos

Os autores começaram com testes quantitativos do novo sistema em matting de imagem, usando os benchmarks P3M-500-NP; AM-2K (‘GFM’ nos resultados); MAM (‘Matte Anything’, nos resultados); E2E-HIM; Lightweight; e PPM-100 (‘MODNet’, nos resultados):

Resultados quantitativos em benchmarks de matting de imagem em P3M-500-NP, AM-2K test e PPM-100, com valores mais baixos indicando melhor desempenho em todas as métricas, e os melhores, segundos e terceiros resultados destacados em vermelho, laranja e amarelo, respectivamente. Por favor, consulte o artigo de origem para melhor resolução.

Desses resultados, o artigo afirma:

‘Como mostrado [acima], as três variantes do SAM2Matting consistentemente superam as linhas de base anteriores em diferentes métricas. Por exemplo, a variante SAM2.1-Tiny alcança uma Diferença Absoluta Média 11,48 menor do que a MAM em P3M-500-NP.’

Os autores defendem que os resultados em toda a parte indicam que sua abordagem alcança resultados superiores por meio do design conceitual central e não devido ao nível de curadoria de dados.

Para matting de vídeo, o SAM2Matting foi avaliado em V-HIM60 e VideoMatte em um cenário zero-shot, contra os sistemas de vídeo treinados MatAnyone2, MatAnyone, MaGGIe, FTP-VM e RVM, com ganhos consistentes relatados em ambos os splits médio e difícil.

Em todos os benchmarks, as três variantes registram erros mais baixos em Diferença Absoluta Média, Erro Quadrático Médio, Gradiente, Conectividade e dtSSD, com o SAM3 alcançando os resultados globais mais fortes, enquanto os valores de dtSSD mais baixos aparentemente indicam uma consistência de quadro a quadro mais estável:

Resultados quantitativos em benchmarks de matting de vídeo em V-HIM60 e VideoMatte, avaliados em um cenário zero-shot, mostrando erros mais baixos em todas as métricas, com os melhores, segundos e terceiros resultados destacados em vermelho, laranja e amarelo, respectivamente.

Os autores defendem que esses resultados refletem o design desacoplado, onde o rastreador VOS preserva a estrutura temporal e os módulos de matting se concentram em detalhes de limite, permitindo que modelos treinados em imagens superem abordagens de vídeo totalmente supervisionadas.

Testes Qualitativos

Para matting humano em testes qualitativos, os autores encontraram que o Sam2Matting superou as linhas de base competitivas:

Comparação qualitativa em matting de vídeo humano e in-the-wild, onde o SAM2Matting preserva fios de cabelo finos e regiões semitransparentes com mais precisão do que o RVM e o MatAnyone, produzindo limites mais limpos e menos estruturas faltantes em áreas desafiadoras.

Como mostrado abaixo, sistemas de matting de vídeo existentes, como o MatAnyone2 e o MaGGIe, treinados em conjuntos de dados específicos de domínio e frequentemente humanos, lutaram para generalizar para sequências in-the-wild, particularmente ao lidar com assuntos em movimento rápido, como raízes em crescimento, borboletas semitransparentes e água pingando rapidamente:

Comparação qualitativa em sequências in-the-wild, onde o SAM2Matting preserva estruturas finas e consistência temporal com mais eficácia do que o MatAnyone2 e o MaGGIe, particularmente para assuntos não humanos, movimento rápido e elementos semitransparentes, como água, vidro e asas de insetos. Por favor, consulte o artigo de origem para melhor resolução.

Inversamente, o SAM2Matting provou ser capaz de manter um rastreamento estável e extrair detalhes finos de forma mais confiável nesses cenários desafiadores.

Finalmente, como mostrado na figura abaixo, o SAM2Matting lidou eficazmente com alvos com objetos anexados, como pessoas andando de bicicleta ou segurando bastões de esqui, enquanto suprimia distrações de fundo próximas, beneficiando-se da restrição de consistência de máscara-máscara mencionada anteriormente.

Comparação qualitativa em sequências com objetos anexados e distrações de fundo, onde o SAM2Matting preserva estruturas, como bicicletas e bastões de esqui, com mais precisão do que o MatAnyone2, enquanto suprime o barulho de fundo próximo e mantém silhuetas mais limpas em todos os quadros.

Conclusão

Os feitos detalhados no novo artigo demonstram a extensão em que a extração, uma das tarefas mais antigas da visão computacional, permanece sem solução e resistente a abordagens generalizadas. Como muitos outros modelos baseados em visão, o problema permanece que os algoritmos de extração se apegam ao conhecimento de domínio em vez de se adaptar facilmente a objetos desconhecidos e não vistos; essa tarefa específica estica os limites mais externos da generalização de um modelo.

Enquanto o novo trabalho é um passo à frente dessa dependência, ainda há um longo caminho a percorrer, considerando a extensão com que essa tarefa está incorporada em nossas vidas diárias, por meio de portais de vídeo-conferência.

Publicado pela primeira vez na segunda-feira, 13 de julho de 2026