Experimentação Virtual de Roupas Novas por meio da IA

Um modelo de IA pode agora transformar uma única foto e imagens de roupas em um vídeo em movimento de uma pessoa usando novos trajes, evitando os glitches comuns em sistemas mais antigos e de duas etapas.

A categoria de “experimentação virtual” (VTON) em pesquisas de visão computacional é uma das mais financiadas e prolíficas áreas de estudo – principalmente porque, como se pode perceber pelas frequentes colaborações entre indústria e academia publicadas a cada ano, essa objetivo recebe financiamento significativo da indústria da moda bem equipada:

Do artigo ‘Image-Based Virtual Try-On: A Survey’, exemplos de tipos de representação de pessoas e algumas das etapas de filtragem e refinamento que até mesmo imagens básicas devem passar para uma experimentação virtual (VTON). Fonte

Há muitas variações nesse objetivo, como extrair roupas de imagens de pessoas, e adaptar-se a figuras mais cheias quando necessário. Alguns sistemas baseados em imagens foram implementados comercialmente em plataformas como veesual.ai, wanna.fashion e fashn.ai.

Para vídeo, o aplicativo experimental Doppl dos Laboratórios do Google experimentou com essa funcionalidade, lançado no verão passado:

Clique para reproduzir se o vídeo não estiver reproduzindo automaticamente. Trechos do projeto de experimentação virtual de vídeo do Google Doppl abandonado.  Fonte

Entretanto, o Doppl foi descontinuado em abril de 2026 após uma recepção morna, com os visualizadores agora redirecionados para o serviço de experimentação virtual de imagem da empresa ^†:

Programa de experimentação virtual de imagem do Google, para onde os usuários são redirecionados a partir da plataforma Doppl abandonada da empresa. Fonte

Embora haja algumas plataformas que oferecem experimentação virtual com vídeo, nenhuma delas parece estar afiliada a uma loja real; e todas elas são produtos “de ponta” marginais (e frequentemente “questionáveis”) que promovem tokens.

Enquanto há várias incursões interessantes do setor de pesquisa, elas são tradicionalmente arquiteturas complexas que são difíceis de implementar para baixa latência e alta qualidade:

Clique para reproduzir se o vídeo não estiver reproduzindo automaticamente. Do projeto Fashion-VDM de 2024, um exemplo de transferência de roupas “sem cabeça”. . Fonte

A verdade é que a tarefa de adaptar roupas a uma pessoa real, sem distorcer as roupas ou a pessoa, e ao mesmo tempo manter algum tipo de movimento demonstrativo útil (que acuradamente mostre a parte de trás do produto quando a pessoa vira as costas), é um desafio formidável para o estado atual da arte.

Vanast

É um desafio que um novo artigo da Coreia está tentando superar, usando uma solução integral e completamente integrada para analisar roupas + pessoa + movimento:

Clique para reproduzir se o vídeo não estiver reproduzindo automaticamente. Exemplos do site de materiais suplementares do projeto Vanast. Fonte 

O novo sistema, intitulado Vanast, aproveita um conjunto de dados personalizado que combina e orquestra os três fatores necessários para realizar a tarefa: as roupas; a pessoa; e o movimento:

Clique para reproduzir. Mais exemplos do site do projeto Vanast.

O sistema aproveita estruturas tão diversas quanto Flux, Qwen e ChatGPT, para gerar um conjunto de dados “triplo” capaz de informar uma arquitetura de ponta a ponta:

Do novo artigo, exemplos dos pontos de dados do conjunto de dados usados para geração e treinamento. Fonte –

O novo artigo é intitulado Vanast: Experimentação Virtual com Animação de Imagem Humana por meio de Supervisão de Triplo Sintético, e vem de quatro pesquisadores da Universidade Nacional de Seul. Há também um site do projeto repleto de vídeos.

Método

O objetivo declarado dos autores no trabalho é combinar os três aspectos mencionados anteriormente em um quadro de uma única etapa – não apenas porque o processo seria discreto, mas também porque isso dá aos vários aspectos mais oportunidades de se entrelaçarem e interagirem durante o treinamento, com o objetivo de uma geração mais coesa:

Vanast combina uma foto humana única, imagens de roupas separadas e uma referência de movimento para gerar uma sequência em movimento na qual a mesma pessoa usa o novo traje, com orientação de pose garantindo movimento consistente, enquanto identidade e detalhes de roupas são preservados ao longo dos quadros.

Para alcançar isso, o sistema recebe imagens das roupas; uma foto da pessoa usando roupas diferentes; um vídeo de referência de movimento que define como a pessoa deve se mover; e um prompt de texto que descreve a ação e o cenário; e produz uma sequência de vídeo completa na qual a mesma pessoa parece usar o novo traje, seguindo o movimento imposto, com cada quadro mantido visualmente consistente ao longo do tempo.

Em vez de separar o vestir e a animação em etapas diferentes – o que foi a abordagem na maioria dos trabalhos anteriores semelhantes – Vanast lida com roupas, identidade e movimento juntos em um único processo, permitindo que esses elementos interajam durante a geração, e reduzindo os tipos de discrepâncias e instabilidade evidenciados em métodos anteriores.

Conjunto de Dados

O treinamento do projeto é baseado em exemplos em pares de uma imagem de pessoa, as roupas correspondentes e um vídeo da pessoa se movendo enquanto usa essas roupas, com movimento extraído usando uma arquitetura anterior, para fornecer orientação de pose estável ao longo dos quadros.

Na ausência de um conjunto de dados publicamente disponível que atenda aos requisitos do projeto, os dados foram coletados de (não especificados) sites de compras online, fornecendo um cache de vídeos com roupas diversas. No entanto, a tarefa exigia vídeos da mesma pessoa usando vários trajes, o que é uma descoberta rara em dados selvagens, e que exigiu a criação de dados sintéticos.

O processo de três etapas envolveu a seleção de quadros de candidatos adequados dos vídeos, tratados por meio do modelo de visão e linguagem Qwen2.5-VL, com recorte e avaliação de adequação (ou seja, sem oclusões, assunto na posição correta, etc.); e a criação de mascaras de inpainting apropriadas para isolar as áreas afetadas – que (em linha com o trabalho anterior PERSE) é tratado pelo modelo de difusão SDXL agora venerável.

Visão geral do pipeline Vanast, onde uma imagem humana, imagens de roupas de destino e um vídeo de orientação de movimento são codificados e processados em um modelo de difusão de vídeo unificado. O sistema gera uma animação que preserva a identidade, segue a sequência de pose e aplica as roupas de destino, enquanto a geração de tripletos sintéticos apoia o treinamento, e um design de módulo duplo separa a animação da transferência de roupas, para manter a consistência.

Na terceira etapa, Qwen é novamente utilizado para classificar imagens por gênero, e o popular quadro de difusão de imagem Flux é então usado para criar alterações nas roupas em uma imagem (já que o Flux é capaz de combinar vários elementos de entrada). Os prompts de texto de inpainting foram curados pelo ChatGPT (versão não especificada).

Para aumentar ainda mais a diversidade de pose e fundo, um pipeline foi introduzido para construir tripletes de treinamento a partir de vídeos in-the-wild, usando o conjunto de dados HumanVid. O mesmo processo foi usado para gerar a imagem humana que preserva a identidade.

Como nenhuma imagem de roupa isolada existia nesses vídeos, imagens de roupas foram sintetizadas diretamente a partir da filmagem. Quadros foram amostrados de cada vídeo, e Qwen usado para pontuar para visibilidade frontal, antes de selecionar o candidato mais adequado, com base na visibilidade de corpo inteiro, clareza da imagem, oclusão mínima, qualidade de iluminação e composição geral.

Uma região de roupa superior foi então extraída usando SegFormer, e o fundo removido para isolar a roupa.

Para evitar viés de posição, a região da roupa foi deslocada aleatoriamente dentro de sua caixa delimitadora, e Qwen usado novamente para filtrar segmentações não confiáveis. Esse processo produziu imagens de roupas sintéticas emparelhadas com movimento e identidade, permitindo a construção de tripletos em larga escala a partir de dados de vídeo não estruturados, enquanto melhora a robustez em condições do mundo real variadas.

Arquitetura

Uma arquitetura de módulo duplo foi introduzida para abordar a convergência lenta e o equilíbrio de controle fraco visto naqueles métodos anteriores que buscavam fundir todas as condições. A abordagem aproveitou o transformador de difusão de texto para vídeo de Wan, e também se baseou no projeto VACE (veja abaixo).

O modelo foi dividido em um Módulo de Animação Humana (HAM), que tratava do movimento e da identidade a partir de entradas humanas e de pose; e um Módulo de Transferência de Roupas (GTM), que tratava das roupas a partir de imagens de roupas. Ambos compartilhavam acesso ao backbone, enquanto integravam recursos de maneira distribuída e cascata, para melhorar a condicionação.

O treinamento foi realizado congelando o backbone e otimizando apenas os parâmetros de HAM e GTM, com suas contribuições equilibradas durante a integração de recursos. As entradas do conjunto de dados de tripletos sintéticos foram convertidas em representações latentes usando o VAE de WAN.

O contexto de movimento foi construído combinando informações humanas e de pose ao longo do tempo, enquanto os recursos de roupas foram processados separadamente e alinhados por meio de projeção em embeddings de tokens.

O modelo também foi estendido para suportar interpolação de roupas. Aqui, as representações de duas roupas foram combinadas para gerar transições suaves, permitindo mistura consistente e coerente entre itens de roupa, sem otimização adicional.

Dados e Testes

O modelo foi treinado em 9.135 vídeos, com durações variando de três a dez segundos, provenientes dos mencionados “sites de compras”; o conjunto de dados gerado pelos autores; e o conjunto de dados HumanVid.

Deles, dois conjuntos de dados de avaliação foram estabelecidos: o “conjunto de dados da Internet”, com vídeos e imagens de produtos de “shoppings”; e a divisão de teste oficial do conjunto de dados ViViD da Alibaba.

Como os dados ViViD carecem de faces (veja o vídeo acima, para um exemplo disso, que é muito comum na literatura de experimentação virtual), elas foram adicionadas por meio de pintura de Flux.

As métricas usadas foram perda L1; Taxa de Sinal para Ruído de Pico (PSNR); Índice de Semelhança Estrutural (SSIM); Semelhança de Patch de Imagem Aprendida (LPIPS); Distância de Inception de Fréchet (FID); e Distância de Vídeo de Fréchet^†† (FVD)

Os sistemas testados para transferência de roupas foram OOTDiffusion; CatVTON; OmniTry; e Any2AnyTryon. Os modelos de geração de imagem de sujeito testados foram VisualCloze; MOSAIC; e o UNO da ByteDance.

Para a segunda etapa de animação de imagem humana, as estruturas StableAnimator e DisPose foram usadas.

Em um contexto mais limitado (porque não suporta diretamente o objetivo), o VACE também foi testado, com algum esforço para equilibrar a funcionalidade faltante:

Comparações quantitativas contra combinações de modelos de imagem para imagem e animação nos conjuntos de dados da Internet e ViViD, onde o método proposto alcançou o melhor desempenho em todas as métricas relatadas. Valores em negrito indicam a pontuação mais alta em cada coluna.

Dos resultados iniciais mostrados acima, os autores afirmam:

‘[Nosso] modelo alcança o melhor desempenho em todas as métricas quando comparado com combinações de modelos de geração de imagem para imagem e modelos de animação.

‘Os resultados qualitativos [mostrados abaixo] confirmam ainda mais que nossa abordagem produz o seguimento de pose e transferência de roupas mais precisos, enquanto preserva a identidade de forma mais fiel do que todas as linhas de base baseadas em imagem para imagem.’

Comparações qualitativas nos conjuntos de dados da Internet e ViViD contra linhas de base de imagem para imagem e animação, onde o método proposto, segundo os autores, oferece alinhamento de pose e transferência de roupas mais precisos, enquanto preserva a identidade de forma mais consistente do que o VisualCloze, MOSAIC, UNO e VACE.

Para a segunda categoria de testes, onde combinações de modelos de experimentação virtual de imagem e modelos de animação foram testados, o novo trabalho foi capaz de alcançar a pontuação mais alta:

Comparações quantitativas com combinações de modelos de experimentação virtual de imagem e modelos de animação nos conjuntos de dados da Internet e ViViD. O método proposto alcançou o melhor desempenho geral em todas as métricas, com SSIM permanecendo comparável à linha de base mais forte. Valores em negrito denotam a pontuação mais alta.

Os autores acrescentam:

‘As comparações qualitativas [mostradas abaixo] demonstram que nossos resultados se assemelham mais à verdade do que todos os modelos baseados em experimentação virtual de imagem.’

Testes qualitativos usando linhas de base criadas combinando modelos de experimentação virtual de imagem com modelos de animação.

Conclusão

Embora o projeto Vanast alcance uma solução de ponta a ponta discreta, a falta de detalhes do artigo sobre os requisitos de recursos de treinamento e inferência indica que isso pode não ser a solução mais ágil ou flexível. Na verdade, o desafio em si é extremamente difícil de alcançar, mesmo em um sistema não otimizado – e quanto mais em uma implantação comercial que precisaria de baixa latência e rentabilidade/ROI em escala..?

A experimentação virtual é um dos objetivos “lunar” da IA, onde o estado atual da arte, como difundido por meio de manchetes e resultados selecionados, encobre a dificuldade real da tarefa, que talvez eventualmente será resolvida por tecnologias posteriores e mais leves do que os Transformadores.

^† Disponível nos EUA, bloqueado geograficamente em muitas outras regiões, se não em todas.

^†† Os autores se referem a ‘VFID’, mas linkam apenas para o artigo ViViD, que não justifica a referência, até onde posso saber, com tempo limitado para rastreá-lo. Eu suponho que eles realmente quiseram dizer Distância de Vídeo de Fréchet (FVD), e estavam igualmente com pouco tempo. Por favor, entre em contato comigo para emendas, conforme necessário.

Publicado pela primeira vez na quarta-feira, 8 de abril de 2026