Ângulo de Anderson
Provar roupas novas virtualmente com IA

Pontos-chaveO modelo de IA de estágio único da Vanast integra vestuário, identidade e movimento…
Ver mais
- O modelo de IA de estágio único da Vanast integra vestuário, identidade e movimento para criar vídeos de experimentação virtual mais estáveis.
- O sistema gera seus próprios dados sintéticos de treinamento utilizando modelos como Flux e Qwen para superar a escassez de dados do mundo real.
- Apesar dos avanços técnicos, a viabilidade comercial permanece limitada pelas altas demandas computacionais e desafios de latência.
Um modelo de IA agora consegue criar, a partir de uma única foto da pessoa e de imagens de roupas, um vídeo em que a mesma pessoa se movimenta usando novos trajes. Ele evita as falhas comuns nos sistemas antigos de duas etapas.
Na pesquisa em visão computacional, a prova virtual de roupas (VTON) está entre as áreas mais financiadas e produtivas da literatura. Isso se deve principalmente ao apoio financeiro expressivo da próspera indústria da moda, como sugerem as numerosas colaborações entre empresas e universidades publicadas a cada ano:

Do artigo Image-Based Virtual Try-On: A Survey: exemplos de formas de representar pessoas e de algumas etapas de filtragem e refinamento pelas quais até imagens básicas precisam passar para a prova virtual de roupas (VTON). Fonte
Esse objetivo tem muitas variantes, como extrair roupas de imagens de pessoas ou adaptar-se a corpos mais cheios quando necessário. Alguns sistemas baseados em imagens já são usados comercialmente em plataformas como veesual.ai, wanna.fashion e fashn.ai.
No caso de vídeo, o Google Labs testou essa função no aplicativo experimental Doppl, lançado no verão passado:
Se o vídeo não começar automaticamente, clique para reproduzir. Trechos do projeto encerrado Google Doppl para prova virtual de roupas em vídeo. Fonte
No entanto, o Doppl encerra as atividades em abril de 2026 após uma recepção morna, e os usuários agora são encaminhados ao serviço de prova virtual† da empresa, que utiliza apenas imagens:

O serviço do Google para prova virtual apenas com imagens, ao qual são encaminhados os usuários da plataforma Doppl encerrada. Fonte
Algumas plataformas oferecem prova virtual em vídeo, mas nenhuma parece ligada a um vendedor de fato. Todas são produtos experimentais no limite da tecnologia, marginais e muitas vezes questionáveis, que promovem tokens.
Há iniciativas interessantes na pesquisa. Em geral, porém, elas usam arquiteturas complexas nas quais é difícil obter simultaneamente baixa latência e alta qualidade:
Se o vídeo não começar automaticamente, clique para reproduzir. Do projeto Fashion-VDM de 2024: exemplo de transferência de roupas em imagens de pessoas sem cabeça. Fonte
Ajustar roupas a uma pessoa real sem distorcer nem as peças nem a pessoa, mantendo um movimento útil para demonstrar o produto, é um enorme desafio para a tecnologia atual. Quando a pessoa vira de costas, por exemplo, a parte traseira da peça precisa ser mostrada com precisão.
Vanast
Um novo estudo da Coreia tenta enfrentar esse desafio com uma solução nova e totalmente integrada para processar roupas, pessoa e movimento:
Se o vídeo não começar automaticamente, clique para reproduzir. Exemplos do site de materiais complementares do projeto Vanast. Fonte
O novo sistema Vanast usa um conjunto de dados criado especialmente para combinar e coordenar os três fatores necessários: roupas, pessoa e movimento:
Clique para reproduzir. Mais exemplos do site do projeto Vanast.
O sistema usa ferramentas como Flux, Qwen e ChatGPT para gerar um conjunto de trios de dados destinado ao treinamento de uma arquitetura que resolve toda a tarefa de ponta a ponta:

Do novo estudo: exemplos de elementos do conjunto de dados usados para geração e treinamento. Fonte –
O novo estudo se intitula Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervision e foi elaborado por quatro pesquisadores da Universidade Nacional de Seul. Há também um site do projeto com muitos vídeos.
Método
O objetivo dos autores é reunir os três aspectos em uma única etapa. Isso não apenas produz um processo integrado, mas também permite que os aspectos interajam mais durante o treinamento, para gerar resultados mais coerentes:

O Vanast combina uma única foto da pessoa, imagens separadas das roupas e uma referência de movimento. Ele gera uma sequência em que a mesma pessoa se movimenta com o novo traje. A orientação por poses garante movimentos consistentes, preservando a identidade e os detalhes das roupas entre os quadros.
O sistema recebe imagens das roupas desejadas, uma foto da pessoa usando outras roupas, um vídeo de referência que define o movimento e uma instrução textual que descreve a ação e o cenário. Ele gera uma sequência completa em que a mesma pessoa parece usar o novo traje e acompanha o movimento indicado, com aparência visual consistente ao longo do tempo.
A maioria dos estudos semelhantes anteriores separava o vestir da animação. O Vanast processa roupas, identidade e movimento em conjunto, permitindo sua interação durante a geração. Isso reduz as incompatibilidades e a instabilidade dos métodos anteriores.
Conjunto de dados
O treinamento usa exemplos correspondentes de uma foto da pessoa, das roupas e de um vídeo da mesma pessoa se movimentando com essas peças. O movimento é extraído com uma arquitetura anterior, que oferece orientação estável por poses entre os quadros.
Como não havia um conjunto público que atendesse aos requisitos, foram coletados vídeos com roupas variadas em sites de compras não especificados. A tarefa, porém, exigia vídeos da mesma pessoa usando vários trajes diferentes, algo raro em materiais coletados naturalmente. Por isso foi necessário criar dados sintéticos.
O processo tem três etapas. Quadros candidatos adequados são selecionados nos vídeos com Qwen2.5-VL, um modelo de visão e linguagem (VLM). Os quadros são recortados e avaliados quanto à adequação, por exemplo, se a pessoa está sem obstruções e na posição correta. Em seguida, são criadas máscaras de inpainting para isolar as áreas relevantes. Como no estudo anterior PERSE, essa parte é realizada pelo modelo de difusão já conhecido SDXL.

Visão geral do processo Vanast: a imagem da pessoa, as imagens das roupas desejadas e o vídeo de orientação do movimento são codificados e processados em um único modelo de difusão de vídeo. A animação preserva a identidade, segue a sequência de poses e aplica as roupas desejadas. Os trios sintéticos apoiam o treinamento; dois módulos separam animação de transferência de roupas para manter a consistência.
Na terceira etapa, o Qwen volta a classificar as imagens por gênero. Em seguida, a popular ferramenta de difusão de imagens Flux altera as roupas na imagem, pois consegue combinar vários elementos de entrada. As instruções textuais de inpainting foram preparadas com ChatGPT; a versão não é informada.
Para ampliar a variedade de poses e fundos, foi introduzido um processo que constrói trios de treinamento a partir de vídeos gravados em condições reais, usando o conjunto de dados HumanVid. O mesmo procedimento gera imagens da pessoa que preservam sua identidade.
Como os vídeos não continham imagens separadas das roupas, elas foram sintetizadas diretamente das gravações. Quadros foram selecionados em cada vídeo e avaliados pelo Qwen quanto à visibilidade frontal. O melhor foi escolhido com base na visibilidade de todo o corpo, nitidez, obstrução mínima, iluminação e composição geral.
A região das roupas na parte superior do corpo foi extraída com SegFormer e o fundo removido para isolar a peça.
Para evitar viés de posição, a região da roupa foi deslocada aleatoriamente dentro da caixa delimitadora. O Qwen voltou a filtrar segmentações não confiáveis. Assim foram produzidas imagens sintéticas de roupas associadas a movimento e identidade, permitindo construir trios em larga escala a partir de vídeos não estruturados e aumentando a robustez em condições reais variadas.
Arquitetura
Uma arquitetura com dois módulos busca resolver a convergência lenta e o equilíbrio de controle fraco dos métodos anteriores que reuniam todas as condições. Ela utiliza o transformer de difusão de texto para vídeo do Wan e também se baseia no projeto VACE, descrito abaixo.
O modelo é dividido em um módulo de animação da pessoa (HAM), que processa movimento e identidade a partir de entradas da pessoa e das poses, e um módulo de transferência de roupas (GTM), que processa as peças a partir de suas imagens. Ambos compartilham a rede de base e integram características de forma distribuída e em cascata para melhorar o condicionamento.
O treinamento é realizado congelando a rede de base e otimizando apenas os parâmetros HAM e GTM, equilibrando suas contribuições durante a integração das características. As entradas dos trios sintéticos são convertidas em representações latentes com o autoencoder variacional (VAE) do WAN.
O contexto que considera o movimento combina informações da pessoa e das poses ao longo do tempo. As características das roupas são processadas separadamente e alinhadas por projeção em embeddings de tokens.
O modelo também permite interpolação de roupas. As representações de duas peças são combinadas para gerar transições suaves, permitindo uma mistura consistente e coerente entre as roupas sem otimização adicional.
Dados e testes
O modelo foi treinado com 9.135 vídeos de três a dez segundos, obtidos nos sites de compras mencionados, no conjunto gerado pelos autores e no HumanVid.
Foram criados dois conjuntos de avaliação: Internet, com vídeos e imagens de produtos de sites de compras, e a divisão oficial de teste do conjunto ViViD da Alibaba. Como o ViViD não contém rostos, eles foram acrescentados por expansão de imagens com Flux. O vídeo anterior exemplifica essa prática, muito comum nos estudos de prova virtual.
As métricas utilizadas foram perda L1; relação sinal-ruído de pico (PSNR); índice de similaridade estrutural (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); Fréchet Inception Distance (FID) e Fréchet Video Distance†† (FVD).
Os sistemas testados para transferência de roupas foram OOTDiffusion; CatVTON; OmniTry e Any2AnyTryon. Também foram testados os modelos que geram imagens a partir de um sujeito de referência: VisualCloze; MOSAIC e o modelo da ByteDance UNO.
Para a segunda etapa, animação das imagens da pessoa, foram usados StableAnimator e DisPose.
O VACE também foi testado em um contexto mais limitado, pois não oferece suporte direto ao objetivo, com algumas tentativas de compensar a funcionalidade ausente:

Comparação quantitativa com combinações de modelos que geram imagens a partir de um sujeito de referência e modelos de animação nos conjuntos Internet e ViViD. O método proposto obteve o melhor desempenho em todas as métricas relatadas. O negrito indica a maior pontuação em cada coluna.
Sobre os primeiros resultados mostrados acima, os autores afirmam:
“Nosso modelo obtém o melhor desempenho em todas as métricas quando comparado com combinações de modelos que geram imagens a partir de um sujeito de referência e modelos de animação.”
“Os resultados qualitativos [abaixo] confirmam ainda que nossa abordagem acompanha as poses e transfere as roupas com a maior precisão, preservando a identidade com mais fidelidade do que todos os métodos de comparação que geram imagens a partir de um sujeito de referência.”

Comparação qualitativa nos conjuntos Internet e ViViD com métodos de geração de imagens a partir de um sujeito de referência e de animação. Segundo os autores, o método proposto oferece alinhamento de poses e transferência de roupas mais precisos, preservando a identidade de forma mais consistente do que VisualCloze, MOSAIC, UNO e VACE.
Na segunda categoria de testes foram comparadas combinações de prova virtual em imagens e modelos de animação. O novo trabalho voltou a obter a maior pontuação:

Comparação quantitativa com combinações de prova virtual em imagens e modelos de animação nos conjuntos Internet e ViViD. O método obteve o melhor desempenho geral no conjunto das métricas, enquanto SSIM permaneceu comparável ao método de comparação mais forte. O negrito indica a maior pontuação.
Os autores acrescentam:
“As comparações qualitativas [abaixo] mostram que nossos resultados mais se aproximam das imagens reais de referência entre todos os métodos de comparação baseados em prova virtual em imagens.”

Testes qualitativos com métodos de comparação que combinam modelos VTON e modelos de animação.
Conclusão
O Vanast oferece uma solução integrada de ponta a ponta. No entanto, a falta de detalhes sobre os recursos necessários para treinamento e inferência sugere que talvez não seja a solução mais leve ou ágil. A própria tarefa é extremamente difícil mesmo em um sistema não otimizado. Quanto mais difícil seria uma implantação comercial que precisasse de baixa latência, custos acessíveis e retorno sobre o investimento em larga escala?
A prova virtual de roupas é um dos objetivos mais ambiciosos da IA. A imagem da tecnologia atual difundida por manchetes e resultados cuidadosamente selecionados esconde a dificuldade real da tarefa. Talvez tecnologias posteriores e mais leves do que os transformers acabem por resolvê-la.
† Disponível nos EUA; bloqueado geograficamente em muitas outras regiões, se não em todas.
†† Os autores mencionam VFID, mas apontam apenas para o artigo ViViD, que, até onde pude verificar no tempo limitado disponível, não justifica a referência. Presumi que se referiam a Fréchet Video Distance (FVD) e que também estavam com pouco tempo. Entre em contato comigo caso sejam necessárias correções.
Publicado pela primeira vez na quarta-feira, 8 de abril de 2026












