Angle d’Anderson
Essayer virtuellement de nouveaux vêtements grâce à l’IA

Points clésLe modèle d'IA monostade de Vanast intègre les vêtements, l'identité et le mouvement…
Voir plus
- Le modèle d'IA monostade de Vanast intègre les vêtements, l'identité et le mouvement pour produire des vidéos d'essayage virtuel plus stables.
- Le système génère ses propres données d'entraînement synthétiques à l'aide de modèles tels que Flux et Qwen pour pallier la pénurie de données réelles.
- Malgré les avancées techniques, la viabilité commerciale reste limitée par les exigences computationnelles élevées et les défis de latence.
Un modèle d’IA peut désormais transformer une seule photo d’une personne et des images de vêtements en une vidéo de cette même personne se déplaçant dans de nouvelles tenues, en évitant les erreurs courantes des anciens systèmes à deux étapes.
La catégorie « essayage virtuel » (VTON) dans la recherche en vision par ordinateur est l’une des plus financées et des plus prolifiques – principalement parce que, comme on peut le déduire des fréquentes collaborations industrielles et universitaires publiées chaque année, cet objectif reçoit un financement important de l’industrie de la mode bien dotée:

Tirés de l’article « Image-Based Virtual Try-On: A Survey », des exemples de types de représentation de personnes et de certaines des étapes de filtrage et d’amélioration que même les images les plus simples doivent subir pour un essayage virtuel (VTON). Source
Il existe de nombreuses variations sur cet objectif, telles que l’extraction de vêtements à partir d’images de personnes, et la prise en compte des silhouettes plus corpulentes lorsque cela est nécessaire. Certains systèmes basés sur des images ont été mis en œuvre commercialement, sur des plateformes telles que veesual.ai, wanna.fashion et fashn.ai.
Dans le domaine de la vidéo, Google Labs a expérimenté cette fonctionnalité avec son application Doppl, lancée l’été dernier:
Cliquez pour lancer la lecture si la vidéo ne se lance pas automatiquement. Extraits du projet abandonné de Google Doppl pour l’essayage virtuel de vêtements. Source
Cependant, Doppl ferme en avril 2026 après une réception tiède, les utilisateurs étant désormais renvoyés vers le service d’essayage de la société, fondé uniquement sur des images †:

Le service d’essayage de Google, fondé uniquement sur des images, vers lequel sont redirigés les utilisateurs de la plateforme Doppl abandonnée. Source
Bien qu’il existe un petit nombre de plateformes proposant un essayage virtuel avec vidéo, aucune d’entre elles ne semble être affiliée à un détaillant réel; et elles sont toutes des produits expérimentaux à la pointe de la technologie, marginaux (et souvent « douteux »), qui font la promotion de jetons.
La recherche propose des pistes intéressantes, mais les architectures traditionnellement complexes rendent difficile l’obtention simultanée d’une faible latence et d’une qualité élevée :
Cliquez pour lancer la lecture si la vidéo ne se lance pas automatiquement. Dans le projet Fashion-VDM de 2024, un exemple de transfert de vêtements sur des images de personnes sans tête. Source
La vérité est que la tâche d’adapter les vêtements à une personne réelle, sans déformer les vêtements ou la personne, tout en maintenant une sorte de mouvement démonstratif utile (qui montre avec précision le dos du produit lorsque la personne tourne le dos), est un défi formidable pour l’état actuel de la technique.
Vanast
C’est un défi que le nouvel article coréen tente de relever, en utilisant une solution intégrée et entièrement nouvelle pour traiter conjointement les vêtements, la personne et le mouvement:
Cliquez pour lancer la lecture si la vidéo ne se lance pas automatiquement. Exemples tirés du site de ressources complémentaires du projet Vanast. Source
Le nouveau système, intitulé Vanast, utilise un jeu de données personnalisé mettant en œuvre et orchestrant les trois facteurs nécessaires pour accomplir la tâche: les vêtements; la personne; et le mouvement:
Cliquez pour lancer la lecture. Autres exemples tirés du site du projet Vanast.
Le système utilise des cadres tels que Flux, Qwen et ChatGPT, pour générer un jeu de données de triplets permettant d’entraîner une architecture de bout en bout:

Dans le nouvel article, des exemples de points de données du jeu de données utilisés pour la génération et l’entraînement. Source –
Le nouvel article est intitulé Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervision, et provient de quatre chercheurs de l’Université nationale de Séoul. Il existe également un site de projet riche en vidéos.
Méthode
L’objectif déclaré des auteurs dans ce travail est de fusionner les trois aspects mentionnés précédemment dans un cadre à une seule étape – non seulement parce que le processus formerait un système intégré, mais aussi parce que cela donne aux différents aspects plus d’opportunités de se croiser et d’interagir pendant l’entraînement, dans le but d’une génération plus cohérente:

Vanast combine une seule photo d’une personne, des images de vêtements séparées et une référence de mouvement pour générer une séquence de mouvement dans laquelle la même personne porte la nouvelle tenue, avec un guidage des postures assurant un mouvement constant, tout en préservant l’identité et les détails des vêtements au fil des images.
Pour atteindre cet objectif, le système prend des images des articles de vêtement ciblés; une photo de la personne portant des vêtements différents; une vidéo de référence de mouvement définissant comment la personne doit bouger; et un texte de prompt décrivant l’action et le décor; et produit une séquence de vidéo complète dans laquelle cette même personne semble porter la nouvelle tenue, en suivant le mouvement imposé, avec chaque image maintenue visuellement cohérente dans le temps.
Plutôt que de séparer l’habillage et l’animation en différentes étapes – ce qui a été l’approche dans la plupart des travaux similaires antérieurs – Vanast gère les vêtements, l’identité et le mouvement ensemble dans un seul processus, permettant à ces éléments d’interagir pendant la génération, et réduisant les incohérences et l’instabilité observées dans les méthodes antérieures.
Jeu de données
L’entraînement du système repose sur des exemples appariés d’une image d’une personne, des articles de vêtement correspondants et d’une vidéo de cette personne en mouvement portant ces vêtements, avec le mouvement extrait à l’aide d’une architecture précédente, pour fournir un guidage stable des postures au fil des images.
En l’absence d’un jeu de données public disponible répondant aux exigences du projet, les données ont été extraites de plateformes de commerce en ligne non précisées, fournissant une collection de vidéos avec des vêtements divers. Cependant, la tâche a nécessité des vidéos de la même personne portant plusieurs tenues, ce qui est un élément rare dans les données recueillies en conditions réelles, et qui a nécessité la création de données synthétiques.
Le processus en trois étapes a consisté à sélectionner des images candidates appropriées dans les vidéos collectées, à l’aide du modèle de vision-langage Qwen2.5-VL (VLM), avec un recadrage et une évaluation appropriés de l’adéquation (c’est-à-dire, pas d’occlusions, sujet dans la bonne position, etc.); et à créer des masques de remplissage appropriés pour isoler les zones touchées – qui (conformément au travail précédent PERSE) est géré par le modèle de diffusion SDXL, déjà bien établi.

Vue d’ensemble du processus de Vanast : une image de la personne, des images des vêtements souhaités et une vidéo de référence du mouvement sont encodées et traitées dans un modèle unifié de diffusion vidéo. Le système produit une animation qui préserve l’identité, suit les postures successives et utilise les vêtements souhaités. La génération de triplets synthétiques soutient l’entraînement ; deux modules séparent l’animation du transfert de vêtements pour maintenir la cohérence.
À la troisième étape, Qwen est à nouveau utilisé pour classer les images par sexe, et le cadre de diffusion d’image Flux est ensuite utilisé pour créer des modifications des vêtements dans une image (puisque Flux est capable de fusionner plusieurs éléments d’entrée). Les instructions textuelles pour le remplissage ont été sélectionnées et préparées par ChatGPT (version non spécifiée).
Pour augmenter davantage la diversité des postures et des arrière-plans, un pipeline a été introduit pour construire des triplets d’entraînement à partir de vidéos in situ, en utilisant le jeu de données HumanVid. Le même processus a été utilisé pour générer l’image de la personne en préservant son identité.
Étant donné qu’aucune image de vêtement autonome n’existait dans ces vidéos, les images de vêtements ont été synthétisées directement à partir de la vidéo.
Des images ont été échantillonnées à partir de chaque vidéo, et Qwen a été utilisé pour les noter en termes de visibilité frontale, avant de sélectionner l’image la plus appropriée, en fonction de la visibilité du corps entier, de la clarté de l’image, d’une occlusion minimale, de la qualité de l’éclairage et de la composition globale.
La zone des vêtements du haut du corps a ensuite été extraite à l’aide de SegFormer, et l’arrière-plan a été supprimé pour isoler le vêtement.
Pour éviter les biais de position, la région du vêtement a été décalée aléatoirement dans sa boîte de délimitation, et Qwen a été utilisé à nouveau pour filtrer les segmentations non fiables. Ce processus a produit des images de vêtements synthétiques appariées avec le mouvement et l’identité, permettant la construction de triplets à grande échelle à partir de données vidéo non structurées, tout en améliorant la robustesse dans diverses conditions du monde réel.
Architecture
Une architecture à double module a été introduite pour répondre à la convergence lente et au mauvais équilibre entre les signaux de contrôle observés dans les méthodes antérieures qui avaient tenté de fusionner toutes les conditions. L’approche a utilisé le transformeur de diffusion texte-vers-vidéo de Wan, et s’est également appuyé sur le projet VACE (voir ci-dessous).
Le modèle a été divisé en un module d’animation humaine (HAM), qui gère le mouvement et l’identité à partir des entrées humaines et de pose; et un module de transfert de vêtements (GTM), qui gère les vêtements à partir des images de vêtements. Les deux partagent l’accès au backbone, tout en intégrant les caractéristiques de manière distribuée et en cascade, pour améliorer le conditionnement.
L’entraînement a été effectué en figeant le backbone et en optimisant uniquement les paramètres HAM et GTM, avec leurs contributions équilibrées pendant l’intégration des caractéristiques. Les entrées du jeu de données triplet synthétique ont été converties en représentations latentes à l’aide de l’autoencodeur variationnel (VAE) de WAN.
Le contexte de mouvement a été construit en combinant les informations humaines et de pose dans le temps, tandis que les caractéristiques de vêtements ont été traitées séparément et alignées par projection dans les embeddings de jetons.
Le modèle a également été étendu pour prendre en charge l’interpolation de vêtements. Ici, les représentations de deux vêtements ont été combinées pour générer des transitions fluides, permettant un mélange cohérent et régulier entre les articles de vêtements, sans optimisation supplémentaire.
Données et tests
Le modèle a été entraîné sur 9 135 vidéos, avec des durées allant de trois à dix secondes, provenant des sites de commerce en ligne susmentionnés; le jeu de données généré par les auteurs; et le jeu de données HumanVid.
À partir de ceux-ci, deux jeux de données d’évaluation ont été établis: le « jeu de données Internet », présentant des vidéos et des images de produits provenant de sites de commerce en ligne; et la partition de test officielle du jeu de données ViViD d’Alibaba.
Étant donné que les données ViViD manquent de visages (voir la vidéo ci-dessus pour un exemple de cela, qui est très courant dans la littérature sur l’essayage virtuel), ceux-ci ont été ajoutés via Flux outpainting.
Les métriques utilisées étaient L1 loss; Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); Fréchet Inception Distance (FID); et Fréchet Video Distance†† (FVD).
Les systèmes testés pour le transfert de vêtements étaient OOTDiffusion; CatVTON; OmniTry; et Any2AnyTryon. Les modèles de génération d’images à partir d’un sujet testés étaient VisualCloze; MOSAIC; et UNO de ByteDance.
Pour la deuxième étape d’animation d’images de personnes, les cadres StableAnimator et DisPose ont été utilisés.
Dans un contexte plus limité (car il ne prend pas en charge directement l’objectif), VACE a également été testé, avec certains efforts pour compenser les fonctionnalités manquantes:

Comparaison quantitative avec des combinaisons de modèles de génération d’images à partir d’un sujet et d’animation sur les jeux de données Internet et ViViD, où la méthode proposée a atteint les meilleures performances sur toutes les métriques signalées. Les valeurs en gras indiquent le score le plus élevé dans chaque colonne.
Parmi les résultats initiaux présentés ci-dessus, les auteurs déclarent:
‘[Notre] modèle atteint les meilleures performances sur toutes les métriques lorsqu’il est comparé à des combinaisons de modèles de génération d’images à partir d’un sujet et de modèles d’animation. »
‘Les résultats qualitatifs [présentés ci-dessous] confirment en outre que notre approche produit le suivi de pose et le transfert de vêtements les plus précis, tout en préservant l’identité de manière plus fidèle que tous les modèles de référence de génération d’images à partir d’un sujet.’

Comparaison qualitative sur les jeux de données Internet et ViViD contre les modèles de référence de génération d’images à partir d’un sujet et d’animation, où la méthode proposée, selon les auteurs, offre un suivi de pose et un transfert de vêtements plus précis, tout en préservant l’identité de manière plus cohérente que VisualCloze, MOSAIC, UNO et VACE.
Pour la deuxième catégorie de tests, où des combinaisons de modèles d’essayage virtuel d’images et de modèles d’animation ont été testés, le nouveau travail a pu atteindre le score le plus élevé:

Comparaison quantitative avec des combinaisons de modèles d’essayage virtuel d’images et de modèles d’animation sur les jeux de données Internet et ViViD. La méthode proposée a atteint les meilleures performances globales sur les métriques, le SSIM restant comparable au modèle de référence le plus performant. Les valeurs en gras indiquent le score le plus élevé.
Les auteurs ajoutent:
‘Les comparaisons qualitatives [présentées ci-dessous] démontrent que nos résultats ressemblent le plus à la vérité terrain parmi tous les modèles de référence fondés sur l’essayage virtuel d’images.’

Tests qualitatifs utilisant des modèles de référence créés en combinant des modèles de VTON avec des modèles d’animation.
Conclusion
Bien que Vanast propose une solution intégrée de bout en bout, l’absence de précisions sur les ressources nécessaires à l’entraînement et à l’inférence laisse penser qu’il ne s’agit peut-être pas de la solution la plus légère ni la plus souple. La tâche est déjà extrêmement difficile dans un système non optimisé. Que dire alors d’un déploiement commercial exigeant une faible latence, des coûts maîtrisés et une rentabilité à grande échelle ?
L’essayage virtuel est l’un des objectifs les plus ambitieux de l’IA, pour lequel l’état actuel de la technique, tel qu’il est diffusé à travers divers titres et résultats sélectionnés, masque la difficulté réelle de la tâche, qui sera peut-être résolue par des technologies plus tardives et plus légères que les transformeurs.
† Disponible aux États-Unis, bloqué géographiquement dans de nombreuses autres régions, si ce n’est toutes.
†† Les auteurs font référence à « VFID », mais ne lient qu’au document ViViD, qui ne justifie pas la référence, autant que je puisse le déduire, avec le temps limité pour le retrouver. J’ai supposé qu’ils ont réellement voulu dire la distance vidéo de Fréchet (FVD), et qu’ils étaient également à court de temps. Merci de me contacter si des corrections sont nécessaires.
Publié pour la première fois le mercredi 8 avril 2026












