Andersons Blickwinkel

Neue Kleidung virtuell mit KI anprobieren

Martin Anderson
Unite.AI zu deinen bevorzugten Quellen auf Google hinzufügen
Examples of virtual try-on from the Vanast project – source: https://arxiv.org/pdf/2604.04934
Wichtige PunkteVanasts einstufiges KI-Modell integriert Kleidung, Identität und Bewegung für stabilere…
Mehr anzeigen
  • Vanasts einstufiges KI-Modell integriert Kleidung, Identität und Bewegung für stabilere virtuelle Anprobe-Videos.
  • Das System erzeugt seine eigenen synthetischen Trainingsdaten mit Modellen wie Flux und Qwen, um die Knappheit realer Daten zu überwinden.
  • Trotz technischer Fortschritte bleibt die kommerzielle Tragfähigkeit durch hohe Rechenanforderungen und Latenzprobleme eingeschränkt.

Ein KI-Modell kann jetzt aus einem einzigen Foto einer Person und Bildern von Kleidungsstücken ein Video erstellen, in dem dieselbe Person sich in neuen Outfits bewegt. Dabei vermeidet es typische Fehler älterer Systeme mit zwei Stufen.

 

In der Computer-Vision-Forschung gehört virtuelles Anprobieren (VTON) laut Fachliteratur zu den am besten finanzierten und produktivsten Bereichen. Das liegt vor allem an der erheblichen Unterstützung durch die finanzstarke Modeindustrie, wie die zahlreichen jährlich veröffentlichten Kooperationen zwischen Unternehmen und Hochschulen vermuten lassen:

Aus Image-Based Virtual Try-On: A Survey: Beispiele für Darstellungsformen von Personen und einige Filter- und Verfeinerungsschritte, die selbst einfache Bilder für virtuelles Anprobieren (VTON) durchlaufen müssen.

Aus Image-Based Virtual Try-On: A Survey: Beispiele für Darstellungsformen von Personen und einige Filter- und Verfeinerungsschritte, die selbst einfache Bilder für virtuelles Anprobieren (VTON) durchlaufen müssen. Quelle

Das Ziel hat viele Varianten, etwa Kleidung aus Bildern von Menschen zu extrahieren oder eine fülligere Figur zu berücksichtigen, wenn nötig. Einige bildbasierte Systeme werden bereits auf Plattformen wie veesual.ai, wanna.fashion und fashn.ai kommerziell eingesetzt.

Für Videos erprobte Google Labs diese Funktion in der experimentellen Doppl-App, die im vergangenen Sommer gestartet wurde:

Falls das Video nicht automatisch startet, klicken Sie zum Abspielen. Ausschnitte aus dem eingestellten Google-Doppl-Projekt für virtuelle Anproben in Videos.  Quelle

Doppl wird jedoch im April 2026 nach verhaltener Resonanz eingestellt. Nutzer werden jetzt auf den Anprobierdienst† des Unternehmens verwiesen, der ausschließlich Bilder verwendet:

Googles ausschließlich bildbasierter Anprobierdienst, auf den Nutzer der eingestellten Doppl-Plattform verwiesen werden.

Googles ausschließlich bildbasierter Anprobierdienst, auf den Nutzer der eingestellten Doppl-Plattform verwiesen werden. Quelle

Einige Plattformen bieten virtuelle Anproben in Videos an, doch keine scheint mit einem tatsächlichen Händler verbunden zu sein. Es handelt sich durchweg um experimentelle Produkte am Rand des technisch Machbaren: marginal, häufig fragwürdig und mit Werbung für Tokens.

In der Forschung gibt es interessante Ansätze. Sie nutzen jedoch traditionell komplexe Architekturen, mit denen niedrige Latenz und hohe Qualität schwer zugleich zu erreichen sind:

Falls das Video nicht automatisch startet, klicken Sie zum Abspielen. Aus dem Fashion-VDM-Projekt von 2024: ein Beispiel für die Übertragung von Kleidung auf Bildern von Personen ohne Kopf. Quelle

Kleidung an eine echte Person anzupassen, ohne die Kleidung oder die Person zu verzerren, und dabei eine nützliche Bewegung zur Produktvorführung beizubehalten, ist für heutige Technik äußerst schwierig. Wenn sich die Person umdreht, muss beispielsweise die Rückseite des Produkts präzise dargestellt werden.

Vanast

Eine neue Arbeit aus Korea will diese Herausforderung mit einer neuen, vollständig integrierten Lösung zur Verarbeitung von Kleidung, Person und Bewegung bewältigen:

Falls das Video nicht automatisch startet, klicken Sie zum Abspielen. Beispiele von der Website mit Zusatzmaterial zum Vanast-Projekt. Quelle 

Das neue System Vanast nutzt einen eigens erstellten Datensatz, der die drei notwendigen Faktoren kombiniert und aufeinander abstimmt: Kleidung, Person und Bewegung:

Zum Abspielen klicken. Weitere Beispiele von der Vanast-Projektwebsite.

Das System verwendet Werkzeuge wie Flux, Qwen und ChatGPT, um einen Datensatz aus Dreiergruppen für das Training einer Architektur zu erzeugen, die die gesamte Aufgabe von Anfang bis Ende bearbeitet:

Aus der neuen Arbeit: Beispiele für Datenpunkte des Datensatzes zur Generierung und zum Training.

Aus der neuen Arbeit: Beispiele für Datenpunkte des Datensatzes zur Generierung und zum Training. Quelle –

Die neue Arbeit heißt Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervision und stammt von vier Forschern der Seoul National University. Es gibt außerdem eine Projektwebsite mit vielen Videos.

Methode

Die Autoren wollen die drei Aspekte in einer einzigen Stufe zusammenführen. Das ergibt nicht nur einen geschlossenen Ablauf, sondern gibt den Aspekten auch mehr Gelegenheit, beim Training zusammenzuwirken, damit die generierten Ergebnisse stimmiger werden:

Vanast kombiniert ein einziges Foto der Person, separate Kleidungsbilder und eine Bewegungsreferenz. Es erzeugt eine Sequenz, in der dieselbe Person sich im neuen Outfit bewegt. Vorgaben zur Körperhaltung sorgen für konsistente Bewegung, während Identität und Kleidungsdetails über die Einzelbilder hinweg erhalten bleiben.

Vanast kombiniert ein einziges Foto der Person, separate Kleidungsbilder und eine Bewegungsreferenz. Es erzeugt eine Sequenz, in der dieselbe Person sich im neuen Outfit bewegt. Vorgaben zur Körperhaltung sorgen für konsistente Bewegung, während Identität und Kleidungsdetails über die Einzelbilder hinweg erhalten bleiben.

Das System erhält Bilder der gewünschten Kleidungsstücke, ein Foto der Person in anderer Kleidung, ein Referenzvideo für die gewünschte Bewegung und eine Textanweisung zu Handlung und Umgebung. Es erstellt eine vollständige Videosequenz, in der dieselbe Person das neue Outfit zu tragen scheint und der vorgegebenen Bewegung folgt. Das Erscheinungsbild bleibt über die Zeit visuell konsistent.

Die meisten ähnlichen früheren Arbeiten trennten das Ankleiden von der Animation. Vanast verarbeitet Kleidung, Identität und Bewegung gemeinsam, sodass sie sich während der Generierung beeinflussen können. Das reduziert die Unstimmigkeiten und Instabilität früherer Methoden.

Datensatz

Das Training nutzt zusammengehörige Beispiele aus einem Personenfoto, den passenden Kleidungsstücken und einem Video derselben Person, die sich darin bewegt. Die Bewegung wird mit einer früheren Architektur extrahiert, die über die Einzelbilder hinweg stabile Vorgaben zur Körperhaltung liefert.

Da kein öffentlicher Datensatz die Anforderungen erfüllte, wurden Videos mit unterschiedlicher Kleidung von nicht näher genannten Online-Shopping-Plattformen gesammelt. Die Aufgabe erforderte jedoch Videos derselben Person in mehreren unterschiedlichen Outfits, was in natürlich gesammeltem Material selten ist. Deshalb mussten synthetische Daten erstellt werden.

Das Verfahren umfasste drei Schritte. Geeignete Einzelbilder wurden mit Qwen2.5-VL, einem Vision-Language-Modell (VLM), aus den Videos ausgewählt. Die Bilder wurden passend zugeschnitten und auf Eignung geprüft, etwa darauf, ob die Person unverdeckt und richtig positioniert war. Danach entstanden geeignete Masken für Inpainting, um die betreffenden Bereiche zu isolieren. Wie in der früheren Arbeit PERSE übernimmt dies das inzwischen etablierte Diffusionsmodell SDXL.

Überblick über den Vanast-Ablauf: Ein Personenfoto, Bilder der gewünschten Kleidung und ein Video mit der Bewegungsreferenz werden kodiert und in einem einheitlichen Videodiffusionsmodell verarbeitet. Die Animation bewahrt die Identität, folgt der Abfolge der Körperhaltungen und verwendet die Zielkleidung. Synthetische Dreiergruppen unterstützen das Training; zwei Module trennen Animation und Kleidungsübertragung, um Konsistenz zu erhalten.

Überblick über den Vanast-Ablauf: Ein Personenfoto, Bilder der gewünschten Kleidung und ein Video mit der Bewegungsreferenz werden kodiert und in einem einheitlichen Videodiffusionsmodell verarbeitet. Die Animation bewahrt die Identität, folgt der Abfolge der Körperhaltungen und verwendet die Zielkleidung. Synthetische Dreiergruppen unterstützen das Training; zwei Module trennen Animation und Kleidungsübertragung, um Konsistenz zu erhalten.

Im dritten Schritt klassifiziert Qwen die Bilder erneut nach Geschlecht. Das beliebte Bilddiffusionswerkzeug Flux verändert anschließend die Kleidung im Bild, da es mehrere Eingabeelemente kombinieren kann. Die Textanweisungen für Inpainting wurden mit ChatGPT zusammengestellt; die Version wird nicht genannt.

Für vielfältigere Körperhaltungen und Hintergründe wurde ein Verfahren eingeführt, das Trainings-Dreiergruppen aus Videos unter realen Bedingungen mit dem HumanVid-Datensatz erstellt. Dasselbe Verfahren erzeugt Personenbilder unter Wahrung der Identität.

Da es in diesen Videos keine separaten Kleidungsbilder gab, wurden sie direkt aus den Aufnahmen synthetisiert. Aus jedem Video wurden Einzelbilder entnommen und von Qwen nach Sichtbarkeit von vorn bewertet. Das beste wurde anhand der Sichtbarkeit des ganzen Körpers, Bildschärfe, möglichst geringer Verdeckung, Beleuchtung und Gesamtkomposition ausgewählt.

Der Bereich der Oberkörperbekleidung wurde mit SegFormer extrahiert und der Hintergrund entfernt, um das Kleidungsstück zu isolieren.

Um Positionsverzerrungen zu vermeiden, wurde der Kleidungsbereich innerhalb seines Begrenzungsrahmens zufällig verschoben. Qwen filterte erneut unzuverlässige Segmentierungen heraus. So entstanden synthetische Kleidungsbilder, die mit Bewegung und Identität verknüpft waren. Das ermöglichte Dreiergruppen in großem Maßstab aus unstrukturierten Videos und erhöhte die Robustheit unter verschiedenen realen Bedingungen.

Architektur

Eine Architektur mit zwei Modulen soll die langsame Konvergenz und schwache Steuerungsbalance früherer Methoden beheben, die alle Bedingungen zusammenführten. Sie nutzt den Text-zu-Video-Diffusionstransformer von Wan und baut auch auf dem VACE-Projekt auf, das weiter unten erläutert wird.

Das Modell wurde in ein Modul zur Personenanimation (HAM), das Bewegung und Identität aus Personen- und Haltungseingaben verarbeitet, und ein Modul zur Kleidungsübertragung (GTM), das Kleidung aus Kleidungsbildern verarbeitet, unterteilt. Beide teilen sich das Basisnetzwerk und integrieren Merkmale verteilt und kaskadenartig, um die Konditionierung zu verbessern.

Beim Training wurde das Basisnetzwerk eingefroren und nur die Parameter von HAM und GTM optimiert. Ihre Beiträge wurden bei der Merkmalsintegration ausgeglichen. Die Eingaben der synthetischen Dreiergruppen wurden in latente Repräsentationen mithilfe des Variational Autoencoders (VAE) von WAN umgewandelt.

Bewegungsbezogener Kontext entstand durch die zeitliche Verknüpfung von Personen- und Haltungsinformationen. Kleidungsmerkmale wurden separat verarbeitet und durch Projektion in Token-Embeddings ausgerichtet.

Das Modell unterstützt auch Interpolation zwischen Kleidungsstücken. Repräsentationen zweier Kleidungsstücke werden für weiche Übergänge kombiniert. So lassen sich die Stücke ohne zusätzliche Optimierung konsistent und stimmig miteinander mischen.

Daten und Tests

Das Modell wurde mit 9.135 Videos von drei bis zehn Sekunden trainiert. Sie stammten von den genannten Shopping-Websites, dem selbst generierten Datensatz der Autoren und HumanVid.

Es entstanden zwei Evaluationsdatensätze: Internet mit Videos und Produktbildern von Shopping-Websites sowie der offizielle Testanteil des Alibaba-Datensatzes ViViD. Da ViViD keine Gesichter enthält, wurden sie mit Flux-Outpainting ergänzt. Das vorherige Video zeigt dieses in der Literatur zum virtuellen Anprobieren sehr häufige Vorgehen.

Als Metriken dienten L1-Verlust; Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); Fréchet Inception Distance (FID) und Fréchet Video Distance†† (FVD).

Für die Kleidungsübertragung wurden OOTDiffusion; CatVTON; OmniTry und Any2AnyTryon getestet. Unter den Modellen, die Bilder anhand eines vorgegebenen Motivs erzeugen, wurden VisualCloze; MOSAIC und ByteDances UNO getestet.

Für die zweite Stufe, die Animation von Personenbildern, wurden StableAnimator und DisPose verwendet.

VACE wurde ebenfalls in eingeschränkterem Rahmen getestet, da es das Ziel nicht direkt unterstützt. Dabei gab es einige Versuche, die fehlende Funktionalität auszugleichen:

Quantitativer Vergleich mit Kombinationen aus Modellen zur motivbasierten Bildgenerierung und Animationsmodellen auf den Datensätzen Internet und ViViD. Die vorgeschlagene Methode erreichte bei allen berichteten Metriken die besten Ergebnisse. Fettdruck kennzeichnet den höchsten Wert jeder Spalte.

Quantitativer Vergleich mit Kombinationen aus Modellen zur motivbasierten Bildgenerierung und Animationsmodellen auf den Datensätzen Internet und ViViD. Die vorgeschlagene Methode erreichte bei allen berichteten Metriken die besten Ergebnisse. Fettdruck kennzeichnet den höchsten Wert jeder Spalte.

Zu den ersten Ergebnissen oben erklären die Autoren:

„Unser Modell erzielt bei allen Metriken die besten Ergebnisse im Vergleich zu Kombinationen aus Modellen zur motivbasierten Bildgenerierung und Animationsmodellen.“

„Die qualitativen Ergebnisse [unten] bestätigen außerdem, dass unser Ansatz Körperhaltungen am genauesten nachvollzieht und Kleidung überträgt und dabei die Identität getreuer bewahrt als alle Vergleichsmethoden zur motivbasierten Bildgenerierung.“

Qualitativer Vergleich auf den Datensätzen Internet und ViViD mit Verfahren zur motivbasierten Bildgenerierung und Animation. Nach Aussage der Autoren gleicht die vorgeschlagene Methode Körperhaltungen genauer ab, überträgt Kleidung präziser und bewahrt die Identität konsistenter als VisualCloze, MOSAIC, UNO und VACE.

Qualitativer Vergleich auf den Datensätzen Internet und ViViD mit Verfahren zur motivbasierten Bildgenerierung und Animation. Nach Aussage der Autoren gleicht die vorgeschlagene Methode Körperhaltungen genauer ab, überträgt Kleidung präziser und bewahrt die Identität konsistenter als VisualCloze, MOSAIC, UNO und VACE.

In der zweiten Testkategorie wurden Kombinationen aus bildbasierter virtueller Anprobe und Animationsmodellen verglichen. Die neue Arbeit erreichte erneut den höchsten Wert:

Quantitativer Vergleich mit Kombinationen aus bildbasierter virtueller Anprobe und Animationsmodellen auf den Datensätzen Internet und ViViD. Die Methode erzielte über die Metriken hinweg das beste Gesamtergebnis, während SSIM mit der stärksten Vergleichsmethode vergleichbar blieb. Fettdruck kennzeichnet den höchsten Wert.

Quantitativer Vergleich mit Kombinationen aus bildbasierter virtueller Anprobe und Animationsmodellen auf den Datensätzen Internet und ViViD. Die Methode erzielte über die Metriken hinweg das beste Gesamtergebnis, während SSIM mit der stärksten Vergleichsmethode vergleichbar blieb. Fettdruck kennzeichnet den höchsten Wert.

Die Autoren ergänzen:

„Die qualitativen Vergleiche [unten] zeigen, dass unsere Ergebnisse unter allen Vergleichsmethoden zur bildbasierten virtuellen Anprobe den tatsächlichen Referenzbildern am nächsten kommen.“

Qualitative Tests mit Vergleichsmethoden, die VTON-Modelle und Animationsmodelle kombinieren.

Qualitative Tests mit Vergleichsmethoden, die VTON-Modelle und Animationsmodelle kombinieren.

Fazit

Vanast bietet eine geschlossene Lösung von Anfang bis Ende. Die fehlenden Angaben zum Ressourcenbedarf für Training und Inferenz deuten jedoch darauf hin, dass dies vielleicht nicht die leichtgewichtigste oder flexibelste Lösung ist. Die Aufgabe selbst ist schon in einem nicht optimierten System äußerst schwierig. Wie viel schwieriger ist dann ein kommerzieller Einsatz, der niedrige Latenz, bezahlbare Kosten und Kapitalrendite in großem Maßstab erfordert?

Virtuelles Anprobieren ist eines der besonders ehrgeizigen KI-Ziele. Das durch Schlagzeilen und sorgfältig ausgewählte Ergebnisse vermittelte Bild heutiger Technik verdeckt die tatsächliche Schwierigkeit. Vielleicht lösen spätere und leichtere Technologien als Transformer die Aufgabe schließlich.

 

† In den USA verfügbar; in vielen anderen Regionen geografisch gesperrt, wenn nicht in allen.

†† Die Autoren erwähnen VFID, verlinken aber nur auf die ViViD-Arbeit, die den Verweis, soweit ich das in der begrenzten verfügbaren Zeit prüfen konnte, nicht begründet. Ich habe angenommen, dass sie eigentlich Fréchet Video Distance (FVD) meinten und ebenfalls wenig Zeit hatten. Bitte kontaktieren Sie mich, falls Korrekturen nötig sind.

Erstmals veröffentlicht am Mittwoch, 8. April 2026

Autor im Bereich maschinelles Lernen, Fachspezialist für menschliche Bildsynthese. Ehemaliger Leiter der Forschungsinhalte bei Metaphysic.ai, bis zu seiner Auflösung in DNEG's Brahma.ai.
Website: martinanderson.ai
Kontakt: martin@martinanderson.ai