Andersonの視点

AIで新しい服をバーチャル試着

Martin Anderson
Unite.AI を Google の優先ソースに追加
Examples of virtual try-on from the Vanast project – source: https://arxiv.org/pdf/2604.04934
要点VanastのシングルステージAIモデルは、衣服、人物の同一性、動きを統合することで、より安定したバーチャル試着動画を実現します。
もっと見る
  • VanastのシングルステージAIモデルは、衣服、人物の同一性、動きを統合することで、より安定したバーチャル試着動画を実現します。
  • このシステムは、FluxやQwenなどのモデルを用いて独自の合成トレーニングデータを生成し、実世界データの不足を克服しています。
  • 技術的な進歩にもかかわらず、高い計算需要と遅延の課題により、商業的な実現可能性は依然として限られています。

AIモデルが、1枚の人物写真と衣服の画像から、その人物が新しい服を着て動く動画を作れるようになった。従来の2段階方式によく見られた不具合も回避する。

 

コンピュータービジョン研究の 「バーチャル試着」(VTON)分野 は、研究文献の中でも資金が豊富で、成果が盛んに発表される分野の一つだ。毎年数多く発表される産学共同研究からもうかがえるように、その主な理由は、資金力のあるファッション業界がこの目標に多額の資金を投じていることにある。

論文「Image-Based Virtual Try-On: A Survey」より。人物の表現方法と、基本的な画像でさえバーチャル試着(VTON)のために経る必要があるフィルタリングや精緻化の段階の例。

論文「Image-Based Virtual Try-On: A Survey」より。人物の表現方法と、基本的な画像でさえバーチャル試着(VTON)のために経る必要があるフィルタリングや精緻化の段階の例。 出典

目標にはさまざまな派生形があり、例えば 人物画像から衣服を抽出することや、必要に応じて ふくよかな体型に対応する ことが挙げられる。画像を使うシステムの一部は、veesual.ai、wanna.fashion、fashn.aiなどで商用化されている。

動画については、Google Labsの実験的な Dopplアプリ がこの機能を試み、 昨年の夏に公開された。

自動再生されない場合はクリックして再生してください。終了したGoogle Dopplの動画試着プロジェクトからの抜粋。  出典

しかしDopplは、 反応が芳しくなかったことを受けて2026年4月に終了する。現在、利用者は同社の静止画のみを使う 試着サービス†へ案内されている。

Googleの静止画のみを使う試着サービス。終了したDopplプラットフォームの利用者はこちらに案内されている。

Googleの静止画のみを使う試着サービス。終了したDopplプラットフォームの利用者はこちらに案内されている。 出典

動画によるバーチャル試着を提供するプラットフォームは少数あるものの、実際の販売店と結び付いているものは見当たらない。いずれも実験的な最先端領域にある周辺的な製品で、トークンを売りにし、しばしば疑わしくも見える。

研究分野には興味深い試みがいくつもあるが、従来は複雑なアーキテクチャを用いており、低遅延と高品質の両立が難しい。

自動再生されない場合はクリックして再生してください。2024年のFashion-VDMプロジェクトより、頭部を含めない人物画像への衣服転送の例. 出典

衣服も人物も歪めずに実際の人物に服を合わせ、さらに役に立つ実演動作を維持することは、現在の最先端技術にとって大きな難題だ。例えば人物が背を向けたときには、商品の背面を 正確に 見せる必要がある。

Vanast

韓国の新しい論文は、衣服、人物、動作を扱う新たな完全統合方式で、この難題に挑もうとしている。

自動再生されない場合はクリックして再生してください。Vanastプロジェクトの補足資料サイトより。 出典 

新システム Vanastは、課題に必要な衣服、人物、動作という三つの要素すべてを組み合わせ、連携させる独自のデータセットを利用する。

クリックして再生してください。 Vanastプロジェクトサイトの追加例。

Flux、Qwen、ChatGPTといった異なるフレームワークを使い、エンドツーエンドのアーキテクチャの学習を支える「三つ組」データセットを生成する。

新論文より。生成と学習に使われるデータセットのデータ点の例。

新論文より。生成と学習に使われるデータセットのデータ点の例。 出典 –

新しい 論文 の題名は Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervisionで、ソウル大学の研究者4人によるものだ。動画を多数掲載した プロジェクトサイトもある。

手法

著者らの目的は、前述の三つの側面を1段階の枠組みにまとめることだ。処理が一つにまとまるだけでなく、学習中に各側面が結び付き、相互作用する機会が増えることで、より一貫した生成を目指せるという。

Vanastは1枚の人物写真、別々の衣服画像、動作の参照情報を組み合わせ、同じ人物が新しい服を着て動く映像を生成する。ポーズによる誘導で動作の一貫性を確保し、人物の同一性と衣服の細部をフレーム間で保つ。

Vanastは1枚の人物写真、別々の衣服画像、動作の参照情報を組み合わせ、同じ人物が新しい服を着て動く映像を生成する。ポーズによる誘導で動作の一貫性を確保し、人物の同一性と衣服の細部をフレーム間で保つ。

入力は、着せたい衣服の画像、別の服を着た人物の写真、人物の動作を定める参照動画、そして行動と場面を説明するテキストプロンプトだ。同じ人物が指定された動作に従いながら新しい服を着ているように見える動画全体を生成し、各フレームの見た目を時間方向に一貫させる。

類似する従来研究の多くが着せ替えとアニメーションを別段階に分けていたのに対し、Vanastは衣服、人物の同一性、動作を一つの処理で扱う。生成中にこれらを相互作用させ、従来手法に見られた食い違いや不安定さを減らす。

データセット

学習には、人物画像、対応する衣服、そしてその人物がその服を着て動く動画を対応付けた例を用いる。動作は 既存のアーキテクチャで抽出し、フレーム間で安定したポーズ誘導を与える。

要件を満たす公開データセットがなかったため、名称の明かされていないオンライン通販サイトから、多様な衣服を含む動画を収集した。しかし必要なのは、同じ人物が 複数の服装をしている動画であり、自然に得られたデータでは珍しい。このため 合成データの作成が必要になった。

3段階の処理では、まず収集動画から適切な候補フレームを Qwen2.5-VL 視覚言語モデル(VLM)で選ぶ。画像を適切に切り抜き、遮蔽がないか、人物が正しい位置にいるかなど、適性を評価する。さらに対象領域を分離するため、適切な インペインティング 用マスクを作る。既存研究の PERSEと同様、この処理には、今では長く使われている SDXL 拡散モデルを用いる。

Vanastの処理全体。人物画像、対象の衣服画像、動作誘導動画を符号化し、統一された動画拡散モデルで処理する。人物の同一性を保ち、ポーズ列に従い、対象の服を適用するアニメーションを生成する。合成三つ組データの生成が学習を支え、2モジュール設計ではアニメーションと衣服転送を分けて一貫性を維持する。

Vanastの処理全体。人物画像、対象の衣服画像、動作誘導動画を符号化し、統一された動画拡散モデルで処理する。人物の同一性を保ち、ポーズ列に従い、対象の服を適用するアニメーションを生成する。合成三つ組データの生成が学習を支え、2モジュール設計ではアニメーションと衣服転送を分けて一貫性を維持する。

第3段階ではQwenが再び使われ、画像を性別で分類する。その後、広く使われている Flux 画像拡散フレームワークで画像内の衣服を変更する。Fluxは複数の入力要素を統合できるためだ。インペインティング用テキストプロンプトはChatGPTで選定・作成したが、バージョンは明記されていない。

ポーズと背景の多様性をさらに増やすため、自然な環境で撮られた動画から学習用三つ組を作る処理を導入し、 HumanVidデータセットを用いた。人物の同一性を保つ画像も同じ処理で作成した。

これらの動画には衣服単独の画像がないため、動画素材から直接合成した。各動画からフレームを抽出し、Qwenで正面からの見え方を採点した。全身の可視性、画像の鮮明さ、遮蔽の少なさ、照明、構図を基に、最適な候補を選ぶ。

次に SegFormerで上半身の衣服領域を抽出し、背景を除いて衣服だけを切り出した。

位置バイアスを避けるため、衣服領域を境界ボックス内でランダムに移動させ、信頼性の低い領域分割をQwenで再び除外した。こうして動作と人物の同一性に対応する合成衣服画像が得られ、非構造化動画データから大量の三つ組を構築できるようになった。実環境の多様な条件への頑健性も高まった。

アーキテクチャ

すべての条件を融合しようとした既存手法には、 収束 の遅さや制御のバランスの弱さがあった。これに対処するため、2モジュール構成を導入した。 Wanのテキスト動画生成用拡散Transformerを利用し、 VACE プロジェクトも参考にした(後述)。

モデルは 人物アニメーションモジュール (HAM)と 衣服転送モジュール (GTM)に分けた。HAMは人物とポーズの入力から動作と人物の同一性を扱い、GTMは衣服画像から服を扱う。両者はバックボーンを共有し、分散的かつ段階的に特徴を統合して条件付けを改善する。

学習ではバックボーンを 凍結 し、HAMとGTMのパラメータだけを最適化した。特徴統合時には両者の寄与を調整する。合成三つ組データセットからの入力は 潜在表現 へと、WANの変分オートエンコーダ(VAE)で変換する。

人物とポーズの情報を時間方向に組み合わせ、動作を考慮した文脈を構築した。衣服の特徴は別に処理し、トークン埋め込みへの射影によって整列させる。

さらにモデルは 衣服の補間にも対応するよう拡張した。二つの衣服の表現を組み合わせて滑らかな移行を生成し、追加の最適化なしに、一貫性を保って衣服を混ぜ合わせられる。

データと評価

モデルは9,135本の動画で学習した。長さは3~10秒で、前述の通販サイト、著者らが生成したデータセット、HumanVidデータセットに由来する。

二つの評価データセットを設けた。一つは通販サイトの動画と商品画像を含む「Internetデータセット」、もう一つは公式の テスト用分割 を用いるAlibabaの ViViD データセットだ。

ViViDのデータには顔がないため、 Fluxのアウトペインティングで顔を追加した。上の動画はその例で、顔を含めないことはバーチャル試着の研究ではよく見られる。

評価指標は L1損失; ピーク信号対雑音比 (PSNR); 構造的類似性指数 (SSIM); 学習済み知覚画像パッチ類似度 (LPIPS); Fréchet Inception Distance (FID)、 Fréchet Video Distance†† (FVD)を用いた。

衣服転送では OOTDiffusion; CatVTON; OmniTry、 Any2AnyTryonを評価した。人物参照に基づく画像生成モデルとしては VisualCloze; MOSAIC、そしてByteDanceの UNOを試した。

第2段階の人物画像アニメーションには StableAnimator と DisPose を用いた。

VACEは直接この目的を支援していないため、より限定された条件で評価し、欠けている機能を補う調整を行った。

InternetとViViDのデータセットにおける、人物参照による画像生成モデルとアニメーションモデルの組み合わせとの定量比較。提案手法は報告されたすべての指標で最高の性能を達成した。太字は各列の最高値を示す。

InternetとViViDのデータセットにおける、人物参照による画像生成モデルとアニメーションモデルの組み合わせとの定量比較。提案手法は報告されたすべての指標で最高の性能を達成した。太字は各列の最高値を示す。

上に示した最初の結果について、著者らは次のように述べている。

「私たちのモデルは、人物参照による画像生成モデルとアニメーションモデルの組み合わせと比べて、すべての指標で最高の性能を達成しています。」

「定性的な結果[下図]も、提案手法が最も正確にポーズを追跡し、衣服を転送するとともに、人物参照による画像生成に基づくすべての比較手法よりも、人物の同一性を忠実に保持することを裏付けています。」

InternetとViViDのデータセットにおける、人物参照による画像生成とアニメーションの比較手法との定性比較。著者らによれば、提案手法はVisualCloze、MOSAIC、UNO、VACEよりも正確にポーズを合わせて衣服を転送し、人物の同一性をより一貫して保つ。

InternetとViViDのデータセットにおける、人物参照による画像生成とアニメーションの比較手法との定性比較。著者らによれば、提案手法はVisualCloze、MOSAIC、UNO、VACEよりも正確にポーズを合わせて衣服を転送し、人物の同一性をより一貫して保つ。

第2の評価では、静止画のバーチャル試着とアニメーションモデルの組み合わせと比較し、新手法が再び最高のスコアを得た。

InternetとViViDのデータセットにおける、画像ベースのバーチャル試着とアニメーションモデルの組み合わせとの定量比較。提案手法は指標全体で総合的に最高の性能を達成し、SSIMは最も強い比較手法と同程度だった。太字は最高値を示す。

InternetとViViDのデータセットにおける、画像ベースのバーチャル試着とアニメーションモデルの組み合わせとの定量比較。提案手法は指標全体で総合的に最高の性能を達成し、SSIMは最も強い比較手法と同程度だった。太字は最高値を示す。

著者らはさらに述べる。

「定性的な比較[下図]では、私たちの結果が、画像ベースのバーチャル試着に基づくすべての比較手法の中で、正解データに最も近いことが示されています。」

VTONモデルとアニメーションモデルを組み合わせた比較手法による定性的評価。

VTONモデルとアニメーションモデルを組み合わせた比較手法による定性的評価。

結論

Vanastは一つにまとまったエンドツーエンドの解法を実現した。しかし、学習と推論に必要な計算資源の詳細が論文にないことから、最も軽快な解法ではない可能性がある。そもそもこの課題は、最適化されていないシステムでも達成が極めて難しい。低遅延と、大規模運用時の手頃なコストや投資対効果が求められる商用展開となれば、なおさらだ。

バーチャル試着は、AIの非常に野心的な目標の一つである。見出しや選り抜かれた結果を通じて伝わる最先端技術の姿は、この課題の本当の難しさを覆い隠している。最終的には、Transformerよりも後発で軽量な技術によって解決するのかもしれない。

 

† 米国で利用可能。他の多くの地域では、あるいはすべての地域で、地域制限により利用できない。

†† 著者らは「VFID」に言及しているが、リンク先はViViDの論文だけである。調査する時間が限られていたものの、私の見る限り、その論文はこの参照を裏付けていない。実際にはFréchet Video Distance(FVD)を指しており、著者らも時間がなかったのだと私は推測した。必要な訂正があれば私までご連絡いただきたい。

初出:2026年4月8日水曜日

機械学習のライターで、人間画像合成の専門家です。Metaphysic.ai の研究コンテンツ部門の元責任者で、DNEG の Brahma.ai に統合されるまで勤務していました。
ウェブサイト: martinanderson.ai
連絡先: martin@martinanderson.ai