Coba Pakaian Baru Melalui AI

Model AI dapat mengubah satu foto dan gambar pakaian menjadi video bergerak dari seseorang yang mengenakan pakaian baru, menghindari kesalahan yang umum terjadi pada sistem dua langkah yang lebih lama.

Kategori ‘coba pakaian virtual’ (VTON) dalam penelitian penglihatan komputer adalah salah satu yang paling banyak didanai dan paling produktif dalam literatur – terutama karena, seperti yang dapat dilihat dari kerja sama industri/akademik yang diterbitkan setiap tahun, tujuan ini menerima pendanaan yang signifikan dari industri fashion yang kaya.

Dari makalah ‘Image-Based Virtual Try-On: A Survey’, contoh jenis perwakilan orang, dan beberapa tahap penyaringan dan penyempurnaan yang bahkan gambar dasar harus dilalui untuk coba pakaian virtual (VTON). Sumber

Terdapat banyak variasi pada tujuan, seperti mengambil pakaian dari gambar orang, dan menampung tubuh yang lebih besar ketika diperlukan. Beberapa sistem berbasis gambar telah diimplementasikan secara komersial, di platform seperti veesual.ai, wanna.fashion, dan fashn.ai.

Untuk video, aplikasi eksperimental Google Labs’ Doppl bereksperimen dengan fungsionalitas ini, meluncurkan akhir musim panas lalu:

Silakan klik untuk memutar jika video tidak diputar secara otomatis. Cuplikan dari proyek video coba pakaian virtual Google Doppl yang ditinggalkan. Sumber

Namun, Doppl ditutup pada April 2026 setelah resepsi yang kurang antusias, dengan pengguna sekarang diarahkan ke layanan coba pakaian berbasis gambar perusahaan^†:

Program coba pakaian berbasis gambar Google, di mana pengguna diarahkan dari platform Doppl yang ditinggalkan perusahaan. Sumber

Meskipun ada beberapa platform yang menawarkan coba pakaian virtual dengan video, tidak ada yang tampaknya berafiliasi dengan outlet nyata; dan mereka semua ‘bleeding edge’, marginal (dan sering ‘meragukan’) produk token-touting.

Sementara ada beberapa upaya menarik dari sektor penelitian, mereka secara tradisional merupakan arsitektur yang kompleks yang sulit diimplementasikan untuk latensi rendah dan kualitas tinggi:

Silakan klik untuk memutar jika video tidak diputar secara otomatis. Dari proyek Fashion-VDM 2024, contoh ‘headless’ clothes transference. Sumber

Kenyataannya adalah bahwa tugas mengadaptasi pakaian ke orang nyata, tanpa merusak pakaian atau orang, sambil mempertahankan beberapa jenis gerakan demonstratif yang berguna (yang akurat menunjukkan bagian belakang produk ketika orang tersebut memutar punggung), adalah tantangan yang sangat sulit bagi keadaan saat ini.

Vanast

Ini adalah tantangan yang_paper baru dari Korea mencoba untuk mengatasi, dengan menggunakan solusi terintegrasi yang sepenuhnya untuk memarsing pakaian + orang + gerakan:

Silakan klik untuk memutar jika video tidak diputar secara otomatis. Contoh dari situs materi tambahan untuk proyek Vanast. Sumber

Sistem baru, yang berjudul Vanast, menggunakan dataset khusus yang menampilkan integrasi dan orkestrasi dari tiga faktor yang diperlukan untuk mencapai tugas: pakaian; orang; dan gerakan:

Klik untuk memutar. Contoh lain dari proyek Vanast.

Sistem ini menggunakan kerangka kerja yang beragam seperti Flux, Qwen, dan ChatGPT, untuk menghasilkan dataset ‘triplet’ yang dapat memberitahu arsitektur ujung-ke-ujung:

Dari makalah baru, contoh titik data dataset yang digunakan untuk generasi dan pelatihan. Sumber –

Makalah baru ini berjudul Vanast: Virtual Try-On dengan Animasi Gambar Manusia melalui Pengawasan Triplet Sintetis, dan berasal dari empat peneliti di Seoul National University. Ada juga situs proyek yang dipenuhi video proyek.

Metode

Tujuan yang dinyatakan oleh penulis dalam karya ini adalah untuk menggabungkan tiga aspek yang disebutkan sebelumnya dalam satu kerangka kerja tahap tunggal – tidak hanya karena prosesnya akan diskrit, tetapi juga karena memberikan berbagai aspek lebih banyak kesempatan untuk berinteraksi selama pelatihan, dengan tujuan untuk menghasilkan generasi yang lebih kohesif:

Vanast menggabungkan satu foto manusia, gambar pakaian terpisah, dan referensi gerakan untuk menghasilkan urutan bergerak di mana orang yang sama mengenakan pakaian baru, dengan bimbingan pose yang memastikan gerakan konsisten sambil menjaga identitas dan detail pakaian yang dipertahankan di seluruh bingkai.

Untuk mencapai ini, sistem ini mengambil gambar pakaian; foto orang yang mengenakan pakaian yang berbeda; video referensi gerakan yang menentukan bagaimana orang harus bergerak; dan prompt teks yang menjelaskan tindakan dan pengaturan; dan menghasilkan urutan video lengkap di mana orang yang sama tampaknya mengenakan pakaian baru, sambil mengikuti gerakan yang diberikan, dengan setiap bingkai dipertahankan secara konsisten dari waktu ke waktu.

Lebih lanjut, sistem ini tidak memisahkan pakaian dan animasi menjadi tahap yang berbeda – yang telah menjadi pendekatan dalam karya sebelumnya – Vanast menangani pakaian, identitas, dan gerakan bersama dalam satu proses, memungkinkan elemen-elemen ini untuk berinteraksi selama generasi, dan mengurangi jenis kesalahan dan ketidakstabilan yang ditunjukkan dalam metode sebelumnya.

Dataset

Pelatihan untuk proyek ini didasarkan pada contoh pasangan gambar orang, pakaian yang sesuai, dan video orang yang bergerak sambil mengenakan pakaian tersebut, dengan gerakan yang diekstrak menggunakan arsitektur sebelumnya, untuk memberikan bimbingan pose yang stabil di seluruh bingkai.

Dalam ketiadaan dataset yang tersedia secara publik yang memenuhi persyaratan proyek, data diambil dari (tidak disebutkan) platform belanja online, yang memberikan cache video dengan pakaian yang beragam. Namun, tugas ini memerlukan video orang yang mengenakan banyak pakaian, yang merupakan temuan yang jarang di alam liar, dan yang memerlukan pembuatan data sintetis.

Proses tiga tahap ini melibatkan memilih bingkai yang sesuai dari video yang diambil, yang ditangani melalui Qwen2.5-VL Vision-Language Model (VLM), dengan pemotongan dan evaluasi kesesuaian yang tepat (yaitu, tidak ada oklusi, subjek dalam posisi yang benar, dll.); dan membuat masker inpainting yang sesuai untuk mengisolasi area yang terkena – yang (sejalan dengan karya sebelumnya PERSE) ditangani oleh model difusi SDXL yang sekarang sudah mapan.

Gambaran pipeline Vanast, di mana gambar manusia, gambar pakaian target, dan video bimbingan gerakan dienkripsi dan diproses dalam model difusi video terpadu. Sistem ini menghasilkan animasi yang mempertahankan identitas, mengikuti urutan pose, dan menerapkan pakaian target, sementara generasi triplet sintetis mendukung pelatihan, dan desain dual-modul memisahkan animasi dari transfer pakaian, untuk mempertahankan konsistensi.

Dalam tahap ketiga, Qwen kembali bertugas untuk mengklasifikasikan gambar berdasarkan jenis kelamin, dan kerangka kerja difusi gambar Flux yang populer kemudian digunakan untuk membuat perubahan pada pakaian dalam gambar (karena Flux dapat menggabungkan beberapa elemen input). Prompt inpainting yang dikurasi oleh ChatGPT (versi tidak ditentukan).

Untuk lebih meningkatkan keragaman pose dan latar belakang, pipa telah diperkenalkan untuk membuat triplet pelatihan dari video alam liar, menggunakan dataset HumanVid. Proses yang sama digunakan untuk menghasilkan gambar manusia yang mempertahankan identitas.

Karena tidak ada gambar pakaian yang berdiri sendiri di video ini, gambar pakaian disintesis langsung dari footage. Bingkai dipilih dari setiap video, dan Qwen digunakan untuk menilai mereka untuk visibilitas frontal, sebelum memilih kandidat yang paling sesuai, berdasarkan visibilitas tubuh penuh, kejelasan gambar, oklusi minimal, kualitas pencahayaan, dan komposisi keseluruhan.

Daerah pakaian atas kemudian diekstrak menggunakan SegFormer, dan latar belakang dihilangkan untuk mengisolasi pakaian.

Untuk menghindari bias posisional, daerah pakaian dipindahkan secara acak dalam kotak pembatasnya, dan Qwen digunakan kembali untuk menyaring segmentasi yang tidak dapat diandalkan. Proses ini menghasilkan gambar pakaian sintetis yang dipasangkan dengan gerakan dan identitas, memungkinkan konstruksi triplet besar dari data video yang tidak terstruktur, sambil meningkatkan ketahanan di berbagai kondisi dunia nyata.

Arsitektur

Arsitektur dual-modul diperkenalkan untuk mengatasi konvergensi yang lambat dan keseimbangan kontrol yang lemah yang terlihat pada metode sebelumnya yang mencoba menggabungkan semua kondisi. Pendekatan ini menggunakan transformer difusi video-teks dari Wan, dan juga mengambil dari proyek VACE (lihat di bawah).

Model ini dibagi menjadi Modul Animasi Manusia (HAM), yang menangani gerakan dan identitas dari input manusia dan pose; dan Modul Transfer Pakaian (GTM), yang menangani pakaian dari gambar pakaian. Keduanya berbagi akses ke tulang punggung, sementara mengintegrasikan fitur dalam cara yang terdistribusi, cascaded, untuk meningkatkan kondisi.

Pelatihan dilakukan dengan membekukan tulang punggung dan mengoptimalkan hanya parameter HAM dan GTM, dengan kontribusi mereka seimbang selama integrasi fitur. Input dari dataset triplet sintetis diubah menjadi representasi laten menggunakan VAE Wan.

Konteks gerakan yang sadar dibangun dengan menggabungkan informasi manusia dan pose dari waktu ke waktu, sementara fitur pakaian diproses secara terpisah, dan diselaraskan melalui proyeksi ke dalam token embeddings.

Model ini juga diperluas untuk mendukung interpolasi pakaian. Di sini, representasi dari dua pakaian digabungkan untuk menghasilkan transisi yang halus, memungkinkan pencampuran yang konsisten dan kohesif antara item pakaian, tanpa optimasi tambahan.

Data dan Pengujian

Model ini dilatih pada 9.135 video, dengan panjang yang bervariasi dari tiga hingga sepuluh detik, yang berasal dari ‘situs pusat perbelanjaan’; dataset yang dihasilkan sendiri oleh penulis; dan dataset HumanVid.

Dari ini, dua dataset evaluasi dibentuk: ‘dataset Internet’, yang menampilkan video dan gambar produk dari pusat perbelanjaan; dan pembagian uji resmi dataset ViViD Alibaba.

Karena data ViViD tidak memiliki wajah (lihat video di atas, untuk contoh ini, yang sangat umum dalam literatur coba pakaian virtual), wajah ditambahkan melalui outpainting Flux.

Metri yang digunakan adalah L1 loss; Peak Signal-to-Noise Ratio (PSNR); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); Fréchet Inception Distance (FID); dan Fréchet Video Distance^†† (FVD)

Sistem yang diuji untuk transfer pakaian adalah OOTDiffusion; CatVTON; OmniTry; dan Any2AnyTryon. Model generasi gambar subjek yang diuji adalah VisualCloze; MOSAIC; dan UNO ByteDance.

Untuk animasi gambar manusia tahap kedua, kerangka kerja StableAnimator dan DisPose digunakan.

Dalam konteks yang lebih terbatas (karena tidak secara langsung mendukung tujuan), VACE juga diuji, dengan beberapa upaya untuk menyeimbangkan fungsionalitas yang hilang:

Perbandingan kuantitatif melawan kombinasi model gambar-ke-gambar dan animasi pada dataset Internet dan ViViD, di mana metode yang diusulkan mencapai kinerja terbaik di semua metri yang dilaporkan. Nilai tebal menunjukkan skor teratas di setiap kolom.

Dari hasil awal yang ditunjukkan di atas, penulis menyatakan:

‘[Model kami] mencapai kinerja terbaik di semua metri ketika dibandingkan dengan kombinasi model gambar-ke-gambar dan animasi.

‘Hasil kualitatif [ditunjukkan di bawah] lebih lanjut mengkonfirmasi bahwa pendekatan kami menghasilkan pengikisan pose dan transfer pakaian yang paling akurat, sementara menjaga identitas dengan lebih setia daripada semua baseline berbasis gambar-ke-gambar.’

Perbandingan kualitatif pada dataset Internet dan ViViD melawan baseline gambar-ke-gambar dan animasi, di mana metode yang diusulkan, menurut penulis, menawarkan pengikisan pose dan transfer pakaian yang lebih akurat, sementara menjaga identitas dengan lebih konsisten daripada VisualCloze, MOSAIC, UNO, dan VACE.

Untuk kategori pengujian kedua, di mana kombinasi coba pakaian virtual berbasis gambar dan model animasi diuji, karya baru ini lagi-lagi mencapai skor tertinggi:

Perbandingan kuantitatif dengan kombinasi coba pakaian virtual berbasis gambar dan model animasi pada dataset Internet dan ViViD. Metode yang diusulkan mencapai kinerja terbaik secara keseluruhan di semua metri, dengan SSIM tetap setara dengan baseline terkuat. Nilai tebal menunjukkan skor tertinggi.

Penulis menambahkan:

‘Perbandingan kualitatif [ditunjukkan di bawah] menunjukkan bahwa hasil kami paling mirip dengan kebenaran di antara semua baseline berbasis coba pakaian virtual berbasis gambar.’

Pengujian kualitatif menggunakan baseline yang dibuat dengan menggabungkan model VTON dengan model animasi.

Kesimpulan

Meskipun proyek Vanast mencapai solusi ujung-ke-ujung yang diskrit, kurangnya detail dalam makalah tentang persyaratan sumber daya pelatihan dan inferensi menunjukkan bahwa ini mungkin bukan solusi yang paling gesit atau lincah. Pada kenyataannya, tantangan itu sendiri sangat sulit untuk dicapai bahkan dalam sistem yang tidak dioptimalkan – dan bagaimana lagi dalam penerapan komersial yang memerlukan latensi rendah dan biaya/ROI yang terjangkau dalam skala..?

Coba pakaian virtual adalah salah satu tujuan ‘moonshot’ AI di mana keadaan saat ini, seperti yang diterbitkan melalui berbagai headline dan hasil yang dipilih, menutupi kesulitan sebenarnya dari tugas, yang mungkin akan diselesaikan oleh teknologi yang lebih baru dan lebih ringan daripada Transformer.

^† Tersedia di AS, diblokir geo di banyak wilayah lain, jika tidak semua.

^†† Penulis merujuk pada ‘VFID’, tetapi hanya menautkan ke makalah ViViD, yang tidak membenarkan referensi, setidaknya menurut saya, dengan waktu terbatas untuk melacaknya. Saya menganggap bahwa mereka sebenarnya bermaksud Jarak Video Fréchet (FVD), dan juga kekurangan waktu. Silakan hubungi saya untuk perubahan, jika perlu.

Dipublikasikan pertama kali pada hari Rabu, 8 April 2026