Anderson’un Açısı

Yeni kıyafetleri yapay zekâyla sanal olarak denemek

Martin Anderson
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Examples of virtual try-on from the Vanast project – source: https://arxiv.org/pdf/2604.04934
Öne çıkan noktalarVanast'ın tek aşamalı yapay zeka modeli, daha stabil sanal deneme videoları için giysi…
Daha fazla göster
  • Vanast'ın tek aşamalı yapay zeka modeli, daha stabil sanal deneme videoları için giysi, kimlik ve hareketi entegre eder.
  • Sistem, gerçek dünya veri kıtlığının üstesinden gelmek için Flux ve Qwen gibi modelleri kullanarak kendi sentetik eğitim verilerini oluşturur.
  • Teknolojik ilerlemelere rağmen, yüksek hesaplama gereksinimleri ve gecikme zorlukları ticari uygulanabilirliği sınırlamaya devam etmektedir.

Bir yapay zekâ modeli artık tek bir kişi fotoğrafı ve giysi görüntülerinden, aynı kişinin yeni kıyafetlerle hareket ettiği bir video oluşturabiliyor. Bunu yaparken eski iki aşamalı sistemlerde sık görülen hatalardan kaçınıyor.

 

Bilgisayarlı görü araştırmalarında sanal kıyafet deneme (VTON) literatürde en çok fonlanan ve en üretken alanlardan biri. Bunun başlıca nedeni, her yıl yayımlanan çok sayıda sanayi-üniversite iş birliğinin de düşündürdüğü gibi, güçlü mali kaynaklara sahip moda sektörünün bu hedefe önemli destek sağlaması:

Image-Based Virtual Try-On: A Survey makalesinden: kişi temsil biçimleri ile sanal kıyafet deneme (VTON) için basit görüntülerin bile geçmesi gereken bazı filtreleme ve iyileştirme aşamalarının örnekleri.

Image-Based Virtual Try-On: A Survey makalesinden: kişi temsil biçimleri ile sanal kıyafet deneme (VTON) için basit görüntülerin bile geçmesi gereken bazı filtreleme ve iyileştirme aşamalarının örnekleri. Kaynak

Bu hedefin birçok çeşidi var. Örneğin insan görüntülerinden giysileri çıkarmak veya daha dolgun vücut yapılarına uyum sağlamak gerektiğinde ele alınabiliyor. Bazı görüntü tabanlı sistemler veesual.ai, wanna.fashion ve fashn.ai gibi platformlarda ticari kullanıma girdi.

Video tarafında Google Labs bu işlevi deneysel Doppl uygulamasında denedi. Uygulama geçen yaz kullanıma sunuldu:

Video otomatik başlamıyorsa oynatmak için tıklayın. Kapatılan Google Doppl video ile sanal kıyafet deneme projesinden bölümler.  Kaynak

Ancak Doppl, pek sıcak karşılanmamasının ardından Nisan 2026’da kapanıyor. Kullanıcılar artık şirketin kıyafet deneme hizmetine† yönlendiriliyor; bu hizmet yalnızca görüntüler kullanıyor:

Kapatılan Doppl platformunun kullanıcılarının yönlendirildiği, Google’ın yalnızca görüntülerle çalışan kıyafet deneme hizmeti.

Kapatılan Doppl platformunun kullanıcılarının yönlendirildiği, Google’ın yalnızca görüntülerle çalışan kıyafet deneme hizmeti. Kaynak

Video ile sanal kıyafet deneme sunan birkaç platform var, ancak hiçbiri gerçek bir satıcıyla bağlantılı görünmüyor. Hepsi teknolojinin deneysel sınırındaki, marjinal ve çoğu zaman şüpheli, token tanıtan ürünler.

Araştırma dünyasında ilginç girişimler var. Ancak bunlar genellikle karmaşık mimarilere dayanıyor ve hem düşük gecikme hem yüksek kaliteyle uygulanmaları zor:

Video otomatik başlamıyorsa oynatmak için tıklayın. 2024 tarihli Fashion-VDM projesinden, baş kısmı bulunmayan kişi görüntülerinde giysi aktarımı örneği. Kaynak

Giysiyi veya kişiyi bozmadan kıyafeti gerçek bir kişiye uydurmak ve aynı zamanda ürünü göstermeye yarayan hareketi korumak, bugünkü teknoloji için çok büyük bir zorluk. Örneğin kişi arkasını döndüğünde ürünün arka tarafının doğru biçimde gösterilmesi gerekiyor.

Vanast

Kore’den yeni bir çalışma, giysi, kişi ve hareketi işleyen yeni ve tamamen bütünleşik bir çözümle bu zorluğun üstesinden gelmeye çalışıyor:

Video otomatik başlamıyorsa oynatmak için tıklayın. Vanast projesinin ek materyal sitesinden örnekler. Kaynak 

Yeni sistem Vanast görev için gerekli üç etkeni, yani giysi, kişi ve hareketi birleştirip koordine eden özel bir veri kümesi kullanıyor:

Oynatmak için tıklayın. Vanast projesinin sitesinden başka örnekler.

Sistem, tüm görevi baştan sona ele alan bir mimariyi eğitmek üzere üçlülerden oluşan bir veri kümesi üretmek için Flux, Qwen ve ChatGPT gibi araçlar kullanıyor:

Yeni çalışmadan, üretim ve eğitim için kullanılan veri kümesindeki veri noktalarına örnekler.

Yeni çalışmadan, üretim ve eğitim için kullanılan veri kümesindeki veri noktalarına örnekler. Kaynak –

Yeni çalışmanın başlığı Vanast: Virtual Try-On with Human Image Animation via Synthetic Triplet Supervision ve çalışma Seul Ulusal Üniversitesi’nden dört araştırmacıya ait. Çok sayıda video içeren bir proje sitesi de mevcut.

Yöntem

Yazarların amacı, üç unsuru tek aşamalı bir yapıda birleştirmek. Bu yalnızca bütünlüklü bir süreç sağlamıyor; unsurların eğitim sırasında daha fazla etkileşmesini mümkün kılarak üretilen sonuçların daha tutarlı olmasını da hedefliyor:

Vanast, tek bir kişi fotoğrafını, ayrı giysi görüntülerini ve hareket referansını birleştirerek aynı kişinin yeni kıyafetle hareket ettiği bir dizi oluşturuyor. Poz rehberliği tutarlı hareket sağlarken kişinin kimliği ve giysi ayrıntıları kareler boyunca korunuyor.

Vanast, tek bir kişi fotoğrafını, ayrı giysi görüntülerini ve hareket referansını birleştirerek aynı kişinin yeni kıyafetle hareket ettiği bir dizi oluşturuyor. Poz rehberliği tutarlı hareket sağlarken kişinin kimliği ve giysi ayrıntıları kareler boyunca korunuyor.

Sistem; hedef giysi görüntülerini, başka kıyafetler giyen kişinin fotoğrafını, istenen hareketi belirleyen referans videoyu ve eylemle ortamı açıklayan metin istemini alıyor. Aynı kişinin yeni kıyafeti giyiyormuş gibi göründüğü ve belirlenen hareketi izlediği tam bir video dizisi üretiyor. Karelerin görünümü zaman içinde tutarlı kalıyor.

Benzer önceki çalışmaların çoğu giydirme ile animasyonu ayırıyordu. Vanast ise giysi, kimlik ve hareketi birlikte işleyerek bu unsurların üretim sırasında etkileşmesini sağlıyor. Böylece önceki yöntemlerdeki uyumsuzluk ve istikrarsızlığı azaltıyor.

Veri kümesi

Eğitim, kişi görüntüsü, ilgili giysiler ve aynı kişinin o giysiler içinde hareket ettiği videodan oluşan eşleşmiş örnekleri kullanıyor. Hareket, kareler arasında kararlı poz rehberliği sunan önceki bir mimariyle çıkarılıyor.

Proje gereksinimlerini karşılayan açık bir veri kümesi olmadığından, adı belirtilmeyen çevrimiçi alışveriş sitelerinden çeşitli giysiler içeren videolar toplandı. Ancak görev, aynı kişinin birden çok farklı kıyafet giydiği videoları gerektiriyordu. Doğal yolla toplanmış verilerde bu nadir görüldüğü için sentetik veriler oluşturmak gerekti.

Üç aşamalı süreçte önce Qwen2.5-VL görsel-dil modeli (VLM) ile videolardan uygun aday kareler seçildi. Kareler kırpılıp kişinin örtülmemesi ve doğru konumda olması gibi uygunluk ölçütlerine göre değerlendirildi. Ardından ilgili alanları ayırmak için inpainting maskeleri oluşturuldu. Önceki PERSE çalışmasında olduğu gibi bu işlem, artık iyi bilinen SDXL difüzyon modeliyle gerçekleştiriliyor.

Vanast işlem akışının özeti: kişi görüntüsü, hedef giysi görüntüleri ve hareket rehberi video kodlanıp tek bir video difüzyon modelinde işleniyor. Animasyon kimliği koruyor, poz dizisini izliyor ve hedef giysileri uyguluyor. Sentetik üçlüler eğitimi destekliyor; iki modüllü tasarım, tutarlılığı korumak için animasyonu giysi aktarımından ayırıyor.

Vanast işlem akışının özeti: kişi görüntüsü, hedef giysi görüntüleri ve hareket rehberi video kodlanıp tek bir video difüzyon modelinde işleniyor. Animasyon kimliği koruyor, poz dizisini izliyor ve hedef giysileri uyguluyor. Sentetik üçlüler eğitimi destekliyor; iki modüllü tasarım, tutarlılığı korumak için animasyonu giysi aktarımından ayırıyor.

Üçüncü aşamada Qwen, görüntüleri yeniden cinsiyete göre sınıflandırıyor. Ardından popüler görüntü difüzyonu aracı Flux birden çok girdi öğesini birleştirebildiği için görüntüdeki giysileri değiştiriyor. Inpainting metin istemleri ChatGPT ile hazırlandı; sürüm belirtilmiyor.

Poz ve arka plan çeşitliliğini artırmak için HumanVid veri kümesinden gerçek koşullarda çekilmiş videolarla eğitim üçlüleri oluşturan bir süreç eklendi. Aynı yöntem kişinin kimliğini koruyan görüntüler üretti.

Videolarda ayrı giysi görüntüleri bulunmadığı için bunlar doğrudan kayıtlardan sentezlendi. Her videodan kareler alındı ve Qwen ile önden görünürlükleri puanlandı. En uygun kare; tüm vücudun görünürlüğü, netlik, en az örtülme, aydınlatma ve genel kompozisyona göre seçildi.

Üst bedendeki giysi bölgesi SegFormer ile çıkarıldı ve giysiyi ayırmak için arka plan kaldırıldı.

Konum yanlılığını önlemek amacıyla giysi bölgesi sınır kutusu içinde rastgele kaydırıldı. Qwen, güvenilir olmayan bölütlemeleri yeniden eledi. Böylece hareket ve kimlikle eşleştirilmiş sentetik giysi görüntüleri üretildi. Yapılandırılmamış videolardan büyük ölçekte üçlü oluşturulması sağlandı ve farklı gerçek koşullardaki dayanıklılık arttı.

Mimari

İki modüllü mimari, önceki yöntemlerin tüm koşulları birleştirirken yaşadığı yavaş yakınsama ve zayıf kontrol dengesi sorunlarını ele almak üzere geliştirildi. Yaklaşım, Wan modelinin metinden videoya difüzyon transformerını kullanıyor ve aşağıda açıklanan VACE projesinden de yararlanıyor.

Model, İnsan Animasyonu Modülü (HAM) ve Giysi Aktarım Modülü (GTM) olarak ikiye ayrılıyor. HAM, kişi ve poz girdilerinden hareket ile kimliği; GTM ise giysi görüntülerinden kıyafetleri işliyor. İkisi temel ağın bölümlerini paylaşırken koşullandırmayı iyileştirmek için özellikleri dağıtık ve kademeli olarak bütünleştiriyor.

Eğitim sırasında temel ağ donduruluyor ve yalnızca HAM ile GTM parametreleri optimize ediliyor. Özellik bütünleştirmede katkıları dengeleniyor. Sentetik üçlülerdeki girdiler, WAN’ın varyasyonel otoenkoderi (VAE) ile gizli temsillere dönüştürülüyor.

Hareketi dikkate alan bağlam, kişi ve poz bilgilerinin zaman içinde birleştirilmesiyle oluşturuluyor. Giysi özellikleri ayrı işleniyor ve token gömmelerine izdüşüm yoluyla hizalanıyor.

Model ayrıca giysi interpolasyonunu destekliyor. İki giysinin temsilleri birleştirilerek yumuşak geçişler oluşturuluyor ve ek optimizasyon olmadan tutarlı, uyumlu bir karışım sağlanıyor.

Veriler ve testler

Model, üç ila on saniye uzunluğunda 9.135 videoyla eğitildi. Videolar, yukarıda belirtilen alışveriş sitelerinden, yazarların kendi ürettiği veri kümesinden ve HumanVid’den alındı.

İki değerlendirme kümesi oluşturuldu: alışveriş sitelerinden videolar ile ürün görüntülerini içeren Internet ve resmî test bölümünden alınan Alibaba ViViD verileri. ViViD’de yüzler bulunmadığı için bunlar Flux ile görüntü dışı tamamlama yoluyla eklendi. Yukarıdaki video, sanal kıyafet deneme literatüründe sık görülen bu uygulamayı gösteriyor.

Kullanılan metrikler L1 kaybı; tepe sinyal-gürültü oranı (PSNR); yapısal benzerlik indeksi (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); Fréchet Inception Distance (FID) ve Fréchet Video Distance†† (FVD) idi.

Giysi aktarımı için test edilen sistemler OOTDiffusion; CatVTON; OmniTry ve Any2AnyTryon oldu. Belirli bir özneden görüntü üreten modeller arasında VisualCloze; MOSAIC ve ByteDance’in UNO modeli denendi.

İkinci aşamadaki kişi görüntüsü animasyonu için StableAnimator ve DisPose kullanıldı.

VACE de amacı doğrudan desteklemediği için daha sınırlı bir bağlamda, eksik işlevi telafi etmeye yönelik bazı çalışmalarla test edildi:

Internet ve ViViD veri kümelerinde, özneden görüntü üreten modeller ile animasyon modellerinin birleşimlerinin nicel karşılaştırması. Önerilen yöntem raporlanan bütün metriklerde en iyi sonucu verdi. Kalın değerler her sütundaki en yüksek puanı gösteriyor.

Internet ve ViViD veri kümelerinde, özneden görüntü üreten modeller ile animasyon modellerinin birleşimlerinin nicel karşılaştırması. Önerilen yöntem raporlanan bütün metriklerde en iyi sonucu verdi. Kalın değerler her sütundaki en yüksek puanı gösteriyor.

Yazarlar, yukarıdaki ilk sonuçlar için şöyle diyor:

“Modelimiz, özneden görüntü üreten modeller ile animasyon modellerinin birleşimleriyle karşılaştırıldığında bütün metriklerde en iyi sonucu elde ediyor.”

“Nitel sonuçlar [aşağıda], yaklaşımımızın en doğru poz takibini ve giysi aktarımını sağlarken özneden görüntü üreten bütün karşılaştırma yöntemlerinden daha sadık biçimde kimliği koruduğunu da doğruluyor.”

Internet ve ViViD veri kümelerinde, özneden görüntü üretme ve animasyon yöntemleriyle nitel karşılaştırma. Yazarlar, önerilen yöntemin VisualCloze, MOSAIC, UNO ve VACE’ye göre daha doğru poz hizalama ve giysi aktarımı sunduğunu, kimliği de daha tutarlı koruduğunu ileri sürüyor.

Internet ve ViViD veri kümelerinde, özneden görüntü üretme ve animasyon yöntemleriyle nitel karşılaştırma. Yazarlar, önerilen yöntemin VisualCloze, MOSAIC, UNO ve VACE’ye göre daha doğru poz hizalama ve giysi aktarımı sunduğunu, kimliği de daha tutarlı koruduğunu ileri sürüyor.

İkinci test kategorisinde, görüntü tabanlı sanal kıyafet deneme ile animasyon modellerinin birleşimleri karşılaştırıldı. Yeni çalışma burada da en yüksek puanı aldı:

Internet ve ViViD veri kümelerinde, görüntü tabanlı sanal kıyafet deneme ile animasyon modellerinin birleşimlerinin nicel karşılaştırması. Yöntem, metrikler genelinde en iyi toplam sonucu verdi; SSIM ise en güçlü karşılaştırma yöntemiyle benzer düzeyde kaldı. Kalın değerler en yüksek puanı gösteriyor.

Internet ve ViViD veri kümelerinde, görüntü tabanlı sanal kıyafet deneme ile animasyon modellerinin birleşimlerinin nicel karşılaştırması. Yöntem, metrikler genelinde en iyi toplam sonucu verdi; SSIM ise en güçlü karşılaştırma yöntemiyle benzer düzeyde kaldı. Kalın değerler en yüksek puanı gösteriyor.

Yazarlar ekliyor:

“Nitel karşılaştırmalar [aşağıda], sonuçlarımızın görüntü tabanlı sanal kıyafet denemeye dayanan bütün karşılaştırma yöntemleri arasında gerçek referans görüntülere en çok benzediğini gösteriyor.”

VTON modelleri ile animasyon modellerinin birleştirildiği karşılaştırma yöntemleriyle yapılan nitel testler.

VTON modelleri ile animasyon modellerinin birleştirildiği karşılaştırma yöntemleriyle yapılan nitel testler.

Sonuç

Vanast, baştan sona bütünlüklü bir çözüm sunuyor. Ancak makalede eğitim ve çıkarım için gereken kaynakların ayrıntılarının verilmemesi, bunun en hafif ya da çevik çözüm olmayabileceğini düşündürüyor. Görevin kendisi, optimize edilmemiş bir sistemde bile son derece zor. Düşük gecikme, uygun maliyet ve büyük ölçekte yatırım getirisi gerektiren ticari bir uygulamada ne kadar daha zor olacaktır?

Sanal kıyafet deneme, yapay zekânın son derece iddialı hedeflerinden biri. Başlıklar ve özenle seçilen sonuçlarla aktarılan güncel teknoloji görüntüsü, görevin gerçek güçlüğünü gizliyor. Belki de ileride ortaya çıkacak, transformer mimarisinden daha hafif teknolojiler sonunda bu sorunu çözecek.

 

† ABD’de kullanılabilir; diğer birçok bölgede, belki de hepsinde, coğrafi olarak engelleniyor.

†† Yazarlar VFID’den söz ediyor ancak yalnızca ViViD makalesine bağlantı veriyor. Sınırlı sürede görebildiğim kadarıyla bu makale atfı gerekçelendirmiyor. Aslında Fréchet Video Distance (FVD) demek istediklerini ve onların da zamanının kısıtlı olduğunu varsaydım. Gerekirse düzeltmeler için benimle iletişime geçin.

İlk yayımlanma: 8 Nisan 2026 Çarşamba

Makine öğrenimi üzerine yazar, insan görüntüsü sentezi alanında uzman. Metaphysic.ai'nin DNEG'e ait Brahma.ai bünyesine katılmasına kadar araştırma içeriğinden sorumlu yönetici olarak görev yaptı.
Web Sitesi: martinanderson.ai
İletişim: martin@martinanderson.ai