Anderson’un Açısı
İnsan Vücut Tiplerini AI ile Yeniden Şekillendirme

Öne çıkan noktalarNeuralReshaper, vücut ağırlığı, boyu ve oranları üzerinde hassas kontrol sağlamak için…
Daha fazla göster
- NeuralReshaper, vücut ağırlığı, boyu ve oranları üzerinde hassas kontrol sağlamak için SMPL parametrik modellerini kullanır.
- İkiz kodlayıcı mimarisi, gerçekçi sonuçlar için ön plandaki vücut şekillendirmeyi ve arka plan düzeltmeyi ayrı ayrı işler.
- GAN'lar ve NeRF'ler henüz vücut şekil parametrelerini güvenilir bir şekilde düzenleyemediğinden, SMPL tabanlı CGI yöntemleri gerekli olmaya devam etmektedir.
Çin’den yeni bir araştırma işbirliği, koordine edilmiş bir ikiz nöral kodlayıcı ağı kullanarak, parametrik bir model tarafından yönlendirilen ve bir son kullanıcıya ağırlık, yükseklik ve vücut oranını etkileşimli bir GUI’de değiştirme izni veren insan vücudunu görüntülerde yeniden şekillendirme için yeni bir yöntem sunuyor.

Parametrik vücut şekli modülasyonu, üç kullanılabilir özelliği değiştiren kaydırma çubukları ile. Kaynak: https://arxiv.org/pdf/2203.10496.pdf
Çalışma, Alibaba’dan son benzer bir projeye göre birkaç gelişme sunuyor, çünkü kilonun yanı sıra boyu ve vücut oranlarını da değiştirebiliyor ve inceltilmiş vücut görüntüsünde yeni açığa çıkan arka planı görüntü tamamlama yöntemiyle doldurmak için ayrı bir nöral ağa sahip. Ayrıca, daha önceki bir parametrik yöntemden daha iyi bir performans gösteriyor ve dönüşümün formülasyonunda kapsamlı insan müdahalesi gereksinimini ortadan kaldırıyor.
Yeni mimari, NeuralReshaper olarak adlandırıldı ve bir parametrik 3D insan şablonunu kaynak görüntüsüne uydurup ardından orijinal görüntüyü yeni parametrelerle uyumlu hale getiriyor.
Sistem, giyinik ve yarı giyinik (yani plaj giysileri) figürlerde vücut dönüşümlerini işleyebiliyor.
Bu tür dönüşümler, moda AI araştırma sektörünün ilgi odağı, StyleGAN/CycleGAN tabanlı ve genel nöral ağ platformları için sanal deneme olanakları sunuyor ve kullanıcıya ait bir görüntüye göre giyim eşyalarını uyarlayabiliyor veya görsel uyumu sağlıyor.
Makale, Single-image Human-body Reshaping with Deep Neural Networks olarak adlandırıldı ve Hangzhou’daki Zhejiang Üniversitesi ve Hong Kong City Üniversitesi Yaratıcı Medya Okulu’ndan araştırmacılar tarafından hazırlandı.
SMPL Uyumlaştırma
NeuralReshaper, Max Planck Akıllı Sistemler Enstitüsü ve görsel efekt şirketi Industrial Light and Magic tarafından 2015 yılında geliştirilen Skinned Multi-Person Linear Model (SMPL) kullanıyor.

SMPL Parametrik insanlar, 2015 Planck/ILM işbirliğinden. Kaynak: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf
Sürecin ilk aşamasında, vücut dönüşümlerinin yapılacağı kaynak görüntüsünden bir SMPL modeli oluşturuluyor. SMPL modelinin görüntüye uyarlama işlemi, Almanya ve ABD’deki üniversiteler tarafından 2018 yılında önerilen İnsan Ağ Yapısı Kurtarma (HMR) yönteminin metodolojisini takip ediyor.
Deformasyon için üç parametre (ağırlık, yükseklik, vücut oranı) bu aşamada hesaplanıyor ve odak uzaklığı gibi kamera parametreleri de dikkate alınıyor. 2D anahtar noktaları ve oluşturulan silüet hizalama, deformasyon için 2D silüet şeklinde bir sınır oluşturuyor ve arka planın gerçekçi bir şekilde boyanmasını sağlıyor.

SMPL uyarlama aşamaları, soldan sağa: kaynak görüntü; Max Planck Akıllı Sistemler Enstitüsü öncülüğündeki 2016 araştırmasının yönteminden elde edilen optimize sonuç; önceden eğitilmiş İnsan Şekli ve Pozunun Uçtan Uca Kurtarılması modelinin doğrudan çıkarım sonucu; 2B anahtar nokta optimizasyonu; silüet optimizasyonuyla tamamlanmış uyarlama.
3D deformasyon daha sonra mimarinin görüntü alanına projekte ediliyor ve yoğun bir deformasyon alanı oluşturuluyor. Bu işlem yaklaşık 30 saniye sürüyor.
NeuralReshaper Mimarisi
NeuralReshaper, iki nöral ağ kullanıyor: ön plan kodlayıcı, vücut şeklini değiştiriyor ve arka plan kodlayıcı, inceltilen vücudun ardından yeni açığa çıkan arka plan bölgelerini dolduruyor.
U-Net tarzı çerçeve, iki kodlayıcının özelliklerini birleştirip tek bir kod çözücüye aktarıyor; bu kod çözücü iki girdiden yeni bir görüntü üretiyor. Mimaride, birleştirme için yeni bir warp yönlendirmeli mekanizma bulunuyor.
Eğitim ve Deneyler
NeuralReshaper, PyTorch kullanarak tek bir NVIDIA (NVDA ) 1080ti GPU’da 11gb VRAM ile uygulanıyor. Ağ, 100 epoch için Adam optimizatörü ile eğitiliyor ve üreticinin öğrenme hızı 0.0001, ayırt edicinin öğrenme hızı 0.0004 olarak ayarlanıyor. Eğitim, özel bir açık hava veri seti (COCO, MPII ve LSP’den türetilen) için 8’lik bir toplu işleme boyutunda ve DeepFashion veri seti için 2’lik bir toplu işleme boyutunda gerçekleşiyor.
Aşağıda, yalnızca DeepFashion veri setinden NeuralReshaper için eğitilmiş örnekler bulunuyor, orijinal görüntüler her zaman solda yer alıyor.
Üç kontrol edilebilir öznitelik, ayrı ayrı uygulanabiliyor.
Dış mekan veri setindeki dönüşümler daha zorlu, çünkü genellikle karmaşık arka planların doldurulması ve dönüştürülmüş vücut tiplerinin net bir şekilde belirlenmesi gerekiyor:
Parametrik Gereklik
Makaleye göre, aynı görüntüdeki bu tür dönüşümler, görüntü sentezinde iyi konulmamış bir problemi temsil ediyor. Birçok dönüşüm GAN ve kodlayıcı çerçevesi, eşleştirilmiş görüntüler (örneğin, eskizden fotoğrafa ve fotoğraftan eskize dönüşümlerinde) kullanabiliyor.
Ancak, bu durumda, aynı insanların farklı fiziksel konfigürasyonlarda görüntülerini içeren görüntü çiftlerine ihtiyaç duyuluyor – diyet veya plastik cerrahi reklamlarındaki ‘önce ve sonra’ görüntüleri gibi veri, elde edilmesi veya üretilmesi zor.
Alternatif olarak, dönüşüm GAN ağları, daha çeşitli veri üzerinde eğitim alabilir ve dönüşümleri, kaynak görüntü latent kodunu ve istenen sınıfı (bu durumda ‘şişman’, ‘zayıf’, ‘uzun’ vb.) arasındaki gizil yönü arayarak gerçekleştirebilir. Ancak, bu yaklaşım, ince vücut şekli yeniden şekillendirmesi için şu anda çok sınırlı.
Nöral Işın Alanları (NeRF) yaklaşımı, tam vücut simülasyonu açısından çoğu GAN tabanlı sistemden daha ileridedir, ancak sahne özgüdür ve kaynak yoğundur ve şu anda vücut tiplerini granül bir şekilde düzenleme yeteneği sınırlıdır (örneğin, tüm vücudu çevresine göre küçültme dışında).
GAN’ların latent alanı yönetilmesi zordur; VAE’ler tek başına, tam vücut yeniden üretiminin karmaşıklıklarını henüz ele alamıyor ve NeRF’in insan vücudunu tutarlı ve gerçekçi bir şekilde yeniden şekillendirebilme yeteneği henüz yeni ortaya çıkıyor. Bu nedenle, SMPL gibi ‘geleneksel’ CGI metodolojilerinin insan görüntü sentezi araştırma sektöründe devam etmesi muhtemel, çünkü henüz tam olarak anlaşılmayan özellikler, sınıflar ve latent kodların parametrelerini ve kullanışlılıklarını bir araya getirmek için bir yöntem olarak görülüyor.
İlk olarak 31 Mart 2022’de yayımlandı.




















