Yapay Zeka İle İnsan Vücut Tiplerini Yeniden Şekillendirmek

Çin'den yeni bir araştırma işbirliği, son kullanıcının kilo, boy ve vücut oranını modüle etmesine izin veren, parametrik bir model tarafından yönlendirilen koordineli bir ikiz nöral kodlayıcı ağı kullanılarak, görüntülerde insan vücudunu yeniden şekillendirmek için yeni bir yöntem sunuyor. etkileşimli bir GUI'de.

Mevcut üç özelliği değiştiren sürgülerle vücut şeklinin parametreleştirilmiş modülasyonu. Kaynak: https://arxiv.org/pdf/2203.10496.pdf

Çalışma bir üzerinde çeşitli iyileştirmeler sunuyor son benzer proje Boy ve vücut oranını ve ağırlığı ikna edici bir şekilde değiştirebilmesi ve 'daha ince' vücut görüntüleri ile ortaya çıkabilen (var olmayan) arka planı 'boyamak' için özel bir sinir ağına sahip olmasıyla Alibaba'dan. Ayrıca kayda değer bir şekilde geliştirir önceki parametrik yöntem dönüşümün formülasyonu sırasında kapsamlı insan müdahalesine olan ihtiyacı ortadan kaldırarak vücudun yeniden şekillendirilmesi için.

Başlıklı Sinirsel Yeniden Şekillendirici, yeni mimari, parametrik bir 3B insan şablonunu bir kaynak görüntüye sığdırır ve ardından orijinal görüntüyü yeni parametrelere uyarlamak için şablondaki bozulmaları kullanır.

Sistem, giyinik ve yarı giyinik (yani plaj kıyafeti) figürlerdeki vücut dönüşümlerini işleyebilir.

Bu tür dönüşümler günümüzde yoğun ilgi görmektedir. moda yapay zekası için bir dizi StyleGAN/CycleGAN tabanlı ve genel sinir ağı platformları üreten araştırma sektörü sanal denemeler mevcut giyim eşyalarını kullanıcı tarafından sunulan bir görüntünün vücut şekline ve türüne uyarlayabilir veya başka şekilde görsel uygunluğa yardımcı olabilir.

The kâğıt başlıklı Derin Sinir Ağları ile Tek Görüntü İnsan Vücudunu Yeniden Şekillendirme, ve Hangzhou'daki Zhejiang Üniversitesi'ndeki araştırmacılardan ve Hong Kong Şehir Üniversitesi'ndeki Yaratıcı Medya Okulu'ndan geliyor.

SMPL Uydurma

NeuralReshaper, Dış Görünümlü Çok Kişili Doğrusal Modeli (SMPL) kullanır gelişmiş Max Planck Akıllı Sistemler Enstitüsü ve ünlü VFX evi Endüstriyel Işık ve Büyü tarafından 2015 yılında.

2015 Planck/ILM işbirliğinden SMPL Parametrik insanlar. Kaynak: https://files.is.tue.mpg.de/black/papers/SMPL2015.pdf

Sürecin ilk aşamasında, vücut dönüşümleri yapılmak istenen kaynak görüntüden SMPL modeli oluşturulur. SMPL modelinin görüntüye uyarlanması şu şekildedir: metodoloji 2018'de Almanya ve ABD'deki üniversiteler tarafından önerilen Human Mesh Recovery (HMR) yönteminin.

Deformasyon için üç parametre (ağırlık, boy, vücut oranı), odak uzaklığı gibi kamera parametreleri dikkate alınarak bu aşamada hesaplanır. 2B anahtar noktalar ve oluşturulan siluet hizalaması, 2B siluet biçimindeki deformasyon için muhafaza sağlar; bu, sınır doğruluğunu artıran ve boru hattının aşağısında otantik arka plan iç boyamaya izin veren ek bir optimizasyon önlemidir.

SMPL uydurma aşamaları: solda, kaynak görüntü; ikincisi, 2016'da özetlenen yöntemden elde edilen optimizasyon sonucu araştırma Max Planck Akıllı Sistemler Enstitüsü tarafından yönetilen; üçüncüsü, önceden eğitilmiş modelden doğrudan bir çıkarım sonucu İnsan Şeklinin ve Duruşunun Uçtan Uca İyileştirilmesi; dördüncüsü, 2B anahtar noktalarının optimizasyonundan sonra elde edilen sonuçlar; ve son olarak, beşinci olarak, silüet optimizasyonundan sonra tamamlanan uyum (yukarıya bakın).

3B deformasyon daha sonra, deformasyonu tanımlayacak yoğun bir eğrilme alanını kolaylaştırmak için mimarinin görüntü alanına yansıtılır. Bu işlem, görüntü başına yaklaşık 30 saniye sürer.

NeuralReshaper Mimarisi

NeuralReshaper iki nöral ağı art arda çalıştırır: dönüştürülmüş vücut şeklini oluşturan bir ön plan kodlayıcı ve 'de-tıkanmış' arka plan bölgelerini doldurmaya odaklanan bir arka plan kodlayıcı (örneğin, bir vücudu zayıflatma durumunda - resme bakın) altında).

U-net tarzı çerçeve, sonucu iki girişten yeni bir görüntü üreten birleşik bir kodlayıcıya geçirmeden önce iki kodlayıcının özelliklerinden gelen çıktıyı birleştirir. Mimari, entegrasyonu sağlamak için yeni bir warp kılavuzlu mekanizmaya sahiptir.

Eğitim ve Deneyler

NeuralReshaper, PyTorch'ta 1080 gb VRAM ile tek bir NVIDIA 11ti GPU üzerinde uygulanmaktadır. Ağ, Adam optimize edici altında 100 dönem için eğitildi; üretici 0.0001 hedef kaybına ve ayrımcı 0.0004 hedef kaybına ayarlandı. Eğitim, tescilli bir dış mekan veri kümesi için 8'lik bir toplu iş boyutunda gerçekleşti ( COCO, MPII, ve LSP) ve 2 tanesi eğitim için Derin Moda Veri kümesi.

Solda orijinal görüntüler, sağda NeuralReshaper'ın yeniden oranlanmış çıktısı.

Aşağıda, yalnızca NeuralReshaper için eğitilmiş DeepFashion veri kümesinden bazı örnekler bulunmaktadır ve orijinal görüntüler her zaman soldadır.

Kontrol edilebilir üç öznitelik karışık değildir ve ayrı ayrı uygulanabilir.

Türetilmiş dış mekan veri kümesindeki dönüşümler, sıklıkla karmaşık arka planların doldurulmasını ve dönüştürülen vücut tiplerinin açık ve inandırıcı tasvirini gerektirdiklerinden daha zordur:

Parametrik Gereklilik

Makalenin gözlemlediği gibi, bu türden aynı-görüntü dönüşümleri, görüntü sentezinde kötü konumlanmış bir sorunu temsil eder. Birçok dönüştürücü GAN ve kodlayıcı çerçevesi, eşleştirilmiş görüntülerden faydalanabilir (ör. eskiz>fotoğraf ve fotoğraf>taslak dönüşümler).

Bununla birlikte, eldeki durumda bu, diyet veya plastik cerrahi reklamlarındaki 'öncesi ve sonrası' görüntüleri gibi, elde edilmesi veya üretilmesi zor veriler olan aynı kişileri farklı fiziksel konfigürasyonlarda gösteren görüntü çiftleri gerektirecektir.

Alternatif olarak, dönüştürücü GAN ağları, çok daha çeşitli veriler üzerinde çalışabilir ve dönüşümleri gerçekleştirebilir. gizli yön kaynak (orijinal görüntü gizli kodu) ile istenen sınıf (bu durumda 'şişman', 'zayıf', 'uzun' vb.) arasında. Bununla birlikte, bu yaklaşım şu anda ince ayarlı vücut yeniden şekillendirme amaçları için çok sınırlıdır.

Nöral Radyans Alanları (NeRF) yaklaşımlar, tam vücut simülasyonunda çoğu GAN tabanlı sistemden çok daha ileri düzeydedir, ancak sahneye özgü ve kaynak yoğun olmaya devam etmektedir ve şu anda vücut tiplerini NeuralReshaper ve önceki projelerin ele almaya çalıştığı ayrıntılı şekilde düzenleme yeteneği çok sınırlıdır ( kısa tüm vücudu küçültmek çevresine göre).

GAN'ın gizli alanını yönetmek zordur; Tek başına VAE'ler henüz tüm vücut üremesinin karmaşıklıklarını ele almıyor; ve NeRF'nin insan vücudunu tutarlı ve gerçekçi bir şekilde yeniden şekillendirme kapasitesi henüz gelişme aşamasındadır. Bu nedenle, SMPL gibi 'geleneksel' CGI metodolojilerinin dahil edilmesi, insan görüntü sentezi araştırma sektöründe, parametreleri ve istismar edilebilirliği henüz tam olarak anlaşılmayan özellikleri, sınıfları ve gizli kodları toplama ve birleştirme yöntemi olarak devam edecek gibi görünüyor. teknolojiler.

İlk olarak 31 Mart 2022'de yayınlandı.