Yüz Sentezini Anlamsal Segmentasyon ile Orchestrating

İnsan yüzleri ile bir Generative Adversarial Network (GAN) icat etme problemi, gerçek dünya verilerinin sahte görüntülere yakıt sağlaması ve bu verilerin istenmeyen ve ayrılmaz aksesuarlar ile gelmesidir, Örneğin, saç, arka plan ve çeşitli yüz mobilyaları gibi; ve bu çevresel yönlerin yüzle bağlantılı olarak ortaya çıkmasıdır.

En yaygın GAN mimarileri altında, bu öğeler kendi ayrılmış alanlarında adreslenemez, ancak yüzle veya yüzün etrafındaki gömülü olduğu alanda oldukça sıkı bir şekilde ilişkili olur.

Genellikle, bir GAN tarafından oluşturulan bir yüzün alt bölümlerinin görünümünü, Örneğin, gözleri daraltma, burnu uzatma veya saç rengini değiştirme, bir polis çizimi sanatçısı gibi değildir.

Ancak, görüntü sentez araştırma sektörü üzerinde çalışıyor:

Yeni araştırmada GAN tabanlı yüz oluşturma, yüzün çeşitli bölümlerini ayrı alanlara ayırarak her birine ayrı bir ‘jeneratör’ atanmıştır. Orta satırda, yüzün ek alanlarını oluşturan ‘özellik haritası’ görülmektedir. Kaynak: https://arxiv.org/pdf/2112.02236.pdf

Çinli çok uluslu teknoloji devi ByteDance’ın ABD kolundan araştırmacılar, bir makalede, anlamsal segmentasyonu kullanarak yüzün çeşitli bölümlerini ayrı alanlara ayırarak her birine ayrı bir jeneratör atanmasını sağladı, böylece daha büyük bir ‘ayrıştırma’ derecesi elde edildi.

Makale SemanticStyleGAN: Controllable Image Synthesis and Editing için Compositional Generative Priors Öğrenme başlığını taşır ve çeşitli ince ayarlı dönüşümlerin elde edilebileceği örneklerle zengin bir proje sayfasına sahiptir.

Yüz dokusu, saç stili ve rengi, göz şekli ve rengi gibi birçok unsur artık ayrılmış olarak ele alınabilmektedir, ancak ayrıştırma kalitesi ve enstrümantalite düzeyi przypadlara göre değişebilir. Kaynak: https://semanticstylegan.github.io/

Kontrol Edilemeyen Latent Uzay

Bir GAN, yüz oluşturmak için eğitildiğinde, gerçek dünya yüzlerinden elde edilen ‘özellikleri’ analiz ederek, gerçekçi insan yüzleri oluşturmak için karmaşık ilişkiler oluşturur.

Bu süreçler ‘latent kodlar’ olarak bilinir ve ‘latent uzay’ olarak adlandırılır. Bunlar analiz edilmesi zor ve dolayısıyla enstrümantalize edilmesi zordur.

Geçen hafta, latent uzayı eğitim sürecinde ‘haritalama’ yapmaya çalışan ve sonra bu haritaları kullanarak etkileşimli olarak navigasyon yapmaya çalışan yeni bir görüntü sentez projesi ortaya çıktı ve çeşitli diğer çözümler önerildi.

Bazı ilerleme kaydedildi, çeşitli GAN mimarileri latent uzaya ulaşmaya ve yüz oluşturmayı kontrol etmeye çalıştı. Bu çabalar arasında InterFaceGAN, StyleFlow, GANSpace ve StyleRig gibi birçok seçenek bulunmaktadır.

What they all have in common is limited degrees of disentanglement; the ingenious GUI sliders for various facets (such as ‘hair’ or ‘expression’) tend to drag the background and/or other elements into the transformation process, and none of them (including the paper discussed here) have solved the problem of temporal neural hair.

Latent Uzayı Bölme ve Fethetme

ByteDance araştırması farklı bir yaklaşım benimser: tek bir GAN’ın tüm yüz görüntüsünü işleme yerine, yüzü ayrı jeneratör süreçleri ile ‘bestelenir’.

Bu yüz özelliklerinin ayrımını gerçekleştirmek için, SemanticStyleGAN Fourier Özellikleri kullanır ve yüzün çeşitli alanlarını ayırmak için anlamsal segmentasyon haritası oluşturur.

Yeni yaklaşımın mimarisi, yüzü çeşitli jeneratörlerin çalıştığı ayrı alanlara ayırarak, çerçeveyi birden fazla jeneratörün işbirliği ile çalışmasını sağlar.

Segmentasyon haritaları, GAN’ın ayrımcısına sunulan sahte görüntüler ve kullanılan gerçek dünya görüntüleri için oluşturulur.

Sürecin başında, bir Çok Katmanlı Perseptron (MLP) rastgele seçilen latent kodlarını haritalar ve bu kodlar daha sonra yüzün çeşitli alanlarını oluşturmak için kullanılan jeneratörlerin ağırlıklarını kontrol eder.

Her jeneratör, Fourier özelliklerinden aldığı girdileri kullanarak özellik haritası ve simüle edilmiş derinlik haritası oluşturur. Bu çıktı, segmentasyon maskelerinin temelini oluşturur.

Akış ağının son render ağı, yalnızca önceki özellik haritaları tarafından koşullandırılır ve artık yüksek çözünürlüklü segmentasyon maskesi oluşturarak nihai görüntü üretimini sağlar.

Son olarak, birleşik ayrımcı, RGB görüntülerinin (sonuç olarak bizim için nihai sonuç) ve segmentasyon maskelerinin birleşik dağılımını denetler.

SemanticStyleGAN ile, yüz özelliklerini ‘ayarlamak’ sırasında hoş olmayan görsel bozulmalar olmaz, çünkü her yüz özelliği ayrı olarak eğitilmiştir.

Arka Planları Değiştirme

Projenin amacı, oluşturulan ortamı daha iyi kontrol etmek için, oluşturma/bileşim süreci, gerçek görüntüler üzerinde eğitilen bir arka plan jeneratörünü içerir.

Arka planların yüz manipülasyonlarına dahil edilmemesinin bir nedeni, daha uzak bir katmanda bulunması ve kısmen yüzler tarafından gizlenmiş olsa da tamamlanmış olmasıdır.

Arka planlar, yüzlerin üzerine bindirilirken, aynı zamanda aydınlatma açısından yüzlerle uyumlu olacak şekilde yapılandırılır.

Eğitim ve Veri

Gerçekçi modeller, ilk 28.000 görüntüden oluşan CelebAMask-HQ veri setine dayalı olarak eğitildi ve 256×256 piksel boyutunda yeniden boyutlandırıldı.

Çeşitli modeller eğitildi ve geliştirme süreci boyunca çeşitli araçlar, veri setleri ve mimariler denendi. Projenin en büyük üretken modeli, 512×512 çözünürlükte, sekiz NVIDIA Tesla V100 GPU üzerinde 2,5 gün boyunca eğitildi. Eğitimden sonra, tek bir görüntü oluşturmak 0,137 saniye sürer.

The more cartoon/anime-style experiments demonstrated in the many videos on the project’s page (see link above) are derived from various popular face-based datasets, including Toonify, MetFaces, and Bitmoji.

Geçici bir Çözüm mü?

Yazarlar, SemanticStyleGAN’ın diğer alanlara, Örneğin manzaralar, arabalar, kiliseler ve diğer ‘varsayılan’ test alanlarına uygulanabileceğini iddia ediyorlar.

Ancak, makale, alanın sınıf sayısının artması durumunda (Örneğin, ‘araba’, ‘sokak lambası’, ‘yayan’, ‘bina’ gibi), bu parçalı yaklaşımın çeşitli şekillerde çalışamaz hale gelebileceğini kabul ediyor. Örneğin, CityScapes kentsel veri seti, 8 kategoride 30 sınıfa sahiptir.

Şu anda latent uzayı daha doğrudan fethetme çabalarının, simyaya benzer şekilde mahkum olup olmadığını veya latent kodların sonunda anlaşılır ve kontrol edilebilir olup olmadığını söylemek zor; bu, bu daha ‘dışsal kompleks’ yaklaşımın gereksiz hale gelmesine neden olabilir.