GAN’ın Gizli Uzayının Eşleştirilmesinden Kazanılan Beklenmedik Fayda

Çin ve Avustralya’dan bir grup araştırmacı, AI tarafından üretilen görüntülerin kalitesini ve doğruluğunu geliştirirken, bir Generative Adversarial Network (GAN)ın gizli uzayını etkileşimli olarak kontrol etme yöntemini keşfetti.

Araştırmacıların keşfi, projenin merkezi hedefinin bir yan ürünüdür ve bir kullanıcıya, bir GAN’ın gizli uzayını fare ile arbitrarily ve etkileşimli olarak keşfetme olanağı sağlar.

Araştırmacıların eşlik eden videosundan bir alıntı (makale sonunda gömülü видеo için bkz.). Kullanıcı, dönüşümleri ‘grab’ imlecini (sol üst) kullanarak değiştiriyor. Kaynak: https://www.youtube.com/watch?v=k7sG4XY5rIc

Yöntem, GAN’ın çalıştığı aynı veri kümesini binlerce (veya yüz binlerce) kez geçmesi için ‘ısı haritaları’ kullanır. Isı haritaları, GAN’a hangi görüntü alanlarının geliştirilmesi gerektiğini söyler, böylece GAN’ın sonraki denemesi daha iyi olur.

GradCAM ile vurgulanan uzaysal görsel dikkat, dikkat gerektiren alanları parlak renkler ile gösterir. Kaynak: https://arxiv.org/pdf/2112.00718.pdf

Makale, GAN Eşitliğini Artırarak Uzaysal Farkındalığı Geliştirme adlı bir çalışmadır ve Çin Üniversitesi’nden ve Avustralya Ulusal Üniversitesi’nden araştırmacılara aittir.

Çalışma, düşük çözünürlüklü görüntülere (256×256) sınırlıdır, ancak GAN’ın gizli uzayını açığa çıkarmak için bir kanıt olarak kabul edilebilir.

GAN’ın Generator kısmı, bir resim oluştururken, gerçek resimlere benzeyen resimler oluşturmak için tekrar tekrar eğitim verilerini işler.

Generator, nasıl ilerleme kaydettiğini bilir?

Generator’ın bir cehennem gibi bir patronu vardır.

Discriminator’ın Merhametsiz Opaklığı

Discriminator’ın görevi, Generator’a yeterli olmadığını söylemektir.

Discriminator’ın Öğretmen ve Mentor Olarak

Yeni araştırmanın sağladığı yenilik, essentially Discriminator’ın Generator’a hangi alanların yetersiz olduğunu söylemesidir.

EqGAN adlı yeni eğitim yöntemi, Generator’a Discriminator’ın görüşlerini formüle eden bir mekanizma kullanır.

EqGAN mimarisi. Generator’un uzaysal kodlaması, Discriminator’un uzaysal farkındalığı ile hizalanmıştır.

EqGAN

Proje, LSUN Cat ve Churches veri kümeleri ile birlikte FFHQ veri kümesini kullanmıştır.

Tüm görüntüler, EqGAN’ı StyleGAN2’nin resmi uygulamasında eğitmeye başlamadan önce 256×256’e boyutlandırılmıştır.

Model, 8 GPU üzerinde 64’lük bir toplu işleme boyutunda eğitilmiştir.

Sonuçlar, FID ve DI metriclerini kullanarak ölçülmüştür.

Araştırmacılar, EqGAN’ın GAN eşitliğini iyileştirdiğini ve görüntü sentez kalitesini artırdığını belirtiyorlar.

EqGAN, GAN’ın gizli uzayını etkileşimli olarak keşfetmeyi sağlar.

Proje hakkında daha fazla bilgi ve GAN’ın gizli uzayının dinamik ve etkileşimli keşfi için örnekler için aşağıdaki videoyu izleyebilirsiniz.

11:12 4 Aralık 2021 – GradCAM URL’si düzeltildi ve çevreleyen referanslar temizlendi.