Özel Üretken Karşıt Ağ Oluşturma için Çizim Kullanma

Carnegie Mellon ve MIT’den araştırmacılar, bir kullanıcıya, sadece belirleyici karalamalar çizerek özel Üretken Karşıt Ağ (GAN) görüntü oluşturma sistemleri oluşturmasına olanak sağlayan yeni bir metodoloji geliştirdiler.

Bu tür bir sistem, bir son kullanıcının, belirli hayvanlar, bina türleri veya hatta bireyler gibi çok özel görüntüler üretebilen görüntü oluşturma sistemleri oluşturmasına olanak tanır. Şu anda, çoğu GAN oluşturma sistemi, belirli özellikler belirtme yeteneği sınırlı olan geniş ve oldukça rastgele bir çıktı üretir.

Yaklaşım, makalede Kendi GAN’nizi Çizdirin olarak adlandırılan birnovel çizim arabirimi kullanır ve bu, otherwise över-stuffed görüntü veritabanlarında özellikler ve sınıflar bulmak için etkili bir ‘arama’ işlevi olarak kullanılır.

Kullanıcı, GAN’ı kalibre etmek istediği nesne türünü çizerek, çerçevenin üretken yetenekleri o sınıfa özgü hale gelir. Örneğin, bir kullanıcı, belirli bir kedi türünü (herhangi bir kedi değil, Bu Kedi Yok gibi) oluşturmak için bir çerçeve oluşturmak isterse, girişi çizimleri, ilgili olmayan kedi sınıflarını dışlamak için bir filtre olarak hizmet eder.

Kaynak: https://peterwang512.github.io/GANSketching/

Araştırma, Carnegie Mellon Üniversitesi’nden Sheng Yu-Wang tarafından yürütülmekte ve MIT Bilgisayar Bilimi ve Yapay Zeka Laboratuvarı’ndan Colleague Jun-Yan Zhu ve David Bau ile birlikte gerçekleştirilmektedir.

Yöntem, ‘GAN çizimi’ olarak adlandırılmaktadır ve girdi çizimlerini, doğrudan bir ‘şablon’ GAN modelinin ağırlıklarını değiştirerek, tanımlanan etki alanını veya alt etki alanını hedeflemek için çapraz etki alanı karşıt kaybı kullanır.

Farklı düzenleme yöntemleri, modelin çıktı kalitesini yüksek tutarken çeşitliliği sağlamak için araştırılmıştır. Araştırmacılar, latent uzayı.interpolate edebilen ve görüntü düzenleme prosedürleri gerçekleştirebilen örnek uygulamalar oluşturdular.

Bu [$class] Yok

GAN tabanlı görüntü oluşturma sistemleri, son birkaç yıldır bir moda haline geldi ve projelerin çoğalmasıyla birlikte, insanların, kiralık dairelerin, atıştırmalıkların, ayakların, atların, politikacıların ve böceklerin resimlerini üretebilen sistemler ortaya çıktı.

GAN tabanlı görüntü sentez sistemleri, hedef etki alanında bulunan görüntüler içeren geniş veri tabanlarını derleyerek, öğrenilen özelliklere dayalı rastgele örnekler üretebilen jeneratör modülleri uygulayarak oluşturulur.

DeepFacePencil’den çizimlerden elde edilen çıktı. Benzer çizimden görüntü projeleri mevcuttur. Kaynak: https://arxiv.org/pdf/2008.13343.pdf

Anladım Ne Demek İstiyorsun…

Bu erken seminal şekiller ve sonunda elde edilen ayrıntılı yorumlar arasındaki ilişkiyi haritalayarak, kullanıcıların kaba çizimlerden karmaşık ve foto gerçekçi görüntüler oluşturmasına olanak tanır.

Şimdi NVIDIA, masaüstü sürümü olan GAN tabanlı manzara oluşturma araştırmalarını yayınladı.

NVIDIA’nın GauGAN ve şimdi NVIDIA Canvas uygulaması, yaklaşık daub’ları zengin manzara görüntülerine dönüştürür. Kaynak: https://rossdawson.com/futurist/implications-of-ai/future-of-ai-image-synthesis/

Çizimden Görüntüye Basitleştirme

Yeni makalenin GAN Çizimi yaklaşımı, GAN görüntü çerçevelerinin geliştirilmesinde genellikle bulunan veri toplama ve düzenleme yükünü, kullanıcı girdisini kullanarak hangi görüntü alt kümesinin eğitim verisi oluşturacağını belirlemek için kullanır.

Sistem, çerçeveyi kalibre etmek için sadece birkaç girdi çizimi gerektirir. Sistem, efektif olarak 2019’da Carnegie Mellon, Adobe, Uber ATG ve Argo AI’den araştırmacılar tarafından ortak bir araştırma girişimi olarak geliştirilen PhotoSketch‘in işlevselliğini tersine çevirir.

Örneğin, bir kullanıcı, belirli bir kedi türünü (herhangi bir kedi değil) oluşturmak için bir çerçeve oluşturmak isterse, girişi çizimleri, ilgili olmayan kedi sınıflarını dışlamak için bir filtre olarak hizmet eder.

Latent Uzay ve Doğal Görüntü Düzenleme

Araştırmacılar, temel çalışma temelinde iki uygulama geliştirdiler: latent uzay düzenleme ve görüntü düzenleme. Latent uzay düzenleme, eğitim zamanında sağlanan yorumlanabilir kullanıcı kontrolleri sunar ve hedef etki alanına sadık kalırken, varyasyonları geniş bir şekilde sağlar.

GAN Çizimi’nin özel modelleriyle pürüzsüz latent uzay interpolasyonu.

Latent uzay düzenleme bileşeni, GANSpace projesi tarafından sağlandı.

Bir görüntü de, özel GAN’a proje yaparak, doğal görüntü düzenleme sağlanır. Bu uygulama, bir görüntüyü düzenleme yeteneği sağlar ve yüksek düzeyde latent uzay düzenleme sağlar.

Burada, bir gerçek görüntü, kedi modeline (GAN) girdi olarak verilir ve bu, girişi çizimlere göre düzenler. Bu, çizim yoluyla görüntü düzenleme sağlar.

Sistem, gerçek zamanlı olarak çalışmak üzere tasarlanmamıştır. Şu anda GAN Çizimi, 30.000 eğitim iterasyonu gerektirir. Sistem, orijinal modelin orijinal eğitim verisine erişim gerektirir.

Açık kaynaklı veri kümeleri için, bu, yerel olarak yüklenebilir bir pakette kaynak verilerini dahil ederek veya uzaktan erişerek ve işleyerek gerçekleştirilebilir.

Sadece insan tarafından oluşturulan 4 çizimden eğitilen özel FFHQ modellerinden dönüşümler.