Özel Bir Generative Adversarial Network Oluşturmak için Karalamalar Kullanma

Carnegie Mellon ve MIT’den araştırmacılar, bir kullanıcıya, sadece belirleyici karalamalar çizerek, özel bir Generative Adversarial Network (GAN) görüntü oluşturma sistemleri oluşturmasına olanak tanıyan yeni bir metodoloji geliştirdiler.

Bu tür bir sistem, bir son kullanıcıya, belirli hayvanlar, bina türleri – ve hatta bireyler gibi çok özel görüntüler oluşturabilen görüntü oluşturma sistemleri oluşturmasına olanak tanıyabilir. Şu anda, çoğu GAN oluşturma sistemi geniş ve oldukça rastgele çıktı üretir ve belirli özellikler belirtme yeteneği sınırlıdır, Örneğin hayvan ırkı, insanların saç tipleri, mimari stilleri veya gerçek yüz kimlikleri.

Yaklaşım, paper Kendi GAN’nizi Çizindir adlı makalede açıklanmıştır ve bir dizi ‘ara’ fonksiyonu olarak etkili bir karalama arayüzü kullanır. GAN daha sonra bu filtrelenmiş görüntü alt kümesinde eğitilir.

Kullanıcı, GAN’ı kalibre etmek istediği belirli nesne türünü çizerek, çerçevenin üretken özellikleri bu sınıfa özgü hale gelir. Örneğin, bir kullanıcı, herhangi bir eski kedinin (bu, Bu Kedi Yok ile elde edilebileceği gibi) yerine belirli bir kedi türünü oluşturmak için bir çerçeve oluşturmak isterse, girişi yapılan karalamalar, ilgili olmayan kedi sınıflarını dışlamak için bir filtre olarak hizmet eder.

Kaynak: https://peterwang512.github.io/GANSketching/

Araştırma, Carnegie Mellon Üniversitesi’nden Sheng Yu-Wang tarafından yürütülmüştür ve birlikte MIT Bilgisayar Bilimi ve Yapay Zeka Laboratuvarı’ndan David Bau ile çalışmıştır.

Yöntem, ‘GAN karalama’ olarak adlandırılır ve girişi yapılan karalamaları, doğrudan bir ‘şablon’ GAN modelinin ağırlıklarını değiştirerek, tanımlanan etki alanını veya alt alanını hedeflemek için çapraz-alan karşıt kaybı kullanır.

Farklı düzenleme yöntemleri, modelin çıktısının çeşitli olmasını sağlamak için araştırılmıştır ve aynı zamanda yüksek bir görüntü kalitesini korur. Araştırmacılar, gizil uzayı interpolasyon yapabilen ve görüntü düzenleme prosedürleri gerçekleştirebilen örnek uygulamalar oluşturdular.

Bu [$class] Yok

GAN tabanlı görüntü oluşturma sistemleri, son birkaç yılda bir moda haline geldi ve projelerin çoğalmasıyla, insanların, kiralık dairelerin, atıştırmalıkların, ayakların, atların, politikacıların ve böceklerin resimlerini oluşturabilen sistemler gibi birçok şeyin resimlerini oluşturabilen sistemler geliştirildi.

GAN tabanlı görüntü sentez sistemleri, hedef etki alanından (örneğin yüzler veya atlar) görüntüleri içeren geniş veri kümelerini derleyerek veya oluşturarak, görüntülerdeki bir dizi özelliği genelleyen modelleri eğitmek ve öğrenilen özelliklere dayalı rastgele örnekler üretebilen üretici modüller uygulayarak oluşturulur.

DeepFacePencil’den karalamalardan elde edilen çıktı. Benzer çizimden görüntüye projeler mevcuttur. Kaynak: https://arxiv.org/pdf/2008.13343.pdf

Yüksek boyutlu özellikler, eğitim sürecinin başında somutlaştırılan ilk şeylerdir ve bir ressamın kanvas上的 ilk geniş renk lekelerine eşdeğerdir. Bu yüksek boyutlu özellikler, daha sonra daha ayrıntılı özelliklerle (örneğin, bir kedinin göz parıltısı ve keskin kirpiği yerine sadece kedinin başını temsil eden genel bir beige blob) ilişkilendirilir.

Söylediğiniz Anladım…

Bu erken seminal şekiller ve daha sonra eğitim sürecinde elde edilen ayrıntılı yorumlar arasındaki ilişkiyi eşleyerek, kullanıcıların kaba karalamalardan karmaşık ve fotoğrafik görüntüler oluşturmasına olanak tanır.

NVIDIA, GAN tabanlı manzara oluşturma araştırmalarına dayanan Masaüstü sürümünü yayınladı ve bu ilkeyi kolayca göstermektedir:

Yaklaşık karalamalar, NVIDIA’nın GauGAN’ı ve şimdi NVIDIA Canvas uygulaması aracılığıyla zengin manzaralara dönüştürülür. Kaynak: https://rossdawson.com/futurist/implications-of-ai/future-of-ai-image-synthesis/

Benzer şekilde, DeepFacePencil gibi birçok sistem, çeşitli etki alanları için karalama ile tetiklenen fotoğrafik görüntü oluşturucular oluşturmak için aynı ilkeyi kullanmıştır.

DeepFacePencil mimarisi.

Çizimden Görüntüye Basitleştirme

Yeni makalenin GAN Karalama yaklaşımı, GAN görüntü çerçevelerinin geliştirilmesinde genellikle yer alan büyük veri toplama ve kürasyon yükünü, kullanıcı girişini kullanarak hangi görüntü alt kümesinin eğitim verisi oluşturacağını tanımlayarak ortadan kaldırmayı amaçlamaktadır.

Sistem, çerçeveyi kalibre etmek için yalnızca birkaç girdi karalaması gerektirir. Sistem, 2019 yılında Carnegie Mellon, Adobe, Uber ATG ve Argo AI’den araştırmacılar tarafından ortak bir araştırma girişimi olan PhotoSketch‘in işlevselliğini tersine çevirir ve yeni çalışmaya dahildir. PhotoSketch, görüntülerden sanatkar karalamalar oluşturmak için tasarlandı ve bereits etkili bir vague>spesifik görüntü oluşturma ilişkileri eşlemesini içerir.

Oluşturma sürecinin bir parçası olarak, yeni yöntem yalnızca StyleGAN2‘nin ağırlıklarını değiştirir. Kullanılan görüntü verisi toplam mevcut verinin yalnızca bir alt kümesi olduğundan, yalnızca eşleme ağını değiştirmek arzu edilen sonuçları elde eder.

Yöntem, atlar, kiliseler ve kediler gibi bir dizi popüler alt etki alanında değerlendirildi.

Princeton Üniversitesi’nin 2016 LSUN veri kümesi, hedef alt etki alanları türetmek için kullanılan temel malzeme olarak kullanıldı. Gerçek dünya kullanıcı girişi karalamalarının tuhaflıklarına karşı dayanıklı bir karalama eşleme sistemi oluşturmak için, sistem Microsoft tarafından 2021-2016 arasında geliştirilen QuickDraw veri kümesi上的 görüntülerde eğitilir.

PhotoSketch ve QuickDraw arasındaki karalama eşlemeleri oldukça farklı olmasına rağmen, araştırmacılar, çerçevelerinin göreceli olarak basit pozlar üzerinde kolayca çalıştığını, ancak daha karmaşık pozlar (örneğin, yatan kediler) daha fazla zorluk çıkardığını ve çok soyut kullanıcı girişi (örneğin, aşırı kaba çizimler) de sonuçların kalitesini düşürdüğünü buldular.

Gizil Uzay ve Doğal Görüntü Düzenleme

Araştırmacılar, temel çalışma üzerine iki uygulama geliştirdiler: gizil uzay düzenleme ve görüntü düzenleme. Gizil uzay düzenleme, eğitim zamanında sağlanan yorumlanabilir kullanıcı kontrolleri sunar ve hedef etki alanına sadık kalırken geniş bir varyasyon aralığı sağlar ve varyasyonlar boyunca hoş bir şekilde tutarlıdır.

Özel modellerle GAN Karalama’nın pürüzsüz gizil uzay interpolasyonu.

Gizil uzay düzenleme bileşeni, Aalto Üniversitesi, Adobe ve NVIDIA’nin 2020 GANSpace projesi tarafından sağlandı.

Tek bir görüntü de özelleştirilmiş modele beslenebilir, doğal görüntü düzenleme olanağı sağlar. Bu uygulamada, bir görüntü projekte edilir özelleştirilmiş GAN’a, yalnızca doğrudan düzenleme sağlamakla kalmaz, aynı zamanda daha yüksek düzeyde gizil uzay düzenleme sağlar, eğer bu da kullanılmışsa.

Burada, bir gerçek görüntü GAN’a (kedi modeli) girdi olarak verilir, girdi karalamalarına uymak için girişi düzenler. Bu, çizerek görüntü düzenleme olanağı sağlar.

Sistem, yapılandırılabilir olmasına rağmen, gerçek zamanlı olarak çalışmak üzere tasarlanmamıştır, en azından eğitim ve kalibrasyon açısından. Şu anda GAN Karalama, 30.000 eğitim iterasyonu gerektirir. Sistem, özelleştirilmiş model için orijinal eğitim verisine erişim gerektirir.

Veri kümesinin açık kaynaklı olduğu ve yerel kopyalamaya izin veren bir lisansı varsa, bu, kaynak verilerini yerel olarak yüklenen bir pakette dahil ederek veya uzaktan veri erişimi veya işleme yoluyla, ağ yükünü ve (bulut üzerinde gerçekleşen işleme durumunda) olası hesaplamalı maliyetleri tanıtlayarak gerçekleştirilebilir.

Sadece dört insan tarafından oluşturulan karalamalara dayalı olarak özelleştirilmiş FFHQ modellerinden dönüşümler.