Anderson’un Açısı
Adobe Research, Özellikleri Ayrıştırılmış GAN Yüz Düzenlemesini Geliştiriyor

Öne çıkan noktalarAdobe'nin gizli-gizli eşleyicisi, yeniden eğitim gerektirmeden 35 yüz özelliğini…
Daha fazla göster
- Adobe'nin gizli-gizli eşleyicisi, yeniden eğitim gerektirmeden 35 yüz özelliğini düzenlerken kimliği sabitler.
- Sistem, özellik dönüşümleri sırasında kimlik bozulmasını önlemek için FaceNet'i bir ayırt edici olarak kullanır.
- InterFaceGAN gibi rakip çerçeveler yaşı cinsiyet veya gözlükle iç içe geçirirken, Adobe'nin yaklaşımı bu yan etkilerden kaçınır.
Görüntü sentezinde özelliklerin iç içe geçmesinin neden bir sorun olduğunu anlamak zor değil, çünkü bu, yaşamın diğer alanlarında da sıkça karşılaşılan bir sorundur. Örneğin, bir curry’den zerdeçalı çıkarmak, bir burger’den turşuyu çıkarmaktan çok daha zordur ve bir fincan kahvenin şekerini çıkarmak neredeyse imkânsızdır. Bazı şeyler paketlenmiş olarak gelir.
Benzer şekilde, yüzleri (veya köpekleri, tekneleri veya diğer herhangi bir alanı) oluşturmak veya düzenlemek için makine öğrenimi kullanan görüntü sentez mimarileri, farklı özellikler ve kavramları ayırmak istediklerinde iç içe geçme, bir engel oluşturur.
Yaş, cinsiyet, saç rengi, cilt tonu ve duygu gibi özellikler ayrılabilseydi, yüz görüntülerini ayrıntılı biçimde oluşturup düzenleyen, bu değişikliklere istenmeyen özellikleri sürüklemeyen kullanışlı ve esnek bir çerçevenin temeli atılmış olurdu.
En yüksek iç içe geçme durumunda (yukarıda solda), yalnızca öğrenilmiş bir GAN ağı resmini başka bir kişinin resmine değiştirebilirsiniz.
Bu, aslında en son AI bilgisayar vizyon teknolojisini kullanarak, otuz yılı aşkın süre önce başka yöntemlerle çözülen bir şeyi başarmak anlamına gelir.
Belirli bir ayrımla (daha önceki resimde ‘Orta Ayrım’ olarak gösterilen), stil tabanlı değişiklikler yapmak mümkün olur, Örneğin, saç rengi, ifade, makyaj uygulaması ve sınırlı baş döndürme gibi.

Kaynak: FEAT: Yüz Düzenleme ile Dikkat, Şubat 2022, https://arxiv.org/pdf/2202.02713.pdf
Son iki yılda, kullanıcıların sürgüler ve diğer geleneksel arayüz etkileşimleriyle yüz özelliklerini değiştirirken hedef yüzün temel özelliklerini korumalarını sağlayan etkileşimli yüz düzenleme ortamları geliştirmek için birçok girişimde bulunuldu. Ancak, bu, GAN’ın gizil uzayındaki özellik/stil iç içe geçmesi nedeniyle bir zorluk oluşturdu.
Örneğin, gözlük özelliği genellikle yaşlılık özelliğiyle iç içedir. Bu nedenle gözlük eklemek yüzü yaşlandırabilir; yüzü yaşlandırmak da üst düzey özelliklerin ayrılma derecesine bağlı olarak gözlük ekleyebilir (aşağıdaki ‘Test’ bölümünde örnekler için bakınız).
En dikkat çekici olan, saç rengini ve diğer saç özelliklerini değiştirmenin neredeyse imkansız olması, saçın yeniden hesaplanması nedeniyle “kaynar” bir efekt oluşturur.

Kaynak: InterFaceGAN Demo (CVPR 2020), https://www.youtube.com/watch?v=uoftpl3Bj6w
Gizilden Gizile GAN Gezintisi
Adobe (ADBE ) liderliğindeki yeni bir makale, WACV 2022 için sunuldu ve bu temel sorunlara yeni bir yaklaşım sunuyor. Makale, makalede açıklandı. Makalenin başlığı Gizilden Gizile: StyleGAN ile Üretilmiş Görüntülerde Birden Fazla Yüz Özelliğinin Kimlik Korunarak Düzenlenmesi için Öğrenilmiş Bir Eşleyici.

Şu makaleden ek materyal: Gizilden Gizile: StyleGAN ile Üretilmiş Görüntülerde Birden Fazla Yüz Özelliğinin Kimlik Korunarak Düzenlenmesi için Öğrenilmiş Bir Eşleyici. Öğrenilen yüzün temel özellikleri, ilgisiz değişikliklere sürüklenmiyor. Daha fazla ayrıntı ve yüksek çözünürlük için makalenin sonundaki tam videoya bakın. Kaynak: https://www.youtube.com/watch?v=rf_61llRH0Q
Makale, Adobe Uygulamalı Bilim İnsanı Siavash Khodadadeh tarafından liderlik ediliyor ve dört diğer Adobe araştırmacısı ve Central Florida Üniversitesi Bilgisayar Bilimi Bölümü’nden bir araştırmacı tarafından destekleniyor.
Çalışma, kısmen Adobe’nin bu alanda uzun süredir faaliyet göstermesi ve bu işlevin birkaç yıl içinde bir Creative Suite projesine girebileceğini düşündürmesi nedeniyle ilgi çekicidir. Asıl önemli nokta ise geliştirilen mimarinin, değişiklikler uygulanırken GAN yüz düzenleyicisinde görsel bütünlüğü korumak için farklı bir yaklaşım benimsemesidir.
Yazarlar şöyle açıklıyor:
‘[Biz], değiştirilmiş özniteliğe sahip görüntüye karşılık gelen gizil kodu bulmak üzere gizilden gizile dönüşüm gerçekleştiren bir sinir ağı eğitiyoruz. Teknik dönüşümü tek adımda yaptığı için özniteliklerin kademeli değişiminin doğrusal ya da doğrusal olmayan bir yörüngesine dayanmaz.’
‘Ağı tüm üretim hattı boyunca uçtan uca eğiterek sistemin hazır üretici mimarilerin gizil uzaylarına adapte olabilir. Kimlik gibi koruma özellikleri, eğitim kayıpları olarak kodlanabilir.’
‘Gizilden gizile ağ eğitildikten sonra, herhangi bir görüntü için yeniden eğitim gerektirmeden kullanılabilir.’
Bu son kısım, önerilen mimarinin, son kullanıcıya hazır bir şekilde geldiğini ve yerel kaynaklarda bir sinir ağını çalıştırması gerektiği anlamına gelir, ancak yeni görüntüler hemen değiştirilmeye hazır olabilir, çünkü çerçeve, daha fazla görüntüye özgü eğitim gerektirmeyecek kadar ayrılmıştır.

Sürgüler gizil uzayda rastgele ve keyfî yollar çizerken cinsiyet ve yüz kılları değişir; hareket yalnızca iki uç nokta arasında gidip gelmekle sınırlı değildir. Daha yüksek çözünürlükte başka dönüşümler için makalenin sonundaki videoya bakın.
Çalışmanın ana başarılarından biri, ağın hedef vektörde yalnızca ilgili özniteliği değiştirerek gizil uzaydaki kimliği sabit tutabilmesi ve dönüşüm sırasında kimliği koruyan düzeltme terimleri sağlayabilmesidir.
Esasen, önerilen ağ, işlenen tüm unsurları düzenleyen daha geniş bir mimari içinde gömülüdür ve bu unsurlar, istenmeyen yan etkileri üretmeyecek şekilde dondurulmuş ağırlıklara sahip önceden eğitilmiş bileşenlerden geçer.
Eğitim süreci, üçlü kullanır ve bu, bir başlangıç görüntüsü (GAN tersine çevirme yoluyla) veya mevcut bir başlangıç gizil kodu ile oluşturulabilir, böylece tüm eğitim süreci denetimsizdir ve etiketleme ve kürasyon sistemlerinin alışılagelmiş eylemleri, mimariye dahil edilmiştir. Aslında, yeni sistem, hazır öznitelik regresörleri kullanır:
‘[Ağımızın] bağımsız olarak kontrol edebileceği öznitelik sayısı, yalnızca tanıyıcıların (eğer bir özniteliği tanıyıcı varsa) yetenekleri ile sınırlıdır – bir özniteliği tanıyıcı varsa, bunu rastgele yüzlere ekleyebiliriz. Deneylerimizde, 35 farklı yüz özniteliğinin ayarlanmasını sağlamak için gizilden gizile ağını eğittik, bu, önceki tüm yaklaşımlardan daha fazladır.’
Sistem, istenmeyen “yan efekt” dönüşümlerine karşı ek bir koruma sağlar: bir özniteliğin değiştirilmesi istenmediğinde, gizilden gizile ağ, gizil vektörü kendisine haritalar, böylece hedef kimliğinin stabil kalmasını sağlar.
Yüz Tanıma
Son birkaç yılın GAN ve kodlayıcı/çözücü tabanlı yüz düzenleyicilerinde, uygulanan dönüşümler genellikle benzerliği bozar. Bunu önlemek için, Adobe projesi, FaceNet adlı bir yüz tanıma ağını bir ayırıcı olarak kullanır.

Proje mimarisi, FaceNet’in dahil edildiği alt orta sol bölümü görün. Kaynak: Gizilden Gizile: StyleGAN ile Üretilmiş Görüntülerde Birden Fazla Yüz Özelliğinin Kimlik Korunarak Düzenlenmesi için Öğrenilmiş Bir Eşleyici, OpenAccess.
(Kişisel bir not olarak, bu yaklaşım standart kimlik ve hatta ifade tanıma sistemlerinin üretici ağlara katılması yönünde umut verici bir adım gibi görünüyor. Böyle bir entegrasyon, mevcut deepfake mimarilerine hâkim olan ve ifade doğruluğu ile yüz üretiminin diğer önemli yönlerini olumsuz etkileyen kör pikselden piksele eşlemeyi aşmanın en iyi yolu olabilir.)
Gizil Uzayda Tüm Alanlara Erişim
Çerçevenin başka bir etkileyici özelliği, gizil uzayda, kullanıcı keyfinin istediği dönüşümler arasında keyfi bir şekilde seyahat edebilmesidir. Keşif arayüzleri sunan bazı önceki sistemler, kullanıcıyı esasen sabit özellik dönüşümü çizgileri üzerinde ileri geri hareket etmekle sınırlandırıyordu. Bu etkileyici olsa da genellikle doğrusal veya önceden belirlenmiş bir deneyimdi.

Şu çalışmadan: Mekânsal Farkındalığı Artırarak GAN Dengesini İyileştirme. Kullanıcı, gizil uzaydaki iki konum arasındaki olası geçiş noktaları arasında gezinir, ancak önceden eğitilmiş konumlarla sınırlıdır. Aynı materyale başka türde dönüşümler uygulamak için yeniden yapılandırma ve/veya yeniden eğitim gerekir. Kaynak: https://genforce.github.io/eqgan/
Çerçeve tamamen yeni kullanıcı görüntülerini kabul etmenin yanı sıra kullanıcıların dönüşüm sürecinde korunmasını istediği öğeleri manuel olarak sabitlemesine de olanak tanır. Bu şekilde, kullanıcı, arka planın değişmemesini veya gözlerin açık ya da kapalı kalmasını sağlayabilir.
Veri
Öznitelik regresyon ağı, üç veri kümesi üzerinde eğitildi: FFHQ, CelebAMask-HQ ve StyleGAN-V2‘nin Z uzayından 400.000 vektör örneklenerek GAN ile yerel olarak üretilen bir veri kümesi.
Dağılım dışı (OOD) görüntüler filtrelenmiştir ve öznitelikler, Microsoft’un Yüz API’si kullanılarak çıkarılmış ve oluşan görüntü kümesi 90/10 olarak bölünmüştür, 721.218 eğitim görüntüsü ve 72.172 test görüntüsü bırakmıştır.
Test
Deneysel ağ, ilk olarak 35 olası dönüşümü desteklemek üzere yapılandırılmış, ancak InterFaceGAN, GANSpace ve StyleFlow çerçeveleriyle karşılaştırmalı testler için sekize indirilmiştir. Seçilen sekiz öznitelik, Yaş, Kellik, Sakal, İfade, Cinsiyet, Gözlük, başın yukarı-aşağı eğimi ve başın yana dönüşü idi. Rakip çerçevelerin bazıları, orijinal dağıtımda bulunmayan belirli öznitelikler için yeniden düzenlenmiştir, örneğin InterFaceGAN’e kellik ve sakal eklenmiştir.
Uygun olarak, rakip mimarilerde daha yüksek bir iç içe geçme düzeyi görüldü. Örneğin, bir testte, InterFaceGAN ve StyleFlow, yaş değişikliği istendiğinde kişinin cinsiyetini de değiştirdi:

İki rakip çerçeve, ‘yaş’ dönüşümüne cinsiyet değişikliği ekledi, ayrıca kullanıcıdan doğrudan talimat almadan saç rengini değiştirdi.
Ayrıca, iki rakip, gözlüklerin ve yaşın ayrılmaz özellikler olduğunu buldu:
Araştırma her açıdan üstün değildir: makalenin sonundaki videoda görüldüğü gibi çerçeve, farklı yana dönüş açıları üretirken en düşük etkinliği gösterir. GANSpace, yaş ve gözlük ekleme açısından genel olarak daha iyi sonuç verir. Gizilden gizile çerçeve, başın yukarı-aşağı eğimini değiştirmede GANSpace ve StyleFlow ile aynı sonucu elde eder.

MTCNN yüz dedektörünün kalibrasyonu temelinde hesaplanan sonuçlar. Daha düşük sonuçlar daha iyidir.
Örneklerin daha iyi bir çözünürlüğü ve ayrıntısı için, makalenin eşlik eden videosunu aşağıdaki bağlantıdan izleyebilirsiniz.
İlk olarak 16 Şubat 2022’de yayınlandı.














