Adobe Araştırması Ayrıştırılmış GAN Yüz Düzenlemesini Genişletiyor

entanglementın görüntü sentezinde bir problem olması anlaşılabilir, çünkü hayatın diğer alanlarında da sık sık problem oluşturur; örneğin, bir curry’den zerdeçalı çıkarmak bir burger’den turşuyu atmaktan çok daha zordur ve bir fincan kahvenin tatlılığını çıkarmak neredeyse imkansızdır. Bazı şeyler sadece paketlenmiş gelir.

Benzer şekilde, entanglement, farklı özellikler ve kavramları makine öğrenimi kullanarak yüzler (veya köpekler, tekne veya diğer herhangi bir alan) oluştururken veya düzenlerken ayırmak isteyen görüntü sentez mimarileri için bir engel oluşturur.

Eğer yaş, cinsiyet, saç rengi, ten rengi, duygu gibi iplikleri ayırabilseydik, gerçek enstrümantalite ve esneklik için yüz görüntü oluşturma ve düzenleme çerçevesinin真正 granüler düzeyde başlangıcına sahip olurdunuz, istenmeyen “yolcular” olmadan bu dönüşümleri gerçekleştirebilirdiniz.

Maksimum entanglement durumunda (yukarıda solda), yalnızca öğrenilmiş bir GAN ağı görüntüsünü başka bir kişinin görüntüsüne değiştirebilirsiniz.

Bu, aslında över 30 yıl önce diğer yöntemlerle çözülen bir şeyi son AI bilgisayar görüşü teknolojisini kullanarak gerçekleştirmektir.

Bazı düzeyde ayrım (‘Orta Ayrım’ yukarıdaki resimde), stil tabanlı değişiklikler gerçekleştirmek mümkündür, Örneğin, saç rengi, ifade, kozmetik uygulama ve sınırlı baş dönmesi gibi.

Source: FEAT: Face Editing with Attention, February 2022, https://arxiv.org/pdf/2202.02713.pdf

Son iki yılda, kullanıcıların yüz özelliklerini kaydırıcılar ve diğer geleneksel UI etkileşimleri ile değiştirmesine olanak tanıyan etkileşimli yüz düzenleme ortamları oluşturma girişimleri olmuştur, ancak bu, GAN’ın gizil uzayındaki temel özellik/stil entanglementi nedeniyle bir zorluk oluşturmuştur.

Örneğin, gözlük özelliği sık sık yaşlı özelliği ile iç içe geçmiştir, bu da gözlük eklemenin yüzü “yaşlandırmasına” neden olabileceği anlamına gelir, yüzü yaşlandırmanın da gözlük eklemesine neden olabileceği anlamına gelir, uygulanan yüksek düzeyli özellik ayrım derecesine bağlı olarak (aşağıdaki ‘Test’ bölümünde örnekler için bakınız).

En dikkat çekici olanı, saç rengini ve diğer saç yönlerini değiştirmenin几乎 imkansız olmasıdır, bu da saç ipliklerinin ve düzeninin yeniden hesaplanmasına neden olur, bu da bir “sizzling” geçiş etkisine neden olur.

Source: InterFaceGAN Demo (CVPR 2020), https://www.youtube.com/watch?v=uoftpl3Bj6w

Gizil-Gizil GAN Gezintisi

Adobe liderliğindeki yeni bir makale girildi WACV 2022 için bu temel sorunlara yeni bir yaklaşım sunuyor makale entitled Gizil-Gizil: Kimlik Koruyucu Düzenleme için Öğrenilmiş Bir Haritalayıcı StyleGAN-üretimi Görüntülerde Çoğu Yüz Özniteliği.

Supplemental material from the paper Latent to Latent: A Learned Mapper for Identity Preserving Editing of Multiple Face Attributes in StyleGAN-generated Images. Here we see that base characteristics in the learned face are not dragged into unrelated changes. See full video embed at end of article for better detail and resolution. Source: https://www.youtube.com/watch?v=rf_61llRH0Q

Makale, Adobe Uygulamalı Bilim İnsanı Siavash Khodadadeh tarafından yönetiliyor ve dört diğer Adobe araştırmacısı ve Central Florida Üniversitesi Bilgisayar Bilimi Bölümü’nden bir araştırmacı tarafından desteklenmektedir.

Parça, kısmen Adobe’un bu alanda uzun süredir faaliyet göstermesi ve bu işlevselliğin birkaç yıl içinde bir Creative Suite projesine girebileceği ihtimali nedeniyle ilginçtir; ancak principalmente, projenin oluşturduğu mimari, GAN yüz düzenleyici’nde değişiklikler uygulanırken görsel bütünlüğü korumak için farklı bir yaklaşım sunuyor.